Привет! Меня зовут Наталия Бибетко, я начальник управления автоматизации сервисного обслуживания Банка Хоум Кредит. Три года назад, вдохновившись успехом Siri, Alexa и Алисы, в банке дали «зеленый свет» эксперименту по разработке собственного виртуального помощника. В результате сейчас у нас трудятся два бота: Хоум-бот в чате и голосовой помощник «Мария». Вместе они отвечают на половину обращений клиентов на входящей и исходящей линиях и продают новые продукты. В этой статье речь пойдет про Хоум-бота: я расскажу, как мы его создавали, с чем столкнулись в процессе запуска и какие выводы сделали.
Идея и первый прототип
Сейчас в пользе чат-ботов для бизнеса сомневаться не приходится: Accenture прогнозирует увеличение их доли на 30% ежегодно в течение трех лет, а исследования BCG говорят о том, что 87% клиентов общаются с банком через цифровые каналы.
В начале 2018 года мы относились к запуску чат-бота по-другому. Во-первых, сомневались в выгоде: разработка и поддержка ботов требует больших затрат, но как скоро они окупятся? Во-вторых, переживали за качество сервиса. Сомнения подкреплялись и тем, что в то время на российском рынке было сложно найти качественных и продвинутых чат-ботов.
В то время около 20% всех запросов поступали в банк через чаты на сайте и в мобильном приложении. Тем не менее мы заметили, что доля сообщений в чате относительно «голоса» растет. Перспективы развития этого канала стали очевидными.
Первую версию чат-бота команда программистов соорудила буквально «на коленке». Версия оказалась рабочей, поэтому проект расширили: увеличили команду, привлекли внешнего специалиста по data science для разработки AI.
Трудно быть ботом
Важно, что мы с самого начала решили не покупать стороннее решение: хотели создать все своими силами. Да и идеальных решений в то время на рынке не было.
В целом работа над ботом заняла у нас около полугода. Мы подготовили около 150 тематик с самыми популярными запросами от клиентов с базой знаний на 6,5 тыс. фраз. Перед первым запуском решили протестировать бота на коллегах. Это стало нашей первой ошибкой. Сотрудники банка задавали каверзные и нетипичные вопросы – таких обращений от клиентов не было или их были единицы, и их всегда решали операторы. В результате на этом этапе бот показал низкую эффективность, и мы даже подумали отложить запуск. Но, сверив тематики с массовыми клиентскими запросами еще раз, приняли решение запускаться.
На старте мы переживали, что люди не захотят разговаривать с виртуальным помощником и будут требовать переключить на оператора. Однако в реальности так делали только 25% (сейчас еще меньше, 15—20%), и в основном это были нестандартные запросы, например обращения по подозрению на мошеннические операции, изменения персональных данных и т. п. Такие случаи всегда берут на себя операторы. При этом большая часть клиентов охотно общалась с ботом: с ним здоровались, благодарили, хвалили за хорошую работу.
Это объяснимо: даже в периоды пиковых нагрузок (около 1,5 тыс. одномоментных сессий) чат-бот отвечает гораздо быстрее консультанта — всего за 1—3 секунды. Клиенты сразу это оценили: не нужно ждать оператора на линии, если можно моментально получить ответ на вопрос вроде «где найти тарифы по продукту» или «как узнать реквизиты для оплаты кредита».
Как померить бота
На старте было много споров: что такое оценка качества работы бота? Какие метрики и KPI использовать, как часто их замерять? Эффективно ли проверять бота вручную, кому доверить контроль? Что делать с результатами? Будет ли конец у отладки работы ИИ или это постоянный процесс? Сколько дополнительных ресурсов придется привлечь и какой эффект это даст? И многое другое.
Постепенно мы находили на них ответы: выстраивали процесс оценки качества, вносили изменения в работу моделей ИИ, искали лучшие практики, оптимизировали текущие базы знаний.
Начали с фиксации показателей AS-IS и установили KPI для их улучшения, скорректировали SCORE-баллы на текущих моделях. В моменте это привело к сокращению доли автоматизации до 17% (с 25—30%), но при этом стало отправной точкой для роста и улучшения качества ответов с 56 до 80% в 2019 году.
Если коротко резюмировать наши «уроки»:
1. Только «доля автоматизации» не может быть KPI для бота (хоть это и главный финансовый показатель) — важно смотреть на весь комплекс параметров.
2. Одна из лучших метрик для оценки удовлетворенности клиентов — tNPS, индекс потребительской лояльности и, безусловно, FCR (first call resolution) — показатель решения вопроса с первого обращения.
3. Нужно оценивать качество диалогов вручную, это лучший метод проверки и источник лайфхаков. Оценивать диалоги должно независимое подразделение, которое при этом сможет вычитывать большой объем выборочных данных. На их основе можно будет построить модель оценки качества ответов.
4. Нужно регулярно проводить мини-аудит процессов и технологий внутри команды и реалистично определять, на каком этапе находится проект, — оценивать свое AS-IS-состояние, сверяться по целям, вносить коррективы, если необходимо.
5. Обучение, дообучение, поиск и разработка новых моделей, улучшение качества, обогащение базы знаний — процесс бесконечный и затратный. Но именно он позволяет чат-боту расти и превращает его в эффективного виртуального сотрудника, для общения с которым клиенту не нужны строгие формулировки вопросов, подсказки или дополнительные виджеты.
Оценка качества диалогов и анализ комментариев клиентов в приложении помогают находить пробелы в знаниях бота и идеи для новых сценариев. Например, так мы нашли и добавили новые тематики: как посмотреть MCC-код по платежу, оплатить покупку в интернете с неименной карты, узнать лимиты на перевод и другие.
Было — стало
Все эти действия помогли нам значительно улучшить бота. Во-первых, выросло качество его ответов. На старте измерений в середине 2019 года оно составляло 56%, к концу 2019 года выросло до 84%, к концу 2020 года — до 90%, а с марта 2021-го стабильно держится на уровне 94—95%.
Но самое главное — доля полностью решенных запросов в чате поднялась с 17% в середине 2019 года до 58% в 2021 году. FCR у нас не опускается ниже 76—80%.
Радует и показатель tNPS. Опросы показывают, что клиенты довольны качеством ответов и в 80—86% случаев порекомендовали бы банк своим друзьям и знакомым после консультации с ботом.
Сотрудники тоже оценили бота. У операторов появилось больше времени для работы со сложными, нестандартными обращениями. Каждый месяц бот обрабатывает сотни тысяч рутинных запросов — для их решения потребовался бы целый колл-центр примерно из 200 человек.
База бота также растет: количество тематик увеличилось со 150 в 2019 году до более 700 в 2021 году, а база знаний разрослась с 6,5 тыс. до 150 тыс. фраз.
Настоящим испытанием для чат-бота стала пандемия: на него обрушился шквал вопросов по актуальной повестке. Несмотря на специфичность запросов, доля успешно решенных обращений не только не упала, а, наоборот, выросла до 60%. Конечно, команде пришлось ему здорово помочь: мы следили за информацией о кредитных каникулах и отсрочках платежей и в течение нескольких часов (иногда ночью и в выходные) запускали новые сценарии.
В чем сила, бот?
Самыми сильными сторонами Хоум-бота я бы назвала интеграционность и самостоятельность. Что это означает?
Он умеет работать не только с простыми запросами, которые решаются в одно касание, но и самостоятельно ведет диалог по сложным сценариям. Например, у нас есть тематика, где вариативность веток доходит до 85! А результаты диалога чат-бот записывает в системы банка сам, без дополнительных проверок сотрудников.
Он умеет использовать информацию из разных систем банка и вносить в них изменения: проставлять признаки по итогам диалогов, фиксировать результаты, формировать справки и выписки, получать и озвучивать данные по сумме задолженности, параметрам платежа, статусу обращений и пр. Даже сейчас в 2021 году нечасто можно встретить чат-бота, который работает с интеграционными сценариями. Мало кто доверяет им вносить данные в системы, как правило, компании ограничиваются общими словами и правилами.
В рамках одной беседы бот может обрабатывать вопросы из разных тематик, может понять контекст и продолжить диалог, даже если клиент прервал его и вернулся, когда сессия была закрыта.
Наш бот-консультант нацелен в первую очередь на решение вопросов клиентов. Мы регулярно дорабатываем и совершенствуем модели AI, чтобы он был действительно полезным. Подтверждение этому мы регулярно находим в оценках пользователей и в высоком показателе FCR.
Идем дальше
Сейчас банк активно запускает новые продукты, акции, услуги. Также появляются новые запросы и формулировки от клиентов, меняется стиль общения, язык пользователей — все это нужно вовремя улавливать и обучать бота. Благодаря нашему опыту мы умеем выпускать новые сценарии на прод за считанные часы.
Люди, которые много чатятся в мессенджерах, привыкают отправлять короткие сообщения в духе: «Привет», «Есть вопрос», «Какой след платеж по кредиту» (в трёх разных сообщениях, хотя вопрос по сути один). Нам пришлось научить бота «склеивать» такие запросы и отвечать не на каждое сообщение отдельно, а комплексно.
Кроме того, мы постоянно тестируем новые технологии и сервисы. Например, в этом году начали работать с командой разработчиков RPA-ботов и уже активно используем их возможности в консультации клиентов. Еще интегрировались с системой приема обращений от клиентов, работаем над А/В-тестированием, асинхронным анализом данных, предиктивным анализом поведения клиента, запускаем распознавание документов, делаем рефакторинг, обновляем и тестируем новые ансамбли моделей и многое другое.
Убедившись в том, что качество ответов стабильно и держится на высоком уровне, в этом году мы решили поэкспериментировать: реализовали несколько сценариев с консультациями и оформлением банковских продуктов онлайн. Бот в чате рассказывает клиенту о предварительно одобренных предложениях (если предложений у клиента нет, то бот рассказывает о новых продуктах, которые могут его заинтересовать), их преимуществах, и отправляет ссылку на онлайн-заявку для оформления. Кстати, гипотеза о том, что бот может также продавать продукты и услуги банка, оказалась рабочей: например, в августе — сентябре 2021 года он самостоятельно, без привлечения сотрудников, продал продуктов на сумму более 155 млн рублей.
Рынок не стоит на месте, клиенты становятся все более требовательными к качеству обслуживания. Банкам, да и всем компаниям, нужно постоянно развиваться, предвосхищать запросы клиентов и оперативно их решать. Информационные технологии и командная работа помогают нам успешно справляться с вызовами рынка. Эволюция нашего виртуального сотрудника продолжается.
Команда, которая работает над ботами, — люди из разных городов: Москвы, Томска, Обнинска, Ижевска, Воронежа.
Выводы:
В долгосрочной перспективе собственная разработка чат-бота чаще оказывается выгоднее «покупного» решения, сотрудники могут быстрее вносить изменения в процесс и модифицировать систему под собственные нужды.
В процессе тестирования на старте проекта ориентируйтесь на массовые запросы клиентов, а не сотрудников.
Обязательно разработайте систему оценки качества бота, проводите регулярные замеры и в зависимости от результатов корректируйте работу (работа с качеством будет занимать около 30% всего времени команды, а в первое время — гораздо больше, это нормально).
Вычитку и разметку качества диалогов должно проводить независимое подразделение.
Экспериментируйте с моделями для обучения AI, рискуйте, пробуйте новое — часто «выстреливают» совсем неочевидные на первый взгляд вещи.
Создавайте ботов, которые понимают любые запросы клиентов, которым не нужны «подсказки» и «правила задавания вопросов». Чем «человечнее» будет ваш виртуальный помощник, тем приятнее клиентам будет с ним общаться и тем меньше запросов «переведи на оператора» вы будете встречать в самом начале диалога.
Успех запуска и работы бота в 80% состоит из слаженной и дружной работы команды. Поддерживайте, вдохновляйте, доверяйте больше, и результат не заставит себя ждать.
Остались вопросы о запуске и работе бота? Пишите их в комментариях под этой статьей.
