5 проблем AI-чатботов, которые стоят вам клиентов
Проблемы AI-чатботов могут незаметно стоить вам клиентов. Пять предупреждающих знаков того, что ваш бот вредит конверсиям в обслуживании клиентов, и как исправи...
7 мин чтения
AI
Chatbots
+2
Чат-бот поддержки ИИ, который постоянно ошибается, почти всегда сводится к одной из шести исправимых причин: устаревший источник знаний, непроверенный Flow, неправильно установленный порог передачи, недостаточно мощная модель, языковое несоответствие или отсутствие анализа допущенных ошибок. Вот как диагностировать, какая проблема именно у вас, и исправить её без полной перестройки.
В этой статье:
- Исправление 1. Источник знаний чат-бота поддержки ИИ неполный или устарел
- Исправление 2. Flow никогда не тестировался на реальных формулировках
- Исправление 3. Неправильно установлен порог передачи
- Исправление 4. Модель ИИ недостаточно мощная для ваших вопросов
- Исправление 5. Языковой охват не соответствует вашим клиентам
- Исправление 6. Никто не анализирует допущенные ошибки
Большинство команд настраивают чат-бот поддержки ИИ один раз, видят, что он работает нормально первые несколько недель, и перестают обращать на него внимание. Затем эскалации ползут вверх, клиенты начинают повторяться, и никто не может точно сказать, почему, потому что никто не смотрел, что именно идёт не так.
Исправление 1. Источник знаний чат-бота поддержки ИИ неполный или устарел
Это самая распространённая причина, и её легче всего проверить. Чат-бот знает только то, что содержится в подключённых к нему источниках знаний. Если изменился продукт, обновилась политика или вышла новая функция, а контент источника не был обновлён, бот будет уверенно выдавать старый ответ.
Соберите список вопросов, на которые бот чаще всего отвечает неверно, и проверьте каждый по фактическому содержимому источника. Если информация в источнике отсутствует полностью — это пробел в охвате. Если информация есть, но бот всё равно ошибается — сам контент может быть плохо структурирован, спрятан или противоречить другим разделам того же источника.
Например, обновление страницы цен, меняющее количество мест, включённых в тариф, незаметно сломает каждый ответ чат-бота об этом тарифе, пока кто-нибудь не обновит источник знаний.
Исправление 2. Flow никогда не тестировался на реальных формулировках
Flow, созданный и протестированный только на аккуратных, правильно сформулированных тестовых вопросах, ведёт себя иначе, чем протестированный на том, как клиенты печатают на самом деле. Реальные вопросы короче, менее формальны и часто лишены контекста, который присутствует в аккуратно составленном тестовом вопросе.
Возьмите двадцать реальных сообщений клиентов из вашей истории тикетов — чем запутаннее, тем лучше — и прогнайте их через Flow вручную. Отметьте каждое место, где ответ неверен, неполон или технически правилен, но сбивает с толку. Это простое упражнение обычно выявляет больше реальных проблем, чем неделя агрегированных метрик.
Если ваша команда также использует AI Answer Assistant для составления ответов агентов, те же проблемы с источником знаний, которые ломают чат-бот, проявятся и там, поскольку обе функции работают на одном и том же контенте.
Готовы вывести бизнес на новый уровень?
Попробуйте LiveAgent бесплатно и убедитесь сами.
Исправление 3. Неправильно установлен порог передачи
Чат-бот LiveAgent позволяет установить минимальное количество ответов ИИ перед возможностью передачи человеку или позволить ИИ-агенту решать, когда передавать запрос самостоятельно. Ошибка с этой настройкой в любую сторону выглядит как проблема производительности, хотя на самом деле это проблема конфигурации.
Установите порог слишком высоким — и клиенты застрянут в цикле бесполезных ответов бота, прежде чем смогут добраться до человека. Установите слишком низким — и бот будет передавать вопросы, с которыми мог справиться сам, что завышает уровень эскалации и тратит время агентов на запросы, которым человек вообще не требовался.
Проверяйте эту настройку вместе с фактическими данными по эскалации, а не только один раз при настройке. То, что подходило для меньшего объёма тикетов или более узкого круга вопросов, может потребовать корректировки по мере расширения сферы работы чат-бота.
Исправление 4. Модель ИИ недостаточно мощная для ваших вопросов
Не все модели ИИ одинаково хорошо обрабатывают многосоставные или неоднозначные вопросы. Модель, которая отлично справляется с простыми поисками по FAQ, может начать давать сбои, когда клиенты задают многоуровневые вопросы, требующие соединения двух-трёх фрагментов информации вместе.
Это стоит проверять в последнюю очередь, а не в первую. Обновление модели не исправит неполный источник знаний или непроверенный Flow, и команды, которые сразу переходят к смене модели, часто обнаруживают, что те же сбои сохраняются, потому что реальная проблема была не в модели. Когда источник знаний и Flow в порядке, а сложные вопросы по-прежнему решаются неверно — вот когда более мощная модель оправдывает свою стоимость. Поставщики моделей публикуют свои собственные бенчмарки рассуждений и следования инструкциям именно для такого сравнения — стоит проверить, прежде чем предполагать, что все модели одинаково обрабатывают многосоставные вопросы.
Подпишитесь на рассылку
Свежие советы и предложения прямо в ваш почтовый ящик.
Исправление 5. Языковой охват не соответствует вашим клиентам
Чат-бот может отвечать на более чем 100 языках в зависимости от подключённой модели ИИ, но языковая поддержка работает лишь настолько хорошо, насколько хорошо соответствующий источник знаний на этом языке. Источник знаний, написанный и поддерживаемый только на английском, будет давать более скудные и менее точные ответы клиентам, пишущим на любом другом языке, даже если бот технически этот язык «поддерживает».
Проверьте объём тикетов по языкам в сравнении с тем, какая часть вашего источника знаний фактически существует на каждом из них. Несоответствие здесь выглядит как общая проблема производительности, но исправление — в переводе контента источника, а не в изменении Flow или модели.
Исправление 6. Никто не анализирует допущенные ошибки
Чат-бот, который был хорошо настроен при запуске, не остаётся таким сам по себе. Продукты меняются, клиенты начинают задавать новые типы вопросов, и Flow, который охватывал всё три месяца назад, незаметно перестаёт покрывать то, о чём клиенты спрашивают сегодня.
| Что проверять еженедельно | Что это обычно означает |
|---|---|
| Уровень эскалации растёт | Охват больше не соответствует реальным вопросам |
| Один и тот же неверный ответ повторяется | Источник знаний устарел по этой теме |
| Новые паттерны формулировок в тикетах | Flow нуждается в повторном тестировании на актуальном языке |
| CSAT падает на тикетах, решённых ботом | Бот «решает» тикеты, которыми клиенты не удовлетворены |
Установите регулярный еженедельный просмотр неудачных и переданных диалогов в течение первого месяца после любого изменения, затем переходите на ежемесячный режим, когда показатели стабилизируются. Это единственное исправление из списка, которое не является одноразовым. Это привычка, которая позволяет заметить пять остальных проблем до того, как они станут закономерностью, которую заметят клиенты.
Если вы ещё выбираете между платформами, а не исправляете существующую, наше руководство по выбору чат-бота с ИИ охватывает те же шесть областей с точки зрения покупателя — до того, как вы примете решение о внедрении.
Пройдите по этим шести причинам по порядку, прежде чем предполагать, что всю систему нужно заменять. Большинство команд обнаруживают, что реальная проблема — это один конкретный, устранимый пробел, а не фундаментальный дефект самого чат-бота. Чат-бот ИИ LiveAgent делает большинство этих рычагов — источники знаний, пороги передачи и выбор модели — непосредственно настраиваемыми, так что исправление одной из этих причин обычно занимает день, а не перестройку.
