Представь: ты запустил чат-бота, гордишься, всё работает на тестах — а через неделю клиент присылает скриншот, где бот на вопрос про доставку в другой город невозмутимо отвечает случайным набором фраз про совершенно другую тему. Скриншот уходит в отзывы или в сторис с подписью «вот как этот бизнес заботится о клиентах».
Это не редкость, а типичная история для бизнеса, который подключает бота впервые. Дело не в том, что технология плохая — дело в том, что бота почти никогда не тестируют так, как тестируют, например, сайт перед запуском. Написали промпт, пару раз спросили что-то простое, всё ответило нормально — запустили.
Я каждый день настраиваю ИИ-агентов для бизнеса и знаю, какие проверки реально ловят проблемы до того, как их увидит живой клиент. Собрал чек-лист из 6 пунктов — без него не стоит выпускать бота в бой.
1. Проверь реакцию на вопрос не по теме
Спроси у бота что-то, вообще не связанное с бизнесом — погоду, анекдот, политику. Хороший бот вежливо возвращает разговор в тему («я помогу с записью и вопросами про наши услуги») и не пытается на всё отвечать всерьёз. Плохой — либо теряется и выдаёт бред, либо начинает отвечать на любую тему, что для клиента выглядит странно и несерьёзно.
2. Проверь, что будет с грубостью или провокацией
Люди в переписке иногда грубят — усталость, раздражение, просто характер. Бот должен сохранять спокойный тон и не заводиться, не грубить в ответ, не игнорировать сообщение молча. Это особенно критично, если переписку потом кто-то может показать публично.
3. Проверь цифры и факты, которые бот называет
Если бот называет цены, сроки, адреса, условия акций — сверь всё до цифры с реальным прайсом. Языковые модели иногда «додумывают» правдоподобные, но неверные детали, особенно если вопрос сформулирован не точь-в-точь как в базе знаний. Ошибка в цене — это не просто баг, это прямой повод для конфликта с клиентом, который придёт за озвученной ботом ценой.
4. Проверь, что бот честно признаёт, когда не знает ответ
Задай специально странный или редкий вопрос, ответа на который в базе точно нет. Бот должен сказать что-то вроде «уточню у менеджера» или предложить связаться с человеком — а не выдумывать правдоподобный, но ложный ответ. Это разница между инструментом, которому можно доверять, и тем, который однажды подставит.
5. Проверь передачу диалога человеку
Если ситуация выходит за рамки — жалоба, спорный случай, крупная сделка — бот должен уметь передать разговор реальному сотруднику, а не пытаться разрулить всё сам. Прогони этот сценарий вручную: напиши что-то похожее на жалобу и посмотри, эскалирует ли бот диалог или продолжает как ни в чём не бывало.
6. Проверь бота на живых людях до полного запуска
Перед тем как включить бота на весь входящий поток, дай пообщаться с ним нескольким реальным людям не из команды — знакомым, паре лояльных клиентов. Свежий взгляд почти всегда находит формулировки или сценарии, которые разработчик бота уже не замечает, потому что тестировал одними и теми же вопросами по десять раз.
Итог
Если прогнать бота по этим шести пунктам до полного запуска — большинство неприятных сюрпризов ловится ещё на этапе теста, а не в переписке с раздражённым клиентом. Хороший бот — это не тот, который отвечает на всё подряд, а тот, который честно знает границы своих полномочий и умеет вовремя передать сложный случай человеку.