Нейросеть может уверенно назвать несуществующую цену, закон или условие договора, и по тексту это никак не отличить от правды. Разбираем, почему так происходит, где такие ошибки бьют по деньгам и репутации и какие проверки ставить, чтобы выдумка не дошла до клиента.
Что такое галлюцинации ИИ
Галлюцинация ИИ - это ответ нейросети, который звучит уверенно и грамотно, но не соответствует действительности: выдуманная цифра, несуществующий документ, неверное условие. Для бизнеса опасна не сама ошибка, а то, что её не видно - текст выглядит так же убедительно, как правильный.
Причина в устройстве языковой модели (программы, которая пишет текст, подбирая наиболее вероятное продолжение). Она не сверяется с базой фактов, а складывает слова так, как они обычно стоят рядом. Если точного знания нет, модель всё равно выдаст правдоподобный ответ, а не скажет «не знаю», если её специально этому не учили.
Поэтому вопрос не в том, ошибается ли ИИ - ошибается любой, включая самые дорогие модели. Вопрос в том, где стоит ваш ИИ в процессе и кто увидит ошибку раньше клиента.
Где ИИ ошибается чаще всего
Выдумки появляются не равномерно. Есть типы вопросов, на которых риск заметно выше.
- Точные цифры: цены, сроки, проценты, остатки на складе. Если их нет в данных, которые дали модели, она подставит похожие.
- Законы и нормы: номера статей, требования, штрафы. Модель может перепутать редакции или сочинить пункт целиком.
- Ссылки и источники: адреса страниц, названия исследований, цитаты. Нередко они выглядят настоящими и не существуют.
- Свежие события: всё, что произошло после того, как модель обучали. Об этом она знает только то, что ей передали в запросе.
- Ваши внутренние правила: условия возврата, скидки, график. Без подключённой базы знаний модель придумает «типичные» условия.
Обратите внимание: почти все опасные зоны касаются конкретики, за которую отвечает компания. Общие тексты, идеи и черновики модель пишет хорошо - там ошибка дешёвая и её легко заметить.
Чем это грозит бизнесу
Последствия зависят от того, куда уходит ответ: в черновик к сотруднику или напрямую клиенту.
| Где стоит ИИ | Пример ошибки | Чем грозит |
|---|---|---|
| Бот на сайте или в мессенджере | Назвал цену ниже прайса или скидку, которой нет | Спор с клиентом, потеря денег или доверия |
| Ответы на отзывы | Пообещал компенсацию от имени компании | Публичное обязательство, которое придётся выполнять или объяснять |
| Тексты для сайта и рекламы | Выдуманные преимущества, цифры, гарантии | Претензии к рекламе, недоверие, правки после публикации |
| Обработка заявок | Неверно определил интерес или регион клиента | Потерянная заявка, за которую уже заплатили |
| Справки сотрудникам | Неточная норма или условие договора | Решение, принятое на ложном основании |
Самый дорогой сценарий - бот, который разговаривает с клиентами без контроля. Клиент воспринимает его ответ как слово компании, и сослаться потом на «это нейросеть ошиблась» не получится: отвечать будете вы.
Отдельный риск - ошибки при обработке обращений. Если ИИ сортирует входящие и отбрасывает часть как мусор, проверьте, по каким признакам. Что считать нормальной заявкой, мы разбирали в статье про валидную заявку.
Как страховаться: рабочие приёмы
Полностью убрать выдумки нельзя, но можно сделать так, чтобы они не доходили до клиента. Ниже - приёмы, которые подрядчики чаще всего используют в связке.
- Давайте модели свои данные. Прайс, условия, ответы на частые вопросы подключаются как база знаний, и модель отвечает по ним, а не по памяти. Это называют RAG - поиск по вашим документам перед ответом.
- Запретите отвечать вне базы. В инструкции модели прямо прописывается: если ответа нет в документах, сказать, что уточнит менеджер, и передать разговор человеку.
- Цифры берите из системы, а не из текста модели. Цена, остаток, дата доставки подтягиваются из CRM или учётной программы кодом, модель только вставляет их в ответ.
- Ставьте человека на выходе там, где ошибка дорогая. Ответы на отзывы, коммерческие предложения, юридические формулировки - ИИ готовит черновик, сотрудник отправляет.
- Сохраняйте переписки. Логи (записи всех диалогов) нужны, чтобы раз в неделю просматривать выборку и находить ошибки раньше, чем на них пожалуется клиент.
- Тестируйте перед запуском. Соберите 50-100 реальных вопросов клиентов, включая каверзные, и прогоните бота по ним. Каждый неверный ответ - повод поправить базу или инструкцию.
Связка «модель плюс данные из системы» требует интеграции: спросите подрядчика, какие поля берутся из системы напрямую, а какие модель формулирует сама.
Сколько стоит защита и от чего зависит
Отдельной строки «защита от галлюцинаций» в сметах обычно нет - она складывается из работ по настройке ИИ-решения. Поэтому ориентиры здесь - про весь проект, и разброс большой.
- Простой бот с ответами по короткой базе знаний и передачей человеку - самый недорогой вариант, на рынке это обычно десятки тысяч рублей за настройку.
- Бот с подключением к CRM, прайсу и остаткам - дороже в разы, потому что основная работа здесь в интеграции, а не в самой модели.
- Регулярный контроль качества - ежемесячные часы на просмотр логов и правку базы, их стоит закладывать отдельно.
Цена растёт от трёх вещей: сколько систем нужно связать, насколько разбросаны и устарели ваши документы и насколько дорогая ошибка в вашем бизнесе. Чем дороже ошибка, тем больше проверок и тем больше времени человека в процессе.
Плюс ежемесячно оплачивается сама модель - обычно по объёму запросов. Если вы ещё выбираете, на чём строить решение, сравнение вариантов есть в статье своя нейросеть или API.
Когда ИИ лучше не ставить вовсе
Есть ситуации, где честнее отказаться от ИИ, чем тратить деньги на его страховку.
- Ответ всегда один и тот же. Для пяти типовых вопросов хватит обычного меню с кнопками - оно не ошибается.
- Ошибка недопустима, а проверять некому. Медицинские, юридические, финансовые ответы клиентам без сотрудника на выходе - лишний риск.
- Данных нет или они в беспорядке. Если прайс живёт в трёх версиях у разных менеджеров, бот будет ошибаться вместе с ними. Сначала порядок в документах, потом ИИ.
- Обращений мало. Если в день приходит несколько вопросов, менеджер ответит быстрее и дешевле, чем окупится настройка.
ИИ хорошо работает там, где много однотипной работы и где ошибку можно поймать до того, как она стоит денег. В остальных случаях он добавляет риск, а не экономию.
Что проверить перед запуском
Короткий список вопросов к себе или подрядчику до того, как ИИ начнёт отвечать от имени компании.
- Откуда модель берёт цены, сроки и условия? Правильный ответ - из ваших систем или утверждённой базы.
- Что она делает, если не знает ответа? Должна передавать человеку, а не сочинять.
- Кто и как часто просматривает диалоги?
- Какие ответы отправляются только после проверки сотрудником?
- Где хранятся переписки и персональные данные клиентов и кто к ним имеет доступ?
- Как быстро можно исправить ошибку в базе и проверить, что бот её больше не повторяет?
Если на половину вопросов ответа нет, решение пока не готово к клиентам, даже если в демонстрации оно выглядело впечатляюще.
Наши работы
Сайты, которые студия уже запустила
Четыре проекта N3MIROFF, которые можно открыть прямо сейчас и посмотреть, как они работают.
Агротех с ИИ
SkyFarm ↗
Редизайн сайта систем выращивания: первый экран с контейнерной фермой, схема работы из трёх шагов, карусель продуктов и экран приложения.
Сайт салона
ayvazzovsky.com ↗
Салон сложного окрашивания в Москве: онлайн-запись, видео работ, портфолио и команда. Переехал с Тильды на свой хостинг.
Онлайн-академия
ayvazzovsky.academy ↗
Видеоуроки колористики: каталог, посадочные страницы уроков, личный кабинет и промокоды.
Event-агентство
navsegda-event.ru ↗
НАВСЕГДА: корпоративы и конференции - услуги, кейсы, этапы работы и расчёт мероприятия.
Витрина магазина
Monkey Market ↗
Премиальная витрина магазина кроссовок с заказом в Telegram.
Услуги студии по теме: разработка сайтов под ключ и SEO-продвижение статьями.
Нужен сайт, который принимает заявки, а не просто существует?
Сделаем премиальный сайт на React за 1-2 недели от материалов, с заявками в Telegram или CRM.
Частые вопросы
Можно ли найти модель, которая не выдумывает?
Нет. Более новые модели ошибаются реже, но ни одна не даёт гарантии. Защиту дают не выбор модели, а данные, на которые она опирается, и проверки на выходе.
Кто отвечает, если бот наговорил клиенту лишнего?
Для клиента - компания, от имени которой бот общается. Поэтому условия, цены и обещания боту лучше брать только из утверждённых данных, а спорные темы передавать сотруднику.
Помогает ли просьба в запросе «не выдумывай»?
Немного, но не решает проблему. Надёжнее дать модели нужные документы, запретить отвечать вне них и проверять результат. Одна фраза в инструкции не заменяет базу знаний.
Как часто проверять работу ИИ-бота?
В первые недели после запуска - каждые несколько дней по выборке диалогов. Когда ошибки станут редкими, можно перейти на еженедельную проверку и обязательную после любых изменений в прайсе или условиях.
Можно ли доверить ИИ тексты для сайта?
Как черновик - да, это экономит время. Но цифры, обещания и факты о компании должен проверять человек перед публикацией, иначе на сайт попадут преимущества и гарантии, которых у вас нет.
Разберём, где ИИ у вас может ошибиться
Посмотрим ваши сценарии, скажем, где ИИ безопасен, где нужен контроль человека, а где лучше обойтись без него.
Получить целевые заявки → Telegram