Мы продолжаем улучшать фундаментальной работу ИИ-продажников в Pleep. В этом месяце мы внедрили архитектурные изменения, которые сильно повысили точность и безопасность диалогов.
Что было раньше: случаи с галлюцинациями
Для начала, давайте разберемся, что такое галлюцинация. Иногда ИИ может генерить правдоподобные, но ложные ответы — например, выдавать неверные названия или цены. Это базовый недостаток LLM-моделей. ИИ не «знает» факты так, как их знает человек. Он обучен предсказывать наиболее правдоподобное продолжение текста, не обязательно самое правдивое. Поэтому ИИ всегда пытается дать хоть какой-то ответ, даже если истинный ответ ему неизвестен.
Что изменилось
Мы имплементировали сложную систему защиты от галлюцинаций, чтобы практически полностью их исключить и уже повысили аккуратность ответов до 99.71% (RAGBench Evals, 1000 shots).
Это делает Pleep самым достоверным ИИ-продажником на рынке СНГ.
Уже за последние 7 дней во время теста изменений новая система помогла предотвратить 17,589 потенциально плохих ответов, которые могли не только содержать выдуманную информацию, но и просто путать цены на разные продукты.
Если ИИ не может верифицировать информацию (например, клиент написал с нестандартным вопросом), то он не выдумывает, а переводит диалог на оператора.