Разрыв между демо и продуктом

Мы видим один и тот же паттерн. Компания покупает подписку на LLM, делает демо «на своих данных» — всё работает. Через полгода проект мёртв. Ни одна метрика бизнеса не сдвинулась.

Причина не в модели. Модели сейчас достаточно хороши. Причина — в зоне, которую никто не хочет делать: данные, интеграции и SLA.

Данные. Чтобы агент работал, ему нужны актуальные данные в удобном формате. Это значит: ETL, контроль качества, обновление, исторический слой, доступ. Это не неделя — это месяцы. В демо эти данные подготовлены вручную. В бою — никто их не готовит.

Интеграции. Агент, который ничего не умеет записать в CRM, отправить в почту, положить в файл, — это LLM-чат, а не продукт. Интеграции — это 30—50% кода проекта. И именно они ломаются в продакшене.

SLA. Агент будет ошибаться. Вопрос — кто это замечает и как быстро чинит. В демо «ошибки модели» — это забавный скриншот. В продакшене — это сорванная сделка, потерянный клиент или регуляторный штраф. Мониторинг, алерты, откат, human-in-the-loop — это часть продукта, а не «добавим потом».

Когда мы начинаем проект — первый разговор не про модель. Про то, какие у вас данные, в каких системах они лежат, как их выгружать, кто отвечает за их качество, что происходит в 2 часа ночи, если агент перестал отвечать. Если вы слышите такие вопросы — вы работаете с инженерами продукта. Если только про промпты — вы работаете с демо.