Demo ile ürün arasındaki uçurum

Aynı kalıbı defalarca görüyoruz. Bir şirket bir LLM aboneliği alıyor, "kendi verimiz üzerinde" bir demo yapıyor — her şey çalışıyor. Altı ay sonra proje ölmüş oluyor. Tek bir iş metriği bile kıpırdamadı.

Sorun model değil. Modeller bugün yeterince iyi. Sorun, kimsenin sahiplenmek istemediği alan: veri, entegrasyonlar ve SLA.

Veri. Bir ajanın çalışması için, kullanılabilir bir formatta güncel veriye ihtiyacı vardır. Bu, ETL, kalite kontrolü, yenileme, tarihsel katman, erişim kontrolü demektir. Bir hafta değil — aylar. Demo'da bu veri elle hazırlanır. Production'da kimse hazırlamaz.

Entegrasyonlar. CRM'e yazamayan, e-posta gönderemeyen, dosya bırakamayan bir ajan — bir ürün değil, bir LLM sohbetidir. Entegrasyonlar, kod tabanının %30—50'sidir. Ve production'da bozulan da budur.

SLA. Ajanlar hata yapacaktır. Soru şu: kim fark ediyor ve ne kadar hızlı düzeltiliyor. Bir demo'da "model hataları" komik bir ekran görüntüsüdür. Production'da ise bunlar; kaçan bir anlaşma, kaybedilen bir müşteri veya düzenleyici bir cezadır. İzleme, uyarılar, geri alma (rollback), human-in-the-loop — bunlar ürünün bir parçasıdır, "sonra ekleriz" değil.

Bir projeye başladığımızda, ilk konuşma model hakkında değildir. Hangi verilere sahip olduğunuz, bunları hangi sistemlerin tuttuğu, nasıl çıkarılacağı, kalitesinden kimin sorumlu olduğu, ajan yanıt vermeyi bırakırsa gece 2'de ne olacağı hakkındadır. Bunun gibi sorular duyuyorsanız — ürün mühendisleriyle çalışıyorsunuz. Yalnızca prompt'larsa — bir demo ile çalışıyorsunuz.