AI sözleşmesinde metrik: baseline, kabul ve rollback
AI sözleşmesindeki metrik ancak baseline, kesin hesaplama, veri kaynağı ve kabul prosedürüyle çalışır. Belge model kalitesi ile iş sonucunu ayırmalı; sahip, istisna, izleme ve sürüm değişimini tanımlamalıdır. Sonuç tekrarlanamıyor veya güvenle geri alınamıyorsa biçimsel sayı iki tarafı da korumaz. Bu sınır açıkça belgelenir.
Önemli çıkarımlar
- —Baseline ve örneklem kabulün parçası olur.
- —Metrik formülü dahil etme, dışlama ve yuvarlamayı tanımlar.
- —Model puanı iş sonucunun yerini tutmaz.
- —Model değişikliği kararlaştırılmış yeniden testi başlatır.
- —Rollback ve veri sahipliği yayından önce belirlenir.
Baseline başlangıç sistemini kaydeder
Mevcut süreç, dönem, hacim, görev türü, insan kararı, hata ve maliyeti açıklayın. Kaynak örneklem ve etiketleme kurallarını saklayın. Baseline olmadan çözüm etkisi mevsimsellik, ekip veya talep değişiminden ayrılamaz. Task control hizmeti sonuç ölçütünü gözlenebilir durum ve sahipliğe dönüştürür.
Metrik tanımı belirsizliği kaldırır
Gözlem birimi, formül, kaynak, ölçüm penceresi, istisna, eksik veri ve yuvarlamayı belirtin. Hatanın tanımını ve anlaşmazlık sahibini yazın. İnsan değerlendirmesi varsa rubric, örnek ve inceleyen uyuşmazlığı sürecini ekleyin. AI uygulama rehberi metriği süreç sahibine bağlar.
Sözleşme eki kontrol listesi
- Süreç amacı ve kabul edilmeyen sonuç.
- Baseline, veri sürümü ve örnekleme kuralı.
- Formül, kaynak ve metrik sahibi.
- Kabul seti ve bağımsız doğrulama.
- SLO, izleme, raporlama ve olay müdahalesi.
- Veri, log, model ve türetilmiş varlık hakları.
- Değişiklik kontrolü, yeniden test, rollback ve erişim sonlandırma.
Kabul model ile iş sonucunu ayırır
Önce kararlaştırılmış örneklemde teknik kalite, sonra tanımlı koşullarda sınırlı süreç sonucu doğrulanır. Tek model metriği iş etkisini garanti edemez; uygulama ve kullanıcı davranışı da etkilidir. NIST AI RMF yaşam döngüsü boyunca ölçüm ve risk yönetimini yapılandırır.[1]
Model değişikliği yeniden test gerektirir
Model sürümü, prompt, bilgi tabanı, araç ve politika sonucu etkiler. Sözleşme önemli değişikliği, onay yetkisini ve hangi kabul testinin tekrarlanacağını tanımlar. Public legal-agent vakası alan odaklı hukuk akışını gösterir; koşulların yargı ve satın alma bağlamına uyarlanmasının yerini tutmaz.
Sınırlamalar ve hata türleri
Veri erişimi olmayan metrik, eğitim örnekleminde kabul, tek taraflı model değişimi ve sağlayıcının kontrol etmediği sonuç yükümlülüğü risklidir. Sözleşme teknik kontrolün yerini tutmaz. Rollback, veri dışa aktarma ve anahtar iptali genel ifade değil test edilebilir eylem olmalıdır.[1]
Sık sorulan sorular
Uygulama nereden başlamalı?
Dar görev, baseline, süreç sahibi ve güvenli manuel fallback ile başlayın. Mimariyi veri, eylem ve hata sonucu tanımlandıktan sonra seçin.
Hangi metrik yeterlidir?
Yeterli metrik kabul edilen yararlı sonuca bağlıdır; kaynağı, formülü, sahibi ve istisna kuralı vardır.
Otomasyon ne zaman durmalı?
Bilinmeyen durum, onaysız eylem, erişim ihlali, kalite düşüşü veya güvenli rollback yokluğunda durdurun.
Kaynaklar ve kanıtlar
- 1.AI Risk Management Framework — AI risk ve sorumluluk çerçevesi.
- 2.Guidelines for AI procurement — AI satın alma, şeffaflık ve sorumluluk bağlamı.
- 3.OECD AI Principles — Sağlam, şeffaf ve sorumlu AI ilkeleri.
- 4.Secure Software Development Framework — Değişiklik kontrolü ve güvenli yaşam döngüsü.