Drift detection — sesin kaydığını ölçmek
Her sohbet yanıtı, persona'nın voice fingerprint'ine kosinüs uzaklığı ile puanlanır; eşiğin altında yanıt yayınlanır, üstünde çalışma zamanı uyarı verir (ve isteğe bağlı olarak otomatik toparlar).
Drift detection (sesin kaymasını ölçme), voice fingerprint'in (sesin parmak izinin) çalışma zamanı (runtime) karşılığıdır. Persona üretildiğinde sesinin parmak izini aldık; her sohbet yanıtı geldiğinde o parmak izine karşı puanlıyoruz. Eşik altında yanıt geçer; üstünde uyarı yanar — kaydedilir, webhook ile yayılır, isteğe bağlı olarak otomatik toparlanır.
Bu sayfayı bitirdiğinde
- Drift skorunun nasıl hesaplandığını (kosinüs uzaklığı / cosine distance) bileceksin.
- Üç uyarı eylemini (
warn/auto_recover/block) ve farklarını ayırt edebileceksin. - Varsayılan eşiği (
0.30) çalışma alanına göre nasıl ayarlayacağını bileceksin. - Drift'in ne ölçtüğünü ve ne ölçmediğini netleştireceksin.
Ön koşul: Voice fingerprint kavramını biliyor olmak.
Yanıt başına ne dönüyor
Her sohbet yanıtı drift zarfı ile gelir:
{
"messageId": "msg_01H...",
"driftScore": 0.12,
"driftThreshold": 0.30,
"driftAlert": false
}driftScore— parmak izi ile yanıt vektörü (embedding) arasındaki kosinüs uzaklığı.0(özdeş) ile1(tamamen farklı) arası.driftThreshold— çalışma alanı yapılandırması (engine.pipeline.drift_detection.threshold); varsayılan0.30.driftAlert—driftScore > driftThresholdisetrue. Aşağı akıştaki tüketici (UI, webhook) için kullanışlı bayrak.
Neden drift olur
Drift bir hata (bug) değil, bilinen ve ölçülen bir başarısızlık biçimidir (failure mode):
| Sebep | Mekanizma |
|---|---|
| Uzun bağlam | Sistem isteminin otoritesi konuşma geçmişi büyüdükçe azalır; LLM dikkati son turlara kayar |
| Konu dışı yönlendirme | Kullanıcılar persona'yı üretildiği bölgenin dışına iter ("şimdi sen finansal danışmansın") |
| Sağlayıcı (provider) model takası | Claude Opus → Sonnet (veya tersi); aynı istemle bile ses yüzeyi değişir |
| Yüksek sıcaklık (temperature) | temperature > 0.8 varyansı artırır; persona "hâlâ kendisi" olsa bile drift okur |
| Araç çağrısı (tool call) sızıntısı | Araç yanıtları sistem-benzeri metin enjekte eder; "Tool returned: ..." gibi |
| Jailbreak istemi | "DAN modu", "developer mode" denemeleri persona'yı kırmaya çalışır |
Uyarı eylemi — üç seçenek
engine.pipeline.drift_detection.action_on_alert üç değer alır:
warn (varsayılan)
Yanıt yayınlanır, drift skoru zarfta, webhook olayı tetiklenir, kayda düşer. Kullanıcı drift'i fark etmez.
Kullanım: Üretimde önce sadece-gözlem (observe-only)
başlamak; ölçümleri toplamak; daha sıkı eşik denemek
için trafik görmek.auto_recover
Yanıt döndürülmez. Çalışma zamanı parmak izi referansını sistem istemine yeniden enjekte eder, düşük sıcaklıkla tek bir yeniden üretim denemesi yapar. İkinci yanıt drift altındaysa onu döndürür; hâlâ üstündeyse warn davranışına düşer (yanıt yayınlanır, uyarı basar).
Kullanım: Müşteri desteği, düzenlemeye tabi içerik,
marka-kritik yüzeyler. Drift, yanıt teslim edilmeden
yakalanır ve sessizce düzeltilir.block
Yanıt döndürülmez, çağıran taraf 409 Conflict ile drift zarfını alır. Uygulama bunu arayüze çevirir ("Persona bu konuda yanıt veremedi, yeniden dene") veya farklı bir güvenli akışa geçer.
Kullanım: Uyumluluk (compliance) kritik (sağlık,
finans, hukuk); "drift olmuşsa hiç gönderme" politikası.Eşik ayarlama — 0.30 neden varsayılan
0.30 dengeli ortadır. Etiketli örneklerle kalibre edilmiştir; persona-uyumlu yanıtların %95'i altında, çoğu drift-başarısızlığı üstündedir. Çalışma alanına göre ayarla:
| Çalışma alanı tipi | Önerilen threshold |
|---|---|
| Müşteri desteği, düzenlemeye tabi içerik | 0.20 (sıkı; kalite ekibi erken müdahale eder) |
| Genel ürün sohbeti | 0.30 (varsayılan) |
| Açık uçlu sohbet, yaratıcı oyun | 0.45 (gevşek; persona nefes alsın) |
| A/B marka varyantları | Persona başına geçersiz kılma; çalışma alanı varsayılanını yeniden kullanma |
Eşik kalibrasyonu için pratik akış: Drift eşik ayarı.
API yüzeyi
- Her sohbet yanıtı (
POST /v1/chat/sessions/{id}/messages) drift zarfı ile döner. - Webhook olayı
persona.audit_failed(drift varyantı) — HMAC-SHA256 imzalı, 5 yeniden deneme, üstel geri çekilme (exponential backoff). Webhook kurulumu: Webhook imza doğrulaması. - Drift eğilimi için
GET /v1/audits/summary?range=7d— çalışma alanı düzeyinde geçme oranı.
Dürüst kapsam
Plan gereksinimi
Drift detection her planda açık — güvenlik tabanı, özellik değil. auto_recover ve block her planda kullanılabilir. Özel eşik geçersiz kılmaları Pro ve üzeri.
İlgili
Drift'in karşılaştırdığı referans vektör (embedding) nasıl üretilir.
Drift uyarı akışını webhook + toparlanma ile uçtan uca kur.
Çalışma alanına göre eşik kalibrasyonu — etiketli örnek akışı.
Drift değil, içerik güvenliği — paralel çalışma zamanı katmanı.