Uygulamayı aç
Moonborn — Developers

Drift detection — sesin kaydığını ölçmek

Her sohbet yanıtı, persona'nın voice fingerprint'ine kosinüs uzaklığı ile puanlanır; eşiğin altında yanıt yayınlanır, üstünde çalışma zamanı uyarı verir (ve isteğe bağlı olarak otomatik toparlar).

Drift detection (sesin kaymasını ölçme), voice fingerprint'in (sesin parmak izinin) çalışma zamanı (runtime) karşılığıdır. Persona üretildiğinde sesinin parmak izini aldık; her sohbet yanıtı geldiğinde o parmak izine karşı puanlıyoruz. Eşik altında yanıt geçer; üstünde uyarı yanar — kaydedilir, webhook ile yayılır, isteğe bağlı olarak otomatik toparlanır.

Bu sayfayı bitirdiğinde

  • Drift skorunun nasıl hesaplandığını (kosinüs uzaklığı / cosine distance) bileceksin.
  • Üç uyarı eylemini (warn / auto_recover / block) ve farklarını ayırt edebileceksin.
  • Varsayılan eşiği (0.30) çalışma alanına göre nasıl ayarlayacağını bileceksin.
  • Drift'in ne ölçtüğünü ve ne ölçmediğini netleştireceksin.

Ön koşul: Voice fingerprint kavramını biliyor olmak.

Yanıt başına ne dönüyor

Her sohbet yanıtı drift zarfı ile gelir:

{
  "messageId": "msg_01H...",
  "driftScore": 0.12,
  "driftThreshold": 0.30,
  "driftAlert": false
}
  • driftScore — parmak izi ile yanıt vektörü (embedding) arasındaki kosinüs uzaklığı. 0 (özdeş) ile 1 (tamamen farklı) arası.
  • driftThreshold — çalışma alanı yapılandırması (engine.pipeline.drift_detection.threshold); varsayılan 0.30.
  • driftAlertdriftScore > driftThreshold ise true. Aşağı akıştaki tüketici (UI, webhook) için kullanışlı bayrak.

Neden drift olur

Drift bir hata (bug) değil, bilinen ve ölçülen bir başarısızlık biçimidir (failure mode):

SebepMekanizma
Uzun bağlamSistem isteminin otoritesi konuşma geçmişi büyüdükçe azalır; LLM dikkati son turlara kayar
Konu dışı yönlendirmeKullanıcılar persona'yı üretildiği bölgenin dışına iter ("şimdi sen finansal danışmansın")
Sağlayıcı (provider) model takasıClaude Opus → Sonnet (veya tersi); aynı istemle bile ses yüzeyi değişir
Yüksek sıcaklık (temperature)temperature > 0.8 varyansı artırır; persona "hâlâ kendisi" olsa bile drift okur
Araç çağrısı (tool call) sızıntısıAraç yanıtları sistem-benzeri metin enjekte eder; "Tool returned: ..." gibi
Jailbreak istemi"DAN modu", "developer mode" denemeleri persona'yı kırmaya çalışır

Uyarı eylemi — üç seçenek

engine.pipeline.drift_detection.action_on_alert üç değer alır:

warn (varsayılan)

Yanıt yayınlanır, drift skoru zarfta, webhook olayı tetiklenir, kayda düşer. Kullanıcı drift'i fark etmez.

Kullanım: Üretimde önce sadece-gözlem (observe-only)
başlamak; ölçümleri toplamak; daha sıkı eşik denemek
için trafik görmek.

auto_recover

Yanıt döndürülmez. Çalışma zamanı parmak izi referansını sistem istemine yeniden enjekte eder, düşük sıcaklıkla tek bir yeniden üretim denemesi yapar. İkinci yanıt drift altındaysa onu döndürür; hâlâ üstündeyse warn davranışına düşer (yanıt yayınlanır, uyarı basar).

Kullanım: Müşteri desteği, düzenlemeye tabi içerik,
marka-kritik yüzeyler. Drift, yanıt teslim edilmeden
yakalanır ve sessizce düzeltilir.

block

Yanıt döndürülmez, çağıran taraf 409 Conflict ile drift zarfını alır. Uygulama bunu arayüze çevirir ("Persona bu konuda yanıt veremedi, yeniden dene") veya farklı bir güvenli akışa geçer.

Kullanım: Uyumluluk (compliance) kritik (sağlık,
finans, hukuk); "drift olmuşsa hiç gönderme" politikası.

Eşik ayarlama — 0.30 neden varsayılan

0.30 dengeli ortadır. Etiketli örneklerle kalibre edilmiştir; persona-uyumlu yanıtların %95'i altında, çoğu drift-başarısızlığı üstündedir. Çalışma alanına göre ayarla:

Çalışma alanı tipiÖnerilen threshold
Müşteri desteği, düzenlemeye tabi içerik0.20 (sıkı; kalite ekibi erken müdahale eder)
Genel ürün sohbeti0.30 (varsayılan)
Açık uçlu sohbet, yaratıcı oyun0.45 (gevşek; persona nefes alsın)
A/B marka varyantlarıPersona başına geçersiz kılma; çalışma alanı varsayılanını yeniden kullanma

Eşik kalibrasyonu için pratik akış: Drift eşik ayarı.

API yüzeyi

  • Her sohbet yanıtı (POST /v1/chat/sessions/{id}/messages) drift zarfı ile döner.
  • Webhook olayı persona.audit_failed (drift varyantı) — HMAC-SHA256 imzalı, 5 yeniden deneme, üstel geri çekilme (exponential backoff). Webhook kurulumu: Webhook imza doğrulaması.
  • Drift eğilimi için GET /v1/audits/summary?range=7d — çalışma alanı düzeyinde geçme oranı.

Dürüst kapsam

Plan gereksinimi

Drift detection her planda açık — güvenlik tabanı, özellik değil. auto_recover ve block her planda kullanılabilir. Özel eşik geçersiz kılmaları Pro ve üzeri.

İlgili

Voice fingerprint

Drift'in karşılaştırdığı referans vektör (embedding) nasıl üretilir.

Open →
Voice drift'i ele al

Drift uyarı akışını webhook + toparlanma ile uçtan uca kur.

Open →
Drift eşik ayarı

Çalışma alanına göre eşik kalibrasyonu — etiketli örnek akışı.

Open →
Moderasyon hattı

Drift değil, içerik güvenliği — paralel çalışma zamanı katmanı.

Open →