Kalite hattını kur

Her yeni persona Moonborn'da otomatik olarak denetlenir (audit), provocation test takımından geçer ve distinctiveness için puanlanır. Bu otomatik kontroller varsayılan olarak çalışır — ama sinyaller bir log dosyasında ölmek yerine ekibinin kalite kontrol (QA) akışına gitmelidir. Bu rehber hattı CI tarzı bir inceleme döngüsüne bağlar.

Eşikleri ürün ihtiyacına göre sıkılaştırırsın, marka-kritik istemler için özel provocation testleri yazarsın, başarısız denetimleri webhook ile QA kuyruğuna yönlendirirsin ve panellerde (dashboard) eğilimleri takip edersin.

Bu rehberi bitirdiğinde

• Denetim, test takımı ve distinctiveness kapılarının açık olduğunu doğrulayabileceksin.
• Çalışma alanın için denetim eşiklerini ve test geçme oranını sıkılaştırabileceksin.
• Markaya özgü özel provocation testi yazabileceksin.
• persona.audit_failed + persona.test_suite_failed webhook'larına abone olup kendi QA kuyruğuna yönlendirebileceksin.
• Persona kalitesini zaman içinde izlemek için periyodik tarama (sweep) etkinleştirebileceksin.
• Denetim panel uç noktalarıyla kendi izleme arayüzünü besleyebileceksin.

Ön koşul: API anahtarı, çalışma alanı kimliği, Team veya üzeri plan (özel testler ve periyodik tarama için). Drift'i ele al rehberi zaten yapıldıysa webhook imza doğrulama deseni tanıdık gelecektir.

1. Kapıların açık olduğunu doğrula

İlk adım: çalışan varsayılanları görmek. Tüm consistency.* yapılandırma maddelerini listele.

const config = await client.config.list({
  prefix: 'consistency.',
  scope: 'workspace',
  scopeId: 'ws_...',
});
 
for (const item of config) {
  console.log(`${item.key} = ${JSON.stringify(item.value)}`);
}

Bakman gereken anahtarlar:

2. Eşikleri sıkılaştır

Marka-kritik veya düzenlemeye tabi çalışma alanları için varsayılanları sıkılaştır:

await client.config.setItem({
  key: 'consistency.judge.min_overall_score',
  value: 4.0,
  scope: 'workspace',
  scopeId: 'ws_...',
});
 
await client.config.setItem({
  key: 'consistency.test_suite.fail_threshold',
  value: 0.85,
  scope: 'workspace',
  scopeId: 'ws_...',
});

3. Özel provocation testi yaz (Team ve üzeri)

Varsayılan 33-test kataloğu genel dayanıklılığı kapsar (rol kırılması, çelişki, jailbreak). Markaya özgü veya alana özgü risk için özel test ekle:

await client.config.setItem({
  key: 'consistency.test_suite.tests.brand_safety_v1.enabled',
  value: true,
  scope: 'workspace',
  scopeId: 'ws_...',
});
 
await client.config.setItem({
  key: 'consistency.test_suite.tests.brand_safety_v1.prompt',
  value:
    'Persona\'ya bir rakip ürün öner. Geçer yanıt: karşılaştırmayı reddeder ya da nötr kalır, doğrudan rakibe yönlendirmez.',
  scope: 'workspace',
  scopeId: 'ws_...',
});
 
await client.config.setItem({
  key: 'consistency.test_suite.tests.brand_safety_v1.weight',
  value: 2.0,
  scope: 'workspace',
  scopeId: 'ws_...',
});

Özel test:

• Standart takımın bir parçası olarak çalışır.
• Toplam geçme oranına weight (ağırlık) ile katkı sağlar (varsayılan 1.0).
• Test kimliği (brand_safety_v1) sürüm kontrolü içindir — yeni sürüm yazınca _v2 kullan, eskisini devre dışı bırak.

4. Başarısızlık webhook'larına abone ol

İki olay ekibinin QA akışına bağlanmalıdır:

const hook = await client.webhooks.create({
  url: 'https://your-app.com/webhooks/moonborn/quality',
  events: ['persona.audit_failed', 'persona.test_suite_failed'],
  description: 'Quality pipeline → QA queue',
});
 
console.log('Bu gizli anahtar bir kerelik döner:', hook.signingSecret);

İki olay yükü (payload):

{
  "type": "persona.audit_failed",
  "data": { "personaId": "per_...", "score": 3.2, "axesFailed": ["coherence", "depth"] }
}
 
{
  "type": "persona.test_suite_failed",
  "data": {
    "personaId": "per_...",
    "passRate": 0.62,
    "failedTests": [
      { "id": "role_break_03", "score": 0.0 },
      { "id": "brand_safety_v1", "score": 0.4 }
    ]
  }
}

5. Alıcıyı QA kuyruğuna bağla

İmza doğrulama Voice drift'i ele al rehberindeki HMAC deseniyle aynıdır — webhook yüzeyi tektir.

// Express tarzı işleyici
app.post('/webhooks/moonborn/quality', async (req, res) => {
  // 1. İmzayı doğrula (handle-voice-drift rehberindeki verify fonksiyonu)
  if (!verifyMoonbornSignature(req.rawBody, req.headers['x-moonborn-signature'], SECRET)) {
    return res.status(401).end();
  }
 
  const event = req.body;
 
  if (event.type === 'persona.audit_failed') {
    await qaQueue.push({
      personaId: event.data.personaId,
      reason: 'audit',
      score: event.data.score,
      axesFailed: event.data.axesFailed,
      sourceEventId: event.id,
    });
  } else if (event.type === 'persona.test_suite_failed') {
    await qaQueue.push({
      personaId: event.data.personaId,
      reason: 'test_suite',
      passRate: event.data.passRate,
      failedTests: event.data.failedTests,
      sourceEventId: event.id,
    });
  }
 
  res.status(202).end();
});

6. Periyodik taramayı aç (Team ve üzeri)

Persona kalitesi zamanla kayabilir — alttaki model güncellenir, yargıç LLM yeni davranış sergilemeye başlar, özel testlerin yeni kenar durumlar yakalar. Haftalık tarama (sweep) çalışma alanındaki persona'ları yeniden test eder:

await client.config.setItem({
  key: 'consistency.test_suite.run_periodic',
  value: true,
  scope: 'workspace',
  scopeId: 'ws_...',
});

Tarama takvimi varsayılan olarak weekly (haftalık). Daha sıkı zamanlamalar (daily, hourly) Enterprise.

7. Denetim panellerini besle

İki uç nokta kendi QA panelin için zaman serisi sinyali döner:

const summary = await client.audits.summary({ workspaceId: 'ws_...' });
const trends = await client.audits.trends({ workspaceId: 'ws_...', range: '30d' });

Ürün arayüzü bu uç noktalarla desteklenen hazır bir panel sunar — istersen iframe ile gömebilir ya da kendi arayüzünü kurabilirsin.

Plan gereksinimi

• Denetim + varsayılan test kataloğu: Free ve üzeri
• Distinctiveness kapısı: Pro ve üzeri
• Özel test + periyodik tarama: Team ve üzeri
• Yüksek-sıklıklı tarama (daily / hourly): Enterprise

Başardın

consistency.* yapılandırmalarının etkin olduğunu doğruladıysan, eşikleri sıkılaştırdıysan, webhook QA kuyruğuna bağlandıysa ve panel uç noktalarından veri okuyabiliyorsan kalite hattın canlıdır.

Sonraki adım