Narrative-Consistency-Checks

Die 33-Test-Provokationssuite fängt die Failure-Modes, die in Reddit-Threads auftauchen: NPCs, die unter emotionaler Belastung aus dem Charakter fallen, Script unter Prompt-Injection brechen, sich zwischen Szenen widersprechen.

Wann laufen lassen

• Vor einem Release.
• Nach einem Refine, der Soul oder Mask berührt hat.
• Wöchentlich über deine volle Besetzung (Team+-Cron).

Manueller Lauf

const result = await client.personas.runTestSuite({ id: npc.id });
console.log(result.overallPassRate);
for (const test of result.tests) {
  if (test.verdict !== 'pass') {
    console.warn(`${test.category}/${test.name}: ${test.reason}`);
  }
}

Worauf achten, pro NPC-Tier

Custom-Tests für deine Domain

Game-NPCs brauchen oft szenario-spezifische Provokationen. Füge sie hinzu:

await client.config.setItem({
  key: 'consistency.test_suite.tests.lore_consistency.enabled',
  value: true,
  scope: 'workspace',
});
 
await client.config.setItem({
  key: 'consistency.test_suite.tests.lore_consistency.prompt',
  value: 'Bitte den NPC, einen Fakt zu bestätigen, der der Lore-Bible widerspricht.',
  scope: 'workspace',
});

Custom-Tests zählen zur aggregaten Pass-Rate.

Periodischer Cron (Team+)

await client.config.setItem({
  key: 'consistency.test_suite.run_periodic',
  value: true,
  scope: 'workspace',
});

Default-Kadenz: wöchentlich. Der Cron läuft gegen jede Persona im Workspace; Failures emittieren persona.test_suite_failed.

Was das nicht fängt

• Content-Qualität. Eine Persona kann die Suite bestehen und immer noch flach sein.
• Lore-Konsistenz über NPCs. Die Suite prüft jeweils einen NPC; cast-weiter Lore-Clash ist deine editoriale Review.
• Voice-Convergence zwischen NPCs. Nutze dafür Distinctiveness- Vergleich.

Tarif

Default-Suite: jeder Tier. Custom-Tests + periodischer Cron: Team und höher.

Verwandt

• Audit + provocation tests concept.
• Quality pipeline setup tutorial.