# klar-bench-de

Ein offener, reproduzierbarer Benchmark für **deutsche Diktat-Bereinigung**: Ein Rohtext, wie ihn eine
Spracherkennung liefert, soll zu dem Text werden, den man tatsächlich schreiben wollte – ohne Füllwörter, mit
aufgelösten Selbstkorrekturen, richtigen Zahlen, Namen, Satzzeichen und deutscher Rechtschreibung, und ohne dass das
Modell den Text beantwortet oder umschreibt.

Die meisten Vergleiche von Diktat-Tools messen nur Englisch. Dieser Benchmark misst Deutsch – auch die Dinge, an denen
deutsche Diktate typischerweise scheitern (Komposita, „das/dass“, Paragraphen, Datumsformate, Sie/du).

## Inhalt

| Datei | Inhalt |
|---|---|
| `data/klar-bench-de-v1.jsonl` | 61 Fälle in 11 Kategorien, eine JSON-Zeile je Fall |
| `score.mjs` | Bewertung, ohne Abhängigkeiten (Node ≥ 18). Funktioniert für jedes System |
| `results/` | Ergebnisse mit Datum: Ausgaben (`.jsonl`) und Kennzahlen (`.json`) |
| `../../apps/server/scripts/bench-de.ts` | Klars Läufer: schickt jeden Fall durch Klars echte Bereinigung |

Ein Fall:

```json
{"id": "selbstkorrektur-01", "category": "selbstkorrektur", "context": "work",
 "input": "Wir treffen uns am Dienstag nein Mittwoch um vierzehn Uhr",
 "reference": "Wir treffen uns am Mittwoch um 14 Uhr.",
 "mustContain": ["Mittwoch"], "mustNotContain": ["Dienstag"]}
```

`context` ist die Art der Ziel-App (`email`, `work`, `personal`, `code`, `other`), `dictionary` (optional) sind
Wörterbuch-Einträge, die ein System kennen darf. `note` erklärt, was außer der Referenz auch richtig ist.

## Kategorien

Füllwörter · Selbstkorrekturen · gesprochene Satzzeichen und Befehle · Zahlen, Datum, Geld, Einheiten · Namen und
Wörterbuch · Komposita und Rechtschreibung · Listen und Struktur · Denglisch und Code · Antwort-Falle (Fragen und
Anweisungen im Diktat werden geschrieben, nicht ausgeführt) · Anrede und Ton beibehalten · Fachsprache aus Kanzlei,
Praxis und Betriebsrat.

## Kennzahlen

- **Prüfungen bestanden** (Hauptwert): Ein Fall ist bestanden, wenn jede Pflicht-Zeichenkette vorkommt und keine
  verbotene. Die Prüfungen sind bewusst eng gefasst – sie prüfen den Kern des Falls (z. B. „Mittwoch“ statt „Dienstag“),
  nicht die eine richtige Formulierung.
- **WER**: Wortfehlerrate gegen die Referenz (klein geschrieben, ohne Satzzeichen).
- **CER streng**: Zeichenfehlerrate mit Groß-/Kleinschreibung und Satzzeichen.
- **Latenz**: Median und p90 der Bereinigung, falls ein System sie mitliefert.

## Eigenes System messen

```bash
# 1. Für jeden Fall eine Zeile {"id": "…", "output": "…", "latencyMs": 123} schreiben (latencyMs optional)
# 2. Bewerten:
node score.mjs --pred meine-ausgaben.jsonl --name "Mein System" --json mein-ergebnis.json
```

## Klar messen

```bash
# Keys in apps/server/.env (CEREBRAS_API_KEY, GROQ_API_KEY, MISTRAL_API_KEY …)
pnpm --filter @klar/server bench:de -- --systems raw,rules,standard,economy,eu --runs 3
```

`standard` ist Klar für Pro/Flex, `economy` für Free und den Pro-Test, `eu` der Komplett-EU-Modus – jeweils mit Klars
echtem Prompt, Fristen und Fallbacks. Einzelne Modelle lassen sich mit ihrem Namen messen (`cerebras`, `groq-20b`,
`mistral`, `scaleway` …).

## Regeln für ehrliche Ergebnisse

1. Ergebnisse werden **mit Datum, Modell und Ausgaben** veröffentlicht – jeder kann die Bewertung nachrechnen.
2. Der Datensatz wird nicht nachträglich an ein System angepasst. Änderungen gibt es nur als neue Version (`v2`);
   alte Ergebnisse bleiben stehen.
3. Es zählt der erste Lauf, kein „bester von drei“.
4. Klar veröffentlicht auch Werte, in denen Klar schlecht abschneidet.

## Bisherige Ergebnisse

| Datum | System | Prüfungen bestanden | WER |
|---|---|---|---|
| 14.11.2026 | Rohtext (unverändert, Untergrenze) | 16/61 (26,2 %) | 32,6 % |
| 14.11.2026 | Klar-Regeln ohne KI (Rückfallebene) | 23/61 (37,7 %) | 26,6 % |

Die Läufe mit KI (Klar Standard, Free, EU-Modus) folgen, sobald sie mit den Produktions-Keys gelaufen sind.

## Lizenz

Datensatz und Skript: CC BY 4.0 – frei nutzbar mit Nennung „klar-bench-de, Klar (klar.bz)“.
