Benchmark
klar-bench-de: Wie gut wird ein deutsches Diktat?
Die meisten Vergleiche von Diktier-Tools messen Englisch. Wer auf Deutsch diktiert, scheitert aber an anderen Stellen: Komposita, „das“ und „dass“, Paragraphen, Datumsangaben, Sie und du. Deshalb gibt es klar-bench-de – einen offenen Benchmark für die Bereinigung deutscher Diktate.
Die Aufgabe: Aus dem Rohtext, den eine Spracherkennung liefert, soll der Text werden, den du schreiben wolltest. Ohne Füllwörter, mit aufgelösten Selbstkorrekturen, richtigen Zahlen und Namen – und ohne dass das Modell auf eine Frage im Diktat antwortet, statt sie zu schreiben.
Was drin ist
| Datei | Inhalt |
|---|---|
| Datensatz (JSONL) | 61 Fälle in 11 Kategorien, je Fall Rohtext, Referenz und Prüfungen |
| Bewertungsskript | Node.js ab Version 18, ohne Abhängigkeiten, für jedes System nutzbar |
| Anleitung | Format, Kennzahlen, eigenes System messen |
| Ergebnisse | Kennzahlen und alle Ausgaben, mit Datum |
Die Kategorien: Füllwörter · Selbstkorrekturen · gesprochene Satzzeichen · Zahlen, Datum, Geld · Namen und Wörterbuch · Komposita und Rechtschreibung · Listen und Struktur · Denglisch und Code · Antwort-Falle · Anrede und Ton · Fachsprache aus Kanzlei, Praxis und Betriebsrat.
So wird gemessen
- Prüfungen bestanden ist der Hauptwert. Ein Fall gilt als bestanden, wenn alle Pflicht-Wörter vorkommen und keins der verbotenen – zum Beispiel „Mittwoch“, aber nicht mehr „Dienstag“ nach „Dienstag, nein, Mittwoch“. Die Prüfungen fragen den Kern des Falls ab, nicht eine einzige richtige Formulierung.
- WER ist die Wortfehlerrate gegen die Referenz, ohne Groß- und Kleinschreibung und ohne Satzzeichen. Kleiner ist besser.
- Latenz zählt, wenn ein System sie mitliefert: Median und 90. Perzentil der Bereinigung.
Ergebnisse
| Datum | System | Prüfungen bestanden | WER | Ausgaben |
|---|---|---|---|---|
| 14.11.2026 | Rohtext, unverändert (Untergrenze) | 16 von 61 (26,2 %) | 32,6 % | Kennzahlen · Ausgaben |
| 14.11.2026 | Klars Regeln ohne KI (Rückfallebene) | 23 von 61 (37,7 %) | 26,6 % | Kennzahlen · Ausgaben |
Die Läufe mit KI – Klar in Pro und Flex, im Free-Tarif und mit Scaleway als Bereinigung – tragen wir hier mit Datum ein, sobald sie mit den echten Modellen gelaufen sind. Die beiden Zeilen oben sind die Messlatte: So gut ist ein Diktat ganz ohne und nur mit festen Regeln.
Regeln für ehrliche Ergebnisse
- Jedes Ergebnis erscheint mit Datum, Modell und allen Ausgaben. Jeder kann die Bewertung nachrechnen.
- Der Datensatz wird nicht nachträglich an ein System angepasst. Änderungen gibt es nur als neue Version, alte Ergebnisse bleiben stehen.
- Es zählt der erste Lauf, kein „bester von drei“.
- Wir veröffentlichen auch Werte, in denen Klar schlecht abschneidet.
Eigenes Tool messen
Schreib für jeden Fall eine Zeile {"id": "…", "output": "…"} in eine Datei und bewerte sie mit node score.mjs --pred ausgaben.jsonl --name "Mein Tool". Ergebnisse anderer Tools nehmen wir gern mit Quelle auf.
Lizenz
Datensatz und Skript stehen unter CC BY 4.0: frei nutzbar mit der Nennung „klar-bench-de, Klar (klar.bz)“.
Häufige Fragen
Warum misst Klar sich selbst?
Weil es für deutsche Diktate keinen offenen Maßstab gab. Damit das nicht zur Werbung wird, liegen Datensatz, Skript und alle Ausgaben offen – du kannst jedes Ergebnis selbst nachrechnen und jedes andere Tool damit messen.
Wie schnell ist Klar im Alltag?
Das zeigt die Seite Tempo mit echten, zusammengefassten Messwerten.