Benchmark

klar-bench-de: Wie gut wird ein deutsches Diktat?

Die meisten Vergleiche von Diktier-Tools messen Englisch. Wer auf Deutsch diktiert, scheitert aber an anderen Stellen: Komposita, „das“ und „dass“, Paragraphen, Datumsangaben, Sie und du. Deshalb gibt es klar-bench-de – einen offenen Benchmark für die Bereinigung deutscher Diktate.

Die Aufgabe: Aus dem Rohtext, den eine Spracherkennung liefert, soll der Text werden, den du schreiben wolltest. Ohne Füllwörter, mit aufgelösten Selbstkorrekturen, richtigen Zahlen und Namen – und ohne dass das Modell auf eine Frage im Diktat antwortet, statt sie zu schreiben.

Was drin ist

DateiInhalt
Datensatz (JSONL)61 Fälle in 11 Kategorien, je Fall Rohtext, Referenz und Prüfungen
BewertungsskriptNode.js ab Version 18, ohne Abhängigkeiten, für jedes System nutzbar
AnleitungFormat, Kennzahlen, eigenes System messen
ErgebnisseKennzahlen und alle Ausgaben, mit Datum

Die Kategorien: Füllwörter · Selbstkorrekturen · gesprochene Satzzeichen · Zahlen, Datum, Geld · Namen und Wörterbuch · Komposita und Rechtschreibung · Listen und Struktur · Denglisch und Code · Antwort-Falle · Anrede und Ton · Fachsprache aus Kanzlei, Praxis und Betriebsrat.

So wird gemessen

Ergebnisse

DatumSystemPrüfungen bestandenWERAusgaben
14.11.2026Rohtext, unverändert (Untergrenze)16 von 61 (26,2 %)32,6 %Kennzahlen · Ausgaben
14.11.2026Klars Regeln ohne KI (Rückfallebene)23 von 61 (37,7 %)26,6 %Kennzahlen · Ausgaben

Die Läufe mit KI – Klar in Pro und Flex, im Free-Tarif und mit Scaleway als Bereinigung – tragen wir hier mit Datum ein, sobald sie mit den echten Modellen gelaufen sind. Die beiden Zeilen oben sind die Messlatte: So gut ist ein Diktat ganz ohne und nur mit festen Regeln.

Regeln für ehrliche Ergebnisse

  1. Jedes Ergebnis erscheint mit Datum, Modell und allen Ausgaben. Jeder kann die Bewertung nachrechnen.
  2. Der Datensatz wird nicht nachträglich an ein System angepasst. Änderungen gibt es nur als neue Version, alte Ergebnisse bleiben stehen.
  3. Es zählt der erste Lauf, kein „bester von drei“.
  4. Wir veröffentlichen auch Werte, in denen Klar schlecht abschneidet.

Eigenes Tool messen

Schreib für jeden Fall eine Zeile {"id": "…", "output": "…"} in eine Datei und bewerte sie mit node score.mjs --pred ausgaben.jsonl --name "Mein Tool". Ergebnisse anderer Tools nehmen wir gern mit Quelle auf.

Lizenz

Datensatz und Skript stehen unter CC BY 4.0: frei nutzbar mit der Nennung „klar-bench-de, Klar (klar.bz)“.

Auf die Warteliste Kostenlos starten Kostenlos starten Zum Konto Download Zum Konto

Häufige Fragen

Warum misst Klar sich selbst?

Weil es für deutsche Diktate keinen offenen Maßstab gab. Damit das nicht zur Werbung wird, liegen Datensatz, Skript und alle Ausgaben offen – du kannst jedes Ergebnis selbst nachrechnen und jedes andere Tool damit messen.

Wie schnell ist Klar im Alltag?

Das zeigt die Seite Tempo mit echten, zusammengefassten Messwerten.