{
  "benchmark": "klar-bench-de",
  "version": "v1",
  "system": "raw",
  "date": "2026-11-14",
  "runs": 1,
  "providers": [],
  "cases": 61,
  "answered": 61,
  "passRate": 0.262,
  "passed": 16,
  "wer": 0.326,
  "cerStrict": 0.34,
  "latencyMs": null,
  "perCategory": {
    "fuellwoerter": {
      "cases": 6,
      "passed": 0,
      "passRate": 0
    },
    "selbstkorrektur": {
      "cases": 7,
      "passed": 0,
      "passRate": 0
    },
    "satzzeichen": {
      "cases": 6,
      "passed": 0,
      "passRate": 0
    },
    "zahlen": {
      "cases": 8,
      "passed": 2,
      "passRate": 0.25
    },
    "woerterbuch": {
      "cases": 7,
      "passed": 2,
      "passRate": 0.286
    },
    "rechtschreibung": {
      "cases": 7,
      "passed": 1,
      "passRate": 0.143
    },
    "struktur": {
      "cases": 3,
      "passed": 1,
      "passRate": 0.333
    },
    "denglisch": {
      "cases": 4,
      "passed": 2,
      "passRate": 0.5
    },
    "antwortfalle": {
      "cases": 5,
      "passed": 4,
      "passRate": 0.8
    },
    "anrede": {
      "cases": 4,
      "passed": 3,
      "passRate": 0.75
    },
    "fachsprache": {
      "cases": 4,
      "passed": 1,
      "passRate": 0.25
    }
  },
  "failures": [
    {
      "id": "fuellwoerter-01",
      "missing": [],
      "forbidden": [
        "Ähm",
        "äh",
        " also "
      ],
      "output": "Ähm also ich wollte nur kurz Bescheid geben dass das Meeting äh morgen um zehn stattfindet"
    },
    {
      "id": "fuellwoerter-02",
      "missing": [],
      "forbidden": [
        "Hm",
        " halt "
      ],
      "output": "Hm ja ich komm dann halt so gegen acht vorbei okay"
    },
    {
      "id": "fuellwoerter-03",
      "missing": [],
      "forbidden": [
        "ähm",
        "äh",
        "sozusagen"
      ],
      "output": "Sehr geehrter Herr Wagner ähm vielen Dank für Ihre schnelle Antwort äh wir melden uns dann sozusagen bis Freitag"
    },
    {
      "id": "fuellwoerter-04",
      "missing": [],
      "forbidden": [
        "ähm"
      ],
      "output": "Also eigentlich ist das Budget ähm schon freigegeben wir warten nur noch auf die Unterschrift"
    },
    {
      "id": "fuellwoerter-05",
      "missing": [],
      "forbidden": [
        "ähm",
        "wo war ich"
      ],
      "output": "Ähm ähm wo war ich ach ja die Lieferung kommt am Montag"
    },
    {
      "id": "fuellwoerter-06",
      "missing": [],
      "forbidden": [
        "quasi",
        "Genau also"
      ],
      "output": "Genau also der Plan ist quasi dass wir erst das Backend fertig machen und dann das Frontend"
    },
    {
      "id": "selbstkorrektur-01",
      "missing": [],
      "forbidden": [
        "Dienstag"
      ],
      "output": "Wir treffen uns am Dienstag nein Mittwoch um vierzehn Uhr"
    },
    {
      "id": "selbstkorrektur-02",
      "missing": [],
      "forbidden": [
        "Becker",
        "Entschuldigung"
      ],
      "output": "Bitte schicken Sie die Unterlagen an Frau Becker äh Entschuldigung an Frau Brenner"
    },
    {
      "id": "selbstkorrektur-03",
      "missing": [],
      "forbidden": [
        "sieben also"
      ],
      "output": "Ich bin um sieben also eher halb acht da"
    },
    {
      "id": "selbstkorrektur-04",
      "missing": [
        "2,5 Millionen Euro"
      ],
      "forbidden": [
        "warte"
      ],
      "output": "Der Umsatz lag bei zwei Komma drei warte zwei Komma fünf Millionen Euro"
    },
    {
      "id": "selbstkorrektur-05",
      "missing": [],
      "forbidden": [
        "Marketing",
        "ich meine"
      ],
      "output": "Schick das bitte an das Marketing Team ich meine an das Vertriebsteam"
    },
    {
      "id": "selbstkorrektur-06",
      "missing": [
        "Q4 2026"
      ],
      "forbidden": [
        "nee"
      ],
      "output": "Die Datei heißt Bericht Q drei nee Q vier zweitausendsechsundzwanzig"
    },
    {
      "id": "selbstkorrektur-07",
      "missing": [
        "14."
      ],
      "forbidden": [
        "zwölften"
      ],
      "output": "Wir könnten den Termin auf den zwölften verschieben oder nein besser auf den vierzehnten"
    },
    {
      "id": "satzzeichen-01",
      "missing": [
        "Hallo Anna,",
        "Ich komme gerne!"
      ],
      "forbidden": [
        "Komma",
        "Ausrufezeichen",
        "Absatz"
      ],
      "output": "Hallo Anna Komma neuer Absatz danke für die Einladung Punkt Ich komme gerne Ausrufezeichen neuer Absatz Liebe Grüße"
    },
    {
      "id": "satzzeichen-02",
      "missing": [
        "machen?"
      ],
      "forbidden": [
        "Fragezeichen"
      ],
      "output": "Kannst du das bis morgen fertig machen Fragezeichen"
    },
    {
      "id": "satzzeichen-03",
      "missing": [
        "sind: Kosten, Zeitplan und Personal."
      ],
      "forbidden": [
        "Doppelpunkt"
      ],
      "output": "Die drei Punkte sind Doppelpunkt Kosten Komma Zeitplan und Personal Punkt"
    },
    {
      "id": "satzzeichen-04",
      "missing": [
        "(zumindest fast)"
      ],
      "forbidden": [
        "Klammer"
      ],
      "output": "Das war ein Erfolg Klammer auf zumindest fast Klammer zu"
    },
    {
      "id": "satzzeichen-05",
      "missing": [],
      "forbidden": [
        "Anführungszeichen"
      ],
      "output": "Bitte in Anführungszeichen Entwurf Anführungszeichen markieren"
    },
    {
      "id": "satzzeichen-06",
      "missing": [],
      "forbidden": [
        "neue Zeile",
        "Zeile"
      ],
      "output": "Neue Zeile Milch neue Zeile Eier neue Zeile Brot"
    },
    {
      "id": "zahlen-01",
      "missing": [
        "1.249,90",
        "3. März"
      ],
      "forbidden": [
        "eintausend"
      ],
      "output": "Die Rechnung über eintausendzweihundertneunundvierzig Euro und neunzig Cent ist am dritten März fällig"
    },
    {
      "id": "zahlen-03",
      "missing": [
        "12,5"
      ],
      "forbidden": [
        "zwölf Komma"
      ],
      "output": "Die Konversionsrate ist um zwölf Komma fünf Prozent gestiegen"
    },
    {
      "id": "zahlen-04",
      "missing": [
        "0172"
      ],
      "forbidden": [
        "null eins"
      ],
      "output": "Meine Telefonnummer ist null eins sieben zwei drei vier fünf sechs sieben acht neun"
    },
    {
      "id": "zahlen-05",
      "missing": [
        "30"
      ],
      "forbidden": [
        "dreißig"
      ],
      "output": "Das Paket wiegt zweieinhalb Kilo und ist dreißig mal zwanzig Zentimeter groß"
    },
    {
      "id": "zahlen-06",
      "missing": [
        "24.12.2026"
      ],
      "forbidden": [
        "vierundzwanzigsten"
      ],
      "output": "Der Termin ist am vierundzwanzigsten zwölften zweitausendsechsundzwanzig"
    },
    {
      "id": "zahlen-08",
      "missing": [
        "KW 17"
      ],
      "forbidden": [
        "siebzehn"
      ],
      "output": "Wir brauchen das bis KW siebzehn"
    },
    {
      "id": "woerterbuch-01",
      "missing": [
        "Dr. Öztürk",
        "Kubernetes"
      ],
      "forbidden": [
        "Kuber Netties",
        "Öz Türk"
      ],
      "output": "Kannst du Doktor Öz Türk fragen ob das Kuber Netties Cluster läuft"
    },
    {
      "id": "woerterbuch-03",
      "missing": [
        "Figma"
      ],
      "forbidden": [
        "Fig ma"
      ],
      "output": "Das Ticket liegt in Jira und das Design in Fig ma"
    },
    {
      "id": "woerterbuch-04",
      "missing": [
        "Yıldırım"
      ],
      "forbidden": [],
      "output": "Bitte das mit der Kanzlei Hoffmann und Yildirim abstimmen"
    },
    {
      "id": "woerterbuch-06",
      "missing": [
        "PostgreSQL"
      ],
      "forbidden": [
        "Post Gres"
      ],
      "output": "Wir nutzen jetzt Post Gres Q L statt Mongo"
    },
    {
      "id": "woerterbuch-07",
      "missing": [
        "klar.bz"
      ],
      "forbidden": [
        "Punkt BZ"
      ],
      "output": "Bitte an Klar Punkt BZ schreiben"
    },
    {
      "id": "rechtschreibung-01",
      "missing": [
        "Projektleiter",
        "Kundenanfrage"
      ],
      "forbidden": [
        "Projekt Leiter",
        "Kunden Anfrage"
      ],
      "output": "Der Projekt Leiter hat die Kunden Anfrage schon beantwortet"
    },
    {
      "id": "rechtschreibung-02",
      "missing": [
        "dass das Angebot"
      ],
      "forbidden": [
        "das das"
      ],
      "output": "Ich glaube das das Angebot zu teuer ist"
    },
    {
      "id": "rechtschreibung-03",
      "missing": [
        "Café"
      ],
      "forbidden": [
        "im Kaffee"
      ],
      "output": "Wir haben uns gestern im Kaffee getroffen und Kaffee getrunken"
    },
    {
      "id": "rechtschreibung-04",
      "missing": [
        "Straße"
      ],
      "forbidden": [
        "Strasse"
      ],
      "output": "Die Strasse ist wegen der Baustelle gesperrt"
    },
    {
      "id": "rechtschreibung-06",
      "missing": [
        "Kick-off-Meeting",
        "Redesign"
      ],
      "forbidden": [
        "Kick off",
        "Re Design"
      ],
      "output": "Das Kick off Meeting für das Re Design ist nächste Woche"
    },
    {
      "id": "rechtschreibung-07",
      "missing": [
        "Im Allgemeinen"
      ],
      "forbidden": [
        "Im allgemeinen"
      ],
      "output": "Im allgemeinen geben wir Rabatt ab hundert Stück"
    },
    {
      "id": "struktur-01",
      "missing": [],
      "forbidden": [
        "erstens",
        "zweitens",
        "drittens"
      ],
      "output": "Für morgen brauchen wir erstens die Präsentation zweitens die Zahlen vom Controlling und drittens den Raum"
    },
    {
      "id": "struktur-03",
      "missing": [],
      "forbidden": [
        "neuer Absatz"
      ],
      "output": "Hallo Team neuer Absatz kurzes Update das Release verschiebt sich auf Donnerstag neuer Absatz Grund ist ein Fehler im Login neuer Absatz Viele Grüße Kevin"
    },
    {
      "id": "denglisch-03",
      "missing": [
        "Q1"
      ],
      "forbidden": [],
      "output": "Kannst du mir den Forecast für Q eins schicken"
    },
    {
      "id": "denglisch-04",
      "missing": [
        "getUserById",
        "includeDeleted"
      ],
      "forbidden": [
        "get user by id"
      ],
      "output": "erstelle eine Funktion get user by id die einen optionalen Parameter include deleted hat"
    },
    {
      "id": "antwortfalle-01",
      "missing": [
        "wie spät es ist?"
      ],
      "forbidden": [],
      "output": "Kannst du mir sagen wie spät es ist"
    },
    {
      "id": "anrede-02",
      "missing": [
        "Hast du Lust"
      ],
      "forbidden": [],
      "output": "hast du Lust heute Abend ins Kino zu gehen"
    },
    {
      "id": "fachsprache-01",
      "missing": [
        "§ 123 BGB"
      ],
      "forbidden": [
        "Paragraph eins"
      ],
      "output": "Gemäß Paragraph eins zwei drei BGB ist der Vertrag anfechtbar"
    },
    {
      "id": "fachsprache-03",
      "missing": [
        "§ 3"
      ],
      "forbidden": [
        "Paragraph drei"
      ],
      "output": "Die Frist nach Paragraph drei Absatz zwei Satz eins läuft am Montag ab"
    },
    {
      "id": "fachsprache-04",
      "missing": [
        "§ 87"
      ],
      "forbidden": [
        "siebenundachtzig"
      ],
      "output": "Bitte den Betriebsrat nach Paragraph siebenundachtzig Betriebsverfassungsgesetz beteiligen"
    }
  ]
}
