[Alle Benchmarks](https://eschatialabs.com/de/benchmarks/) · Modelle für Entscheidungen

# jevalt-bench

3.116 Fallbeschreibungen auf Englisch, Türkisch und Deutsch zum Testen von Modellen, die aus festen Antworten wählen und jeder Antwort eine Wahrscheinlichkeit geben.

  [Datensatz (Hugging Face)](https://huggingface.co/datasets/mertkayacs/jevalt-bench)

1.600 Downloads auf Hugging Face, Stand: 18. Oktober 2026.

Jede Zeile beschreibt eine Situation, etwa eine E-Mail, eine Richtlinie oder eine Chatnachricht. Die Fragen verlangen, dass das Modell eine Option wählt, eine Bewertung abgibt oder die Wahrscheinlichkeit für Ja schätzt.

Der Test gibt die Genauigkeit an. Er prüft außerdem, wie gut die Wahrscheinlichkeiten des Modells zur tatsächlichen Trefferquote passen; dies heißt Kalibrierung. Der Brier-Score misst Fehler in diesen Wahrscheinlichkeiten. Ein niedrigerer Wert bedeutet weniger Fehler.

    Zeilen 3.116: Englisch 1.277, Türkisch 1.019, Deutsch 820

  Fragen 8.434

  Format JSON Lines, eine Teilmenge pro Sprache

  Lizenz Für das Projekt geschriebene Zeilen: Apache-2.0. Übernommene Zeilen behalten ihre Quelllizenz: MASSIVE CC BY 4.0, Open-Jev CC0, PAWS-X frei nutzbar mit Nennung von Google, typed-decisions Apache-2.0.

  Veröffentlicht 1. Oktober 2026

## Ergebnisse

      Genauigkeit und Wahrscheinlichkeitsfehler (Brier-Score) bei Fragen, die nicht zum Training gehörten Sprache Kev-4B JevAlt Brier, Kev-4B Brier, JevAlt Englisch 84,7 % Deem-4B 94,7 % 0,256 0,091 Türkisch 87,1 % Karar-4B 96,8 % 0,214 0,058 Deutsch 81,1 % Wähler-4B 92,0 % 0,298 0,119

### Grenzen

Testfragen und Trainingsbeispiele wurden mit demselben Verfahren erstellt. Daher gelten diese Werte für JevAlts eigene Aufgabe. Beim separaten deutschen Nachrichtendatensatz 10kGNAD erreicht Kev-4B 65,3 % Genauigkeit, Wähler-4B 62,5 %.

## Ausführen

Laden Sie die Daten einer Sprache mit der Hugging-Face-Bibliothek datasets. Um Ihr eigenes Modell zu testen, verbinden Sie JevOss mit einem Server, der die Jev API akzeptiert, das gemeinsame Anfrageformat dieser Entscheidungsmodelle.

```bibtex
from datasets import load_dataset

test = load_dataset("mertkayacs/jevalt-bench", "en", split="test")
print(test[0])
```

## Zitieren

```bibtex
@techreport{kaya2026jevaltreport,
  author = {Kaya, Mert},
  title = {JevAlt: Technical report},
  institution = {Eschatia Labs},
  year = {2026},
  url = {https://eschatialabs.com/research/jevalt-report/},
  note = {Technical report, not peer-reviewed}
}
```

## Links

- [Datensatz (Hugging Face)](https://huggingface.co/datasets/mertkayacs/jevalt-bench)

- [Code (GitHub)](https://github.com/mertkayacs/jevalt)

- [Projektseite](https://jevalt.mertkayacs.com/de/)

- [Technischer Bericht](https://eschatialabs.com/de/research/jevalt-report/)

Canonical: https://eschatialabs.com/de/benchmarks/jevalt-bench/