Alle Benchmarks · Modelle für Entscheidungen
jevalt-bench
3.116 Fallbeschreibungen auf Englisch, Türkisch und Deutsch zum Testen von Modellen, die aus festen Antworten wählen und jeder Antwort eine Wahrscheinlichkeit geben.
1.600 Downloads auf Hugging Face, Stand: 18. Oktober 2026.
Jede Zeile beschreibt eine Situation, etwa eine E-Mail, eine Richtlinie oder eine Chatnachricht. Die Fragen verlangen, dass das Modell eine Option wählt, eine Bewertung abgibt oder die Wahrscheinlichkeit für Ja schätzt.
Der Test gibt die Genauigkeit an. Er prüft außerdem, wie gut die Wahrscheinlichkeiten des Modells zur tatsächlichen Trefferquote passen; dies heißt Kalibrierung. Der Brier-Score misst Fehler in diesen Wahrscheinlichkeiten. Ein niedrigerer Wert bedeutet weniger Fehler.
- Zeilen
- 3.116: Englisch 1.277, Türkisch 1.019, Deutsch 820
- Fragen
- 8.434
- Format
- JSON Lines, eine Teilmenge pro Sprache
- Lizenz
- Für das Projekt geschriebene Zeilen: Apache-2.0. Übernommene Zeilen behalten ihre Quelllizenz: MASSIVE CC BY 4.0, Open-Jev CC0, PAWS-X frei nutzbar mit Nennung von Google, typed-decisions Apache-2.0.
- Veröffentlicht
- 1. Oktober 2026
Ergebnisse
| Sprache | Kev-4B | JevAlt | Brier, Kev-4B | Brier, JevAlt |
|---|---|---|---|---|
| Englisch | 84,7 % | Deem-4B 94,7 % | 0,256 | 0,091 |
| Türkisch | 87,1 % | Karar-4B 96,8 % | 0,214 | 0,058 |
| Deutsch | 81,1 % | Wähler-4B 92,0 % | 0,298 | 0,119 |
Grenzen
Testfragen und Trainingsbeispiele wurden mit demselben Verfahren erstellt. Daher gelten diese Werte für JevAlts eigene Aufgabe. Beim separaten deutschen Nachrichtendatensatz 10kGNAD erreicht Kev-4B 65,3 % Genauigkeit, Wähler-4B 62,5 %.
Ausführen
Laden Sie die Daten einer Sprache mit der Hugging-Face-Bibliothek datasets. Um Ihr eigenes Modell zu testen, verbinden Sie JevOss mit einem Server, der die Jev API akzeptiert, das gemeinsame Anfrageformat dieser Entscheidungsmodelle.
from datasets import load_dataset
test = load_dataset("mertkayacs/jevalt-bench", "en", split="test")
print(test[0])Zitieren
@techreport{kaya2026jevaltreport,
author = {Kaya, Mert},
title = {JevAlt: Technical report},
institution = {Eschatia Labs},
year = {2026},
url = {https://eschatialabs.com/research/jevalt-report/},
note = {Technical report, not peer-reviewed}
}