Tutti i benchmark · Modelli per prendere decisioni
jevalt-bench
3.116 descrizioni di situazioni in inglese, turco e tedesco per valutare modelli che scelgono tra risposte predefinite e assegnano una probabilità a ciascuna.
1600 download su Hugging Face al 18 ottobre 2026.
Ogni riga descrive una situazione, per esempio un’email, una regola o un messaggio di chat. Le domande chiedono al modello di scegliere un’opzione, dare una valutazione o stimare la probabilità di una risposta affermativa.
Il test riporta l’accuratezza. Verifica anche quanto le probabilità indicate dal modello corrispondano alla frequenza reale delle risposte corrette; questa misura si chiama calibrazione. Il punteggio Brier misura gli errori nelle probabilità e un valore più basso indica un errore minore.
- Righe
- 3.116: inglese 1.277, turco 1.019, tedesco 820
- Domande
- 8.434
- Formato
- JSON Lines, un sottoinsieme per lingua
- Licenza
- Le righe scritte per il progetto sono sotto licenza Apache-2.0. Le righe convertite mantengono la licenza della fonte: MASSIVE CC BY 4.0, Open-Jev CC0, PAWS-X utilizzabile liberamente citando Google, typed-decisions Apache-2.0.
- Pubblicazione
- 1 ottobre 2026
Risultati
| Lingua | Kev-4B | JevAlt | Brier, Kev-4B | Brier, JevAlt |
|---|---|---|---|---|
| Inglese | 84,7% | Deem-4B 94,7% | 0,256 | 0,091 |
| Turco | 87,1% | Karar-4B 96,8% | 0,214 | 0,058 |
| Tedesco | 81,1% | Wähler-4B 92,0% | 0,298 | 0,119 |
Limiti
Le domande di test e gli esempi di addestramento provengono dallo stesso processo, quindi questi punteggi riguardano il compito specifico di JevAlt. Sul dataset separato di notizie tedesche 10kGNAD, Kev-4B raggiunge il 65,3% di accuratezza, contro il 62,5% di Wähler-4B.
Come eseguirlo
Caricare i dati di una lingua con la libreria datasets di Hugging Face. Per valutare il proprio modello, collegare JevOss a un server che accetti Jev API, il formato di richiesta condiviso da questi modelli decisionali.
from datasets import load_dataset
test = load_dataset("mertkayacs/jevalt-bench", "en", split="test")
print(test[0])Citazione
@techreport{kaya2026jevaltreport,
author = {Kaya, Mert},
title = {JevAlt: Technical report},
institution = {Eschatia Labs},
year = {2026},
url = {https://eschatialabs.com/research/jevalt-report/},
note = {Technical report, not peer-reviewed}
}