[Tutti i benchmark](https://eschatialabs.com/it/benchmarks/) · Modelli per prendere decisioni

# jevalt-bench

3.116 descrizioni di situazioni in inglese, turco e tedesco per valutare modelli che scelgono tra risposte predefinite e assegnano una probabilità a ciascuna.

  [Dataset (Hugging Face)](https://huggingface.co/datasets/mertkayacs/jevalt-bench)

1600 download su Hugging Face al 18 ottobre 2026.

Ogni riga descrive una situazione, per esempio un’email, una regola o un messaggio di chat. Le domande chiedono al modello di scegliere un’opzione, dare una valutazione o stimare la probabilità di una risposta affermativa.

Il test riporta l’accuratezza. Verifica anche quanto le probabilità indicate dal modello corrispondano alla frequenza reale delle risposte corrette; questa misura si chiama calibrazione. Il punteggio Brier misura gli errori nelle probabilità e un valore più basso indica un errore minore.

    Righe 3.116: inglese 1.277, turco 1.019, tedesco 820

  Domande 8.434

  Formato JSON Lines, un sottoinsieme per lingua

  Licenza Le righe scritte per il progetto sono sotto licenza Apache-2.0. Le righe convertite mantengono la licenza della fonte: MASSIVE CC BY 4.0, Open-Jev CC0, PAWS-X utilizzabile liberamente citando Google, typed-decisions Apache-2.0.

  Pubblicazione 1 ottobre 2026

## Risultati

      Accuratezza ed errore nelle probabilità (punteggio Brier) sulle domande escluse dall’addestramento Lingua Kev-4B JevAlt Brier, Kev-4B Brier, JevAlt Inglese 84,7% Deem-4B 94,7% 0,256 0,091 Turco 87,1% Karar-4B 96,8% 0,214 0,058 Tedesco 81,1% Wähler-4B 92,0% 0,298 0,119

### Limiti

Le domande di test e gli esempi di addestramento provengono dallo stesso processo, quindi questi punteggi riguardano il compito specifico di JevAlt. Sul dataset separato di notizie tedesche 10kGNAD, Kev-4B raggiunge il 65,3% di accuratezza, contro il 62,5% di Wähler-4B.

## Come eseguirlo

Caricare i dati di una lingua con la libreria datasets di Hugging Face. Per valutare il proprio modello, collegare JevOss a un server che accetti Jev API, il formato di richiesta condiviso da questi modelli decisionali.

```bibtex
from datasets import load_dataset

test = load_dataset("mertkayacs/jevalt-bench", "en", split="test")
print(test[0])
```

## Citazione

```bibtex
@techreport{kaya2026jevaltreport,
  author = {Kaya, Mert},
  title = {JevAlt: Technical report},
  institution = {Eschatia Labs},
  year = {2026},
  url = {https://eschatialabs.com/research/jevalt-report/},
  note = {Technical report, not peer-reviewed}
}
```

## Link

- [Dataset (Hugging Face)](https://huggingface.co/datasets/mertkayacs/jevalt-bench)

- [Codice (GitHub)](https://github.com/mertkayacs/jevalt)

- [Sito del progetto](https://jevalt.mertkayacs.com/it/)

- [Rapporto tecnico](https://eschatialabs.com/it/research/jevalt-report/)

Canonical: https://eschatialabs.com/it/benchmarks/jevalt-bench/