Todas las pruebas · Modelos para tomar decisiones
jevalt-bench
3116 situaciones escritas en inglés, turco y alemán para evaluar modelos que eligen entre respuestas predefinidas y asignan una probabilidad a cada una.
1600 descargas en Hugging Face al 18 de octubre de 2026.
Cada fila describe una situación, como un correo electrónico, una norma o un mensaje de chat. Las preguntas piden al modelo que elija una opción, dé una valoración o estime la probabilidad de responder sí.
La prueba presenta la exactitud. También comprueba cuánto se acercan las probabilidades del modelo a su frecuencia real de aciertos; esta medida se llama calibración. La puntuación de Brier mide los errores de esas probabilidades y un valor más bajo indica un error menor.
- Filas
- 3116: inglés 1277, turco 1019, alemán 820
- Preguntas
- 8434
- Formato
- JSON Lines, un subconjunto por idioma
- Licencia
- Las filas escritas para el proyecto usan Apache-2.0. Las filas convertidas conservan la licencia de su fuente: MASSIVE CC BY 4.0, Open-Jev CC0, PAWS-X de uso libre con atribución a Google, typed-decisions Apache-2.0.
- Publicación
- 1 de octubre de 2026
Resultados
| Idioma | Kev-4B | JevAlt | Brier, Kev-4B | Brier, JevAlt |
|---|---|---|---|---|
| Inglés | 84,7% | Deem-4B 94,7% | 0,256 | 0,091 |
| Turco | 87,1% | Karar-4B 96,8% | 0,214 | 0,058 |
| Alemán | 81,1% | Wähler-4B 92,0% | 0,298 | 0,119 |
Límites
Las preguntas de prueba y los ejemplos de entrenamiento proceden del mismo proceso, por lo que estas puntuaciones corresponden a la tarea propia de JevAlt. En el conjunto separado de noticias en alemán 10kGNAD, Kev-4B alcanza un 65,3% de exactitud, frente al 62,5% de Wähler-4B.
Cómo ejecutarla
Cargue los datos de un idioma con la biblioteca datasets de Hugging Face. Para evaluar su propio modelo, conecte JevOss a un servidor que acepte Jev API, el formato de solicitud compartido por estos modelos de decisión.
from datasets import load_dataset
test = load_dataset("mertkayacs/jevalt-bench", "en", split="test")
print(test[0])Cita
@techreport{kaya2026jevaltreport,
author = {Kaya, Mert},
title = {JevAlt: Technical report},
institution = {Eschatia Labs},
year = {2026},
url = {https://eschatialabs.com/research/jevalt-report/},
note = {Technical report, not peer-reviewed}
}