[Todas las pruebas](https://eschatialabs.com/es/benchmarks/) · Modelos para tomar decisiones

# jevalt-bench

3116 situaciones escritas en inglés, turco y alemán para evaluar modelos que eligen entre respuestas predefinidas y asignan una probabilidad a cada una.

  [Conjunto de datos (Hugging Face)](https://huggingface.co/datasets/mertkayacs/jevalt-bench)

1600 descargas en Hugging Face al 18 de octubre de 2026.

Cada fila describe una situación, como un correo electrónico, una norma o un mensaje de chat. Las preguntas piden al modelo que elija una opción, dé una valoración o estime la probabilidad de responder sí.

La prueba presenta la exactitud. También comprueba cuánto se acercan las probabilidades del modelo a su frecuencia real de aciertos; esta medida se llama calibración. La puntuación de Brier mide los errores de esas probabilidades y un valor más bajo indica un error menor.

    Filas 3116: inglés 1277, turco 1019, alemán 820

  Preguntas 8434

  Formato JSON Lines, un subconjunto por idioma

  Licencia Las filas escritas para el proyecto usan Apache-2.0. Las filas convertidas conservan la licencia de su fuente: MASSIVE CC BY 4.0, Open-Jev CC0, PAWS-X de uso libre con atribución a Google, typed-decisions Apache-2.0.

  Publicación 1 de octubre de 2026

## Resultados

      Exactitud y error de las probabilidades (puntuación de Brier) en preguntas excluidas del entrenamiento Idioma Kev-4B JevAlt Brier, Kev-4B Brier, JevAlt Inglés 84,7% Deem-4B 94,7% 0,256 0,091 Turco 87,1% Karar-4B 96,8% 0,214 0,058 Alemán 81,1% Wähler-4B 92,0% 0,298 0,119

### Límites

Las preguntas de prueba y los ejemplos de entrenamiento proceden del mismo proceso, por lo que estas puntuaciones corresponden a la tarea propia de JevAlt. En el conjunto separado de noticias en alemán 10kGNAD, Kev-4B alcanza un 65,3% de exactitud, frente al 62,5% de Wähler-4B.

## Cómo ejecutarla

Cargue los datos de un idioma con la biblioteca datasets de Hugging Face. Para evaluar su propio modelo, conecte JevOss a un servidor que acepte Jev API, el formato de solicitud compartido por estos modelos de decisión.

```bibtex
from datasets import load_dataset

test = load_dataset("mertkayacs/jevalt-bench", "en", split="test")
print(test[0])
```

## Cita

```bibtex
@techreport{kaya2026jevaltreport,
  author = {Kaya, Mert},
  title = {JevAlt: Technical report},
  institution = {Eschatia Labs},
  year = {2026},
  url = {https://eschatialabs.com/research/jevalt-report/},
  note = {Technical report, not peer-reviewed}
}
```

## Enlaces

- [Conjunto de datos (Hugging Face)](https://huggingface.co/datasets/mertkayacs/jevalt-bench)

- [Código (GitHub)](https://github.com/mertkayacs/jevalt)

- [Sitio del proyecto](https://jevalt.mertkayacs.com/es/)

- [Informe técnico](https://eschatialabs.com/es/research/jevalt-report/)

Canonical: https://eschatialabs.com/es/benchmarks/jevalt-bench/