[Todas las pruebas](https://eschatialabs.com/es/benchmarks/) · Modelos para tomar decisiones

# JevOss

Un conjunto abierto de pruebas que comprueba cómo afectan los cambios de una pregunta a un modelo que elige entre respuestas predefinidas.

  [Sitio del proyecto](https://jevoss.mertkayacs.com/es/)

JevOss parte de preguntas cuya respuesta conoce y cambia un solo elemento cada vez. Reordena las opciones, añade una instrucción que el modelo debería ignorar, inserta unas 600 palabras ajenas al tema, reformula una pregunta de sí o no, o repite la misma solicitud. Después cuenta cuántas veces cambia la respuesta.

El conjunto presenta la exactitud y comprueba cuánto se acercan las probabilidades del modelo a su frecuencia real de aciertos; esta medida se llama calibración. La puntuación de Brier mide los errores de esas probabilidades y un valor más bajo indica un error menor. Funciona con cualquier servidor que acepte el formato Jev API (POST /v1/systemone), incluidos JevAlt y Kev-4B.

    Comprobaciones 5: orden de las opciones, instrucciones ocultas, texto ajeno al tema, formatos de sí o no, solicitudes repetidas

  Comandos eval, probe, calibrate, compare, ask

  Requisitos Python 3.11 o posterior y un servidor activo con un modelo de decisión

  Versión 0.1.0, publicada el 1 de octubre de 2026

  Licencia Apache-2.0

## Resultados

      Instrucciones ocultas: proporción de los 200 casos de prueba en que la instrucción añadida cambió la respuesta Modelo Respuestas modificadas Kev-4B 36,0% Deem-4B 14,0% Karar-4B 19,0% Wähler-4B 17,5%

### Límites

Después de añadir unas 600 palabras ajenas al tema, Kev-4B pierde 5,4 puntos de exactitud, frente a los 17,4 puntos que pierde Deem-4B.

## Cómo ejecutarla

La dirección predeterminada del servidor es http://127.0.0.1:8000. Inicie un servidor para modelos de decisión con jevalt serve y ejecute los comandos de prueba que aparecen abajo.

```bibtex
pip install "jevoss[suites] @ git+https://github.com/mertkayacs/jevoss"
jevoss eval typed-decisions
jevoss probe typed-decisions --limit 100
```

## Cita

```bibtex
@software{kaya2026jevoss,
  author = {Mert Kaya},
  title = {JevOss: Open Evaluation Toolkit for Jev-Type Decision Models},
  year = {2026},
  license = {Apache-2.0},
  url = {https://github.com/mertkayacs/jevoss}
}
```

## Enlaces

- [Sitio del proyecto](https://jevoss.mertkayacs.com/es/)

- [Código (GitHub)](https://github.com/mertkayacs/jevoss)

- [Documentación](https://mertkayacs.github.io/jevoss/)

Canonical: https://eschatialabs.com/es/benchmarks/jevoss/