Todas las pruebas · Modelos para tomar decisiones
JevOss
Un conjunto abierto de pruebas que comprueba cómo afectan los cambios de una pregunta a un modelo que elige entre respuestas predefinidas.
JevOss parte de preguntas cuya respuesta conoce y cambia un solo elemento cada vez. Reordena las opciones, añade una instrucción que el modelo debería ignorar, inserta unas 600 palabras ajenas al tema, reformula una pregunta de sí o no, o repite la misma solicitud. Después cuenta cuántas veces cambia la respuesta.
El conjunto presenta la exactitud y comprueba cuánto se acercan las probabilidades del modelo a su frecuencia real de aciertos; esta medida se llama calibración. La puntuación de Brier mide los errores de esas probabilidades y un valor más bajo indica un error menor. Funciona con cualquier servidor que acepte el formato Jev API (POST /v1/systemone), incluidos JevAlt y Kev-4B.
- Comprobaciones
- 5: orden de las opciones, instrucciones ocultas, texto ajeno al tema, formatos de sí o no, solicitudes repetidas
- Comandos
- eval, probe, calibrate, compare, ask
- Requisitos
- Python 3.11 o posterior y un servidor activo con un modelo de decisión
- Versión
- 0.1.0, publicada el 1 de octubre de 2026
- Licencia
- Apache-2.0
Resultados
| Modelo | Respuestas modificadas |
|---|---|
| Kev-4B | 36,0% |
| Deem-4B | 14,0% |
| Karar-4B | 19,0% |
| Wähler-4B | 17,5% |
Límites
Después de añadir unas 600 palabras ajenas al tema, Kev-4B pierde 5,4 puntos de exactitud, frente a los 17,4 puntos que pierde Deem-4B.
Cómo ejecutarla
La dirección predeterminada del servidor es http://127.0.0.1:8000. Inicie un servidor para modelos de decisión con jevalt serve y ejecute los comandos de prueba que aparecen abajo.
pip install "jevoss[suites] @ git+https://github.com/mertkayacs/jevoss"
jevoss eval typed-decisions
jevoss probe typed-decisions --limit 100Cita
@software{kaya2026jevoss,
author = {Mert Kaya},
title = {JevOss: Open Evaluation Toolkit for Jev-Type Decision Models},
year = {2026},
license = {Apache-2.0},
url = {https://github.com/mertkayacs/jevoss}
}