Tutti i benchmark · Modelli per prendere decisioni
JevOss
Una suite di test aperta che verifica come cambia un modello a risposte predefinite quando viene modificata una domanda.
JevOss parte da domande di cui conosce la risposta e modifica un solo elemento alla volta. Riordina le opzioni, aggiunge un’istruzione che il modello dovrebbe ignorare, inserisce circa 600 parole fuori tema, riscrive una domanda a risposta sì o no oppure ripete la stessa richiesta. Poi conta quante volte cambia la risposta.
La suite riporta l’accuratezza e verifica quanto le probabilità del modello corrispondano alla frequenza reale delle risposte corrette; questa misura si chiama calibrazione. Il punteggio Brier misura gli errori nelle probabilità e un valore più basso indica un errore minore. Funziona con qualsiasi server che accetti il formato Jev API (POST /v1/systemone), tra cui JevAlt e Kev-4B.
- Verifiche
- 5: ordine delle opzioni, istruzioni nascoste, testo fuori tema, formati sì o no, richieste ripetute
- Comandi
- eval, probe, calibrate, compare, ask
- Requisiti
- Python 3.11 o successivo e un server attivo con un modello decisionale
- Versione
- 0.1.0, pubblicata il 1 ottobre 2026
- Licenza
- Apache-2.0
Risultati
| Modello | Risposte cambiate |
|---|---|
| Kev-4B | 36,0% |
| Deem-4B | 14,0% |
| Karar-4B | 19,0% |
| Wähler-4B | 17,5% |
Limiti
Dopo l’aggiunta di circa 600 parole fuori tema, Kev-4B perde 5,4 punti di accuratezza, contro i 17,4 punti persi da Deem-4B.
Come eseguirlo
L’indirizzo predefinito del server è http://127.0.0.1:8000. Avviare un server per modelli decisionali con jevalt serve, quindi eseguire i comandi di test riportati sotto.
pip install "jevoss[suites] @ git+https://github.com/mertkayacs/jevoss"
jevoss eval typed-decisions
jevoss probe typed-decisions --limit 100Citazione
@software{kaya2026jevoss,
author = {Mert Kaya},
title = {JevOss: Open Evaluation Toolkit for Jev-Type Decision Models},
year = {2026},
license = {Apache-2.0},
url = {https://github.com/mertkayacs/jevoss}
}