[Tutti i benchmark](https://eschatialabs.com/it/benchmarks/) · Modelli per prendere decisioni

# JevOss

Una suite di test aperta che verifica come cambia un modello a risposte predefinite quando viene modificata una domanda.

  [Sito del progetto](https://jevoss.mertkayacs.com/it/)

JevOss parte da domande di cui conosce la risposta e modifica un solo elemento alla volta. Riordina le opzioni, aggiunge un’istruzione che il modello dovrebbe ignorare, inserisce circa 600 parole fuori tema, riscrive una domanda a risposta sì o no oppure ripete la stessa richiesta. Poi conta quante volte cambia la risposta.

La suite riporta l’accuratezza e verifica quanto le probabilità del modello corrispondano alla frequenza reale delle risposte corrette; questa misura si chiama calibrazione. Il punteggio Brier misura gli errori nelle probabilità e un valore più basso indica un errore minore. Funziona con qualsiasi server che accetti il formato Jev API (POST /v1/systemone), tra cui JevAlt e Kev-4B.

    Verifiche 5: ordine delle opzioni, istruzioni nascoste, testo fuori tema, formati sì o no, richieste ripetute

  Comandi eval, probe, calibrate, compare, ask

  Requisiti Python 3.11 o successivo e un server attivo con un modello decisionale

  Versione 0.1.0, pubblicata il 1 ottobre 2026

  Licenza Apache-2.0

## Risultati

      Istruzioni nascoste: quota dei 200 casi di test in cui l'istruzione aggiunta cambia la risposta Modello Risposte cambiate Kev-4B 36,0% Deem-4B 14,0% Karar-4B 19,0% Wähler-4B 17,5%

### Limiti

Dopo l’aggiunta di circa 600 parole fuori tema, Kev-4B perde 5,4 punti di accuratezza, contro i 17,4 punti persi da Deem-4B.

## Come eseguirlo

L’indirizzo predefinito del server è http://127.0.0.1:8000. Avviare un server per modelli decisionali con jevalt serve, quindi eseguire i comandi di test riportati sotto.

```bibtex
pip install "jevoss[suites] @ git+https://github.com/mertkayacs/jevoss"
jevoss eval typed-decisions
jevoss probe typed-decisions --limit 100
```

## Citazione

```bibtex
@software{kaya2026jevoss,
  author = {Mert Kaya},
  title = {JevOss: Open Evaluation Toolkit for Jev-Type Decision Models},
  year = {2026},
  license = {Apache-2.0},
  url = {https://github.com/mertkayacs/jevoss}
}
```

## Link

- [Sito del progetto](https://jevoss.mertkayacs.com/it/)

- [Codice (GitHub)](https://github.com/mertkayacs/jevoss)

- [Documentazione](https://mertkayacs.github.io/jevoss/)

Canonical: https://eschatialabs.com/it/benchmarks/jevoss/