Alle Benchmarks · Modelle für Entscheidungen
JevOss
Eine offene Testsuite, die prüft, wie Änderungen an einer Frage ein Modell mit festen Antwortmöglichkeiten beeinflussen.
JevOss beginnt mit Fragen, deren Antworten bekannt sind, und ändert jeweils eine Sache. Es vertauscht die Optionen, fügt eine Anweisung hinzu, die das Modell ignorieren soll, ergänzt etwa 600 Wörter ohne Bezug, formuliert eine Ja-Nein-Frage neu oder wiederholt dieselbe Anfrage. Danach zählt es, wie oft sich die Antwort ändert.
Die Suite gibt die Genauigkeit an und prüft, wie gut die Wahrscheinlichkeiten des Modells zur tatsächlichen Trefferquote passen; dies heißt Kalibrierung. Der Brier-Score misst Fehler in diesen Wahrscheinlichkeiten. Ein niedrigerer Wert bedeutet weniger Fehler. Die Suite funktioniert mit jedem Server, der das Anfrageformat Jev API (POST /v1/systemone) akzeptiert, darunter JevAlt und Kev-4B.
- Prüfungen
- 5: Reihenfolge der Optionen, versteckte Anweisungen, themenfremder Text, Ja-Nein-Formate, wiederholte Anfragen
- Befehle
- eval, probe, calibrate, compare, ask
- Voraussetzungen
- Python 3.11 oder neuer und ein laufender Server mit einem Entscheidungsmodell
- Version
- 0.1.0, veröffentlicht am 1. Oktober 2026
- Lizenz
- Apache-2.0
Ergebnisse
| Modell | Geänderte Antworten |
|---|---|
| Kev-4B | 36,0 % |
| Deem-4B | 14,0 % |
| Karar-4B | 19,0 % |
| Wähler-4B | 17,5 % |
Grenzen
Nach dem Einfügen von etwa 600 Wörtern ohne Bezug verliert Kev-4B 5,4 Genauigkeitspunkte, Deem-4B dagegen 17,4 Punkte.
Ausführen
Die voreingestellte Serveradresse lautet http://127.0.0.1:8000. Starten Sie mit jevalt serve einen Server für Entscheidungsmodelle und führen Sie dann die Testbefehle unten aus.
pip install "jevoss[suites] @ git+https://github.com/mertkayacs/jevoss"
jevoss eval typed-decisions
jevoss probe typed-decisions --limit 100Zitieren
@software{kaya2026jevoss,
author = {Mert Kaya},
title = {JevOss: Open Evaluation Toolkit for Jev-Type Decision Models},
year = {2026},
license = {Apache-2.0},
url = {https://github.com/mertkayacs/jevoss}
}