[Alle Benchmarks](https://eschatialabs.com/de/benchmarks/) · Modelle für Entscheidungen

# JevOss

Eine offene Testsuite, die prüft, wie Änderungen an einer Frage ein Modell mit festen Antwortmöglichkeiten beeinflussen.

  [Projektseite](https://jevoss.mertkayacs.com/de/)

JevOss beginnt mit Fragen, deren Antworten bekannt sind, und ändert jeweils eine Sache. Es vertauscht die Optionen, fügt eine Anweisung hinzu, die das Modell ignorieren soll, ergänzt etwa 600 Wörter ohne Bezug, formuliert eine Ja-Nein-Frage neu oder wiederholt dieselbe Anfrage. Danach zählt es, wie oft sich die Antwort ändert.

Die Suite gibt die Genauigkeit an und prüft, wie gut die Wahrscheinlichkeiten des Modells zur tatsächlichen Trefferquote passen; dies heißt Kalibrierung. Der Brier-Score misst Fehler in diesen Wahrscheinlichkeiten. Ein niedrigerer Wert bedeutet weniger Fehler. Die Suite funktioniert mit jedem Server, der das Anfrageformat Jev API (POST /v1/systemone) akzeptiert, darunter JevAlt und Kev-4B.

    Prüfungen 5: Reihenfolge der Optionen, versteckte Anweisungen, themenfremder Text, Ja-Nein-Formate, wiederholte Anfragen

  Befehle eval, probe, calibrate, compare, ask

  Voraussetzungen Python 3.11 oder neuer und ein laufender Server mit einem Entscheidungsmodell

  Version 0.1.0, veröffentlicht am 1. Oktober 2026

  Lizenz Apache-2.0

## Ergebnisse

      Versteckte Anweisungen: Anteil der 200 Testfälle, in denen die hinzugefügte Anweisung die Antwort änderte Modell Geänderte Antworten Kev-4B 36,0 % Deem-4B 14,0 % Karar-4B 19,0 % Wähler-4B 17,5 %

### Grenzen

Nach dem Einfügen von etwa 600 Wörtern ohne Bezug verliert Kev-4B 5,4 Genauigkeitspunkte, Deem-4B dagegen 17,4 Punkte.

## Ausführen

Die voreingestellte Serveradresse lautet http://127.0.0.1:8000. Starten Sie mit jevalt serve einen Server für Entscheidungsmodelle und führen Sie dann die Testbefehle unten aus.

```bibtex
pip install "jevoss[suites] @ git+https://github.com/mertkayacs/jevoss"
jevoss eval typed-decisions
jevoss probe typed-decisions --limit 100
```

## Zitieren

```bibtex
@software{kaya2026jevoss,
  author = {Mert Kaya},
  title = {JevOss: Open Evaluation Toolkit for Jev-Type Decision Models},
  year = {2026},
  license = {Apache-2.0},
  url = {https://github.com/mertkayacs/jevoss}
}
```

## Links

- [Projektseite](https://jevoss.mertkayacs.com/de/)

- [Code (GitHub)](https://github.com/mertkayacs/jevoss)

- [Dokumentation](https://mertkayacs.github.io/jevoss/)

Canonical: https://eschatialabs.com/de/benchmarks/jevoss/