[Tüm testler](https://eschatialabs.com/tr/benchmarks/) · Karar modelleri

# JevOss

Sabit yanıtlar arasından seçim yapan bir modelin, soru değiştiğinde nasıl etkilendiğini ölçen açık test paketi.

  [Proje sitesi](https://jevoss.mertkayacs.com/tr/)

JevOss, yanıtı bilinen bir soruda her seferinde tek bir şeyi değiştirir. Seçeneklerin sırasını değiştirir, modelin dikkate almaması gereken bir yönerge ekler, yaklaşık 600 sözcük ilgisiz metin koyar, evet-hayır sorusunu yeniden yazar veya aynı isteği yineler. Ardından yanıtın kaç kez değiştiğini sayar.

Paket doğruluğu raporlar ve modelin verdiği olasılıkların doğru yanıt verme sıklığıyla ne kadar uyuştuğunu ölçer; buna kalibrasyon denir. Brier puanı bu olasılıklardaki hatayı ölçer ve düşük puan daha az hata demektir. JevAlt ve Kev-4B dâhil, Jev API istek biçimini (POST /v1/systemone) kabul eden her sunucuyla çalışır.

    Testler 5: seçenek sırası, gizli talimatlar, ilgisiz metin, evet-hayır biçimleri, tekrarlanan istekler

  Komutlar eval, probe, calibrate, compare, ask

  Gereksinimler Python 3.11 veya üzeri ve çalışan bir karar modeli sunucusu

  Sürüm 0.1.0, 1 Ekim 2026'da yayımlandı

  Lisans Apache-2.0

## Sonuçlar

      Gizli talimatlar: eklenen talimatın yanıtı değiştirdiği 200 test durumunun oranı Model Değişen yanıtlar Kev-4B %36,0 Deem-4B %14,0 Karar-4B %19,0 Wähler-4B %17,5

### Sınırlar

Yaklaşık 600 sözcük ilgisiz metin eklendiğinde Kev-4B’nin doğruluğu 5,4 puan, Deem-4B’nin doğruluğu ise 17,4 puan düşer.

## Nasıl çalıştırılır

Varsayılan sunucu adresi http://127.0.0.1:8000’dir. jevalt serve ile karar modeli sunucusunu başlatın, ardından aşağıdaki test komutlarını çalıştırın.

```bibtex
pip install "jevoss[suites] @ git+https://github.com/mertkayacs/jevoss"
jevoss eval typed-decisions
jevoss probe typed-decisions --limit 100
```

## Atıf

```bibtex
@software{kaya2026jevoss,
  author = {Mert Kaya},
  title = {JevOss: Open Evaluation Toolkit for Jev-Type Decision Models},
  year = {2026},
  license = {Apache-2.0},
  url = {https://github.com/mertkayacs/jevoss}
}
```

## Bağlantılar

- [Proje sitesi](https://jevoss.mertkayacs.com/tr/)

- [Kod (GitHub)](https://github.com/mertkayacs/jevoss)

- [Belgeler](https://mertkayacs.github.io/jevoss/)

Canonical: https://eschatialabs.com/tr/benchmarks/jevoss/