Mert Kaya
MenüKapatın

Tüm testler · Karar modelleri

JevOss

Sabit yanıtlar arasından seçim yapan bir modelin, soru değiştiğinde nasıl etkilendiğini ölçen açık test paketi.

Proje sitesi

JevOss, yanıtı bilinen bir soruda her seferinde tek bir şeyi değiştirir. Seçeneklerin sırasını değiştirir, modelin dikkate almaması gereken bir yönerge ekler, yaklaşık 600 sözcük ilgisiz metin koyar, evet-hayır sorusunu yeniden yazar veya aynı isteği yineler. Ardından yanıtın kaç kez değiştiğini sayar.

Paket doğruluğu raporlar ve modelin verdiği olasılıkların doğru yanıt verme sıklığıyla ne kadar uyuştuğunu ölçer; buna kalibrasyon denir. Brier puanı bu olasılıklardaki hatayı ölçer ve düşük puan daha az hata demektir. JevAlt ve Kev-4B dâhil, Jev API istek biçimini (POST /v1/systemone) kabul eden her sunucuyla çalışır.

Testler
5: seçenek sırası, gizli talimatlar, ilgisiz metin, evet-hayır biçimleri, tekrarlanan istekler
Komutlar
eval, probe, calibrate, compare, ask
Gereksinimler
Python 3.11 veya üzeri ve çalışan bir karar modeli sunucusu
Sürüm
0.1.0, 1 Ekim 2026'da yayımlandı
Lisans
Apache-2.0

Sonuçlar

Gizli talimatlar: eklenen talimatın yanıtı değiştirdiği 200 test durumunun oranı
ModelDeğişen yanıtlar
Kev-4B%36,0
Deem-4B%14,0
Karar-4B%19,0
Wähler-4B%17,5

Sınırlar

Yaklaşık 600 sözcük ilgisiz metin eklendiğinde Kev-4B’nin doğruluğu 5,4 puan, Deem-4B’nin doğruluğu ise 17,4 puan düşer.

Nasıl çalıştırılır

Varsayılan sunucu adresi http://127.0.0.1:8000’dir. jevalt serve ile karar modeli sunucusunu başlatın, ardından aşağıdaki test komutlarını çalıştırın.

pip install "jevoss[suites] @ git+https://github.com/mertkayacs/jevoss"
jevoss eval typed-decisions
jevoss probe typed-decisions --limit 100

Atıf

@software{kaya2026jevoss,
  author = {Mert Kaya},
  title = {JevOss: Open Evaluation Toolkit for Jev-Type Decision Models},
  year = {2026},
  license = {Apache-2.0},
  url = {https://github.com/mertkayacs/jevoss}
}