[Tüm testler](https://eschatialabs.com/tr/benchmarks/) · Karar modelleri

# jevalt-bench

Sabit yanıtlar arasından seçim yapan ve her yanıta olasılık veren modelleri sınamak için İngilizce, Türkçe ve Almanca 3.116 yazılı durum.

  [Veri seti (Hugging Face)](https://huggingface.co/datasets/mertkayacs/jevalt-bench)

18 Ekim 2026 itibarıyla Hugging Face'te 1.600 indirme.

Her satır bir e-posta, yönerge veya sohbet mesajı gibi bir durumu anlatır. Sorular modelden bir seçenek belirlemesini, puan vermesini veya evet yanıtının olasılığını tahmin etmesini ister.

Test doğruluğu raporlar. Ayrıca modelin verdiği olasılıkların doğru yanıt verme sıklığıyla ne kadar uyuştuğunu ölçer; buna kalibrasyon denir. Brier puanı bu olasılıklardaki hatayı ölçer ve düşük puan daha az hata demektir.

    Satır sayısı 3.116: İngilizce 1.277, Türkçe 1.019, Almanca 820

  Soru sayısı 8.434

  Biçim JSON Lines, her dil için ayrı bir alt küme

  Lisans Proje için yazılan satırlar: Apache-2.0. Dönüştürülen satırlar kaynak lisanslarını korur: MASSIVE CC BY 4.0, Open-Jev CC0, PAWS-X Google'a atıfla serbest, typed-decisions Apache-2.0.

  Yayın tarihi 1 Ekim 2026

## Sonuçlar

      Eğitimden ayrı tutulan sorularda doğruluk ve olasılık hatası (Brier puanı) Dil Kev-4B JevAlt Brier, Kev-4B Brier, JevAlt İngilizce %84,7 Deem-4B %94,7 0,256 0,091 Türkçe %87,1 Karar-4B %96,8 0,214 0,058 Almanca %81,1 Wähler-4B %92,0 0,298 0,119

### Sınırlar

Test soruları ile eğitim örnekleri aynı süreçte üretildiği için bu puanlar JevAlt’ın kendi görevini ölçer. Ayrı bir Almanca haber veri kümesi olan 10kGNAD’de Kev-4B %65,3, Wähler-4B ise %62,5 doğruluğa ulaşır.

## Nasıl çalıştırılır

Hugging Face datasets kütüphanesiyle bir dilin verilerini yükleyin. Kendi modelinizi sınamak için JevOss’u, bu karar modellerinin ortak istek biçimi olan Jev API’yi kabul eden bir sunucuya bağlayın.

```bibtex
from datasets import load_dataset

test = load_dataset("mertkayacs/jevalt-bench", "en", split="test")
print(test[0])
```

## Atıf

```bibtex
@techreport{kaya2026jevaltreport,
  author = {Kaya, Mert},
  title = {JevAlt: Technical report},
  institution = {Eschatia Labs},
  year = {2026},
  url = {https://eschatialabs.com/research/jevalt-report/},
  note = {Technical report, not peer-reviewed}
}
```

## Bağlantılar

- [Veri seti (Hugging Face)](https://huggingface.co/datasets/mertkayacs/jevalt-bench)

- [Kod (GitHub)](https://github.com/mertkayacs/jevalt)

- [Proje sitesi](https://jevalt.mertkayacs.com/tr/)

- [Teknik rapor](https://eschatialabs.com/tr/research/jevalt-report/)

Canonical: https://eschatialabs.com/tr/benchmarks/jevalt-bench/