Tüm testler · Karar modelleri
jevalt-bench
Sabit yanıtlar arasından seçim yapan ve her yanıta olasılık veren modelleri sınamak için İngilizce, Türkçe ve Almanca 3.116 yazılı durum.
18 Ekim 2026 itibarıyla Hugging Face'te 1.600 indirme.
Her satır bir e-posta, yönerge veya sohbet mesajı gibi bir durumu anlatır. Sorular modelden bir seçenek belirlemesini, puan vermesini veya evet yanıtının olasılığını tahmin etmesini ister.
Test doğruluğu raporlar. Ayrıca modelin verdiği olasılıkların doğru yanıt verme sıklığıyla ne kadar uyuştuğunu ölçer; buna kalibrasyon denir. Brier puanı bu olasılıklardaki hatayı ölçer ve düşük puan daha az hata demektir.
- Satır sayısı
- 3.116: İngilizce 1.277, Türkçe 1.019, Almanca 820
- Soru sayısı
- 8.434
- Biçim
- JSON Lines, her dil için ayrı bir alt küme
- Lisans
- Proje için yazılan satırlar: Apache-2.0. Dönüştürülen satırlar kaynak lisanslarını korur: MASSIVE CC BY 4.0, Open-Jev CC0, PAWS-X Google'a atıfla serbest, typed-decisions Apache-2.0.
- Yayın tarihi
- 1 Ekim 2026
Sonuçlar
| Dil | Kev-4B | JevAlt | Brier, Kev-4B | Brier, JevAlt |
|---|---|---|---|---|
| İngilizce | %84,7 | Deem-4B %94,7 | 0,256 | 0,091 |
| Türkçe | %87,1 | Karar-4B %96,8 | 0,214 | 0,058 |
| Almanca | %81,1 | Wähler-4B %92,0 | 0,298 | 0,119 |
Sınırlar
Test soruları ile eğitim örnekleri aynı süreçte üretildiği için bu puanlar JevAlt’ın kendi görevini ölçer. Ayrı bir Almanca haber veri kümesi olan 10kGNAD’de Kev-4B %65,3, Wähler-4B ise %62,5 doğruluğa ulaşır.
Nasıl çalıştırılır
Hugging Face datasets kütüphanesiyle bir dilin verilerini yükleyin. Kendi modelinizi sınamak için JevOss’u, bu karar modellerinin ortak istek biçimi olan Jev API’yi kabul eden bir sunucuya bağlayın.
from datasets import load_dataset
test = load_dataset("mertkayacs/jevalt-bench", "en", split="test")
print(test[0])Atıf
@techreport{kaya2026jevaltreport,
author = {Kaya, Mert},
title = {JevAlt: Technical report},
institution = {Eschatia Labs},
year = {2026},
url = {https://eschatialabs.com/research/jevalt-report/},
note = {Technical report, not peer-reviewed}
}