全部基准测试 · 决策模型
jevalt-bench
3,116 条英语、土耳其语和德语情境文本，用于测试从固定答案中选择并为每个答案给出概率的模型。
数据集（Hugging Face）
截至 2026年10月18日，Hugging Face 下载量为 1,600 次。
每一行描述一种情境，例如电子邮件、政策文本或聊天消息。问题要求模型选择选项、给出评分，或估算回答“是”的概率。
测试会报告准确率。它还会检查模型给出的概率与实际答对的频率有多接近，这项指标称为校准。Brier 分数衡量这些概率的误差，分数越低表示误差越小。
- 行数
- 3,116：英语 1,277，土耳其语 1,019，德语 820
- 问题数
- 8,434
- 格式
- JSON Lines，每种语言一个子集
- 许可证
- 为本项目编写的数据行采用 Apache-2.0。转换而来的数据行保留原始许可证：MASSIVE CC BY 4.0；Open-Jev CC0；PAWS-X 可在注明 Google 的情况下自由使用；typed-decisions Apache-2.0。
- 发布日期
- 2026年10月1日
结果
| 语言 | Kev-4B | JevAlt | Brier, Kev-4B | Brier, JevAlt |
|---|---|---|---|---|
| 英语 | 84.7% | Deem-4B 94.7% | 0.256 | 0.091 |
| 土耳其语 | 87.1% | Karar-4B 96.8% | 0.214 | 0.058 |
| 德语 | 81.1% | Wähler-4B 92.0% | 0.298 | 0.119 |
局限
测试题和训练样本由同一流程生成，因此这些分数只反映 JevAlt 自身的任务。在独立的德语新闻数据集 10kGNAD 上，Kev-4B 的准确率为 65.3%，Wähler-4B 为 62.5%。
运行方法
使用 Hugging Face 的 datasets 库加载一种语言的数据。要测试自己的模型，请将 JevOss 连接到接受 Jev API 的服务器。Jev API 是这些决策模型共用的请求格式。
from datasets import load_dataset
test = load_dataset("mertkayacs/jevalt-bench", "en", split="test")
print(test[0])引用
@techreport{kaya2026jevaltreport,
author = {Kaya, Mert},
title = {JevAlt: Technical report},
institution = {Eschatia Labs},
year = {2026},
url = {https://eschatialabs.com/research/jevalt-report/},
note = {Technical report, not peer-reviewed}
}