[全部基准测试](https://eschatialabs.com/zh/benchmarks/) · 决策模型

# jevalt-bench

3,116 条英语、土耳其语和德语情境文本，用于测试从固定答案中选择并为每个答案给出概率的模型。

  [数据集（Hugging Face）](https://huggingface.co/datasets/mertkayacs/jevalt-bench)

截至 2026年10月18日，Hugging Face 下载量为 1,600 次。

每一行描述一种情境，例如电子邮件、政策文本或聊天消息。问题要求模型选择选项、给出评分，或估算回答“是”的概率。

测试会报告准确率。它还会检查模型给出的概率与实际答对的频率有多接近，这项指标称为校准。Brier 分数衡量这些概率的误差，分数越低表示误差越小。

    行数 3,116：英语 1,277，土耳其语 1,019，德语 820

  问题数 8,434

  格式 JSON Lines，每种语言一个子集

  许可证 为本项目编写的数据行采用 Apache-2.0。转换而来的数据行保留原始许可证：MASSIVE CC BY 4.0；Open-Jev CC0；PAWS-X 可在注明 Google 的情况下自由使用；typed-decisions Apache-2.0。

  发布日期 2026年10月1日

## 结果

      未用于训练的问题上的准确率和概率误差（Brier 分数） 语言 Kev-4B JevAlt Brier, Kev-4B Brier, JevAlt 英语 84.7% Deem-4B 94.7% 0.256 0.091 土耳其语 87.1% Karar-4B 96.8% 0.214 0.058 德语 81.1% Wähler-4B 92.0% 0.298 0.119

### 局限

测试题和训练样本由同一流程生成，因此这些分数只反映 JevAlt 自身的任务。在独立的德语新闻数据集 10kGNAD 上，Kev-4B 的准确率为 65.3%，Wähler-4B 为 62.5%。

## 运行方法

使用 Hugging Face 的 datasets 库加载一种语言的数据。要测试自己的模型，请将 JevOss 连接到接受 Jev API 的服务器。Jev API 是这些决策模型共用的请求格式。

```bibtex
from datasets import load_dataset

test = load_dataset("mertkayacs/jevalt-bench", "en", split="test")
print(test[0])
```

## 引用

```bibtex
@techreport{kaya2026jevaltreport,
  author = {Kaya, Mert},
  title = {JevAlt: Technical report},
  institution = {Eschatia Labs},
  year = {2026},
  url = {https://eschatialabs.com/research/jevalt-report/},
  note = {Technical report, not peer-reviewed}
}
```

## 链接

- [数据集（Hugging Face）](https://huggingface.co/datasets/mertkayacs/jevalt-bench)

- [代码（GitHub）](https://github.com/mertkayacs/jevalt)

- [项目网站](https://jevalt.mertkayacs.com/zh/)

- [技术报告](https://eschatialabs.com/zh/research/jevalt-report/)

Canonical: https://eschatialabs.com/zh/benchmarks/jevalt-bench/