[全部基准测试](https://eschatialabs.com/zh/benchmarks/) · 决策模型

# JevOss

一套公开测试，用于检查问题发生变化时，从固定答案中选择的模型会受到什么影响。

  [项目网站](https://jevoss.mertkayacs.com/zh/)

JevOss 从答案已知的问题开始，每次只改变一项内容。它会调整选项顺序，加入模型应当忽略的指令，插入约 600 个无关词语，改写是非题，或重复同一请求，然后统计答案改变的次数。

这套测试会报告准确率，并检查模型给出的概率与实际答对的频率有多接近，这项指标称为校准。Brier 分数衡量这些概率的误差，分数越低表示误差越小。它可测试任何接受 Jev API 请求格式（POST /v1/systemone）的服务器，包括 JevAlt 和 Kev-4B。

    检查项目 5 项：选项顺序、隐藏指令、无关文本、是非题格式、重复请求

  命令 eval、probe、calibrate、compare、ask

  要求 Python 3.11 或更高版本，以及一个正在运行的决策模型服务器

  版本 0.1.0，发布于 2026年10月1日

  许可证 Apache-2.0

## 结果

      隐藏指令：在 200 个测试案例中，新增指令导致答案改变的比例 模型 答案改变比例 Kev-4B 36.0% Deem-4B 14.0% Karar-4B 19.0% Wähler-4B 17.5%

### 局限

加入约 600 个无关词语后，Kev-4B 的准确率下降 5.4 个百分点，Deem-4B 则下降 17.4 个百分点。

## 运行方法

默认服务器地址是 http://127.0.0.1:8000。先用 jevalt serve 启动决策模型服务器，再运行下面的测试命令。

```bibtex
pip install "jevoss[suites] @ git+https://github.com/mertkayacs/jevoss"
jevoss eval typed-decisions
jevoss probe typed-decisions --limit 100
```

## 引用

```bibtex
@software{kaya2026jevoss,
  author = {Mert Kaya},
  title = {JevOss: Open Evaluation Toolkit for Jev-Type Decision Models},
  year = {2026},
  license = {Apache-2.0},
  url = {https://github.com/mertkayacs/jevoss}
}
```

## 链接

- [项目网站](https://jevoss.mertkayacs.com/zh/)

- [代码（GitHub）](https://github.com/mertkayacs/jevoss)

- [文档](https://mertkayacs.github.io/jevoss/)

Canonical: https://eschatialabs.com/zh/benchmarks/jevoss/