全部基准测试 · 决策模型

JevOss

一套公开测试，用于检查问题发生变化时，从固定答案中选择的模型会受到什么影响。

JevOss 从答案已知的问题开始，每次只改变一项内容。它会调整选项顺序，加入模型应当忽略的指令，插入约 600 个无关词语，改写是非题，或重复同一请求，然后统计答案改变的次数。

这套测试会报告准确率，并检查模型给出的概率与实际答对的频率有多接近，这项指标称为校准。Brier 分数衡量这些概率的误差，分数越低表示误差越小。它可测试任何接受 Jev API 请求格式（POST /v1/systemone）的服务器，包括 JevAlt 和 Kev-4B。

检查项目: 5 项：选项顺序、隐藏指令、无关文本、是非题格式、重复请求
命令: eval、probe、calibrate、compare、ask
要求: Python 3.11 或更高版本，以及一个正在运行的决策模型服务器
版本: 0.1.0，发布于 2026年10月1日
许可证: Apache-2.0

结果

隐藏指令：在 200 个测试案例中，新增指令导致答案改变的比例
模型	答案改变比例
Kev-4B	36.0%
Deem-4B	14.0%
Karar-4B	19.0%
Wähler-4B	17.5%

局限

加入约 600 个无关词语后，Kev-4B 的准确率下降 5.4 个百分点，Deem-4B 则下降 17.4 个百分点。

运行方法

默认服务器地址是 http://127.0.0.1:8000。先用 jevalt serve 启动决策模型服务器，再运行下面的测试命令。

pip install "jevoss[suites] @ git+https://github.com/mertkayacs/jevoss"
jevoss eval typed-decisions
jevoss probe typed-decisions --limit 100

引用

@software{kaya2026jevoss,
  author = {Mert Kaya},
  title = {JevOss: Open Evaluation Toolkit for Jev-Type Decision Models},
  year = {2026},
  license = {Apache-2.0},
  url = {https://github.com/mertkayacs/jevoss}
}

链接