全部基准测试 · 任务型人工智能助手
Tholos-Bench
160 项小型人工智能助手任务，根据最终完成的工作是否符合要求来评分。
数据集（Hugging Face）
截至 2026年10月18日，Hugging Face 下载量为 170 次。
每项测试都会建立一个 Tholos 工作区，让人工智能助手使用工具、表格和笔记，然后给其中一个助手分配任务。只有最终工作区通过全部检查，测试才算成功，例如添加正确的行、分配正确的队友，并且没有使用禁用工具。
14 个类别包括表格编辑、任务交接、审批、写入冲突、查询已保存的网页、识别页面或笔记中的隐藏指令，以及应当保持工作区不变的任务。
- 场景
- 14 个类别，共 160 项
- 语言
- 英语
- 格式
- 每个场景一个 JSON 文件；Hugging Face 另提供 JSON Lines 格式
- 设置
- 温度 0（每次运行给出相同答案）、16,384 个文本单位（token）的上下文上限、固定时钟
- 许可证
- Apache-2.0
- 发布日期
- 2026年10月1日，与 Tholos 0.1.0 同时发布
结果
| 模型 | 文件 | 通过数（共 160 项） | 隐藏指令（共 12 项） |
|---|---|---|---|
| Qwen3.5-2B | 1.28 GB | 97 | 4 |
| MiniCPM5-2B | 1.56 GB | 112 | 8 |
| Tholos-2B | 1.56 GB | 137 | 10 |
| Llama 3.2 3B Instruct | 2.02 GB | 37 | 1 |
| Granite 4.2-3B | 2.24 GB | 129 | 7 |
| Qwen3.5-4B | 2.74 GB | 141 | 6 |
局限
Tholos-2B 以 MiniCPM5-2B 为基础，使用这种任务格式的操作记录进行训练。表中只有 Tholos-2B 接受过这类训练。在同一个普通中央处理器（CPU）上使用 llama.cpp 时，Tholos-2B 通过 160 项任务中的 134 项，MiniCPM5-2B 通过 117 项。只有硬件和软件配置相同时，分数才可以比较。
运行方法
启动模型服务器，安装 Tholos，然后运行全部 160 项任务。要只运行一个类别，请在 --only 后填写类别名称。
llama-server -hf mertkayacs/Tholos-2B-GGUF:Q4_K_M --jinja -c 16384 -t 4 -a tholos-2b --host 127.0.0.1 --port 8080
uv tool install git+https://github.com/mertkayacs/tholos
tholos bench --base-url http://127.0.0.1:8080/v1 --model tholos-2b引用
@misc{kaya2026tholosbench,
author = {Kaya, Mert},
title = {Tholos-Bench: Workspace Tasks for Small AI Assistants},
publisher = {Eschatia Labs},
year = {2026},
url = {https://huggingface.co/datasets/mertkayacs/tholos-bench}
}