[全部基准测试](https://eschatialabs.com/zh/benchmarks/) · 任务型人工智能助手

# Tholos-Bench

160 项小型人工智能助手任务，根据最终完成的工作是否符合要求来评分。

  [数据集（Hugging Face）](https://huggingface.co/datasets/mertkayacs/tholos-bench)

截至 2026年10月18日，Hugging Face 下载量为 170 次。

每项测试都会建立一个 Tholos 工作区，让人工智能助手使用工具、表格和笔记，然后给其中一个助手分配任务。只有最终工作区通过全部检查，测试才算成功，例如添加正确的行、分配正确的队友，并且没有使用禁用工具。

14 个类别包括表格编辑、任务交接、审批、写入冲突、查询已保存的网页、识别页面或笔记中的隐藏指令，以及应当保持工作区不变的任务。

    场景 14 个类别，共 160 项

  语言 英语

  格式 每个场景一个 JSON 文件；Hugging Face 另提供 JSON Lines 格式

  设置 温度 0（每次运行给出相同答案）、16,384 个文本单位（token）的上下文上限、固定时钟

  许可证 Apache-2.0

  发布日期 2026年10月1日，与 Tholos 0.1.0 同时发布

## 结果

      一块显卡（Kaggle T4）、llama.cpp、在自己的电脑上运行模型的文件（GGUF），这些文件用 Q4_K_M 压缩到每个权重约 4 位，并将回答限制为固定的 JSON 结构 模型 文件 通过数（共 160 项） 隐藏指令（共 12 项） Qwen3.5-2B 1.28 GB 97 4 MiniCPM5-2B 1.56 GB 112 8 Tholos-2B 1.56 GB 137 10 Llama 3.2 3B Instruct 2.02 GB 37 1 Granite 4.2-3B 2.24 GB 129 7 Qwen3.5-4B 2.74 GB 141 6

### 局限

Tholos-2B 以 MiniCPM5-2B 为基础，使用这种任务格式的操作记录进行训练。表中只有 Tholos-2B 接受过这类训练。在同一个普通中央处理器（CPU）上使用 llama.cpp 时，Tholos-2B 通过 160 项任务中的 134 项，MiniCPM5-2B 通过 117 项。只有硬件和软件配置相同时，分数才可以比较。

## 运行方法

启动模型服务器，安装 Tholos，然后运行全部 160 项任务。要只运行一个类别，请在 --only 后填写类别名称。

```bibtex
llama-server -hf mertkayacs/Tholos-2B-GGUF:Q4_K_M --jinja -c 16384 -t 4 -a tholos-2b --host 127.0.0.1 --port 8080
uv tool install git+https://github.com/mertkayacs/tholos
tholos bench --base-url http://127.0.0.1:8080/v1 --model tholos-2b
```

## 引用

```bibtex
@misc{kaya2026tholosbench,
  author = {Kaya, Mert},
  title = {Tholos-Bench: Workspace Tasks for Small AI Assistants},
  publisher = {Eschatia Labs},
  year = {2026},
  url = {https://huggingface.co/datasets/mertkayacs/tholos-bench}
}
```

## 链接

- [数据集（Hugging Face）](https://huggingface.co/datasets/mertkayacs/tholos-bench)

- [代码（GitHub）](https://github.com/mertkayacs/tholos/tree/main/tholos/bench)

- [项目网站](https://tholos.mertkayacs.com/zh/)

- [技术报告](https://eschatialabs.com/zh/research/tholos-2b-report/)

Canonical: https://eschatialabs.com/zh/benchmarks/tholos-bench/