[Alle Benchmarks](https://eschatialabs.com/de/benchmarks/) · KI-Assistenten

# Tholos-Bench

160 Aufgaben zum Testen kleiner KI-Assistenten, bewertet danach, ob die erledigte Arbeit dem Auftrag entspricht.

  [Datensatz (Hugging Face)](https://huggingface.co/datasets/mertkayacs/tholos-bench)

170 Downloads auf Hugging Face, Stand: 18. Oktober 2026.

Jeder Test erstellt einen Tholos-Arbeitsbereich, in dem KI-Assistenten Werkzeuge, Tabellen und Notizen verwenden, und gibt einem Assistenten eine Aufgabe. Ein Durchlauf besteht nur, wenn der fertige Arbeitsbereich alle Prüfungen erfüllt, etwa die richtige Zeile enthält, die richtige Person zuweist und verbotene Werkzeuge meidet.

Die 14 Kategorien umfassen Tabellenänderungen, Aufgabenübergaben, Freigaben, Schreibkonflikte, Recherchen auf gespeicherten Webseiten, versteckte Anweisungen in Seiten oder Notizen sowie Aufgaben, bei denen die richtige Lösung darin besteht, den Arbeitsbereich unverändert zu lassen.

    Szenarien 160 in 14 Kategorien

  Sprache Englisch

  Format Eine JSON-Datei pro Szenario, auf Hugging Face auch als JSON Lines verfügbar

  Einstellungen Temperatur 0 (bei jedem Lauf dieselbe Antwort), Kontextgrenze von 16.384 Texteinheiten (Tokens), feste Uhrzeit

  Lizenz Apache-2.0

  Veröffentlicht 1. Oktober 2026, mit Tholos 0.1.0

## Ergebnisse

      Eine Grafikkarte (Kaggle T4), llama.cpp, Dateien zur Ausführung der Modelle auf dem eigenen Computer (GGUF), mit Q4_K_M auf etwa 4 Bit pro Gewicht komprimiert, und Antworten in einer festen JSON-Struktur Modell Datei Bestanden (von 160) Versteckte Anweisungen (von 12) Qwen3.5-2B 1,28 GB 97 4 MiniCPM5-2B 1,56 GB 112 8 Tholos-2B 1,56 GB 137 10 Llama 3.2 3B Instruct 2,02 GB 37 1 Granite 4.2-3B 2,24 GB 129 7 Qwen3.5-4B 2,74 GB 141 6

### Grenzen

Tholos-2B wurde auf Basis von MiniCPM5-2B mit aufgezeichneten Beispielen dieses Aufgabenformats trainiert. Es ist das einzige Modell in der Tabelle mit diesem Training. Auf demselben gewöhnlichen Prozessor (CPU) mit llama.cpp löst Tholos-2B 134 von 160 Aufgaben, MiniCPM5-2B 117. Vergleichen Sie Werte nur bei gleicher Hard- und Software.

## Ausführen

Starten Sie einen Modellserver, installieren Sie Tholos und führen Sie alle 160 Aufgaben aus. Mit --only und einem Kategorienamen lässt sich eine einzelne Kategorie starten.

```bibtex
llama-server -hf mertkayacs/Tholos-2B-GGUF:Q4_K_M --jinja -c 16384 -t 4 -a tholos-2b --host 127.0.0.1 --port 8080
uv tool install git+https://github.com/mertkayacs/tholos
tholos bench --base-url http://127.0.0.1:8080/v1 --model tholos-2b
```

## Zitieren

```bibtex
@misc{kaya2026tholosbench,
  author = {Kaya, Mert},
  title = {Tholos-Bench: Workspace Tasks for Small AI Assistants},
  publisher = {Eschatia Labs},
  year = {2026},
  url = {https://huggingface.co/datasets/mertkayacs/tholos-bench}
}
```

## Links

- [Datensatz (Hugging Face)](https://huggingface.co/datasets/mertkayacs/tholos-bench)

- [Code (GitHub)](https://github.com/mertkayacs/tholos/tree/main/tholos/bench)

- [Projektseite](https://tholos.mertkayacs.com/de/)

- [Technischer Bericht](https://eschatialabs.com/de/research/tholos-2b-report/)

Canonical: https://eschatialabs.com/de/benchmarks/tholos-bench/