Mert Kaya
MenüSchließen

Alle Benchmarks · KI-Assistenten

Tholos-Bench

160 Aufgaben zum Testen kleiner KI-Assistenten, bewertet danach, ob die erledigte Arbeit dem Auftrag entspricht.

Datensatz (Hugging Face)

170 Downloads auf Hugging Face, Stand: 18. Oktober 2026.

Jeder Test erstellt einen Tholos-Arbeitsbereich, in dem KI-Assistenten Werkzeuge, Tabellen und Notizen verwenden, und gibt einem Assistenten eine Aufgabe. Ein Durchlauf besteht nur, wenn der fertige Arbeitsbereich alle Prüfungen erfüllt, etwa die richtige Zeile enthält, die richtige Person zuweist und verbotene Werkzeuge meidet.

Die 14 Kategorien umfassen Tabellenänderungen, Aufgabenübergaben, Freigaben, Schreibkonflikte, Recherchen auf gespeicherten Webseiten, versteckte Anweisungen in Seiten oder Notizen sowie Aufgaben, bei denen die richtige Lösung darin besteht, den Arbeitsbereich unverändert zu lassen.

Szenarien
160 in 14 Kategorien
Sprache
Englisch
Format
Eine JSON-Datei pro Szenario, auf Hugging Face auch als JSON Lines verfügbar
Einstellungen
Temperatur 0 (bei jedem Lauf dieselbe Antwort), Kontextgrenze von 16.384 Texteinheiten (Tokens), feste Uhrzeit
Lizenz
Apache-2.0
Veröffentlicht
1. Oktober 2026, mit Tholos 0.1.0

Ergebnisse

Eine Grafikkarte (Kaggle T4), llama.cpp, Dateien zur Ausführung der Modelle auf dem eigenen Computer (GGUF), mit Q4_K_M auf etwa 4 Bit pro Gewicht komprimiert, und Antworten in einer festen JSON-Struktur
ModellDateiBestanden (von 160)Versteckte Anweisungen (von 12)
Qwen3.5-2B1,28 GB974
MiniCPM5-2B1,56 GB1128
Tholos-2B1,56 GB13710
Llama 3.2 3B Instruct2,02 GB371
Granite 4.2-3B2,24 GB1297
Qwen3.5-4B2,74 GB1416

Grenzen

Tholos-2B wurde auf Basis von MiniCPM5-2B mit aufgezeichneten Beispielen dieses Aufgabenformats trainiert. Es ist das einzige Modell in der Tabelle mit diesem Training. Auf demselben gewöhnlichen Prozessor (CPU) mit llama.cpp löst Tholos-2B 134 von 160 Aufgaben, MiniCPM5-2B 117. Vergleichen Sie Werte nur bei gleicher Hard- und Software.

Ausführen

Starten Sie einen Modellserver, installieren Sie Tholos und führen Sie alle 160 Aufgaben aus. Mit --only und einem Kategorienamen lässt sich eine einzelne Kategorie starten.

llama-server -hf mertkayacs/Tholos-2B-GGUF:Q4_K_M --jinja -c 16384 -t 4 -a tholos-2b --host 127.0.0.1 --port 8080
uv tool install git+https://github.com/mertkayacs/tholos
tholos bench --base-url http://127.0.0.1:8080/v1 --model tholos-2b

Zitieren

@misc{kaya2026tholosbench,
  author = {Kaya, Mert},
  title = {Tholos-Bench: Workspace Tasks for Small AI Assistants},
  publisher = {Eschatia Labs},
  year = {2026},
  url = {https://huggingface.co/datasets/mertkayacs/tholos-bench}
}