Tutti i benchmark · Assistenti di IA per le attività
Tholos-Bench
160 attività per valutare piccoli assistenti di IA, con un punteggio basato sulla corrispondenza tra il lavoro svolto e la richiesta.
170 download su Hugging Face al 18 ottobre 2026.
Ogni test crea uno spazio Tholos nel quale gli assistenti di IA usano strumenti, tabelle e note, quindi assegna un’attività a un assistente. L’esecuzione riesce solo se lo spazio finale supera tutti i controlli, come aggiungere la riga corretta, assegnare la persona giusta ed evitare gli strumenti vietati.
Le 14 categorie comprendono modifiche alle tabelle, passaggi di consegne, approvazioni, conflitti di scrittura, ricerche su pagine web salvate, istruzioni nascoste nelle pagine o nelle note e attività in cui la scelta corretta è lasciare invariato lo spazio.
- Scenari
- 160 in 14 categorie
- Lingua
- Inglese
- Formato
- Un file JSON per scenario, disponibile anche come JSON Lines su Hugging Face
- Impostazioni
- Temperatura 0 (la stessa risposta a ogni esecuzione), limite di contesto di 16.384 unità di testo (token), orologio fisso
- Licenza
- Apache-2.0
- Pubblicazione
- 1 ottobre 2026, con Tholos 0.1.0
Risultati
| Modello | File | Superati (su 160) | Istruzioni nascoste (su 12) |
|---|---|---|---|
| Qwen3.5-2B | 1,28 GB | 97 | 4 |
| MiniCPM5-2B | 1,56 GB | 112 | 8 |
| Tholos-2B | 1,56 GB | 137 | 10 |
| Llama 3.2 3B Instruct | 2,02 GB | 37 | 1 |
| Granite 4.2-3B | 2,24 GB | 129 | 7 |
| Qwen3.5-4B | 2,74 GB | 141 | 6 |
Limiti
Tholos-2B è stato addestrato a partire da MiniCPM5-2B usando registrazioni di questo tipo di attività. È l’unico modello nella tabella ad avere ricevuto questo addestramento. Sullo stesso normale processore (CPU) con llama.cpp, Tholos-2B supera 134 attività su 160, mentre MiniCPM5-2B ne supera 117. Confrontare i punteggi solo quando hardware e software sono gli stessi.
Come eseguirlo
Avviare un server del modello, installare Tholos ed eseguire tutte le 160 attività. Per eseguire una sola categoria, aggiungere --only seguito dal nome della categoria.
llama-server -hf mertkayacs/Tholos-2B-GGUF:Q4_K_M --jinja -c 16384 -t 4 -a tholos-2b --host 127.0.0.1 --port 8080
uv tool install git+https://github.com/mertkayacs/tholos
tholos bench --base-url http://127.0.0.1:8080/v1 --model tholos-2bCitazione
@misc{kaya2026tholosbench,
author = {Kaya, Mert},
title = {Tholos-Bench: Workspace Tasks for Small AI Assistants},
publisher = {Eschatia Labs},
year = {2026},
url = {https://huggingface.co/datasets/mertkayacs/tholos-bench}
}