[Tutti i benchmark](https://eschatialabs.com/it/benchmarks/) · Assistenti di IA per le attività

# Tholos-Bench

160 attività per valutare piccoli assistenti di IA, con un punteggio basato sulla corrispondenza tra il lavoro svolto e la richiesta.

  [Dataset (Hugging Face)](https://huggingface.co/datasets/mertkayacs/tholos-bench)

170 download su Hugging Face al 18 ottobre 2026.

Ogni test crea uno spazio Tholos nel quale gli assistenti di IA usano strumenti, tabelle e note, quindi assegna un’attività a un assistente. L’esecuzione riesce solo se lo spazio finale supera tutti i controlli, come aggiungere la riga corretta, assegnare la persona giusta ed evitare gli strumenti vietati.

Le 14 categorie comprendono modifiche alle tabelle, passaggi di consegne, approvazioni, conflitti di scrittura, ricerche su pagine web salvate, istruzioni nascoste nelle pagine o nelle note e attività in cui la scelta corretta è lasciare invariato lo spazio.

    Scenari 160 in 14 categorie

  Lingua Inglese

  Formato Un file JSON per scenario, disponibile anche come JSON Lines su Hugging Face

  Impostazioni Temperatura 0 (la stessa risposta a ogni esecuzione), limite di contesto di 16.384 unità di testo (token), orologio fisso

  Licenza Apache-2.0

  Pubblicazione 1 ottobre 2026, con Tholos 0.1.0

## Risultati

      Una scheda grafica (Kaggle T4), llama.cpp, file per eseguire ogni modello sul proprio computer (GGUF) compressi con Q4_K_M a circa 4 bit per peso e risposte limitate a una struttura JSON fissa Modello File Superati (su 160) Istruzioni nascoste (su 12) Qwen3.5-2B 1,28 GB 97 4 MiniCPM5-2B 1,56 GB 112 8 Tholos-2B 1,56 GB 137 10 Llama 3.2 3B Instruct 2,02 GB 37 1 Granite 4.2-3B 2,24 GB 129 7 Qwen3.5-4B 2,74 GB 141 6

### Limiti

Tholos-2B è stato addestrato a partire da MiniCPM5-2B usando registrazioni di questo tipo di attività. È l’unico modello nella tabella ad avere ricevuto questo addestramento. Sullo stesso normale processore (CPU) con llama.cpp, Tholos-2B supera 134 attività su 160, mentre MiniCPM5-2B ne supera 117. Confrontare i punteggi solo quando hardware e software sono gli stessi.

## Come eseguirlo

Avviare un server del modello, installare Tholos ed eseguire tutte le 160 attività. Per eseguire una sola categoria, aggiungere --only seguito dal nome della categoria.

```bibtex
llama-server -hf mertkayacs/Tholos-2B-GGUF:Q4_K_M --jinja -c 16384 -t 4 -a tholos-2b --host 127.0.0.1 --port 8080
uv tool install git+https://github.com/mertkayacs/tholos
tholos bench --base-url http://127.0.0.1:8080/v1 --model tholos-2b
```

## Citazione

```bibtex
@misc{kaya2026tholosbench,
  author = {Kaya, Mert},
  title = {Tholos-Bench: Workspace Tasks for Small AI Assistants},
  publisher = {Eschatia Labs},
  year = {2026},
  url = {https://huggingface.co/datasets/mertkayacs/tholos-bench}
}
```

## Link

- [Dataset (Hugging Face)](https://huggingface.co/datasets/mertkayacs/tholos-bench)

- [Codice (GitHub)](https://github.com/mertkayacs/tholos/tree/main/tholos/bench)

- [Sito del progetto](https://tholos.mertkayacs.com/it/)

- [Rapporto tecnico](https://eschatialabs.com/it/research/tholos-2b-report/)

Canonical: https://eschatialabs.com/it/benchmarks/tholos-bench/