Todas las pruebas · Asistentes de IA para tareas
Tholos-Bench
160 tareas para evaluar pequeños asistentes de IA, puntuadas según si el trabajo terminado coincide con la solicitud.
170 descargas en Hugging Face al 18 de octubre de 2026.
Cada prueba crea un espacio de Tholos donde los asistentes de IA usan herramientas, tablas y notas, y después asigna una tarea a uno de ellos. La ejecución solo se aprueba si el espacio final cumple todas las comprobaciones, como añadir la fila correcta, asignar a la persona adecuada y evitar las herramientas prohibidas.
Las 14 categorías incluyen cambios en tablas, traspasos de tareas, aprobaciones, conflictos de escritura, búsquedas en páginas web guardadas, instrucciones ocultas en páginas o notas y tareas en las que lo correcto es dejar el espacio sin cambios.
- Escenarios
- 160 en 14 categorías
- Idioma
- Inglés
- Formato
- Un archivo JSON por escenario, también disponible como JSON Lines en Hugging Face
- Configuración
- Temperatura 0 (la misma respuesta en cada ejecución), límite de contexto de 16 384 unidades de texto (tokens), reloj fijo
- Licencia
- Apache-2.0
- Publicación
- 1 de octubre de 2026, con Tholos 0.1.0
Resultados
| Modelo | Archivo | Aprobadas (de 160) | Instrucciones ocultas (de 12) |
|---|---|---|---|
| Qwen3.5-2B | 1,28 GB | 97 | 4 |
| MiniCPM5-2B | 1,56 GB | 112 | 8 |
| Tholos-2B | 1,56 GB | 137 | 10 |
| Llama 3.2 3B Instruct | 2,02 GB | 37 | 1 |
| Granite 4.2-3B | 2,24 GB | 129 | 7 |
| Qwen3.5-4B | 2,74 GB | 141 | 6 |
Límites
Tholos-2B se entrenó a partir de MiniCPM5-2B con registros de este tipo de tarea. Es el único modelo de la tabla que recibió ese entrenamiento. En el mismo procesador común (CPU) con llama.cpp, Tholos-2B supera 134 de 160 tareas, frente a 117 de MiniCPM5-2B. Compare puntuaciones solo cuando el equipo y el software sean iguales.
Cómo ejecutarla
Inicie un servidor del modelo, instale Tholos y ejecute las 160 tareas. Para ejecutar una sola categoría, añada --only seguido del nombre de la categoría.
llama-server -hf mertkayacs/Tholos-2B-GGUF:Q4_K_M --jinja -c 16384 -t 4 -a tholos-2b --host 127.0.0.1 --port 8080
uv tool install git+https://github.com/mertkayacs/tholos
tholos bench --base-url http://127.0.0.1:8080/v1 --model tholos-2bCita
@misc{kaya2026tholosbench,
author = {Kaya, Mert},
title = {Tholos-Bench: Workspace Tasks for Small AI Assistants},
publisher = {Eschatia Labs},
year = {2026},
url = {https://huggingface.co/datasets/mertkayacs/tholos-bench}
}