[Todas las pruebas](https://eschatialabs.com/es/benchmarks/) · Asistentes de IA para tareas

# Tholos-Bench

160 tareas para evaluar pequeños asistentes de IA, puntuadas según si el trabajo terminado coincide con la solicitud.

  [Conjunto de datos (Hugging Face)](https://huggingface.co/datasets/mertkayacs/tholos-bench)

170 descargas en Hugging Face al 18 de octubre de 2026.

Cada prueba crea un espacio de Tholos donde los asistentes de IA usan herramientas, tablas y notas, y después asigna una tarea a uno de ellos. La ejecución solo se aprueba si el espacio final cumple todas las comprobaciones, como añadir la fila correcta, asignar a la persona adecuada y evitar las herramientas prohibidas.

Las 14 categorías incluyen cambios en tablas, traspasos de tareas, aprobaciones, conflictos de escritura, búsquedas en páginas web guardadas, instrucciones ocultas en páginas o notas y tareas en las que lo correcto es dejar el espacio sin cambios.

    Escenarios 160 en 14 categorías

  Idioma Inglés

  Formato Un archivo JSON por escenario, también disponible como JSON Lines en Hugging Face

  Configuración Temperatura 0 (la misma respuesta en cada ejecución), límite de contexto de 16 384 unidades de texto (tokens), reloj fijo

  Licencia Apache-2.0

  Publicación 1 de octubre de 2026, con Tholos 0.1.0

## Resultados

      Una tarjeta gráfica (Kaggle T4), llama.cpp, archivos para ejecutar cada modelo en la propia computadora (GGUF) comprimidos con Q4_K_M a unos 4 bits por peso y respuestas limitadas a una estructura JSON fija Modelo Archivo Aprobadas (de 160) Instrucciones ocultas (de 12) Qwen3.5-2B 1,28 GB 97 4 MiniCPM5-2B 1,56 GB 112 8 Tholos-2B 1,56 GB 137 10 Llama 3.2 3B Instruct 2,02 GB 37 1 Granite 4.2-3B 2,24 GB 129 7 Qwen3.5-4B 2,74 GB 141 6

### Límites

Tholos-2B se entrenó a partir de MiniCPM5-2B con registros de este tipo de tarea. Es el único modelo de la tabla que recibió ese entrenamiento. En el mismo procesador común (CPU) con llama.cpp, Tholos-2B supera 134 de 160 tareas, frente a 117 de MiniCPM5-2B. Compare puntuaciones solo cuando el equipo y el software sean iguales.

## Cómo ejecutarla

Inicie un servidor del modelo, instale Tholos y ejecute las 160 tareas. Para ejecutar una sola categoría, añada --only seguido del nombre de la categoría.

```bibtex
llama-server -hf mertkayacs/Tholos-2B-GGUF:Q4_K_M --jinja -c 16384 -t 4 -a tholos-2b --host 127.0.0.1 --port 8080
uv tool install git+https://github.com/mertkayacs/tholos
tholos bench --base-url http://127.0.0.1:8080/v1 --model tholos-2b
```

## Cita

```bibtex
@misc{kaya2026tholosbench,
  author = {Kaya, Mert},
  title = {Tholos-Bench: Workspace Tasks for Small AI Assistants},
  publisher = {Eschatia Labs},
  year = {2026},
  url = {https://huggingface.co/datasets/mertkayacs/tholos-bench}
}
```

## Enlaces

- [Conjunto de datos (Hugging Face)](https://huggingface.co/datasets/mertkayacs/tholos-bench)

- [Código (GitHub)](https://github.com/mertkayacs/tholos/tree/main/tholos/bench)

- [Sitio del proyecto](https://tholos.mertkayacs.com/es/)

- [Informe técnico](https://eschatialabs.com/es/research/tholos-2b-report/)

Canonical: https://eschatialabs.com/es/benchmarks/tholos-bench/