Tüm testler · Yapay zekâ asistanları
Tholos-Bench
Küçük yapay zekâ asistanlarını sınayan 160 görev; puan, tamamlanan işin istekle örtüşmesine göre verilir.
18 Ekim 2026 itibarıyla Hugging Face'te 170 indirme.
Her test, yapay zekâ asistanlarının araç, tablo ve not kullandığı bir Tholos çalışma alanı kurar ve bir asistana görev verir. Çalışma ancak doğru satırı eklemek, doğru ekip arkadaşını görevlendirmek ve yasak araçlardan kaçınmak gibi bütün denetimler karşılandığında başarılı sayılır.
On dört kategori; tablo düzenleme, görev devri, onaylar, yazma çakışmaları, kaydedilmiş web sayfalarında araştırma, sayfa veya notlara gizlenmiş yönergeler ve çalışma alanını değiştirmemenin doğru olduğu görevleri kapsar.
- Senaryo sayısı
- 14 kategoride 160
- Dil
- İngilizce
- Biçim
- Her senaryo için bir JSON dosyası; Hugging Face'te JSON Lines olarak da sunulur
- Ayarlar
- Sıcaklık 0 (her çalıştırmada aynı yanıt), 16.384 metin birimi (token) bağlam sınırı, sabitlenmiş saat
- Lisans
- Apache-2.0
- Yayın tarihi
- 1 Ekim 2026, Tholos 0.1.0 ile
Sonuçlar
| Model | Dosya | Başarılı (160 üzerinden) | Gizli talimat (12 üzerinden) |
|---|---|---|---|
| Qwen3.5-2B | 1,28 GB | 97 | 4 |
| MiniCPM5-2B | 1,56 GB | 112 | 8 |
| Tholos-2B | 1,56 GB | 137 | 10 |
| Llama 3.2 3B Instruct | 2,02 GB | 37 | 1 |
| Granite 4.2-3B | 2,24 GB | 129 | 7 |
| Qwen3.5-4B | 2,74 GB | 141 | 6 |
Sınırlar
Tholos-2B, MiniCPM5-2B temelinde bu görev biçiminin kaydedilmiş örnekleriyle eğitildi; tablodaki bu eğitimi alan tek modeldir. Aynı sıradan işlemcide (CPU) ve llama.cpp ile Tholos-2B 160 görevin 134’ünü, MiniCPM5-2B ise 117’sini tamamlar. Yalnızca aynı donanım ve yazılım kurulumundaki puanları karşılaştırın.
Nasıl çalıştırılır
Bir model sunucusu başlatın, Tholos’u kurun ve 160 görevin tamamını çalıştırın. Tek bir kategoriyi çalıştırmak için --only seçeneğinin ardından kategori adını yazın.
llama-server -hf mertkayacs/Tholos-2B-GGUF:Q4_K_M --jinja -c 16384 -t 4 -a tholos-2b --host 127.0.0.1 --port 8080
uv tool install git+https://github.com/mertkayacs/tholos
tholos bench --base-url http://127.0.0.1:8080/v1 --model tholos-2bAtıf
@misc{kaya2026tholosbench,
author = {Kaya, Mert},
title = {Tholos-Bench: Workspace Tasks for Small AI Assistants},
publisher = {Eschatia Labs},
year = {2026},
url = {https://huggingface.co/datasets/mertkayacs/tholos-bench}
}