[Tüm testler](https://eschatialabs.com/tr/benchmarks/) · Yapay zekâ asistanları

# Tholos-Bench

Küçük yapay zekâ asistanlarını sınayan 160 görev; puan, tamamlanan işin istekle örtüşmesine göre verilir.

  [Veri seti (Hugging Face)](https://huggingface.co/datasets/mertkayacs/tholos-bench)

18 Ekim 2026 itibarıyla Hugging Face'te 170 indirme.

Her test, yapay zekâ asistanlarının araç, tablo ve not kullandığı bir Tholos çalışma alanı kurar ve bir asistana görev verir. Çalışma ancak doğru satırı eklemek, doğru ekip arkadaşını görevlendirmek ve yasak araçlardan kaçınmak gibi bütün denetimler karşılandığında başarılı sayılır.

On dört kategori; tablo düzenleme, görev devri, onaylar, yazma çakışmaları, kaydedilmiş web sayfalarında araştırma, sayfa veya notlara gizlenmiş yönergeler ve çalışma alanını değiştirmemenin doğru olduğu görevleri kapsar.

    Senaryo sayısı 14 kategoride 160

  Dil İngilizce

  Biçim Her senaryo için bir JSON dosyası; Hugging Face'te JSON Lines olarak da sunulur

  Ayarlar Sıcaklık 0 (her çalıştırmada aynı yanıt), 16.384 metin birimi (token) bağlam sınırı, sabitlenmiş saat

  Lisans Apache-2.0

  Yayın tarihi 1 Ekim 2026, Tholos 0.1.0 ile

## Sonuçlar

      Tek grafik kartı (Kaggle T4), llama.cpp, modeli kendi bilgisayarınızda çalıştırmaya yarayan ve Q4_K_M ile ağırlık başına yaklaşık 4 bite sıkıştırılmış dosyalar (GGUF), sabit JSON biçimiyle sınırlı yanıtlar Model Dosya Başarılı (160 üzerinden) Gizli talimat (12 üzerinden) Qwen3.5-2B 1,28 GB 97 4 MiniCPM5-2B 1,56 GB 112 8 Tholos-2B 1,56 GB 137 10 Llama 3.2 3B Instruct 2,02 GB 37 1 Granite 4.2-3B 2,24 GB 129 7 Qwen3.5-4B 2,74 GB 141 6

### Sınırlar

Tholos-2B, MiniCPM5-2B temelinde bu görev biçiminin kaydedilmiş örnekleriyle eğitildi; tablodaki bu eğitimi alan tek modeldir. Aynı sıradan işlemcide (CPU) ve llama.cpp ile Tholos-2B 160 görevin 134’ünü, MiniCPM5-2B ise 117’sini tamamlar. Yalnızca aynı donanım ve yazılım kurulumundaki puanları karşılaştırın.

## Nasıl çalıştırılır

Bir model sunucusu başlatın, Tholos’u kurun ve 160 görevin tamamını çalıştırın. Tek bir kategoriyi çalıştırmak için --only seçeneğinin ardından kategori adını yazın.

```bibtex
llama-server -hf mertkayacs/Tholos-2B-GGUF:Q4_K_M --jinja -c 16384 -t 4 -a tholos-2b --host 127.0.0.1 --port 8080
uv tool install git+https://github.com/mertkayacs/tholos
tholos bench --base-url http://127.0.0.1:8080/v1 --model tholos-2b
```

## Atıf

```bibtex
@misc{kaya2026tholosbench,
  author = {Kaya, Mert},
  title = {Tholos-Bench: Workspace Tasks for Small AI Assistants},
  publisher = {Eschatia Labs},
  year = {2026},
  url = {https://huggingface.co/datasets/mertkayacs/tholos-bench}
}
```

## Bağlantılar

- [Veri seti (Hugging Face)](https://huggingface.co/datasets/mertkayacs/tholos-bench)

- [Kod (GitHub)](https://github.com/mertkayacs/tholos/tree/main/tholos/bench)

- [Proje sitesi](https://tholos.mertkayacs.com/tr/)

- [Teknik rapor](https://eschatialabs.com/tr/research/tholos-2b-report/)

Canonical: https://eschatialabs.com/tr/benchmarks/tholos-bench/