ollama
CPU'lu makinelerde Ollama ile yerel LLM çalıştırma ve performansı artıran kritik ayarlar.
1 min read
ThinkPad gibi CPU ile çalışan bir makinede Ollama performansını ciddi şekilde artıran birkaç kritik ayar var. Varsayılan kurulum genelde CPU’yu tam verimli kullanmaz. Aşağıdaki 5 ayar çoğu durumda 2-3 kat hız artışı sağlar.
- CPU thread sayısını ayarlamak
Ollama bazen CPU çekirdeklerinin tamamını kullanmaz.
Çekirdek sayını öğren:
nprocÖrneğin 8 çekirdek ise Ollama’yı şu şekilde başlat:
OLLAMA_NUM_PARALLEL=1 OLLAMA_MAX_LOADED_MODELS=1 ollama serveya da systemd servisinde environment olarak ekleyebilirsin.
Servis dosyasını aç:
nano /etc/systemd/system/ollama.service[Service] altına ekle:
Environment="OLLAMA_NUM_PARALLEL=1"Environment="OLLAMA_MAX_LOADED_MODELS=1"Sonra:
systemctl daemon-reloadsystemctl restart ollama- Context boyutunu düşürmek
Varsayılan context genelde çok büyüktür ve CPU’yu yavaşlatır.
Modeli çalıştırırken:
ollama run qwen2.5:7b -c 2048Genelde:
Context Performans8192 yavaş4096 normal2048 hızlı- Hafif quantization kullanmak
CPU’da en önemli şey quantization.
Model indirirken:
ollama pull qwen2.5:7b-q4_K_MEn iyi CPU seçenekleri:
Quant RAM Hızq4_K_M düşük hızlıq5_K_M orta dengeliq8 yüksek yavaşCPU için genelde q4_K_M en iyi.
- Modeli RAM’de tutmak
Model her çağrıda yeniden yüklenirse ciddi gecikme olur.
Serviste şu ayarı ekle:
Environment="OLLAMA_KEEP_ALIVE=30m"Bu sayede model 30 dakika RAM’de kalır.
- Embedding modelini ayırmak
RAG sistemlerinde embedding modeli ayrı olmalı.
En iyi seçenek:
ollama pull nomic-embed-textBu model özellikle şu framework ile çok iyi çalışır:
LangChain4j
Ollama
CPU ThinkPad için ideal stack
Jakarta EE + agent mimarisi için önerilen yapı:
Ollama ├── qwen2.5:7b-q4_K_M (chat model) ├── nomic-embed-text (embedding)
PostgreSQL └── pgvector
LangChain4jBu mimari:
- Agent
- Tool calling
- RAG
- Local LLM
için şu anda en stabil kombinasyonlardan biri.