Skip to content

ollama

CPU'lu makinelerde Ollama ile yerel LLM çalıştırma ve performansı artıran kritik ayarlar.

1 min read

ThinkPad gibi CPU ile çalışan bir makinede Ollama performansını ciddi şekilde artıran birkaç kritik ayar var. Varsayılan kurulum genelde CPU’yu tam verimli kullanmaz. Aşağıdaki 5 ayar çoğu durumda 2-3 kat hız artışı sağlar.

  1. CPU thread sayısını ayarlamak

Ollama bazen CPU çekirdeklerinin tamamını kullanmaz.

Çekirdek sayını öğren:

Terminal window
nproc

Örneğin 8 çekirdek ise Ollama’yı şu şekilde başlat:

Terminal window
OLLAMA_NUM_PARALLEL=1 OLLAMA_MAX_LOADED_MODELS=1 ollama serve

ya da systemd servisinde environment olarak ekleyebilirsin.

Servis dosyasını aç:

Terminal window
nano /etc/systemd/system/ollama.service

[Service] altına ekle:

Environment="OLLAMA_NUM_PARALLEL=1"
Environment="OLLAMA_MAX_LOADED_MODELS=1"

Sonra:

Terminal window
systemctl daemon-reload
systemctl restart ollama
  1. Context boyutunu düşürmek

Varsayılan context genelde çok büyüktür ve CPU’yu yavaşlatır.

Modeli çalıştırırken:

Terminal window
ollama run qwen2.5:7b -c 2048

Genelde:

Context Performans
8192 yavaş
4096 normal
2048 hızlı
  1. Hafif quantization kullanmak

CPU’da en önemli şey quantization.

Model indirirken:

Terminal window
ollama pull qwen2.5:7b-q4_K_M

En iyi CPU seçenekleri:

Quant RAM Hız
q4_K_M düşük hızlı
q5_K_M orta dengeli
q8 yüksek yavaş

CPU için genelde q4_K_M en iyi.

  1. Modeli RAM’de tutmak

Model her çağrıda yeniden yüklenirse ciddi gecikme olur.

Serviste şu ayarı ekle:

Environment="OLLAMA_KEEP_ALIVE=30m"

Bu sayede model 30 dakika RAM’de kalır.

  1. Embedding modelini ayırmak

RAG sistemlerinde embedding modeli ayrı olmalı.

En iyi seçenek:

Terminal window
ollama pull nomic-embed-text

Bu model özellikle şu framework ile çok iyi çalışır:

LangChain4j

Ollama

CPU ThinkPad için ideal stack

Jakarta EE + agent mimarisi için önerilen yapı:

Ollama
├── qwen2.5:7b-q4_K_M (chat model)
├── nomic-embed-text (embedding)
PostgreSQL
└── pgvector
LangChain4j

Bu mimari:

  • Agent
  • Tool calling
  • RAG
  • Local LLM

için şu anda en stabil kombinasyonlardan biri.

Related articles

4 min readTürkçe

podman

Rootless Podman ve Quadlet ile container'ları systemd kullanıcı servisi olarak çalıştırma.

  • DevOps & Containers
3 min read

Kubernetes

Running Kubernetes workloads locally with Podman, Podman Desktop, kubectl and minikube.

  • DevOps & Containers
1 min read

trivy

Installing Trivy and scanning repositories, images and Kubernetes clusters for vulnerabilities.

  • Security
  • DevOps & Containers

Type to search the whole site.