Ollama ile bilgisayarında yerel model çalıştırma rehberi

Ollama, açık modelleri kendi bilgisayarında çalıştırmanı sağlayan bir araç. Bu rehberi bitirdiğinde bir modeli indirip terminalde onunla konuşabilecek, aynı modeli yerel API üzerinden çağırabilecek ve bellek ayarlarını değiştirebileceksin. Verinin internete çıkmasını istemeyen ya da API ücreti ödemek istemeyen herkes için uygun bir başlangıç.

Ne gerekiyor?

• macOS, Windows veya Linux çalıştıran bir bilgisayar. Resmi depo bu üç sistem için kurulum komutu veriyor.
• Yeterli bellek. Quickstart sayfası, örnek model gemma4:e2b için yaklaşık 7,2 GB indirme ve Mac'te 8 GB VRAM ya da birleşik bellek öneriyor.
• Terminal ya da PowerShell erişimi.
• Ücret: yerel modeller için API anahtarı gerekmiyor, istekler localhost:11434 adresine gidiyor. Bulut modelleri ise ollama.com'da oluşturulan bir API anahtarı istiyor; bu rehber onları kapsamıyor.
• Türkiye'den erişim konusunda belgede bir kısıt yazmıyor. Model indirmek için internet bağlantısı gerekir, sonrasında model yerelde çalışır.

Adım adım kurulum

1. Kurulum komutunu sistemine göre çalıştır. macOS ve Linux için:

   curl -fsSL https://ollama.com/install.sh | sh

Windows (PowerShell) için:

   irm https://ollama.com/install.ps1 | iex

Docker kullanacaksan resmi imaj Docker Hub'daki ollama/ollama. Depo sayfası bu imaj için hazır bir docker run komutu vermiyor.

2. Kurulumdan sonra terminalde yalnızca ollama yaz. Bu komut bir model çalıştırmayı ya da Ollama'yı bir ajana veya uygulamaya bağlamayı önerir.
3. Modeli indir. Quickstart küçük bir model olarak şunu gösteriyor:

   ollama pull gemma4:e2b

4. Sohbeti başlat. Çıkmak için /bye yazman yeterli.

   ollama run gemma4:e2b

İlk modelini çalıştır ve yönet

ollama run model yoksa önce indirir, sonra sohbeti açar. Depo sayfasındaki hızlı başlangıç örneği ollama run gemma4 komutu. Aşağıdakiler CLI belgesindeki temel yönetim komutları:

ollama ls
ollama ps
ollama stop gemma4
ollama rm gemma4

ollama ls indirdiğin modelleri, ollama ps şu an bellekte yüklü olanları listeler. ollama stop yüklü modeli bellekten çıkarır, ollama rm ise diskten siler. Sunucuyu elle başlatmak istersen ollama serve komutu var.

Aynı modeli kendi programından da çağırabilirsin. Ollama GitHub deposundaki REST örneği şöyle:

curl http://localhost:11434/api/chat -d '{
  "model": "gemma4",
  "messages": [{
    "role": "user",
    "content": "Why is the sky blue?"
  }],
  "stream": false
}'

Belgeye göre Ollama kendi API'sinin yanında OpenAI Chat Completions, OpenAI Responses ve Anthropic Messages biçimlerini de destekliyor. Yani bu uç noktaya bağlanabilen mevcut araçlar çoğu zaman küçük bir adres değişikliğiyle çalışabilir.

Ayarlar: bellek, bağlam, ağ

SSS sayfasından işine yarayacak değerler:

• Modeller varsayılan olarak 5 dakika bellekte kalır. API isteğindeki keep_alive değeriyle ya da OLLAMA_KEEP_ALIVE ortam değişkeniyle değiştirilir.
• Varsayılan bağlam uzunluğu 4096 token. Sunucu için OLLAMA_CONTEXT_LENGTH=8192 ollama serve yazabilir, sohbet içinde /set parameter num_ctx 4096 kullanabilirsin.
• Modellerin saklandığı klasörü OLLAMA_MODELS değişkeniyle değiştirebilirsin. Varsayılan yer macOS'ta ~/.ollama/models, Linux'ta /usr/share/ollama/.ollama/models.
• Ollama varsayılan olarak yalnızca 127.0.0.1:11434 adresini dinler. Ağa açmak için OLLAMA_HOST ayarlanır, ama bu adresi güvenli olmayan bir ağda açmadan önce düşün.

Sık karşılaşılan sorunlar

• Model yavaş çalışıyor: ollama ps çıktısındaki Processor sütununa bak. 100% GPU iyi, 100% CPU ya da 48%/52% CPU/GPU gibi bir bölünme modelin belleğe tam sığmadığını gösterir. Daha küçük bir model denemek mantıklı olur.
• Ne olduğunu anlamak için günlüğe bak: macOS'ta cat ~/.ollama/logs/server.log, Linux'ta systemd ile journalctl -u ollama --no-pager --follow --pager-end, Windows'ta %LOCALAPPDATA%\Ollama altındaki server.log.
• GPU bulunamıyor ya da çöküyor: Sorun giderme sayfası OLLAMA_LLM_LIBRARY değişkeniyle kütüphaneyi zorlamayı öneriyor. Örnek: OLLAMA_LLM_LIBRARY="cpu_avx2" ollama serve. NVIDIA için sayfa sürücüleri güncelleyip yeniden başlatmayı da söylüyor.
• Windows terminalinde ←[?25h gibi bozuk karakterler: Belgeye göre Windows 10 21H1 ve eski sürümlerde görülüyor, Windows 10 22H1 veya yenisine geçmek çözüyor.

Bizim yorumumuz

Ollama, yerel modele ilk adım için en kısa yol gibi görünüyor: tek komutla kurulum, tek komutla model. Gizli belgelerle çalışanlar, internet bağlantısına bağımlı olmak istemeyenler ve kendi uygulamasına yerel bir model bağlamak isteyenler için uygun.

Beklentiyi doğru tutmak gerek. Dizüstü bilgisayarda çalışan küçük bir modelin, büyük bulut modellerinin yerini tutacağını belgeler söylemiyor. Önce küçük bir modelle başlayıp ollama ps ile belleğe nasıl sığdığına bakmak, sonra büyütmek daha sağlıklı. Arayüz isteyenler için LM Studio ve Open WebUI gibi alternatifler var.

Bu içerik yapay zekâ ile yazıldı, otomatik denetimden geçti ve yayından önce editör onayına sunuldu. Kaynakta olmayan hiçbir bilgi eklenmez.

Sıradaki rapor →#R-104Modele soruyu alt sorulara bölüp tek tek yanıtlatmak