Kendi bilgisayarında yapay zekâ çalıştırmak: Ollama rehberi

Bir yapay zekâ modelini kendi bilgisayarında çalıştırmak kulağa zor gelebilir, ama bugün birkaç dakikalık bir iş. Bu yazıda Ollama ile bir modeli nasıl kuracağını, hangi komutlarla yöneteceğini, bilgisayarının yetip yetmeyeceğini ve yerel modelin nerede işine yarayacağını adım adım anlatıyorum. Komutlar ve ayarlar yazı tarihinde Ollama'nın resmi belgelerinden alındı.

Ollama nedir

Ollama, açık yapay zekâ modellerini indirip kendi bilgisayarında çalıştırmanı sağlayan ücretsiz bir araç. macOS, Windows ve Linux'ta çalışıyor.

Normalde ChatGPT'ye bir şey yazdığında metnin bir şirketin sunucusuna gider, cevap oradan gelir. Ollama'da model senin makinende durur. Soru da cevap da bilgisayarından çıkmaz. Hangi modellerin bu şekilde indirilebildiğini ve lisans farklarını açık kaynak yapay zekâ modeli nedir yazımızda anlattık.

Bilgisayarım yeter mi

Yeter mi sorusunun cevabı, çalıştırmak istediğin modelin boyutuna bağlı. Model çalışırken belleğe yüklenir. Kabaca modelin indirme boyutu kadar boş belleğin olmalı, üstüne biraz da pay.

Ollama'nın model sayfalarında her sürümün boyutu yazıyor. Örneğin yazı tarihinde Gemma 4 ailesinin en küçük sürümleri birkaç GB, en büyükleri 20 GB civarında. Küçük bir sürümle başlamak en mantıklısı.

Birkaç pratik not:

• Ekran kartı (GPU) şart değil, ama işi çok hızlandırıyor. Ekran kartı yoksa model işlemcide çalışır, cevaplar daha yavaş gelir.
• Apple Silicon (M1 ve sonrası) işlemcili Mac'lerde bellek ekran kartıyla ortak kullanılıyor. Bu yüzden bu Mac'ler yerel modelleri genelde rahat çalıştırıyor.
• Model yüklendikten sonra ollama ps komutu modelin nerede çalıştığını gösteriyor. "100% CPU" yazıyorsa tamamen işlemcide, "48%/52% CPU/GPU" gibi bir değer görüyorsan bir kısmı ekran kartında çalışıyordur.

Model diskte de yer kaplıyor. İndirdiğin her model, boyutu kadar alan tutar.

Ollama nasıl kurulur

Kurulum için iki yol var: hazır kurulum dosyası ya da tek satırlık komut. Hazır dosya daha kolay.

macOS'ta ollama.com'dan Mac için kurulum dosyasını indir, açıp uygulamayı Uygulamalar klasörüne taşı. Terminali seviyorsan şu komut da aynı işi görür:

curl -fsSL https://ollama.com/install.sh | sh

Windows'ta ollama.com'dan Windows kurulum dosyasını (OllamaSetup.exe) indirip çalıştır. PowerShell'de şu komutla da kurabilirsin:

irm https://ollama.com/install.ps1 | iex

Linux'ta tek komut yeterli:

curl -fsSL https://ollama.com/install.sh | sh

Bir komutu internetten kopyalayıp terminale yapıştırmadan önce adresin gerçekten ollama.com olduğundan emin ol. Sahte yapay zekâ uygulamaları yazımızda anlattığımız gibi, popüler araçların taklit sayfaları da dolaşıyor.

İlk modeli çalıştırmak

Kurulum bittikten sonra terminali aç ve şunu yaz:

ollama run gemma4

Bu komut modeli ilk seferde indirir, sonra sohbeti başlatır. İndirme internet hızına göre birkaç dakika sürebilir. Bittiğinde imleç yanıp söner, artık yazabilirsin.

Denemek için şöyle bir istek yazabilirsin:

Aşağıdaki metni üç maddede özetle. Her madde en fazla bir cümle olsun.

[metni buraya yapıştır]

Sohbetten çıkmak için /bye yaz. Bir sonraki ollama run gemma4 komutunda model tekrar inmez, doğrudan açılır.

Görsel anlayabilen modellerde bir resim dosyasının yolunu da verebilirsin. Belgelerdeki örnek şöyle:

ollama run gemma4 "Bu resimde ne var? /Users/kullanici/Masaustu/resim.png"

Bilmen gereken temel komutlar

Günlük kullanımda birkaç komut yetiyor:

ollama ls            # indirdiğin modelleri listeler
ollama pull gemma4   # modeli sohbet açmadan indirir ya da günceller
ollama ps            # şu an bellekte çalışan modelleri gösterir
ollama stop gemma4   # çalışan modeli bellekten çıkarır
ollama rm gemma4     # modeli bilgisayardan siler, diskte yer açar

Varsayılan ayarda bir model, son kullanımdan sonra 5 dakika bellekte kalıyor, sonra kendiliğinden boşalıyor. Belleği hemen geri istiyorsan ollama stop kullan.

İndirilen modeller macOS'ta ~/.ollama/models, Windows'ta C:\Users\%username%\.ollama\models klasöründe duruyor. Disk dolduysa önce ollama ls ile neler indirdiğine bak, kullanmadıklarını ollama rm ile sil.

Hangi modeli seçmeli

İlk model için küçük ve genel amaçlı bir sohbet modeli seç. Bu yazıdaki örneklerde Gemma 4 kullandık, çünkü Ollama'nın kendi belgelerinde de başlangıç örneği o. Model listesi sık değişiyor; ollama.com'daki model kütüphanesinde her modelin sayfasında boyutu, bağlam penceresi ve görsel anlayıp anlamadığı yazıyor.

Seçerken üç soruya bak:

1. Bilgisayarımın belleğine sığıyor mu? Modelin boyutu, boş belleğinden küçük olmalı.
2. Ne iş yapacağım? Sohbet ve metin işleri için genel bir model, kod için kod odaklı bir model, resim anlatmak için görsel destekli bir model.
3. Türkçe yeterli mi? Aynı Türkçe metni iki farklı modele özetlet, hangisinin cümleleri daha doğal duruyorsa onunla devam et.

Bir modelde karar kılmak zorunda değilsin. İki üç küçük modeli indirip aynı işte denemek, birkaç GB disk alanı ve yarım saat demek. Beğenmediğini ollama rm ile silersin.

Model adının yanındaki etiket hangi sürümü indirdiğini belirler. ollama run gemma4 varsayılan sürümü indirir; daha küçük ya da daha büyük bir sürüm istiyorsan model sayfasındaki etiketlerden birini adın sonuna iki nokta ile eklersin.

Ollama'yı başka programlarla kullanmak

Ollama çalışırken bilgisayarında küçük bir sunucu da açar ve başka programlar modele bu sunucu üzerinden ulaşabilir. Varsayılan adres http://localhost:11434. "localhost", isteğin bilgisayarının dışına çıkmadığı anlamına geliyor.

Belgelerdeki örneğe göre terminalden şöyle bir istek gönderebilirsin:

curl http://localhost:11434/api/chat -d '{
  "model": "gemma4",
  "messages": [{ "role": "user", "content": "Gökyüzü neden mavi?" }],
  "stream": false
}'

Bunun pratik anlamı şu: yerel modelini destekleyen not uygulamaları, kod editörleri ve sohbet arayüzleri Ollama'ya bağlanabiliyor. Ollama'nın kendi belgelerine göre Claude Code gibi kod araçlarına da ollama launch komutuyla bağlanmak mümkün. Bir programın ayarlarında "Ollama" ya da "yerel model" seçeneği görürsen, arka planda bu adresi kullanıyordur.

Bulut modellerine dikkat

Ollama artık bazı modelleri kendi sunucularında da çalıştırıyor. Model listesinde adında "cloud" geçen sürümler bu türden. Bu modeller senin bilgisayarında çalışmaz; istek Ollama'nın sunucusuna gider.

Ollama'nın açıklamasına göre yerel kullanımda yazdıklarını görmüyorlar. Bulut modellerinde ise isteği işliyorlar, ama içeriği saklamadıklarını ve onunla model eğitmediklerini söylüyorlar. Gizli bir metinle çalışıyorsan yine de yerel modelde kalmak en temizi.

Bulut özelliklerini tamamen kapatmak istersen ~/.ollama/server.json dosyasına şunu yaz:

{
  "disable_ollama_cloud": true
}

Aynı işi OLLAMA_NO_CLOUD=1 ortam değişkeniyle de yapabilirsin. Değişiklikten sonra Ollama'yı yeniden başlat.

Yerel model ne işe yarar, nerede zorlanır

Yerel model, dışarı göndermek istemediğin metinlerde ve tekrarlı işlerde en iyi halinde.

İyi gittiği işler:

• Müşteri yazışması, sözleşme taslağı ya da iç rapor gibi gizli metinleri özetlemek
• Bir e-postanın dilini düzeltmek, tonunu yumuşatmak
• Uzun bir listeyi kategorilere ayırmak
• İnternet olmayan bir yerde not toparlamak

Zorlandığı yerler:

• Güncel bilgi. Model, eğitildiği tarihten sonrasını bilmez ve internete bakamaz.
• Uzun ve karmaşık mantık zincirleri. Küçük modeller burada daha sık hata yapıyor.
• Türkçe. Bazı küçük modeller Türkçede İngilizceye göre daha zayıf kalabiliyor. Bir modeli Türkçe işlerde kullanacaksan kendi örneklerinle dene.

Yerel model de uydurabilir. Cevabın doğru olduğunu kontrol etmeden önemli bir yerde kullanma. Yapay zekâ neden uyduruyor yazımızda bunu yakalamanın yollarını anlattık.

Başlamak için önerim net: küçük bir model indir, gerçek bir işinden kısa bir metni özetlet ve sonucu ChatGPT'ninkiyle karşılaştır. İki cevap arasındaki fark, yerel modeli hangi işlerde kullanabileceğini sana kendisi söyler.

Sıradaki yazı Açık kaynak yapay zekâ modeli nedir? Açık ağırlıkla farkı