Yerel Yapay Zeka Kurulumu
Yerel AI Modelleri Çalıştırmak İçin PC Nasıl Olmalı?
ChatGPT'ye bir şey sormak için internete bağlanmak zorunda kalmamayı hayal et. Yazdıklarının hiçbiri bir sunucuya gitmiyor, verilerini kimseyle paylaşmıyorsun, aylık abonelik ödemeye gerek yok — ve model tam olarak istediğin gibi davranıyor çünkü onu sen yapılandırıyorsun.
Bu artık hayal değil. Llama, Mistral, DeepSeek, Phi gibi modeller ev bilgisayarında çalışabiliyor. Ama burada kritik soru şu: Hangi bilgisayarda?
Yanlış donanımla yerel AI deneyimi ya çok yavaş ilerliyor ya da hiç çalışmıyor.
Her Şey VRAM’e Bağlı
Yerel AI modellerini çalıştırırken en büyük darboğaz işlemci değil, ekran kartının belleği yani VRAM. Çünkü model çalışırken ağırlıkların belleğe yüklenmesi gerekiyor.
- 7B model: yaklaşık 6–8 GB VRAM
- 13B model: yaklaşık 10–12 GB VRAM
- 70B model: 24 GB+ VRAM gerektirir
Örneğin 8 GB VRAM’li bir RTX 4060 ile 7B modeller oldukça akıcı çalışır. Ancak 13B seviyesine çıktığında sistem RAM’e taşma yapmaya başlayabilir. Bu durumda token üretim hızı ciddi şekilde düşer.
Quantization Neden Önemli?
Modeller ham haliyle çok yer kaplar. Ama quantize edilmiş sürümler daha düşük VRAM ile çalışabilir. Q4 veya Q5 formatları çoğu kullanıcı için kalite kaybı oluşturmadan ciddi avantaj sağlar.
Bugün Ollama ve LM Studio gibi araçlar bu süreci otomatik yönetiyor. Ekstra ayar yapman gerekmiyor.
GPU mu CPU mu?
AI modelleri GPU veya CPU üzerinde çalıştırılabilir. Ancak deneyim farkı oldukça büyük.
- GPU: 30–50 token/sn → akıcı kullanım
- CPU: 3–8 token/sn → daha yavaş deneyim
Aynı model GPU üzerinde gerçek zamanlı hissettirebilirken, CPU üzerinde uzun çıktılarda bekleme süresi hissedilir hale gelir.
RAM Ne Kadar Olmalı?
- 16 GB: 7B için yeterli
- 32 GB: 13B için ideal
- 64 GB: büyük modeller ve fine-tuning
Sadece modeli kullanmak istiyorsan çoğu senaryoda 32 GB yeterli olur.
Hangi GPU Gerçekten İşe Yarıyor?
NVIDIA tarafı şu anda AI araçlarında daha olgun bir ekosistem sunuyor. Özellikle CUDA desteği sayesinde kurulum süreci daha sorunsuz ilerliyor.
- Başlangıç: RTX 4060 Ti 16 GB
- Ciddi kullanım: RTX 4090 / RTX 5080
- Profesyonel: RTX Ada / H100 serisi
Depolama ve Soğutma Neden Kritik?
Model yükleme sürelerinde NVMe SSD ciddi fark yaratıyor. Birkaç model kullanmaya başladığında depolama ihtiyacı hızlı büyüyor.
Ayrıca AI iş yükleri GPU’yu saatler boyunca yüksek kullanımda tutuyor. Bu yüzden güçlü hava akışı ve sürdürülebilir soğutma önemli.
Peki Hazır Workstation Sistemleri?
Parça seçimi, uyumluluk, soğutma ve yükseltilebilirlik gibi detaylarla uğraşmak istemiyorsan hazır workstation sistemleri iyi bir başlangıç olabilir.
Yerel AI kullanımına geçerken doğru donanımı baştan kurmak uzun vadede ciddi zaman kazandırır.
Workstation Sistemlerini İncele