LocalAI'yi VPS Üzerinde Kendin Barındırma (Tam Kılavuz)

Self-hosting AI modelleri gibi LocalAI, verileriniz üzerinde tam kontrol sağlar, gizliliği artırır ve geliştiriciler ile homelab tutkunlarına uygun özelleştirme imkanı sunar. Bu kılavuz, Docker kullanarak VPS üzerinde LocalAI’yi kurmanızı sağlar ve optimize, sürdürülebilir bir yapılandırma oluşturmanıza yardımcı olur.

Neden LocalAI’yi Kendiniz Barındırmalısınız?

LocalAI, özel AI servislerine açık kaynaklı bir alternatif sunar ve büyük dil modellerinin (LLMs) yerel inference işlemini mümkün kılar. VPS üzerinde barındırmak, sürekli erişim, ağ bağlantısı ve kaynak kullanılabilirliği gibi avantajlar sağlar. Bu yapılandırma, gizlilik ön planda tutanlar veya özel AI yapılandırmalarıyla deneme yapmak isteyenler için idealdir.

Doğru VPS Sağlayıcısını Seçmek

LocalAI’yi kendiniz barındırmak için yeterli RAM ve CPU kapasitesine sahip bir VPS sağlayıcısı seçin. İşte popüler seçeneklerin karşılaştırması:

Daha detaylı karşılaştırmalar için [tam VPS karşılaştırması]‘nı ziyaret ederek en uygun planı seçebilirsiniz.

VPS’inizi Kurma

1. Sağlayıcınızı seçin ve temel bir Linux sunucusu dağıtımı kurun. Yaygın destekli olduğu için Ubuntu 22.04 LTS önerilir.
2. SSH ile bağlanın:

   ssh kullanıcı_adı@sunucu_ip

3. Sistem Güncellemesi Yapın:

   sudo apt update && sudo apt upgrade -y

Docker Kurulumu

LocalAI, dağıtımı kolaylaştırmak için Docker üzerinden sunulur.

# Docker'ı Kurun
curl -fsSL https://get.docker.com -o get-docker.sh
sudo sh get-docker.sh

# Kullanıcıyı docker grubuna ekleyin, kolaylık sağlar
sudo usermod -aG docker $USER

Çıkıp tekrar giriş yapın veya newgrp docker komutunu çalıştırın. Docker kurulumunu doğrulamak için:

docker --version

LocalAI’yi Yükleme ve Çalıştırma

LocalAI, çeşitli modeller için optimize edilmiş Docker image’leri sağlar. Burada, GPT-J gibi bir modeli barındıran localai/llm imajını kullanacağız.

Adım 1: Konfigürasyonlar için bir dizin oluşturun

mkdir -p ~/localai/config

Adım 2: LocalAI Docker imajını çekin

docker pull localai/llm:latest

Adım 3: LocalAI konteynerini çalıştırın

docker run -d --name localai \
  -p 8000:8000 \
  -v ~/localai/config:/app/config \
  localai/llm:latest

Bu komut, VPS üzerindeki 8000 portunu konteynere bağlar ve gerekirse yapılandırma dosyalarını mount eder.

Adım 4: Dağıtımı doğrulayın

LocalAI API’nize şu adresten erişebilirsiniz:

http://sunucu_ip:8000/v1/engines

Burada kullanılabilir modeller listelenmiş olmalı.

LocalAI’yi En İyi Performans İçin Konfigüre Etmek

• Model Seçimi: Kullanım amacınıza göre GPT-J, GPT-NeoX gibi modelleri tercih edin.
• Kaynakları Yeterince Ayırın: Daha büyük modeller için 16+ GB RAM’li VPS önerilir.
• Kalıcı Depolama: Model verileri için dizinleri mount etmeyi düşünün.

Daha detaylı yapılandırma seçenekleri için resmi LocalAI GitHub deposu’nu inceleyebilirsiniz.

Kurulumu Güvence Altına Almak

• Güvenlik için Güvenlik Duvarları (UFW veya iptables) kullanın.
• HTTPS ile güvenli hale getirmek için ters proxy kullanın (Caddy, Nginx vb.).
• Dışa açık hale getiriyorsanız kimlik doğrulama eklemeyi düşünün.

Güncellemeleri Otomatikleştirme

Düzenli konteyner yeniden başlatma veya güncelleme planlayabilirsiniz:

docker pull localai/llm:latest
docker stop localai
docker rm localai
docker run -d --name localai -p 8000:8000 -v ~/localai/config:/app/config localai/llm:latest

SSS

Self-hosting LocalAI için kaç GB RAM gerekir?

Modelin boyutuna bağlıdır. GPT-J 6B gibi küçük modellerin düzgün inference işlemi için yaklaşık 12-16 GB RAM gerekir. Daha büyük modeller ise 32 GB veya daha fazlasını gerektirebilir. Bu, VPS sağlayıcısı seçiminde önemli bir faktördür. Hafif kullanım için 8 GB RAM’li bir VPS yeterli olabilir, ancak sınırları göz önünde bulundurun. Her zaman, kullanmayı düşündüğünüz modelin kaynak ihtiyaçlarını kontrol edin.

Docker olmadan LocalAI çalıştırabilir miyim?

Evet. Docker kurulumu kolaylaştırsa da, kaynak koddan derleme veya önceden derlenmiş ikili dosyaları kullanma seçeneğiniz var. Ancak Docker, bağımlılık yönetimini, güncellemeleri ve tekrarlanabilirliği kolaylaştırır. Çoğu kullanıcı için Docker önerilir; gelişmiş ihtiyaçlarınız yoksa kullanmanız tavsiye edilir.

Self-hosting LocalAI ne kadar güvenli?

Güvenlik, yapılandırmanıza bağlıdır. Uygun güvenlik duvarı kuralları, HTTPS şifreleme ve kullanıcı doğrulama riskleri önemli ölçüde azaltır. API’ye doğrudan internette açmadan önce koruyucu önlemler alın. Güncellemeleri düzenli yapmak ve izleme yapmak da güvenliği artırır. /r/selfhosted veya awesome-selfhosted gibi topluluk kaynaklarından en iyi uygulamaları takip edebilirsiniz.

LocalAI çalışmıyorsa en yaygın sorun giderme adımları nelerdir?

• Docker konteyner loglarını kontrol edin: docker logs localai.
• Konteynerin çalışıp çalışmadığını doğrulayın: docker ps.
• Ağ ayarlarını ve port eşlemelerini kontrol edin.
• VPS güvenlik duvarı kurallarının port 8000’e izin verdiğinden emin olun.
• Kaynak kullanımını inceleyin; aşırı yük veya çökme olup olmadığını kontrol edin.

Son İpuçları

• Model parametrelerini özelleştirmek için ortam değişkenleri veya yapılandırma dosyaları kullanın.
• Sistem ve Docker imajlarınızı güncel tutun.
• Yapılandırma dosyalarınızı düzenli yedekleyin.
• Kaynak kullanımını izleyin ve gerekirse VPS planınızı ölçeklendirin.

VPS üzerinde LocalAI’yi kendiniz barındırmak, AI’yi yerel olarak keşfetmenin, veri gizliliğini korumanın ve özelleştirmenin güçlü bir yoludur. Bu kılavuz ile LocalAI’yi etkin şekilde dağıtıp yönetmeye hazır olacaksınız ve ihtiyaçlarınıza uygun en iyi VPS seçeneklerini kullanabileceksiniz.

Daha fazla barındırma seçeneği ve teknik kılavuzlar için [tam VPS karşılaştırması]‘nı ve r/selfhosted veya awesome-selfhosted topluluk kaynaklarını inceleyebilirsiniz.