GPU Sunucu Nedir, Kimler İçin Uygundur?
GPU sunucu, ana işlemcinin (CPU) yanında güçlü bir grafik işlem birimiyle (GPU) donatılmış fiziksel sunucudur. CPU az sayıda güçlü çekirdekle işleri büyük ölçüde sırayla yürütürken GPU, binlerce küçük çekirdekle aynı türden hesabı aynı anda yapar. Bu nedenle matris çarpımına dayanan yapay zekâ modelleri, render ve video kodlama gibi işler GPU üzerinde CPU'ya göre çok daha kısa sürede tamamlanır. Oweb'in sunduğu yapılandırmada 24 GB GDDR6X belleğe sahip NVIDIA RTX 4090 ekran kartı kullanılır ve donanım başka müşterilerle paylaşılmaz.
GPU sunucu kiralama, düzenli olarak GPU gücüne ihtiyaç duyan ancak kendi donanımını satın alıp bakımını üstlenmek istemeyen ekipler için mantıklı bir yoldur. Tipik kullanım alanları şunlardır:
- Büyük dil modellerinin (LLM) ince ayarı (fine-tuning) ve çıkarım (inference) servisleri
- Görüntü sınıflandırma, nesne tanıma ve görüntü üretimi gibi bilgisayarlı görü projeleri
- Blender, Unreal Engine ve benzeri araçlarla 3B render ve animasyon
- NVENC donanım kodlayıcısıyla video dönüştürme (transcoding) ve canlı yayın işleme
- Simülasyon, veri analizi ve bilimsel hesaplama
Yapılandırma Seçerken Nelere Dikkat Etmelisiniz?
Doğru yapılandırma, iş yükünüzün nerede darboğaz yaşadığına bağlıdır. Aşağıdaki başlıklar, paket seçmeden ya da teklif istemeden önce netleştirmeniz gereken noktaları özetler.
VRAM Kapasitesi ve Model Boyutu
GPU belleği (VRAM), hangi modeli çalıştırabileceğinizi belirleyen ilk sınırdır. FP16 hassasiyette her model parametresi yaklaşık 2 bayt yer kaplar; 7 milyar parametreli bir modelin ağırlıkları tek başına 14 GB civarındadır. Bunun üzerine bağlam belleği (KV cache), ara katman çıktıları ve batch boyutu eklenir. RTX 4090'ın 24 GB VRAM'i 7–8 milyar parametreli modellerle çıkarım ve LoRA/QLoRA ile ince ayar için genellikle yeterlidir; 13 milyar ve üzeri parametreli modellerde 8 bit ya da 4 bit nicemleme (quantization) gerekir. Büyük bir modeli sıfırdan eğitmeyi planlıyorsanız ihtiyacınızı teklif aşamasında paylaşmanız, özel yapılandırma seçeneklerini birlikte değerlendirmemizi kolaylaştırır.
İşlemci, RAM ve NVMe Disk Dengesi
GPU ne kadar güçlü olursa olsun, veriyi yeterince hızlı besleyemeyen bir sistemde boşta bekler. Veri ön işleme ve veri yükleme (data loader) süreçleri CPU çekirdeklerini kullanır; sistem RAM'inin VRAM'den belirgin şekilde büyük olması veri setlerini ve modelleri bellekte tutmayı kolaylaştırır. Gen4 NVMe diskler ise büyük veri setlerinin okunmasını ve eğitim sırasında alınan kontrol noktalarının (checkpoint) yazılmasını hızlandırır. Paket tablosundaki işlemci, RAM ve disk değerlerini bu üç ihtiyaca göre birlikte değerlendirin.
Ağ, Trafik ve Lokasyon
Sunucularımız İstanbul'daki MARS veri merkezinde, operatör yedekli bağlantıyla çalışır ve trafik sınırı yoktur. Bu, model ve veri seti indirirken trafik kotasına takılmamanız, Türkiye'deki kullanıcılara hizmet veren çıkarım API'lerinde ise daha düşük gecikme anlamına gelir. ISP seviyesinde firewall ve Voxility altyapısıyla sağlanan DDoS koruması, herkese açık uç noktası olan projelerde ek bir güvenlik katmanı sunar.
Yazılım: CUDA, Sürücü ve İşletim Sistemi
PyTorch ve TensorFlow sürümleri belirli CUDA ve cuDNN sürümleriyle uyumlu çalışır; sürücü ile framework arasındaki uyumsuzluk en sık karşılaşılan kurulum sorunudur. Kiraladığınız NVIDIA GPU sunucu, NVIDIA sürücüsü, CUDA ve cuDNN kurulu olarak teslim edilir; Ubuntu ve Debian gibi Linux dağıtımları ile Windows Server arasında seçim yapabilirsiniz. Root/Administrator yetkisi ve IPMI/KVM uzaktan erişimi sayesinde ortamı kendi ihtiyacınıza göre düzenleyebilir, farklı projeleri Docker ve NVIDIA Container Toolkit ile birbirinden ayırabilirsiniz.
Her İş Yükü GPU Gerektirir mi?
Her iş yükü GPU'dan fayda görmez. Web siteleri, veritabanları, e-posta ve klasik uygulama sunucuları ağırlıklı olarak CPU, RAM ve disk performansına dayanır; bu senaryolarda İstanbul'daki dedicated sunucularımız ya da daha esnek ölçeklenen KVM tabanlı VDS sanal sunucu daha ekonomik bir tercihtir. GPU sunucu ise paralel hesaplamanın belirleyici olduğu, saatler ya da günler süren eğitim, render ve kodlama işlerinde anlamlıdır.
Kendi GPU'lu sunucunuz zaten varsa, onu veri merkezimize yerleştirmek için sunucu barındırma (co-location) hizmetimizi inceleyebilirsiniz. Hangi seçeneğin size uygun olduğundan emin değilseniz, iş yükünüzü Teklif Al formunda kısaca anlatmanız yeterlidir.
Kurulum ve Geçiş Adımları
- İş yükünüzü tanımlayın: kullanacağınız model, hassasiyet (FP16, 8 bit, 4 bit) ve batch boyutu VRAM ihtiyacınızı belirler.
- Paketi seçin; standart paketler yetmiyorsa Teklif Al formuyla özel yapılandırma isteyin.
- İşletim sistemini belirleyin; NVIDIA sürücüsü, CUDA ve cuDNN kurulumu tarafımızca yapılır.
- Veri setlerinizi ve model dosyalarınızı rsync veya SFTP ile aktarın, Python ortamınızı (venv, conda ya da Docker) kurun.
- nvidia-smi ile GPU'nun ve sürücünün göründüğünü doğrulayın, kısa bir eğitim veya çıkarım testiyle performansı ölçün.
GPU Sunucu Kullanımında Sık Yapılan Hatalar
- VRAM ihtiyacını yalnızca model ağırlıklarına göre hesaplamak; bağlam uzunluğu ve batch boyutu arttıkça bellek kullanımı da büyür.
- Sürücü, CUDA ve framework sürümlerini birbirinden bağımsız güncellemek ve uyumluluk tablolarını kontrol etmemek.
- GPU kullanım oranını izlememek: nvidia-smi çıktısında GPU kullanımı düşük kalıyorsa darboğaz çoğunlukla CPU, disk ya da veri yükleme tarafındadır.
- Kontrol noktalarını ve eğitilmiş modelleri yalnızca sunucuda tutmak; önemli çıktılar düzenli olarak sunucu dışına yedeklenmelidir.
- Jupyter, TensorBoard ya da model API portlarını parolasız ve herkese açık bırakmak; bu servisleri güvenlik duvarı veya SSH tüneli arkasında tutun.
