Yerel LLM Kurulumu: Şirket Sunucusunda Yapay Zeka Modeli Çalıştırmak İçin Donanım, Yazılım ve Adımlar

Yerel LLM kurulumu, büyük dil modelini bir bulut servisine bağlanmak yerine şirketin kendi sunucusunda ya da kendi kontrolündeki özel bulutta çalıştırmaktır. İstem, belge ve yanıtlar kurumun kontrol ettiği ortamdan çıkmaz. Doğru kurulum dört parçadan oluşur: iş için yeterli boyutta açık ağırlıklı bir model, bu modeli taşıyacak GPU belleği, çok kullanıcıya hizmet veren bir sunum katmanı ve belgelere yetkiye göre erişen bir RAG altyapısı.

Kısaca

• Yerel LLM, verinin kurum dışına çıkmaması gereken işler için bulut API'ye güçlü bir alternatiftir; her iş için şart değildir.
• Gereken GPU belleğini model boyutu ve sayısal hassasiyet belirler; 4 bit nicemleme model ağırlıklarının kapladığı belleği FP16'ya göre kabaca dörtte bire indirir.
• Tek kullanıcılı denemede Ollama ya da llama.cpp yeterlidir; onlarca eş zamanlı kullanıcı için vLLM gibi bir sunum katmanı gerekir.
• Modeli kurmak işin yarısıdır; belgeleri bağlayan RAG, yetki denetimi ve kayıt tutma olmadan sistem kullanışlı da güvenli de olmaz.
• Verizon DBIR 2026'ya göre yapay zeka kullanıcılarının %67'si bu servislere kurumsal olmayan hesaplarla erişiyor; yerel model bu talebe kontrollü bir kanal açar.

Bulut yapay zeka servisleri şirket verisi için neden risk oluşturur?

Çalışanlar yapay zekayı zaten kullanıyor; sorun, nerede ve hangi hesapla kullandıkları. Verizon 2026 Data Breach Investigations Report verilerine göre çalışanların %45'i kurumsal cihazlarında düzenli yapay zeka kullanıcısı (bir önceki yıl %15) ve kullanıcıların %67'si bu servislere kurumsal olmayan hesaplarla erişiyor. Bu, teklif dosyalarının, sözleşmelerin ve kaynak kodun şirketin hiç görmediği hesaplara yüklenmesi demek. Konunun ayrıntısını ChatGPT'ye şirket verisi girmek yazısında ele aldık; ilgili kavram için gölge yapay zeka tanımına bakabilirsiniz.

Veri gizliliği kaygısı yapay zekanın benimsenmesini de yavaşlatıyor. Eurostat verilerine göre 2025'te AB'de yapay zekayı düşünüp kullanmayan işletmelerin %48,83'ü veri koruma ve gizlilik kaygısını, %70,89'u ise uzmanlık eksikliğini gerekçe gösterdi. Yerel LLM ilk kaygıya doğrudan cevap verir, ikincisini ise ancak doğru kurulum ve işletme desteğiyle çözer.

Kişisel veri işleniyorsa hukuki boyut da var. Yurt dışındaki bir servise gönderilen kişisel veri KVKK açısından yurt dışına aktarım sayılabilir; bu aktarım, Kanun'un 9. maddesindeki şartlardan birine (yeterlilik kararı, standart sözleşme gibi uygun güvenceler ya da sınırlı istisnalar) dayanmalıdır. Bu çerçeveyi KVKK yurt dışı veri aktarımı ve yapay zeka ve KVKK yazılarında anlattık.

Yerel LLM ne zaman doğru tercih, ne zaman değil?

Yerel kurulum, verinin hassas olduğu, kullanım hacminin sürekli olduğu ve ağ bağlantısının garanti olmadığı durumlarda öne çıkar. En güncel ve en büyük modellerin muhakeme gücüne ihtiyaç duyulan, kullanımı düşük ve düzensiz işlerde ise bulut API çoğu zaman daha ekonomiktir. Pek çok kurum için doğru cevap ikisinin birlikte kullanıldığı hibrit bir düzendir.

Pratik bir kural: personel dosyası, sağlık verisi, müşteri sözleşmesi, ürün reçetesi ya da teklif fiyatı gibi içeriklerle çalışan işler yerel modele; genel metin yazımı, çeviri ve kamuya açık bilgiyle yapılan araştırma bulut servislerine gidebilir. Bu ayrımı yazılı hale getirmek için şirket yapay zeka kullanım politikası rehberinden yararlanabilirsiniz.

Yerel LLM için hangi donanım gerekir?

Belirleyici kaynak işlemci değil, GPU belleğidir (VRAM). Model ağırlıklarının kapladığı alan kabaca parametre sayısı ile parametre başına bayt sayısının çarpımıdır: FP16'da 2 bayt, 8 bit nicemlemede 1 bayt, 4 bit nicemlemede yaklaşık yarım bayt. Bunun üzerine bağlam penceresi (KV önbellek) ve çalışma ortamı için en az %20–30 pay eklenir; uzun bağlam ve çok sayıda eş zamanlı kullanıcıda bu pay çok daha büyür.

Tablodaki rakamlar yalnızca ağırlıklar için yaklaşık değerlerdir; donanım sütunu 4 ya da 8 bit nicemlenmiş kullanımı varsayar, FP16 için gereken bellek kabaca iki ila dört katıdır. Uzun belgelerle çalışmak ve aynı anda çok kişiye yanıt vermek KV önbelleği büyütür; bu yüzden kapasite planı en yoğun saatteki kullanıcı sayısına göre yapılmalıdır. Sunucunun ayrıca hızlı NVMe disk, yeterli sistem belleği ve kesintisiz güç kaynağına ihtiyacı olur.

Nicemleme sihirli bir indirim değildir. 4 bit modeller çoğu iş için yeterli kalite verir, ancak sayısal hesap, hukuki metin yorumu ya da Türkçe gibi biçimbilimi zengin dillerde kalite kaybı daha çabuk hissedilebilir. Karar, aşağıda anlatılan değerlendirme setiyle ölçülerek verilmelidir.

Hangi model ve hangi yazılım seçilmeli?

Model tarafında Llama, Mistral, Qwen ve Gemma gibi açık ağırlıklı aileler en yaygın seçeneklerdir. "Açık ağırlıklı" her zaman "açık kaynak" anlamına gelmez; bazı lisanslar ticari kullanımı, kullanıcı sayısını ya da kullanım alanını sınırlar. Seçimden önce lisansı hukuk biriminizle birlikte okuyun ve modeli Türkçe kendi örnek sorularınızla deneyin.

Yazılım tarafında ihtiyaç iki katmandadır. Deneme ve tek kullanıcı için Ollama ya da llama.cpp hızlı kurulur ve dizüstü bilgisayarda bile çalışır. Onlarca eş zamanlı kullanıcıya hizmet verecek bir sistemde ise vLLM ya da SGLang gibi istekleri toplu işleyen bir sunum katmanı gerekir; bunlar OpenAI uyumlu bir API sunduğu için mevcut uygulamalar az değişiklikle bağlanabilir.

Model şirket belgelerini kendiliğinden bilmez. Belgelerden kaynak göstererek yanıt vermesi için RAG mimarisi ve belge parçalarını anlamına göre bulan bir vektör veritabanı kurulur.

Modelin kurumun diline ya da belirli bir göreve uyarlanması gerekiyorsa ince ayar devreye girer; bu kararın ölçütlerini firmaya özel yapay zeka modeli yazısında karşılaştırdık.

Yerel LLM kurulumu adım adım nasıl yapılır?

Aşağıdaki sıra, denemeden üretime geçişte en sık yapılan hataları önlemek için düzenlendi.

1. Kullanım senaryosunu ve veri sınıfını belirleyin. Hangi ekip, hangi belgelerle, hangi soruyu soracak? Verinin gizlilik sınıfı yerel mi bulut mu kararını belirler.
2. Değerlendirme seti hazırlayın. Gerçek işten 50–100 soru ve doğru cevaplarını yazın; her model ve ayar bu setle ölçülür.
3. Model ve lisansı seçin. İki üç aday modeli değerlendirme setiyle karşılaştırın, ticari kullanım koşullarını kontrol edin.
4. Donanımı boyutlandırın. Model boyutu, nicemleme düzeyi, bağlam uzunluğu ve en yoğun saatteki kullanıcı sayısından GPU belleğini hesaplayın.
5. Sunum katmanını kurun. Modeli vLLM gibi bir sunucuyla yayınlayın, API'yi yalnızca iç ağa açın ve kimlik doğrulama ekleyin.
6. Belgeleri RAG ile bağlayın ve yetkiyi uygulayın. Kullanıcı yalnızca görmeye yetkili olduğu belgelerden yanıt almalı; ilkeleri yetki bazlı yapay zeka yazısında anlattık.
7. Güvenlik ve kayıt katmanını ekleyin. İstemleri ve yanıtları kişisel veri politikanıza uygun süre saklayın, belgelere gizlenmiş talimatlara karşı istem enjeksiyonu önlemlerini alın.
8. Sınırlı bir ekiple pilot yapın. Yanıt doğruluğunu, hızını ve "bulamadım" oranını ölçün; sorunlu yanıtları değerlendirme setine ekleyin.
9. İşletmeyi planlayın. Model güncellemesi, GPU izleme, yedekleme ve yeni belgelerin dizine alınması için sorumluları ve takvimi belirleyin.

Yerel kurulumda en sık yapılan hatalar nelerdir?

İlk hata, donanımı tek kullanıcılı denemeye göre almaktır. Dizüstünde hızlı yanıt veren model, kırk kişi aynı anda sorduğunda dakikalarca bekletebilir. Kapasite, en yoğun saatteki eş zamanlı istek sayısıyla hesaplanmalıdır.

İkinci hata, "veri içeride kaldı" diye erişim denetimini atlamaktır. IBM'in 2025 Cost of a Data Breach raporuna göre kuruluşların %13'ü yapay zeka modeli ya da uygulamasında ihlal yaşadı ve bunların %97'sinde uygun yapay zeka erişim kontrolleri yoktu. Yerel model de yetkisiz kişiye maaş tablosunu özetleyebilir.

Üçüncü hata, modeli sorgusuz doğru kabul etmektir. Açık ağırlıklı modeller de kaynakta olmayan bilgi üretebilir; kaynak gösterme ve "belgede yok" deme davranışı tasarlanmalıdır. Bu konuda pratik önlemleri yapay zeka halüsinasyonu yazısında topladık.

Digital Bridge yerel LLM kurulumunda nasıl yardımcı olur?

Digital Bridge, kurumsal LLM asistanı hizmetinde açık kaynak (açık ağırlıklı) dil modelleriyle çalışan asistanı tamamen kurum sunucusunda kurabilir. Asistan prosedür, kılavuz ve sözleşmelerinizden RAG ile yanıt verir, her yanıtta kullandığı belge bölümünü gösterir ve kullanıcı yalnızca yetkili olduğu belgelerden yanıt alır. En çok sorulan konular ve yanıtlanamayan sorular raporlanır; böylece eksik ya da güncel olmayan prosedürler görünür hale gelir.

Modelin kurumunuzun terimlerine, belge biçimlerine ya da belirli bir sınıflandırma görevine uyarlanması gerekiyorsa firmaya özel yapay zeka eğitimi devreye girer; eğitilen model de kendi sunucunuzda çalışacak şekilde teslim edilir. Yerel modeli ERP, CRM ya da firmaya özel yazılımınız gibi mevcut sistemlere bağlamak ise yapay zeka entegrasyonu hizmetinin konusudur. Böylece çalışan yeni bir uygulama öğrenmek yerine zaten kullandığı ekrandan soru sorar.

Projeye donanım almadan önce başlamak mümkündür. Değerlendirme seti ve kısa bir model denemesiyle hangi model boyutunun yeteceği ölçülür; donanım kararı tahmine değil bu ölçüme dayanır. Yatırımın geri dönüşünü nasıl hesaplayacağınızı yapay zeka projesi ROI yazısında anlattık.

Yerel LLM için sonraki adım nedir?

Önce tek bir iş seçin: en çok tekrarlanan soru, en çok aranan belge ya da verisi dışarı çıkmaması gereken bir süreç. Ardından bu iş için örnek soruları ve belgeleri derleyin. Bu iki girdiyle model boyutu, donanım ve kurulum takvimi somut olarak konuşulabilir.

Kendi sunucunuzda çalışan bir yapay zeka asistanı için iletişim sayfamızdan bize yazabilir ya da 0850 346 41 09 numaralı telefondan ulaşabilirsiniz. Yapay zeka konusundaki diğer rehberlere yapay zeka yazıları sayfasından göz atabilir, temel kavram için sözlükteki LLM tanımına bakabilirsiniz.