Kurumsal dokümanlar, prosedürler, sözleşmeler veya ürün katalogları üzerinden doğru ve kaynaklı yanıt veren bir yapay zeka sistemi kurmak istiyorsanız, projelerin büyük çoğunluğunda doğru başlangıç noktası model ince ayarı (Fine-Tuning) değil, RAG (Retrieval-Augmented Generation / Erişim Destekli Üretim) mimarisidir. RAG, modele şirket belgelerinizi ezberletmeye çalışmak yerine soru sorulduğu anda yetkili doküman paragraflarını bulup modele kanıt olarak verir; Fine-Tuning ise modelin bilgi dağarcığını güncellemekten çok konuşma üslubunu, özel terminolojisini veya yapılandırılmış çıktı formatını öğretmek için kullanılır. Kendi doküman hacminiz için gereken vektör indeks ve sunucu kapasitesini ücretsiz kurumsal RAG boyutlandırıcı aracımızla hemen hesaplayabilirsiniz.
Temel yanılgı: Modeli şirket belgeleriyle eğitmek neden tek başına işe yaramaz?
Birçok kurum yapay zeka projesine başlarken elindeki binlerce PDF dosyasıyla bir dil modelini eğittiğinde (fine-tuning) modelin tüm şirket bilgisini hatasız öğreneceğini varsayar. Pratikte bu yaklaşım üç ciddi mühendislik engeline takılır:
- Bilgi güncelliği: Fiyat listeniz, İK yönetmeliğiniz veya teknik şartnameniz ertesi gün değiştiğinde eğitilmiş model eski bilgiyi söylemeye devam eder.
- Kaynak gösterememe ve halüsinasyon: İnce ayar yapılmış bir model yanıtı ağırlıklarından (weights) ürettiği için hangi sözleşmenin kaçıncı maddesine dayandığını kanıtlayamaz ve emin olmadığı yerde ikna edici bir dille yanlış bilgi üretebilir.
- Yetki ve erişim sınırları (ACL): Şirket içindeki her çalışanın her belgeyi görme yetkisi yoktur. Bilgi modelin ağırlıklarına gömüldüğünde, hangi kullanıcının hangi bilgiye erişebileceğini satır veya belge bazında filtrelemek imkânsızlaşır.
Bu üç sorunu çözen mimari chatbot ve RAG doküman asistanı yaklaşımıdır.
RAG ve Fine-Tuning karşılaştırma tablosu
Aşağıdaki karar tablosu iki yaklaşımı altı temel mühendislik kriterine göre karşılaştırır:
| Kriter | RAG (Erişim Destekli Üretim) | Fine-Tuning (Model İnce Ayarı) | Hibrit (RAG + Fine-Tuning) |
|---|---|---|---|
| Temel Amaç | Güncel şirket belgelerinden kanıtlı yanıt üretmek | Modele özel biçim, ton, sınıflandırma veya sektör dili kazandırmak | Hem derin sektör terminolojisi hem de canlı doküman kanıtı |
| Veri Güncelleme Hızı | Dakikalar içinde (yeni belge indekse eklenir, model yeniden eğitilmez) | Yavaş ve maliyetli (her büyük değişiklikte yeni eğitim koşusu gerekir) | Belge güncellemeleri anlık, model davranışı dönemsel |
| Kaynak Gösterme (Citation) | Doğrudan belge adı, sayfa ve paragraf bağlantısı verir | Kaynak gösteremez; yanıt model ağırlıklarından gelir | RAG katmanı üzerinden tam kaynak gösterir |
| Yetki Kontrolü (RBAC) | Kullanıcının rolüne göre vektör araması filtrelenir | Model ağırlıkları içinde kullanıcı bazlı yetki ayrımı yapılamaz | RAG katmanında rol bazlı erişim kontrolü uygulanır |
| Halüsinasyon Kontrolü | Bulunan metin dışında yanıt vermemesi kurala bağlanabilir | Açık uçlu bilgi sorularında halüsinasyon riski devam eder | En yüksek doğruluk ve format tutarlılığı |
| İlk Kurulum ve GPU Yükü | Düşük/Orta (İndeksleme hattı + vektör arama + mevcut LLM) | Yüksek (Etiketli eğitim verisi hazırlığı, GPU eğitimi ve MLflow takibi) | Yüksek (Önce RAG canlıya alınır, darboğaz noktalarda ince ayar eklenir) |
RAG mimarisi üretimde nasıl kurulur?
Üretim seviyesinde çalışan bir kurumsal RAG sistemi yalnızca PDF dosyalarını parçalayıp bir vektör veritabanına atmaktan ibaret değildir. ALGOFACT mühendislik ekibinin kurduğu RAG hatları şu beş katmandan oluşur:
1. Belge okuma ve yapısal parçalama (Chunking): PDF, Word, Excel ve taranmış belgeler (OCR) başlık hiyerarşisi ve tablolar bozulmadan anlamlı parçalara ayrılır. Bir tablonun başlığıyla satırları birbirinden koparsa model doğru sayıyı bulamaz.
2. Türkçe için hibrit arama (Anlamsal + BM25): Türkçe sondan eklemeli bir dil olduğu için yalnızca kelime eşleşmesi veya yalnızca vektör araması tek başına eksik kalır. Çok dilli gömme (embedding) modelleriyle anlamsal aramayı ve kök/kelime tabanlı aramayı (özellikle ürün kodları, kanun maddeleri ve seri numaraları için) birlikte çalıştırırız.
3. Yetki filtrelemesi (Document ACL): Arama sorgusu çalışırken kullanıcının kimliği ve rolü sorguya eklenir; kullanıcının erişim yetkisi olmayan hiçbir belge parçası dil modelinin bağlamına (context) girmez.
4. Yeniden sıralama (Reranker): İlk aramadan gelen 30 aday parça, çapraz kodlayıcı (cross-encoder) bir reranker modeliyle soruya göre yeniden puanlanır ve yalnızca en alakalı 5 ila 8 parça dil modeline gönderilir.
5. Kaynaklı yanıt ve bilmediğini söyleme kuralı: Modele yalnızca verilen parçalara dayanarak yanıt üretmesi ve her iddianın yanına kaynak numarasını eklemesi talimatı verilir. Kaynaklarda bilgi yoksa model tahmin yürütmez, bilgiyi bulamadığını açıkça yazar.
Fine-Tuning (Model İnce Ayarı) ne zaman gerçekten gerekir?
RAG bilgiye erişimi çözerken, özel yapay zeka modelleri ve fine-tuning şu senaryolarda devreye girer:
- Yapılandırılmış veri çıkarma ve sınıflandırma: Günde on binlerce serbest metin talebi, tıbbi raporu veya hukuki maddeyi katı bir JSON şemasına dönüştürmek ve bunu çok daha küçük, hızlı ve düşük maliyetli bir yerel modelle yapmak istediğinizde.
- Sektörel dil ve kısaltmalar: Standart dil modellerinin anlamakta zorlandığı çok özel mühendislik, savunma, tıp veya finans kısaltmalarının yoğun olduğu metinlerde.
- Gömme (Embedding) ve Reranker ince ayarı: Çok büyük dil modelini eğitmek yerine, kurumunuzun soru-belge çiftleriyle arama (embedding/reranker) modelini ince ayarlamak çoğu zaman çok daha düşük maliyetle çok daha yüksek doğruluk artışı sağlar.
KVKK, ISO 27001 ve kurum içi (On-Premises) çalışma
Hassas sözleşmelerin, hasta kayıtlarının veya Ar-Ge belgelerinin işlendiği projelerde verinin şirket dışına çıkmaması temel şarttır. Hem RAG hem de ince ayarlı modeller, ALGOFACT’in ISO/IEC 27001:2022 sertifikalı mühendislik standartları doğrultusunda tamamen kendi sunucularınızda (on-premises GPU) veya Türkiye içi izole veri merkezlerinde çalıştırılabilir.
Projeniz için doğru kararı nasıl veririz?
Her projeye önce 100 ila 200 gerçek şirket sorusundan oluşan bir değerlendirme veri kümesi (evaluation set) hazırlayarak başlarız. Önce temiz bir RAG hattı kurup bu sorular üzerindeki doğruluk ve kaynak gösterme oranını ölçeriz. Yalnızca ölçülen sonuçlarda modelin biçim veya terminoloji hatası yaptığı kanıtlanırsa o noktaya özel fine-tuning adımı ekleriz.
Kendi doküman havuzunuzun boyutunu test etmek için RAG altyapı boyutlandırıcı aracımızı kullanabilir, yapay zeka danışmanlığı sayfamızı inceleyebilir veya iletişim sayfamızdan 30 dakikalık keşif görüşmesi planlayabilirsiniz.