RAG Chatbot Çok mu Yavaş? Yanıt Sürelerini Optimize Etmek (Konu: 16sn+)
n8n'deki RAG chatbot'ların neden 16 saniye veya daha uzun sürdüğü ve vector store seçimi, chunk boyutu, model seçimi ile caching'in yanıt süresini nasıl düşürdüğü.
n8n ile RAG chatbot nasıl kurulur: Vector Store, embedding'ler ve araç bağlantısı adım adım anlatılıyor.
Retrieval-Augmented Generation (RAG), bir dil modelini şirketin kendi belgeleriyle birleştirir; böylece bir chatbot, yalnızca modelin genel eğitim bilgisine değil, gerçek dahili bilgiye dayalı yanıtlar verir. n8n'de bir RAG sistemi pratikte iki ayrı workflow olarak kurulur: birinci workflow belgeleri yükler, bunları metin bölümlerine ayırır, bir embedding modeli aracılığıyla vektörlere dönüştürür ve bir Vector Store node'unda saklar. İkinci workflow, bu Vector Store'u bir AI Agent node'u üzerinden aranabilir bir araç olarak bağlar; böylece chatbot her istekte uygun metin bölümlerini kendisi bulur ve yanıtına dahil eder. Güncelleme: Temmuz 2026.
n8n dokümantasyonuna göre, n8n'deki bir RAG workflow'u birlikte çalışan dört bileşenden oluşur: Document Loader, Text Splitter, Embeddings ve Retriever'lı Vector Store. Document Loader, örneğin bir dosyadan, bir webhook'tan veya bir veritabanı sorgusundan dış kaynak verilerini alır. Text Splitter, embedding modelinin anlamlı şekilde işleyebilmesi için uzun belgeleri chunk adı verilen daha küçük bölümlere ayırır. Embeddings, metni vektörlere, yani anlamın sayısal temsillerine dönüştürür; dokümantasyona göre n8n yalnızca metin embeddinglerini destekler. Son olarak Retriever, bir sorgu için veritabanından uygun vektörleri geri getirir ve bunları tekrar kullanılabilir metne çevirir. Bu bileşenlerle ilgili ayrıntılar resmi dokümantasyonda Store and search data with vectors.
Yükleme için "Insert Documents" işlemine sahip bir Vector Store node'u ekleyin, bir embedding modeli bağlayın ve chunk'lara ayırma için bir Default Data Loader node'u ekleyin.
Hızlı testler için, vektörleri doğrudan n8n'in çalışma belleğinde tutan Simple Vector Store (In-Memory) node'u uygundur. Resmi node dokümantasyonuna göre bu node açıkça yalnızca geliştirme için düşünülmüştür.
Erişim için, aynı Vector Store node'unu "Retrieve Documents (As Tool for AI Agent)" modunda bir AI Agent node'una bağlarsınız; bu node, bir yanıt için gerektiğinde aramayı kendisi başlatır. Bu modda, aracın ne zaman kullanılacağını anlaması için aracın Name ve Description'ını, döndürülen chunk sayısı için bir sınırı ve isteğe bağlı olarak kaynak bilgilerini eklemek için "Include Metadata" seçeneğini yapılandırırsınız. Dokümantasyona göre, sorgu yaparken verileri eklerken kullandığınız embedding modelinin aynısını kullanmanız önemlidir, aksi takdirde vektör uzayları eşleşmez ve arama kötü sonuçlar verir. Alternatif olarak, sorguyu ajana bırakmak yerine kendinizin sabit bir arama sorgusu belirlediği "Get Many" işlemi üzerinden doğrudan sorgu da mevcuttur. Tam süreç Retrieve relevant context içinde açıklanmıştır. Bu yapıyı kendisi sürdürmek istemeyenler, NordFlux'un Yapay Zeka Ajanları hizmetinde sabit fiyatlı ve Alman veri egemenliğine sahip bir uygulama bulur.
RAG bir mucize çözüm değildir: yanıtların kalitesi doğrudan kaynak belgelerin yapısına bağlıdır ve n8n'e yerleşik Simple Vector Store, dokümantasyona göre açıkça yalnızca geliştirme için düşünülmüştür, çünkü veriler yeniden başlatmada kaybolur ve dokümantasyona göre, ilgili workflow'un izinlerinden bağımsız olarak, tüm kullanıcılar için instance genelinde görünürdür. Bu nedenle üretim ortamı için kalıcı, harici bir Vector Store'a ihtiyacınız vardır; n8n bunun için örneğin PGVector veya Azure AI Search gibi kendi node'larını sunar. Kötü yapılandırılmış kaynak belgeler, örneğin gerçek bir metin katmanı olmayan taranmış PDF'ler veya büyük, düzensiz tablolar, uygunsuz şekilde kesilmiş chunk'lara ve dolayısıyla chatbot'un yanlış veya eksik yanıtlarına yol açar. Temiz, iyi yapılandırılmış kaynak veriler, sonuç kalitesi için genellikle daha büyük bir embedding modeli seçmekten daha önemlidir.
"Get Many" ile Vector Store'a sabit, önceden belirlenmiş bir arama sorgusu verirsiniz; "Retrieve Documents (As Tool for AI Agent)" modu ise kararı ajana bırakır. Ajan, aracın Name ve Description'ına dayanarak, mevcut kullanıcı sorusu için Vector Store'da bir aramanın anlamlı olup olmadığını ve ne zaman yapılması gerektiğini kendisi kontrol eder. Bu, belge referansı olmadan genel sorulara da yanıt vermesi gereken bir chatbot için kurulumu daha esnek hale getirir.
n8n dokümantasyonuna göre, daha küçük embedding modelleri daha hızlı ve daha ucuzdur ve genel belgeler için uygundur; daha büyük modeller ise karmaşık uzmanlık konuları için daha iyi anlamsal anlayış sunar. Her durumda önemli olan, verileri eklerken ve daha sonra sorgularken aynı modeli kullanmanızdır, çünkü farklı modeller farklı vektör uzayları oluşturur.
Hayır, n8n dokümantasyonuna göre Simple Vector Store (In-Memory) node'u açıkça yalnızca geliştirme için düşünülmüştür, çünkü veriler instance yeniden başlatıldığında kaybolur ve dokümantasyona göre tüm kullanıcılar için instance genelinde görünürdür. Üretimde kullanılan bir kurumsal bilgi chatbot'u için kalıcı, harici olarak barındırılan bir Vector Store'a ihtiyacınız vardır.
n8n dokümantasyonu, ince taneli arama için 200 ile 500 token arasında chunk boyutları önerir; komşu bölümler arasında chunk sınırlarında bağlamın kaybolmaması için belirli bir örtüşme ile birleştirilir. Splitter stratejisi olarak n8n, çoğu kullanım durumu için, belgenin doğal yapısına göre yönlenip karakter sayısına göre keyfi bölmek yerine Recursive Character Text Splitter'ı önerir.
NordFlux'un kurucusu. Webden ve SEO'dan grup ölçeğindeki otomasyona kadar yedi yıllık deneyim, bugün KOBİ'ler için pragmatik biçimde ve Alman veri egemenliğiyle.
Sertifikalar
n8n'deki RAG chatbot'ların neden 16 saniye veya daha uzun sürdüğü ve vector store seçimi, chunk boyutu, model seçimi ile caching'in yanıt süresini nasıl düşürdüğü.
n8n'deki RAG ajanlarının vector store'u neden görmezden geldiğine dair en sık 5 neden: embedding, chunking, filtreler, prompt ve araç çıktısı bir bakışta.
Üretime hazır bir n8n otomasyon yığınının KOBİ'ler için ihtiyaç duyduğu bileşenler: veritabanı, kuyruk modu, vector store ve monitoring bir bakışta.
Vektör deposunu, embedding modelini ve chunking stratejisini doğru kurmak işin sadece yarısı; diğer yarısı sürekli işletim: güncel belgeler, kararlı yanıt kalitesi ve kullanıcı sayısı arttıkça çökmeyen bir chatbot. NordFlux, n8n tabanlı RAG chatbotlarını mimariden üretim işletimine kadar kurar ve şirket bilginizin gerçekten güvenilir şekilde erişilebilir kalmasını sağlar. İlk görüşmede kullanım senaryonuzu inceler ve RAG'ın sizin durumunuzdaki sınırlarının nerede olduğunu gösteririz.