आरएजी और वेक्टर खोज गाइड
pgvector और Aurabase AI गेटवे के साथ सिमेंटिक सर्च और रिट्रीवल-ऑगमेंटेड जेनरेशन (RAG) पाइपलाइन बनाएं।
3 चरणों में Aurabase पर RAG#
RAG आपके AI मॉडल को बिना दोबारा प्रशिक्षण के आपके निजी डेटा पर सटीक प्रतिक्रिया देने की अनुमति देता है:
- वेक्टरीकरण: आपके पाठ्य दस्तावेज़
aura.ai.embed()का उपयोग करके डिजिटल वेक्टर में परिवर्तित हो जाते हैं। - भंडारण और अनुक्रमण: वेक्टर को मूल एक्सटेंशन
pgvectorके साथ PostgreSQL में संग्रहीत किया जाता है। - विस्तार और उत्तर: प्रश्न की तुलना संग्रहीत वैक्टर से की जाती है, और प्रासंगिक स्निपेट एलएलएम को
aura.ai.chat()के माध्यम से प्रदान किए जाते हैं।
पूर्ण RAG पाइपलाइन कोड#
import { aura } from '@/lib/aurabase'
export async function indexDocument(content: string, metadata: Record<string, any>) {
// एआई गेटवे Aurabase के माध्यम से वेक्टर एम्बेडिंग की गणना
const { vectors } = await aura.ai.embed({
provider: 'openai',
model: 'text-embedding-3-small',
input: [content],
})
// PostgreSQL तालिका में सहेजा जा रहा है
const { data, error } = await aura.from('documents').insert({
content,
metadata,
embedding: vectors[0],
})
return { data, error }
}
HNSW उप-10ms प्रश्नों के लिए अनुक्रमण#
सैकड़ों हजारों वैक्टर वाले डेटाबेस के लिए, HNSW (पदानुक्रमित नेविगेशन योग्य छोटी दुनिया) अनुक्रमण ivfflat की तुलना में काफी बेहतर खोज प्रदर्शन प्रदान करता है:
HNSW सूचकांक (अनुशंसित)
शून्य पूर्व-प्रशिक्षण समय, स्मरण > 99% और नए दस्तावेज़ों के निरंतर सम्मिलन के साथ भी निरंतर विलंबता।
कोज्या दूरी (<=>)
एम्बेडिंग वैक्टर के बीच सामान्यीकृत कोसाइन दूरी की गणना करने के लिए <=> ऑपरेटर का उपयोग करें।
सिमेंटिक कैश और टोकन बचत#
Aurabase का AI गेटवे एक स्वचालित सिमेंटिक कैश को एकीकृत करता है: यदि दो उपयोगकर्ता एक समान प्रश्न पूछते हैं (कोसाइन समानता 0.95 से अधिक), तो उत्तर इन-मेमोरी कैश से में 2 एमएस से कम में दिया जाता है, जिससे एलएलएम कॉल लागत की 100% बचत होती है।