Przewodnik wyszukiwania RAG i wektorów
Zbuduj wyszukiwanie semantyczne i potok generacji rozszerzonej wyszukiwania (RAG) za pomocą pgvector i bramy AI Aurabase.
RAG na Aurabase w 3 krokach#
RAG umożliwia modelom AI dokładne reagowanie na Twoje prywatne dane bez konieczności ponownego szkolenia:
- Wektoryzacja: Twoje dokumenty tekstowe są przekształcane na cyfrowe wektory za pomocą
aura.ai.embed(). - Przechowywanie i indeksowanie: Wektory są przechowywane w PostgreSQL z natywnym rozszerzeniem
pgvector. - Rozszerzanie i odpowiedź: Pytanie jest porównywane z przechowywanymi wektorami, a odpowiednie fragmenty są dostarczane do LLM poprzez
aura.ai.chat().
Pełny kod rurociągu RAG#
import { aura } from '@/lib/aurabase'
export async function indexDocument(content: string, metadata: Record<string, any>) {
// Obliczanie osadzania wektorów za pośrednictwem AI Gateway Aurabase
const { vectors } = await aura.ai.embed({
provider: 'openai',
model: 'text-embedding-3-small',
input: [content],
})
// Zapisywanie w tabeli PostgreSQL
const { data, error } = await aura.from('documents').insert({
content,
metadata,
embedding: vectors[0],
})
return { data, error }
}
Indeksowanie HNSW dla zapytań trwających krócej niż 10 ms#
W przypadku baz danych zawierających setki tysięcy wektorów indeksowanie HNSW (Hierarchical Navigable Small World) zapewnia znacznie lepszą wydajność wyszukiwania niż ivfflat:
HNSW Indeks (zalecany)
Zerowy czas wstępnego szkolenia, przywołanie > 99% i stałe opóźnienie nawet przy ciągłym wstawianiu nowych dokumentów.
Odległość cosinusa (<=>)
Użyj operatora <=>, aby obliczyć znormalizowaną odległość cosinus pomiędzy wektorami osadzania.
Semantyczna pamięć podręczna i oszczędności tokenów#
Aurabase AI Gateway integruje automatyczną semantyczną pamięć podręczną : jeśli dwóch użytkowników zada podobne pytanie (podobieństwo cosinus większe niż 0,95), odpowiedź jest dostarczana z pamięci podręcznej w pamięci w w czasie krótszym niż 2 ms, oszczędzając 100% kosztów połączeń LLM.