Leitfaden zur RAG- und Vektorsuche
Erstellen Sie eine semantische Suche und eine Retrieval-Augmented Generation (RAG)-Pipeline mit pgvector und dem Aurabase AI Gateway.
RAG auf Aurabase in 3 Schritten#
Mit RAG können Ihre KI-Modelle ohne Umschulung präzise auf Ihre eigenen privaten Daten reagieren:
- Vektorisierung: Ihre Textdokumente werden mit
aura.ai.embed()in digitale Vektoren umgewandelt. - Speicherung und Indizierung: Vektoren werden in PostgreSQL mit der nativen Erweiterung
pgvectorgespeichert. - Augmentation & Antwort: Die Frage wird mit den gespeicherten Vektoren verglichen und die relevanten Snippets werden dem LLM über
aura.ai.chat()bereitgestellt.
Vollständiger RAG-Pipeline-Code#
import { aura } from '@/lib/aurabase'
export async function indexDocument(content: string, metadata: Record<string, any>) {
// Berechnung der Vektoreinbettung über das AI Gateway Aurabase
const { vectors } = await aura.ai.embed({
provider: 'openai',
model: 'text-embedding-3-small',
input: [content],
})
// Speichern in der Tabelle PostgreSQL
const { data, error } = await aura.from('documents').insert({
content,
metadata,
embedding: vectors[0],
})
return { data, error }
}
HNSW-Indizierung für Abfragen unter 10 ms#
Für Datenbanken, die Hunderttausende von Vektoren enthalten, bietet die Indizierung HNSW (Hierarchical Navigable Small World) eine deutlich bessere Suchleistung als ivfflat:
HNSW Index (empfohlen)
Keine Zeit vor dem Training, Rückruf > 99 % und konstante Latenz auch bei kontinuierlichem Einfügen neuer Dokumente.
Kosinusabstand (<=>)
Verwenden Sie den Operator <=>, um den normalisierten Kosinusabstand zwischen den Einbettungsvektoren zu berechnen.
Semantischer Cache und Token-Einsparungen#
Das AI Gateway von Aurabase integriert einen automatischen semantischen Cache: Wenn zwei Benutzer eine ähnliche Frage stellen (Kosinusähnlichkeit größer als 0,95), wird die Antwort aus dem In-Memory-Cache in weniger als 2 ms bereitgestellt, wodurch 100 % der LLM-Anrufkosten eingespart werden.