KI-Gateway
Souveränes europäisches KI-Gateway in Rust: OpenAI, Anthropic, Gemini, pgvector-Suche unter 10 ms, kurzlebige Fähigkeitstickets und NL2SQL.
Ein Endpunkt, N Anbieter#
Das Aurabase AI Gateway ist eine einheitliche HTTP- und SDK-Oberfläche für große LLM-Anbieter. Der gleiche Code läuft auf OpenAI, Anthropic und Google Gemini – Sie ändern nur provider oder verlassen sich auf die Projektstandards.
Das Gateway umfasst vier native Säulen:
- Automatisierter Fallback: Fällt automatisch auf einen sekundären Anbieter zurück, wenn beim primären Anbieter Upstream-Ausfälle oder Zeitüberschreitungen auftreten (5xx/408).
- Ephemere Sitzungen: Stellt kurzlebige Funktionstickets (300s TTL) mit begrenzten Token-Budgets aus, wodurch die Offenlegung von API-Schlüsseln in Client-Frontends vermieden wird.
- Mehrdimensional pgvector: Dediziertes dimensionales Spaltenrouting (
embedding_768,embedding_1536,embedding_3072) mit HNSW Ähnlichkeitssuche in weniger als 5 ms. - AST-Verified NL2SQL: Synthetisiert PostgreSQL-Abfragen, die von einem Abstract Syntax Tree-Parser validiert wurden, der Mutationen verbietet und Zeilenbeschränkungen erzwingt.
Unterstützte LLM- und Einbettungsmodelle#
| Anbieter | Chat- und Abschlussmodelle | Unterstützte Einbettungen |
|---|---|---|
| Anthropisch | claude-3-5-sonnet, claude-3-5-haiku, claude-3-opus | — |
| OpenAI | gpt-4o, gpt-4o-mini, o1, o3-mini | text-embedding-3-small (1536), text-embedding-3-large (3072) |
| Google Gemini | gemini-1.5-pro, gemini-1.5-flash, gemini-2.0-flash | text-embedding-004 (768) |
| Benutzerdefiniert / Ollama | Jeder OpenAI-kompatible Endpunkt | Benutzerdefinierte OpenAI-kompatible Einbettungen |
Kurzlebige Sitzungen (keine geheime Enthüllung)#
Frontend-Einzelseitenanwendungen und mobile Apps sollten niemals Backend-API-Schlüssel (aura_anon_... oder aura_sk_...) für offene LLM-Endpunkte einbetten. Aurabase löst dieses Problem mit kurzlebigen Funktionssitzungen:
// In Ihrem Backend, der Next.js-Serverkomponente oder der Edge-Funktion:
const session = await aura.ai.session()
// Die Sitzungsinstanz enthält ein 300s-Fähigkeitsticket, das mit JWT HMAC signiert ist:
const { content, budget_remaining } = await session.chat([
{ role: 'user', content: 'Summarize my dashboard statistics.' }
])
console.log('Tokens remaining in session:', budget_remaining)
Das Ticket ist durch das verbleibende monatliche Token-Kontingent des Projekts begrenzt. Wenn das zugewiesene Sitzungsbudget aufgebraucht ist, lehnt das Gateway Anfragen mit HTTP 429 Too Many Requests (code: "session_budget_exceeded") ab und schützt so Ihr Unternehmen vor clientseitigen Denial-of-Wallet-Angriffen.
Chat, Streaming, pgvector & RAG#
for await (const chunk of aura.ai.chatStream([
{ role: 'user', content: 'Draft a Data Processing Agreement clause under GDPR.' }
], { provider: 'anthropic', model: 'claude-3-5-sonnet', temperature: 0.1 })) {
process.stdout.write(chunk.delta)
}
Audit-Protokolle und Kontingente#
Jeder KI-Anruf wird mit Aufforderungs-/Abschluss-Tokens, Argumentations-Tokens (einschließlich Gemini-Gedanken), Anbieter, Upstream-Modell, Dauer und Status protokolliert.
Echtzeitprotokoll-API
Prüfprotokolle über GET /v1/ai/{project_id}/logs prüfen:
curl "https://<slug>.aurabase.dev/v1/ai/$PROJECT_ID/logs?limit=10" \
-H "apikey: $AURABASE_SERVICE_ROLE_KEY"
Ratenbegrenzungen werden für einen Token-Bucket pro Projekt durchgesetzt (standardmäßig 10 Anforderungen/Minute mit Burst 5). Monatliche Planlimits gelten für ai.requests, ai.input_tokens und ai.output_tokens. Bei Überschreitung der monatlichen Plangrenzen wird HTTP 403 Forbidden (QUOTA_EXCEEDED) zurückgegeben.