AI-gateway
Soevereine Europese AI-gateway in Rust: OpenAI, Anthropic, Gemini, sub-10ms pgvector zoeken, tijdelijke capaciteitstickets en NL2SQL.
Eén eindpunt, N providers#
De Aurabase AI Gateway is een uniform HTTP- en SDK-oppervlak voor grote LLM-providers. Dezelfde code werkt tegen OpenAI, Anthropic en Google Gemini. U wijzigt alleen provider of vertrouwt op de projectstandaard.
De gateway omvat vier native pijlers:
- Geautomatiseerde terugval: Valt automatisch terug naar een secundaire provider wanneer de primaire stroomopwaartse storingen of time-outs ondervindt (5xx/408).
- Kortstondige sessies: Geeft kortstondige capaciteitstickets uit (300s TTL) met begrensde tokenbudgetten, waardoor blootstelling aan API-sleutels in clientfrontends wordt geëlimineerd.
- Multidimensionaal pgvector: Specifieke dimensionale kolomrouting (
embedding_768,embedding_1536,embedding_3072) met sub-5ms HNSW zoeken naar overeenkomsten. - AST-Geverifieerd NL2SQL: synthetiseert PostgreSQL-query's die zijn gevalideerd door een abstracte syntaxisboomparser die mutaties verbiedt en rijlimieten afdwingt.
Ondersteunde LLM- en inbeddingsmodellen#
| Aanbieder | Chat- en voltooiingsmodellen | Ondersteunde insluitingen |
|---|---|---|
| Antropisch | claude-3-5-sonnet, claude-3-5-haiku, claude-3-opus | — |
| OpenAI | gpt-4o, gpt-4o-mini, o1, o3-mini | text-embedding-3-small (1536), text-embedding-3-large (3072) |
| Google Gemini | gemini-1.5-pro, gemini-1.5-flash, gemini-2.0-flash | text-embedding-004 (768) |
| Aangepast / Ollama | Elk OpenAI-compatibel eindpunt | Aangepaste OpenAI-compatibele insluitingen |
Kortstondige sessies (geen geheime blootstelling)#
Frontend-applicaties met één pagina en mobiele apps mogen nooit backend-API-sleutels (aura_anon_... of aura_sk_...) insluiten voor LLM-eindpunten met een open einde. Aurabase lost dit op met kortstondige capaciteitssessies:
// In uw backend, Next.js Server Component of Edge Function:
const session = await aura.ai.session()
// Het sessie-exemplaar bevat een 300s-capaciteitsticket ondertekend met JWT HMAC:
const { content, budget_remaining } = await session.chat([
{ role: 'user', content: 'Summarize my dashboard statistics.' }
])
console.log('Tokens remaining in session:', budget_remaining)
Het ticket wordt begrensd door het resterende maandelijkse tokenquotum van het project. Wanneer het toegewezen sessiebudget is opgebruikt, wijst de gateway verzoeken af met HTTP 429 Too Many Requests (code: "session_budget_exceeded"), waardoor uw organisatie wordt beschermd tegen denial-of-wallet-aanvallen aan de clientzijde.
Chatten, streamen, pgvector en RAG#
for await (const chunk of aura.ai.chatStream([
{ role: 'user', content: 'Draft a Data Processing Agreement clause under GDPR.' }
], { provider: 'anthropic', model: 'claude-3-5-sonnet', temperature: 0.1 })) {
process.stdout.write(chunk.delta)
}
Auditlogboeken en quota's#
Elke AI-oproep wordt geregistreerd met prompt-/voltooiingstokens, redeneringstokens (inclusief Gemini-gedachten), provider, upstream-model, duur en status.
API voor realtime logboeken
Inspecteer auditlogboeken via GET /v1/ai/{project_id}/logs:
curl "https://<slug>.aurabase.dev/v1/ai/$PROJECT_ID/logs?limit=10" \
-H "apikey: $AURABASE_SERVICE_ROLE_KEY"
Snelheidslimieten worden afgedwongen voor een tokenbucket per project (10 req/min met standaard burst 5). Maandelijkse abonnementslimieten zijn van toepassing op ai.requests, ai.input_tokens en ai.output_tokens. Als u de maandelijkse abonnementslimieten overschrijdt, wordt HTTP 403 Forbidden (QUOTA_EXCEEDED) geretourneerd.