Gateway de IA
Gateway de IA europeu soberano em Rust: OpenAI, Anthropic, Gemini, pesquisa pgvector sub-10ms, tickets de capacidade efêmera e NL2SQL.
Um endpoint, N provedores#
O Aurabase AI Gateway é uma superfície HTTP e SDK unificada para os principais provedores de LLM. O mesmo código é executado em OpenAI, Anthropic e Google Gemini – você apenas altera provider ou confia no padrão do projeto.
O gateway incorpora quatro pilares nativos:
- Fallback automatizado: retorna automaticamente para um provedor secundário quando o primário sofre interrupções ou tempos limite de upstream (5xx/408).
- Sessões efêmeras: emite tickets de capacidade de curta duração (TTL de 300s) com orçamentos de token limitados, eliminando a exposição da chave de API em front-ends do cliente.
- Multidimensional pgvector: Roteamento de coluna dimensional dedicado (
embedding_768,embedding_1536,embedding_3072) com pesquisa de similaridade HNSW sub-5ms. - AST-Verified NL2SQL: Sintetiza consultas PostgreSQL validadas por um analisador de árvore de sintaxe abstrata que proíbe mutações e impõe limites de linha.
LLM suportado e modelos de incorporação#
| Provedor | Modelos de bate-papo e conclusão | Incorporações suportadas |
|---|---|---|
| Antrópico | claude-3-5-sonnet, claude-3-5-haiku, claude-3-opus | — |
| OpenAI | gpt-4o, gpt-4o-mini, o1, o3-mini | text-embedding-3-small (1536), text-embedding-3-large (3072) |
| Google Gêmeos | gemini-1.5-pro, gemini-1.5-flash, gemini-2.0-flash | text-embedding-004 (768) |
| Personalizado / Ollama | Qualquer endpoint compatível com OpenAI | Incorporações personalizadas compatíveis com OpenAI |
Sessões efêmeras (zero exposição secreta)#
Aplicativos front-end de página única e aplicativos móveis nunca devem incorporar chaves de API de back-end (aura_anon_... ou aura_sk_...) para endpoints LLM abertos. Aurabase resolve isso com sessões de capacidade efêmeras:
// Em seu back-end, componente de servidor Next.js ou função Edge:
const session = await aura.ai.session()
// A instância da sessão contém um ticket de capacidade 300s assinado com JWT HMAC:
const { content, budget_remaining } = await session.chat([
{ role: 'user', content: 'Summarize my dashboard statistics.' }
])
console.log('Tokens remaining in session:', budget_remaining)
O ticket é limitado pela cota mensal restante de tokens do projeto. Quando o orçamento de sessão alocado se esgota, o gateway rejeita solicitações com HTTP 429 Too Many Requests (code: "session_budget_exceeded"), protegendo sua organização contra ataques de negação de carteira do lado do cliente.
Bate-papo, streaming, pgvector e RAG#
for await (const chunk of aura.ai.chatStream([
{ role: 'user', content: 'Draft a Data Processing Agreement clause under GDPR.' }
], { provider: 'anthropic', model: 'claude-3-5-sonnet', temperature: 0.1 })) {
process.stdout.write(chunk.delta)
}
Registros de auditoria e cotas#
Cada chamada de IA é registrada com tokens de prompt/conclusão, tokens de raciocínio (incluindo pensamentos Gemini), provedor, modelo upstream, duração e status.
API de registros em tempo real
Inspecione os logs de auditoria por meio de GET /v1/ai/{project_id}/logs:
curl "https://<slug>.aurabase.dev/v1/ai/$PROJECT_ID/logs?limit=10" \
-H "apikey: $AURABASE_SERVICE_ROLE_KEY"
Os limites de taxa são aplicados em um bucket de token por projeto (10 req/min com burst 5 por padrão). Os limites do plano mensal se aplicam a ai.requests, ai.input_tokens e ai.output_tokens. Exceder os limites do plano mensal retorna HTTP 403 Forbidden (QUOTA_EXCEEDED).