人工智能网关
Rust中的欧洲主权人工智能网关:OpenAI、Anthropic、Gemini、低于 10 毫秒的 pgvector 搜索、临时功能票据和 NL2SQL。
该页面已自动翻译。英文版具有权威性。
一个端点,N 个提供商#
Aurabase AI 网关是主要 LLM 提供商的统一 HTTP 和 SDK 界面。相同的代码在 OpenAI、Anthropic 和 Google Gemini 上运行 - 您只需更改 provider 或依赖项目默认值。
该网关包含四个原生支柱:
- 自动回退:当主要提供商遭受上游中断或超时 (5xx/408) 时,自动回退到辅助提供商。
- 临时会话:发行具有有限代币预算的短期功能票证(300 秒 TTL),消除客户端前端中的 API 密钥暴露。
- 多维 pgvector:专用维度列路由(
embedding_768、embedding_1536、embedding_3072),具有低于 5 毫秒的 HNSW 相似性搜索。 - AST-已验证 NL2SQL:合成由抽象语法树解析器验证的 PostgreSQL 查询,该解析器禁止突变并强制执行行限制。
支持的 LLM 和嵌入模型#
| 提供者 | 聊天和完成模型 | 支持的嵌入 |
|---|---|---|
| 人类 | claude-3-5-sonnet、 claude-3-5-haiku、 claude-3-opus | — |
| OpenAI | gpt-4o、 gpt-4o-mini、 o1、 o3-mini | text-embedding-3-small (1536), text-embedding-3-large (3072) |
| 谷歌双子座 | gemini-1.5-pro、 gemini-1.5-flash、 gemini-2.0-flash | text-embedding-004 (768) |
| 定制/Ollama | 任何兼容 OpenAI 的端点 | 自定义 OpenAI 兼容嵌入 |
临时会话(零秘密暴露)#
前端单页应用程序和移动应用程序永远不应为开放式 LLM 端点嵌入后端 API 密钥(aura_anon_... 或 aura_sk_...)。 Aurabase 通过临时功能会话解决了这个问题:
typescript
// 在您的后端、Next.js 服务器组件或边缘函数中:
const session = await aura.ai.session()
// 会话实例拥有使用 JWT HMAC签名的 300 秒功能票证:
const { content, budget_remaining } = await session.chat([
{ role: 'user', content: 'Summarize my dashboard statistics.' }
])
console.log('Tokens remaining in session:', budget_remaining)
提示
门票受项目剩余的每月代币配额限制。当分配的会话预算耗尽时,网关会拒绝带有 HTTP 429 Too Many Requests (code: "session_budget_exceeded") 的请求,从而保护您的组织免受客户端拒绝钱包攻击。
聊天、流媒体、pgvector 和 RAG#
typescript
for await (const chunk of aura.ai.chatStream([
{ role: 'user', content: 'Draft a Data Processing Agreement clause under GDPR.' }
], { provider: 'anthropic', model: 'claude-3-5-sonnet', temperature: 0.1 })) {
process.stdout.write(chunk.delta)
}
审核日志和配额#
每个 AI 调用都会记录提示/完成标记、推理标记(包括 Gemini 想法)、提供者、上游模型、持续时间和状态。
实时日志API
通过 GET /v1/ai/{project_id}/logs检查审核日志:
bash
curl "https://<slug>.aurabase.dev/v1/ai/$PROJECT_ID/logs?limit=10" \
-H "apikey: $AURABASE_SERVICE_ROLE_KEY"
信息
对每个项目令牌桶强制执行速率限制(默认情况下为 10 个请求/分钟,突发 5)。每月计划限制适用于 ai.requests、 ai.input_tokens和 ai.output_tokens。超出每月计划限制将返回 HTTP 403 Forbidden (QUOTA_EXCEEDED)。