AI-шлюз
Суверенный европейский шлюз искусственного интеллекта в Rust: OpenAI, Anthropic, Gemini, поиск pgvector менее 10 мс, билеты эфемерных возможностей и NL2SQL.
Одна конечная точка, N провайдеров#
Aurabase AI Gateway — это унифицированная поверхность HTTP и SDK для основных поставщиков LLM. Тот же код работает с OpenAI, Anthropic и Google Gemini — вы только меняете provider или полагаетесь на значение проекта по умолчанию.
Шлюз включает в себя четыре основных компонента:
- Автоматический переход на резервный режим: автоматически переключается на вторичного провайдера, когда у основного возникают сбои в восходящем направлении или тайм-ауты (5xx/408).
- Эфемерные сеансы: выдает краткосрочные мандаты (TTL 300 с) с ограниченными бюджетами токенов, исключая раскрытие ключей API в клиентских интерфейсах.
- Многомерный pgvector: выделенная размерная маршрутизация столбцов (
embedding_768,embedding_1536,embedding_3072) с поиском по сходству HNSW менее 5 мс. - AST-Verified NL2SQL: Синтезирует запросы PostgreSQL, проверенные синтаксическим анализатором абстрактного синтаксического дерева, который запрещает мутации и обеспечивает ограничения строк.
Поддерживаемые модели LLM и внедрения#
| Поставщик | Чат и модели завершения | Поддерживаемые встраивания |
|---|---|---|
| Антропный | claude-3-5-sonnet, claude-3-5-haiku, claude-3-opus | — |
| OpenAI | gpt-4o, gpt-4o-mini, o1, o3-mini | text-embedding-3-small (1536), text-embedding-3-large (3072) |
| Google Близнецы | gemini-1.5-pro, gemini-1.5-flash, gemini-2.0-flash | text-embedding-004 (768) |
| Пользовательский / Оллама | Любая конечная точка, совместимая с OpenAI. | Пользовательские встраивания, совместимые с OpenAI |
Эфемерные сеансы (нулевая секретность)#
Одностраничные приложения внешнего интерфейса и мобильные приложения никогда не должны встраивать ключи API серверной части (aura_anon_... или aura_sk_...) для открытых конечных точек LLM. Aurabase решает эту проблему с помощью сеансов временных возможностей:
// В вашем бэкэнде, серверном компоненте Next.js или пограничной функции:
const session = await aura.ai.session()
// Экземпляр сеанса содержит билет возможности 300s, подписанный с помощью JWT HMAC:
const { content, budget_remaining } = await session.chat([
{ role: 'user', content: 'Summarize my dashboard statistics.' }
])
console.log('Tokens remaining in session:', budget_remaining)
Билет ограничен оставшейся ежемесячной квотой токенов проекта. Когда выделенный бюджет сеанса исчерпан, шлюз отклоняет запросы с помощью HTTP 429 Too Many Requests (code: "session_budget_exceeded"), защищая вашу организацию от атак типа «отказ в кошельке» на стороне клиента.
Чат, стриминг, pgvector и RAG#
for await (const chunk of aura.ai.chatStream([
{ role: 'user', content: 'Draft a Data Processing Agreement clause under GDPR.' }
], { provider: 'anthropic', model: 'claude-3-5-sonnet', temperature: 0.1 })) {
process.stdout.write(chunk.delta)
}
Журналы аудита и квоты#
Каждый вызов ИИ регистрируется с использованием жетонов подсказки/завершения, жетонов рассуждений (включая мысли Близнецов), поставщика, восходящей модели, продолжительности и статуса.
API журналов реального времени
Проверьте журналы аудита через GET /v1/ai/{project_id}/logs:
curl "https://<slug>.aurabase.dev/v1/ai/$PROJECT_ID/logs?limit=10" \
-H "apikey: $AURABASE_SERVICE_ROLE_KEY"
Ограничения скорости применяются к сегменту токенов для каждого проекта (10 запросов в минуту с пакетом 5 по умолчанию). Ежемесячные ограничения плана применяются к ai.requests, ai.input_tokens и ai.output_tokens. При превышении месячных лимитов плана возвращается HTTP 403 Forbidden (QUOTA_EXCEEDED).