एआई गेटवे
Rust में सॉवरेन यूरोपीय AI गेटवे: OpenAI, एंथ्रोपिक, जेमिनी, सब-10ms pgvector खोज, अल्पकालिक क्षमता टिकट, और NL2SQL।
एक समापन बिंदु, एन प्रदाता#
Aurabase AI गेटवे प्रमुख एलएलएम प्रदाताओं के लिए एक एकीकृत HTTP और SDK सतह है। एक ही कोड OpenAI, Anthropic, और Google जेमिनी के विरुद्ध चलता है - आप केवल provider बदलते हैं या प्रोजेक्ट डिफ़ॉल्ट पर भरोसा करते हैं।
प्रवेश द्वार में चार मूल स्तंभ शामिल हैं:
- स्वचालित फ़ॉलबैक: जब प्राथमिक अपस्ट्रीम आउटेज या टाइमआउट (5xx/408) से ग्रस्त होता है तो स्वचालित रूप से द्वितीयक प्रदाता के पास वापस आ जाता है।
- अल्पकालिक सत्र: सीमित टोकन बजट के साथ अल्पकालिक क्षमता वाले टिकट (300 टीटीएल) जारी करता है, जिससे क्लाइंट फ्रंटएंड में एपीआई कुंजी एक्सपोज़र समाप्त हो जाता है।
- मल्टी-डायमेंशन pgvector: सब-5ms HNSW समानता खोज के साथ समर्पित आयामी कॉलम रूटिंग (
embedding_768,embedding_1536,embedding_3072)। - AST-सत्यापित NL2SQL: एक सार सिंटैक्स ट्री पार्सर द्वारा मान्य PostgreSQL प्रश्नों को संश्लेषित करता है जो उत्परिवर्तन को रोकता है और पंक्ति सीमाओं को लागू करता है।
समर्थित एलएलएम और एम्बेडिंग मॉडल#
| प्रदाता | चैट एवं समापन मॉडल | समर्थित एंबेडिंग |
|---|---|---|
| मानवशास्त्रीय | claude-3-5-sonnet, claude-3-5-haiku, claude-3-opus | — |
| ओपनएआई | gpt-4o, gpt-4o-mini, o1, o3-mini | text-embedding-3-small (1536), text-embedding-3-large (3072) |
| गूगल जेमिनी | gemini-1.5-pro, gemini-1.5-flash, gemini-2.0-flash | text-embedding-004 (768) |
| कस्टम / ओलामा | कोई भी OpenAI-संगत समापन बिंदु | कस्टम ओपनएआई-संगत एम्बेडिंग |
अल्पकालिक सत्र (शून्य गुप्त प्रदर्शन)#
फ्रंटएंड सिंगल-पेज एप्लिकेशन और मोबाइल ऐप्स को ओपन-एंडेड एलएलएम एंडपॉइंट के लिए बैकएंड एपीआई कुंजी (aura_anon_... या aura_sk_...) को कभी भी एम्बेड नहीं करना चाहिए। Aurabase इसे अल्पकालिक क्षमता सत्रों के साथ हल करता है:
// आपके बैकएंड में, Next.js सर्वर कंपोनेंट, या एज फ़ंक्शन:
const session = await aura.ai.session()
// सत्र उदाहरण में JWT HMAC के साथ हस्ताक्षरित 300s क्षमता वाला टिकट है:
const { content, budget_remaining } = await session.chat([
{ role: 'user', content: 'Summarize my dashboard statistics.' }
])
console.log('Tokens remaining in session:', budget_remaining)
टिकट परियोजना के शेष मासिक टोकन कोटा से घिरा है। जब आवंटित सत्र बजट समाप्त हो जाता है, तो गेटवे HTTP 429 Too Many Requests (code: "session_budget_exceeded") के साथ अनुरोधों को अस्वीकार कर देता है, जो आपके संगठन को क्लाइंट-साइड इनकार-ऑफ-वॉलेट हमलों से बचाता है।
चैट, स्ट्रीमिंग, pgvector और RAG#
for await (const chunk of aura.ai.chatStream([
{ role: 'user', content: 'Draft a Data Processing Agreement clause under GDPR.' }
], { provider: 'anthropic', model: 'claude-3-5-sonnet', temperature: 0.1 })) {
process.stdout.write(chunk.delta)
}
ऑडिट लॉग और कोटा#
प्रत्येक एआई कॉल को शीघ्र/पूर्णता टोकन, तर्क टोकन (मिथुन विचार शामिल), प्रदाता, अपस्ट्रीम मॉडल, अवधि और स्थिति के साथ लॉग किया जाता है।
रीयल-टाइम लॉग एपीआई
GET /v1/ai/{project_id}/logs के माध्यम से ऑडिट लॉग का निरीक्षण करें:
curl "https://<slug>.aurabase.dev/v1/ai/$PROJECT_ID/logs?limit=10" \
-H "apikey: $AURABASE_SERVICE_ROLE_KEY"
प्रति-प्रोजेक्ट टोकन बकेट पर दर सीमाएँ लागू की जाती हैं (डिफ़ॉल्ट रूप से बर्स्ट 5 के साथ 10 अनुरोध/मिनट)। मासिक योजना सीमाएँ ai.requests, ai.input_tokens और ai.output_tokens पर लागू होती हैं। मासिक योजना सीमा से अधिक होने पर HTTP 403 Forbidden (QUOTA_EXCEEDED) रिटर्न मिलता है।