We hebben dit onderscheid rechtstreeks geverifieerd in de code van de aura-ai-service, niet op een marketingpagina: drie providermodules (anthropic, gemini, openai) vormen de gateway, meer niet. De rest van het landschap bevestigt dat dit een echte ontwikkelaarscategorie is, en geen geïsoleerd marketingargument. Neon publiceert twee speciale pagina's (“AI Gateway” en “Backend voor AI-agents”), LiteLLM heeft zichzelf gevestigd als een open source-referentieproject en Braintrust wijdt er zijn eigen vergelijkingen aan.
De essentie
- 3 native providers geverifieerd in code: OpenAI, Anthropic (Claude), Google Gemini (
aura-ai/src/llm/mod.rs). - Mistral, Scaleway AI en Ollama gaan via de generieke OpenAI-adapter (
OPENAI_BASE_URL), niet via een speciale client. - De native brengt meer dan alleen de verbinding: stroomonderbreker door (project, leverancier), nieuwe poging tot back-off, fallback-keten (standaardvolgorde Anthropic → OpenAI → Google), standaardisatie van shutdown-redenen.
- Anthropic dekt alleen chat: geen insluitings-API, in tegenstelling tot OpenAI en Gemini die beide omvatten.
- Neon, LiteLLM en Braintrust bevestigen dezelfde categorie aan de marktkant, met drie verschillende benaderingen: beheerde gateway, open source proxy, vergelijkende inhoud.
Wat is een AI-gateway op een Postgres backend?
Een AI Gateway centraliseert oproepen naar externe LLM-providers achter één enkele interface, in plaats van elke SDK-integratie aan de applicatiezijde te coderen. API-sleutels blijven aan de serverzijde en worden nooit blootgesteld aan de client. De gateway voegt een gemeenschappelijke laag van opnieuw proberen, failover en kostentelling toe bovenop providers met verschillende antwoordformaten.
Op een Postgres backend zoals Aurabase heeft deze keuze een direct gevolg: dezelfde gateway stuurt de applicatiechat aan, de NL2SQL (vertaling in natuurlijke taal naar SQL) en de RAG (pgvector vectorzoekopdracht). Een slecht geïntegreerde provider verslechtert alle drie de functies tegelijk, en niet slechts één. Dit maakt het onderscheid native/compatibel meer dan een implementatiedetail.
Native provider of compatibel eindpunt: het concrete verschil
Een native client codeert de echte vorm van de API van de provider: verzoekstructuur, antwoordformaat, gebruiksvelden die specifiek zijn voor deze provider. Dit is het geval van Anthropic, waarvan de “Messages” API niet lijkt op die van OpenAI, of van Gemini, wiens telling van redeneertokens (thoughtsTokenCount) wordt toegevoegd aan de uitvoerteller in plaats van daar al te zijn opgenomen.
Een OpenAI-compatibel eindpunt hergebruikt de bestaande OpenAI-client en verandert alleen de basis-URL. Dit werkt omdat de externe provider (Mistral, Scaleway AI, Ollama) ervoor koos het API-contract van OpenAI te imiteren, vaak met afwijkingen: geen apart redeneringstokenveld, geen garantie op de exacte vorm van fouten. Compatibiliteit eindigt waar imitatie eindigt.
3 native LLM-clients op Aurabase, niet meer
Het bestand dat de providers in aura-ai organiseert, laat geen ruimte voor dubbelzinnigheid. Drie modules, één per native provider, verder niets aangegeven.
pub mod anthropic;
pub mod gemini;
pub mod openai;
Elke module implementeert de eigenschap ChatProvider (voltooiing, streaming, modelnaam). Twee van hen, OpenAI en Gemini, implementeren bovendien EmbeddingProvider. Anthropic heeft het niet nodig: Claude onthult geen insluitings-API aan de kant van de leverancier, een productfeit van Anthropic zelf, en niet een tekortkoming van de Aurabase-code.
| OpenAI | INHEEMSE KLANT | Chat + berekening van high-fidelity vectorinbedding |
|---|---|---|
| Antropisch (Claude) | INHEEMSE KLANT | Chat-inferentie en gestructureerde modelaanvulling Claude |
| Google Tweelingen | INHEEMSE KLANT | Chat + insluitingen, token tellen voor additief redeneren |
| Mistral | COMPATIBELE LOCATIE | Routering via standaard OpenAI-compatibel protocol (aangepaste URL) |
| Scaleway-AI | COMPATIBELE LOCATIE | Route via openai.rs-client, variabele OPENAI_BASE_URL |
| Ollama (zelf gehost) | COMPATIBELE LOCATIE | Route via openai.rs-client, variabele OPENAI_BASE_URL |
Verbind Mistral, Scaleway AI of Ollama met een Aurabase project
Voor het configureren van Mistral, Scaleway AI of Ollama is geen nieuwe module nodig: dezelfde OPENAI_BASE_URL variabele leidt de openai.rs client om naar een ander compatibel eindpunt. Dit is een configuratieschakelaar, geen ontwikkeling.
# Standaardprovider: Native OpenAI
OPENAI_API_KEY=sk-...
# Schakel over naar een OpenAI-compatibele provider (Mistral, Scaleway AI, Ollama...)
OPENAI_API_KEY=<clé du fournisseur choisi>
OPENAI_BASE_URL=<URL de base compatible OpenAI du fournisseur>
# bijv. Mistral: https://api.mistral.ai/v1
Gedrag verandert dienovereenkomstig. HTTP-fouten blijven geclassificeerd door hetzelfde mechanisme (429 → snelheidslimiet, 5xx → tijdelijk en opnieuw te proberen, 404 → onbekend model), omdat de classificatie zich op het HTTP-transportniveau bevindt en niet op providerspecifieke parsering. Wat niet volgt: het nauwkeurig tellen van redeneertokens, specifiek voor de speciale Gemini-client.
Waarom native een game changer is: omschakeling, fouten, facturering
De Aurabase-gateway voegt drie veerkrachtmechanismen toe bovenop de drie native clients. Een stroomonderbreker per paar (project, provider) verbreekt oproepen naar een herhaaldelijk mislukte provider, waarbij een probe-token in een semi-open staat staat voordat deze opnieuw wordt geopend. Een exponentiële nieuwe poging tot uitstel met jitter herstart tijdelijke fouten (time-out, 5xx, 429), zonder afhankelijkheid van een externe bibliotheek met willekeurige getallen.
Wanneer meerdere providers in een keten zijn geconfigureerd, wordt er slechts één poging per provider gedaan voordat naar de volgende wordt overgeschakeld, om versterking (opnieuw proberen × terugval) te voorkomen, waardoor de upstream-oproepen en de totale latentie zouden worden vermenigvuldigd. De standaardvolgorde van dit kanaal is Anthropic, vervolgens OpenAI en vervolgens Google Gemini.
Elke provider noemt de reden voor het stoppen van een reactie ook anders: length bij OpenAI, MAX_TOKENS bij Gemini, max_tokens bij Anthropic, voor dezelfde realiteit (truncatie). De code normaliseert deze drie vocabulaires naar een gemeenschappelijke set (stop, length, content_filter, tool_use, other). Zonder deze standaardisatie zou een klant van meerdere leveranciers alle drie de vocabulaires moeten kennen om een afgeknot antwoord te kunnen detecteren.
Facturering illustreert hetzelfde risico. Bij OpenAI en Anthropic is de redenering van het model al opgenomen in de teller van de in rekening gebrachte outputtokens. Bij Gemini wordt thoughtsTokenCount afzonderlijk toegevoegd aan candidatesTokenCount: als u dit negeert, worden de werkelijke kosten van een zoekopdracht onderschat. Een generieke OpenAI-compatibele adapter heeft geen reden om deze bijzonderheid te kennen, specifiek voor het eigen reactieformaat van Gemini.
Neon, LiteLLM, Braintrust: waar zijn de beste LLM-gateways in 2026?
De markt bevestigt dat een AI Gateway een verwachte bouwsteen is geworden, en geen geïsoleerd marketingargument. Neon publiceert twee speciale productpagina's, "AI Gateway" en "Backend voor AI-agents", beide Postgres gericht op ontwikkelaars. LiteLLM heeft zichzelf gevestigd als een open source-referentieproject om oproepen naar een groot aantal providers te verenigen achter een formaat dat dicht bij OpenAI ligt. Braintrust publiceert op zijn beurt zijn eigen vergelijkingen over dit onderwerp, een teken dat de categorie sterk genoeg is om speciale redactionele inhoud te rechtvaardigen.
Deze spelers spelen in op een reële behoefte: het verminderen van de koppeling tussen de applicatiecode en een bepaalde LLM-provider. Het verschil met Aurabase is de integratie. De gateway bevindt zich niet naast de backend: hij deelt dezelfde service als NL2SQL en RAG, op dezelfde Postgres-database. Het tegenovergestelde compromis bestaat ook: een speciale proxy zoals LiteLLM dekt doorgaans meer providers dan een gateway die is geïntegreerd in een applicatie-backend.
| Aurabase | Geïntegreerd met Postgres backend (aura-ai-service) | 3 geverifieerde natives + OpenAI-compatibel voor de rest |
|---|---|---|
| Neon AI-gateway | Speciaal product, naast de beheerde Postgres-database | Gedocumenteerd op twee afzonderlijke officiële pagina's |
| LiteLLM | Onafhankelijke open source proxy, voor elke backend | Groot aanbod aan aanbieders via een format dat dicht bij OpenAI ligt |
Wanneer moet u een native gateway kiezen, wanneer moet u een algemene proxy kiezen
Een native gateway zoals die van Aurabase heeft een echt voordeel wanneer de backend en de AI in hetzelfde systeem moeten blijven: NL2SQL, RAG en applicatiechat delen dan hetzelfde veerkrachtbeleid en dezelfde facturering, zonder dat er extra services nodig zijn.
Het tegenovergestelde compromis bestaat. Als het uw prioriteit is om een zeer groot aantal providers te dekken, of als de gateway meerdere onafhankelijke backends moet bedienen en niet alleen een Postgres-project, dan blijft een algemene proxy zoals LiteLLM vaak de juiste keuze. Aurabase wil niet concurreren met deze breedte van dekking: de weddenschap is de diepte van drie grote providers, geïntegreerd met de rest van de backend.
Om te begrijpen hoe deze integratie het gebruik van NL2SQL concreet verandert in vergelijking met een aanpak waarbij gebruik wordt gemaakt van externe connectoren, is de aanpak gekozen door Supabase, zie Supabase, afhankelijk van connectoren, niet van native NL2SQL.
Geïntegreerde native gateway versus algemene LLM-proxy
Samenvatting van de criteria die de twee benaderingen echt onderscheiden, zonder waardeoordeel: elk beantwoordt aan een andere behoefte.
| Leveranciers | Diepte op 3 grote leveranciers + OpenAI-compatibel voor de rest | Groot aanbod aan leveranciers, doorgaans uniforme integratie |
|---|---|---|
| API-sleutels | Versleuteld aan de backend-kant, dezelfde service als de database | Versleuteld aan de proxyzijde, service gescheiden van de applicatie-backend |
| NL2SQL / RAG-koppeling | Dezelfde service, dezelfde provider-resolver | Geen native links, bouw uw eigen integratie |
| Veerkracht | Stroomonderbreker door (project, leverancier), terugval, opnieuw proberen uit te schakelen | Hangt af van de gekozen configuratie voor de proxy |
| Implementatie | Eén service minder om te bedienen (al in de backend) | Afneembaar, herbruikbaar voor meerdere projecten/backends |
Om deze gateway in een concreet geval aan het werk te zien, zie de NL2SQL tutorial over Postgres. Voor details over de native AI-mogelijkheden van Aurabase, zie de pagina Native AI.