AI Ağ Geçidi: yerel ve OpenAI uyumlu sağlayıcılar

AI Ağ Geçidi, uygulama tarafındaki her SDK entegrasyonunu kodlamak yerine, harici LLM sağlayıcılarına yapılan çağrıları tek bir arayüzün arkasında merkezileştirir. API anahtarları sunucu tarafında kalır ve hiçbir zaman istemciye açıklanmaz. Ağ geçidi, farklı yanıt formatlarına sahip sağlayıcıların üzerine ortak bir yeniden deneme, yük devretme ve maliyet sayımı katmanı ekler.

Aurabasegibi bir Postgres arka ucunda bu seçimin doğrudan bir sonucu vardır: aynı ağ geçidi uygulama sohbetine, NL2SQL'e (SQL'e doğal dil çevirisi) ve RAG'a (pgvector vektör araması) güç sağlar. Kötü entegre edilmiş bir sağlayıcı, yalnızca bir özelliği değil, üç özelliğin tamamını aynı anda düşürür. Yerel/uyumlu ayrımını bir uygulama detayından daha öte yapan da budur.

Yerel istemci, sağlayıcının API'sinin gerçek biçimini kodlar: istek yapısı, yanıt biçimi, bu sağlayıcıya özel kullanım alanları. Bu, "Mesajlar" API'si OpenAI'ninkine benzemeyen Anthropic'in veya akıl yürütme belirteçlerinin (thoughtsTokenCount) sayımının zaten orada yer almak yerine çıktı sayacına eklendiği Gemini'nin durumudur.

OpenAI uyumlu bir uç nokta, mevcut OpenAI istemcisini yeniden kullanır ve yalnızca temel URL'yi değiştirir. Bu işe yarıyor çünkü üçüncü taraf sağlayıcı (Mistral, Scaleway AI, Ollama), OpenAI'nin API sözleşmesini genellikle sapmalarla taklit etmeyi seçti: ayrı bir akıl yürütme belirteci alanı yok, hataların tam biçimine dair garanti yok. Taklit etmenin bittiği yerde uyumluluk da biter.

Sağlayıcıları aura-ai içinde düzenleyen dosya, belirsizliğe yer bırakmıyor. Yerel sağlayıcı başına bir tane olmak üzere üç modül, başka hiçbir şey bildirilmedi.

pub mod anthropic;
pub mod gemini;
pub mod openai;

Her modül ChatProvider özelliğini (tamamlama, akış, model adı) uygular. Bunlardan ikisi, OpenAI ve Gemini ayrıca EmbeddingProvideruygulamasını da uyguluyor. Anthropic'in buna ihtiyacı yok: Claude, Aurabase kodunun bir eksikliği değil, Anthropic'in kendi ürün gerçeği olan satıcı tarafı yerleştirme API'sini açığa çıkarmaz.

Mistral, Scaleway AI veya Ollama'yı yapılandırmak yeni bir modül gerektirmez: aynı OPENAI_BASE_URL değişkeni, openai.rs istemcisini başka bir uyumlu uç noktaya yönlendirir. Bu bir yapılandırma geçişidir, geliştirme değil.

# Varsayılan Sağlayıcı: Yerel OpenAI
OPENAI_API_KEY=sk-...

# OpenAI uyumlu bir sağlayıcıya geçin (Mistral, Scaleway AI, Ollama...)
OPENAI_API_KEY=<clé du fournisseur choisi>
OPENAI_BASE_URL=<URL de base compatible OpenAI du fournisseur>
# örneğin Mistral: https://api.mistral.ai/v1

Davranışlar buna göre değişir. HTTP hataları aynı mekanizmayla sınıflandırılmaya devam eder (429 → hız sınırı, 5xx → geçici ve yeniden denenebilir, 404 → bilinmeyen model), çünkü sınıflandırma, sağlayıcıya özgü ayrıştırmada değil, HTTP aktarım düzeyinde gerçekleşir. Bunu takip etmeyen şey: özel Gemini istemcisine özel muhakeme belirteçlerinin hassas sayımı.

Aurabase ağ geçidi, üç yerel istemcinin üstüne üç esneklik mekanizması ekler. Çift başına bir devre kesici (proje, sağlayıcı), tekrar tekrar başarısız olan bir sağlayıcıya yapılan çağrıları keser ve bir araştırma jetonu yeniden açılmadan önce yarı açık durumda olur. Titreşimli üstel geri çekilme yeniden denemesi, harici bir rastgele sayı kitaplığına bağımlı olmadan geçici hataları (zaman aşımı, 5xx, 429) yeniden başlatır.

Her sağlayıcı ayrıca bir yanıtı durdurmanın nedenini farklı şekilde adlandırır: OpenAI'de length, Gemini'de MAX_TOKENS, Anthropic'te max_tokens, aynı gerçeklik için (kesilme). Kod, bu üç kelime dağarcığını ortak bir kümeye (stop, length, content_filter, tool_use, other) doğru normalleştirir. Bu standardizasyon olmasaydı, çok satıcılı bir müşterinin kesik bir yanıtı tespit etmek için üç kelimeyi de bilmesi gerekirdi.

Faturalandırma da aynı riski göstermektedir. OpenAI ve Anthropic'te modelin mantığı, ücretlendirilen çıkış tokenlarının sayacına zaten dahil edilmiştir. Gemini'de thoughtsTokenCount, candidatesTokenCount'ye ayrı olarak eklenir: bunu göz ardı etmek, bir sorgunun gerçek maliyetini olduğundan düşük tahmin eder. Genel bir OpenAI uyumlu bağdaştırıcının, Gemini'nin yerel yanıt formatına özgü bu özelliği bilmesi için hiçbir neden yoktur.

Piyasa, AI Ağ Geçidinin izole edilmiş bir pazarlama argümanı değil, beklenen bir tuğla haline geldiğini doğruluyor. Neon, her ikisi de Postgres geliştiricisine yönelik olan "Yapay Zeka Ağ Geçidi" ve "Yapay Zeka aracıları için Arka Uç" olmak üzere iki özel ürün sayfası yayınlıyor. LiteLLM, çok sayıda sağlayıcıya yapılan çağrıları OpenAI'ye yakın bir formatın arkasında birleştirmek için kendisini referans bir açık kaynak projesi olarak kanıtlamıştır. Braintrust ise konuyla ilgili kendi karşılaştırmalarını yayınlıyor; bu, kategorinin özel editoryal içeriği haklı çıkaracak kadar güçlü olduğunun bir işareti.

Bu oyuncular gerçek bir ihtiyaca yanıt veriyor: uygulama kodu ile belirli bir LLM sağlayıcısı arasındaki bağlantının azaltılması. Aurabase'in farkı entegrasyondur. Ağ geçidi, arka ucun yanında yaşamaz: aynı Postgres veritabanında NL2SQL ve RAG ile aynı hizmeti paylaşır. Bunun tersi bir uzlaşma da mevcuttur: LiteLLM gibi özel bir proxy, genellikle bir uygulama arka ucuna entegre edilmiş bir ağ geçidinden daha fazla sağlayıcıyı kapsar.

Aurabase gibi bir yerel ağ geçidi, arka uç ve yapay zekanın aynı sistemde kalması gerektiğinde gerçek bir avantaja sahiptir: NL2SQL, RAG ve uygulama sohbeti, ek hizmetler çalıştırılmadan aynı esneklik politikasını ve aynı faturalandırmayı paylaşır.

Tam tersi bir uzlaşma mevcut. Önceliğiniz çok sayıda sağlayıcıyı kapsamaksa veya ağ geçidinin yalnızca bir Postgres projesine değil birden fazla bağımsız arka uca hizmet vermesi gerekiyorsa, LiteLLM gibi genel bir proxy genellikle doğru seçim olarak kalır. Aurabase, bu kapsama alanı genişliğiyle rekabet etmeye çalışmıyor: Bahis, arka ucun geri kalanıyla entegre olan 3 büyük sağlayıcı arasındaki derinliktir.

Bu entegrasyonun, harici bağlayıcılar kullanan bir yaklaşımla karşılaştırıldığında NL2SQL kullanımını somut olarak nasıl değiştirdiğini anlamak için, Supabase tarafından seçilen yaklaşım, bkz. Supabase, yerel NL2SQL'e değil bağlayıcılara dayanır.

Değer yargısı olmadan, iki yaklaşımı gerçekten ayıran kriterlerin özeti: her biri farklı bir ihtiyaca yanıt verir.

To see this gateway at work in a concrete case, see the NL2SQL tutorial on Postgres. For details of Aurabase's native AI capabilities, see the Native AIpage.