Temeller
Düzgün bir şekilde uygulanan dağıtılmış hız sınırlayıcı (atom sayımı, yerel geri dönüş önbelleği), çeşitli özel kaynaklara göre genellikle istek başına bir milisaniyeden daha az ekler. Aurabase ağ geçidi tam olarak şu modeli izler: yerel anti-DoS için governor sandığı, örnekler arasında dağıtılmış sayım için atomik bir Lua Redis betiği, Redis'in mevcut olmaması durumunda bir yedek moka önbelleği. Kesici devre, bir arıza durumunda algılanan gecikmeyi eklemek yerine azaltır; tam zaman aşımı için beklemeyi kısa devre yapar. Bugüne kadar hiçbir Aurabase gecikme rakamı yayınlanmadı: işte nedeni ve mekanizmanın gerçekte nasıl çalıştığı.
Anti-DoS ve anti-basamaklı arıza, iki farklı sorun
Hız sınırlama, arka ucunuzu meşru olsun ya da olmasın aşırı trafiğe karşı korur; "bu arayanın bu isteği şimdi gönderme hakkı var mı?" sorusunu yanıtlar. ". Devre kesici, arka ucunuzu zaten aşağı yönlü bir hizmetten korur - "bu hizmetin yanıt vermediği görüldü mü, denemeli miyiz?" sorusuna yanıt verir. ". Bunları karıştırmak, birinin veya diğerinin küçültülmesine yol açar.
Aurabase ağ geçidinde her ikisi de aynı ara katman yazılımı yığınında ancak farklı katlarda yaşar: IP hızı sınırlama, kimlik doğrulamadan önce çalışır (saf anti-DoS, kimliği doğrulanmamış trafik için faturalandırma SQL sorgusu yapılmaz), devre kesici ise dahili hizmetlere veya LLM sağlayıcılarına giden çağrıları korur.
Maliyet prensiplere değil tamamen uygulamaya bağlıdır
Tyk ve APISIX ekosistem kılavuzlarına göre, Redis'te iyi tasarlanmış dağıtılmış sayım (atomik işlemler, Lua komut dosyası, yerel TTL), en iyi optimize edilmiş durumlarda milisaniyenin altında p99 etkisi ile genellikle 1-3 ms gecikme süresi ekler. Tersine, Zuplo, kötü yerleştirilmiş merkezi bir hız sınırlayıcının her isteğe onlarca milisaniye ekleyebileceğini belgeliyor; bu tutarsızlık doğrudan p99'unuza yansıyor.
Bu aralıklar ortak bir ölçüm protokolünden değil, halka açık teknik kılavuzlardan (Tyk, Zuplo, Apache APISIX ekosistemi) gelir. Farklı bir altyapıda olduğu gibi yeniden üretilecek bir rakam değil, bir büyüklük sırasını ve mimari prensibi (senkron ve merkezi sayım yerine atomik ve yerel sayım) belirtirler.
Aura-gateway'de hız sınırlaması gerçekte nasıl çalışır?
Aurabase ağ geçidi, yerel bir geri dönüş sınırlayıcı olarak governor sandığını (jeton kovası algoritması) kullanır ve durumu ağ geçidinin çeşitli örnekleri arasında paylaşmak için Redis aracılığıyla dağıtılmış sayımla birleşir. Dağıtılmış sayım, eşzamanlılık penceresi oluşturacak bir okuma-sonra-yazma gidiş-dönüş yolculuğu aracılığıyla değil, Redis tarafında atomik olarak yürütülen bir Lua komut dosyası (tek bir ağ işlemindeINCRBY + EXPIRE) yoluyla gerçekleştirilir.
Redis kullanılamaz hale gelirse ağ geçidi, her istekte bir sınırlayıcının yeniden oluşturulmasını önlemek için otomatik olarak moka önbelleğiyle (maks. 1.000.000 giriş, 300 saniye işlem yapılmadığında sona erecek) yerel sınırlayıcıya governorgeçer. Bu geri dönüş gözlemlenebilir: Her geçiş, özel bir Prometheus sayacını artırır, böylece ekip, etkin limitin tekrar N bulut sunucusu × limit haline geldiğini bilir (aksi takdirde, örnekler arası sessiz izolasyon bozulması).
Ağ geçidi, IP ile anti-DoS hız sınırlamasını (kimlik doğrulamadan önce) proje/API anahtarı/kullanıcı kotasına göre hız sınırlamasından (kimlik doğrulamadan sonra, JWT talepleri mevcut) - yığında her biri kendi ayrıntı düzeyine sahip iki ayrı ara katman yazılımı - ayırır.
Devre kesici: üç durum, sürgülü pencere
Aurabase devre kesici devresi (ağ geçidi arasında paylaşılanaura_core::circuit_breakerve LLM sağlayıcıları arasındaki geri dönüş için aura-ai), hiçbir zaman sıfırlanmayan bir sayaç yerine kayan bir zaman penceresi üzerindeki arıza sayısıyla üç klasik durumu (Closed, Open, HalfOpen) takip eder.
Üretimde önemli olan bir uygulama ayrıntısı: HalfOpen'ye geçiş, aynı anda yalnızca bir araştırma isteğine izin verir (gürültülü sürüyü önleme) — bu koruma olmadan, bekleyen tüm istekler, aynı anda yeniden açılan hizmete hızla ilerleyerek kaçınmaya çalıştığımız başarısızlığı anında yeniden yaratır.
Bu ara yazılımların ağ geçidinde nerede çalıştığı
Aurabase ağ geçidi ara yazılım yığını, kodda doğrulanan kesin bir sırayı takip eder: istek tanımlayıcı → erişim günlüğü → IP ile hız sınırlama → kimlik doğrulama → aktör/kota ile hız sınırlama → devre kesici → hedef hizmete proxy. Her aşama, daha yüksek bir işlem maliyetine yol açmadan önce, istenmeyen trafiği mümkün olduğu kadar erken reddeder.
Makalenin tamamını okuyun: Aurabase ağ geçidinde veri düzlemi ve yönetim düzlemi
Burada neden Aurabase rakamları yayınlanmıyor?
Uygulama, ağ geçidi kaynak kodunda satır satır doğrulanır. Ancak bu spesifik altyapı üzerinde henüz tekrarlanabilir bir ölçüm protokolü çalıştırılmadı ve yayınlanmadı; ölçülmemiş bir rakamın yayınlanması, çoğaltmayı reddettiğimiz kaynaksız pazarlama rakamlarının hatasını tekrarlamak olacaktır. Bir performans rakamı yayınlamadan önce ihtiyaç duyduklarımız için kıyaslama metodolojimizin tamamına bakın.