YENİPublication of @aurabase/aurabase-js v0.7.5 NPM Packages & Rust Crate v0.1.2Değişiklik günlüğüne bakın →

Performans · 10 dk. okuma

Neden hiçbir çöp toplayıcı p99 gecikmesini değiştirmiyor?

Affane Daylami · Fondateur · 2 Temmuz 2026

Bloga geri dön

p99, yüz istek arasında en yavaş olanı ölçer; ortalama mükemmel kalırken SLA'nızı bozan istektir. Yüksek trafikli bir arka uçta, bu bir avuç yavaş isteğin genellikle tek bir nedeni vardır: hafızayı boşaltmak için tüm programı kesintiye uğratan çöp toplayıcı. Rust'nin çöp toplayıcısı yok. İşte bir pazarlama rakamı yerine tarihli üçüncü taraf kaynakların yer aldığı mekanizma.

Bu sayfa otomatik olarak çevrildi. İngilizce versiyonu yetkilidir.

Bu makale yalnızca üçüncü taraf, tarihli kaynaklara dayanmaktadır; asla icat edilmiş bir Aurabase şifresine dayanmamaktadır. Arka ucumuza özel p99 gecikmesi dahil değildir. Uygulama çekirdeğimizi çöp toplayıcı olmadan Rust içine yazıyoruz: doğrudan kod, çalışma alanı Kargo ve axum hizmetlerinde doğrulanabilen bir gerçek. Ancak bunu rakamlarla gösterecek tekrarlanabilir bir p99 kıyaslama metodolojisini henüz yayınlamadık. Bu metin ölçülen bir sonucu değil, bir mekanizmayı açıklamaktadır.

Temeller

  • p99, yüzlerce sorgu arasında en yavaş olanı ölçer; çöp toplayıcı (GC) duraklamasının en çok acı verdiği yer, ortalamada değil (Dean & Barroso, "The Tail at Scale", Google, 2013).
  • Bir GC, kullanılmayan belleği boşaltmak için tüm programı kesintiye uğratır (“dünyayı durdur”). Rust GC'ye sahip değildir: bir değerin kapsam dışına çıktığı anda bellek serbest bırakılır ve derleyici tarafından doğrulanır.
  • Discord, 2020'de Go'nun en az iki dakikada bir çöp toplama döngüsünü tetiklediği ve her döngünün gecikmede ani bir artışa neden olduğu bir önbellek hizmetini belgeledi (Discord Mühendislik Blogu).
  • GC duraklamasını azaltmak, Google'da bile yıllar süren mühendislik gerektirir: GB toplayıcı, 2015 ile 2018 arasında hiçbir zaman sıfıra ulaşmadan 300-400 ms'den 500 µs'ye çıktı (go.dev).
  • Aurabase arka uç çekirdeği Rust ile yazılmıştır ve çöp toplayıcı olmadan kodda doğrulanmıştır. Bugüne kadar hiçbir p99 Aurabase gecikme rakamı yayınlanmadı: bu bir ölçüm değil, bir mekanizma olarak kalıyor.
#
Kuyruk gecikmesi

Neden p99 ortalama değil

Ortalama, esas olanı gizler. 100 istekten 99'u 5 ms'de yanıt verirse ve yalnızca biri 500 ms sürerse ortalama düşük kalır. Ancak yüz kullanıcıdan biri, yüz kat daha uzun bir bekleme deneyimi yaşıyor. p99 tam olarak bu isteği ölçer: en yavaş yüzüncü istek, ortalama gecikme kontrol paneliniz yeşil kalırken SLA'nızı ihlal eden istek.

Google'da Jeffrey Dean ve Luiz André Barroso bu sorunu “Ölçekte Kuyruk” (Communications of the ACM, cilt 56, 2013) belgesinde resmileştirdi. O zamandan bu yana sıklıkla alıntılanan gözlemleri: "Orta büyüklükteki sistemlerde önemsiz olan geçici yüksek gecikme dönemleri, büyük ölçekte genel hizmet performansına hakim olabilir". Kısacası: Küçük ölçekte ihmal edilebilir düzeydeki ara sıra gecikme dönemleri, dağıtılmış bir sistemin algılanan performansına hakim olur.

Saniyede binlerce isteği işleyen bir arka ucun, GC duraklaması sırasında düşen bir isteği bir noktada göndermesi zorunludur. Büyük ölçekte bu alışılmadık bir durum değil. Bu istatistiksel bir kesinliktir.

#
GC mekaniği

Bir çöp toplayıcı ne yapar ve neden her şeyi duraklatır?

Bir çöp toplayıcı (GC), bir programın canlı nesnelerini (hala bir yere başvurulanları) sürekli olarak izler ve erişilemez hale gelen nesnelerin belleğini serbest bırakır. Bu izlemeye tracing adı verilir: GC referans grafiğinden geçer, hala kullanılanı işaretler ve geri kalanını tarar.

Sorun: Program yeni referanslar oluşturmaya devam ederken bu grafiğin üzerinden geçmek tutarsız sonuçlar doğuruyor. Birçok modern GC tarafından hâlâ son çare olarak kullanılan tarihsel yanıt stop-the-world'dir; işaretleme ve tarama sırasında tüm program duraklar. Yığın ne kadar büyük olursa, duraklatma da o kadar uzun olma eğilimindedir: süresi mevcut iş yüküne değil, canlı verinin boyutuna bağlıdır.

Modern GC'lerin çoğu nesiller arası bir strateji kullanıyor: nesnelerin çoğunun genç yaşta öldüğünü varsayıyorlar. Bu nedenle en son tahsisler küçük bir hafıza alanında sık sık ancak hızlı bir şekilde taranır. Birkaç döngüden sonra hayatta kalabilen nesneler daha geniş bir alana taşınır ve nadiren taranır; ancak bu alanın temizlenmesi gerektiğinde ilgili duraklama, boyutuyla birlikte büyür. Yüksek trafikli, yüksek tahsisli bir hizmetin p99'una hakim olan şey, küçük "küçük" molalar değil, bu "büyük" moladır.

Bilgi

Modern eş zamanlı ve nesilsel GC'ler programla paralel çalışarak bu molaların sıklığını ve süresini azaltır. Ancak neredeyse hepsinde sınırda kalan durumlar için dünyayı durduracak bir geri dönüş mekanizması bulunuyor ve bunu azaltmak yıllar süren mühendislik gerektiriyor. Bölüm 04'te sayısal ve kaynaklı bir örnek verilmektedir.

#
Gerçek durum

Discord, 2020: GC kesintisi üretim olayına dönüşüyor

Şubat 2020'de mühendis Jesse Howarth, sektörde referans haline gelen bir gönderi yayınladı: "Discord neden Go'dan Rust'e geçiyor?" (Discord Engineering Blogu). İlgili hizmet olan Okuma Durumları, saniyede yüzbinlerce güncellemeyle milyonlarca kullanıcının mesaj okuma durumunu (önbellek başına on milyonlarca giriş) yönetir.

Makalede belirtildiği gibi teşhis doğrudandır: "Go, çöp toplama işlemini en az 2 dakikada bir çalıştırmaya zorlayacaktır". Başka bir deyişle Go, bu hizmette en az iki dakikada bir çöp toplama döngüsünü tetikliyor ve her döngü, ekibin grafiklerinde görülebilen gecikmede bir artışa neden oluyor.

Ekip öncelikle ani artışları düzeltmek için önbellek boyutunu küçülttü. Uzlaşma olumsuz olmaya devam etti: daha az GC duraklaması, ancak veritabanına düşen daha fazla önbellek kaçırma isteği - dolayısıyla başka yerlerde genel olarak bozulmuş bir p99. Temel düzeltme, izlenecek bir çöp toplayıcı olmadan hizmetin Rust biçiminde yeniden yazılmasıydı.

Gönderi canlı bir teknik tartışmaya yol açtı: Hacker News hakkında yayınlandığı aynı günde (4 Şubat 2020) 1.580'den fazla puan ve 642 yorum - sorunun Discord davasının çok ötesine geçtiğine dair bir işaret.

#
Geçmişe Git

Duraklatmayı 400 ms'den 500 µs'ye düşürmek için Google'da üç yıllık mühendislik

Go çöp toplayıcı, Google'daki özel bir ekibin kaynaklarıyla bile, GC duraklamasını yumuşatmak için gereken çabanın boyutunu gösteriyor. Go GC teknik lideri Rick Hudson, bu hikayeyi iki resmi Go blog yazısında belgeledi.

Ağustos 2015'ten önce300-400msTarihi Go koleksiyoncusu, yeniden tasarlanmadan önce
Ağustos 2015 · Go 1.530-40msİlk rakip toplayıcı, hedef < 10 ms belirlendi
2016 · Git 1.6< 10 ms (SLO tutuldu)Üretimde ilk hedefe ulaşıldı
Mart 2017 · Go 1.8milisaniyenin altındaDünyayı durdur yığın taramasının kaldırılması
Ağustos 2017 · Go 1.9100-200 µs (işaret)Ekibin bahsettiği yeni resmi olmayan kriter
2018 · SLO açıklandıDöngü başına 500 µsRick Hudson tarafından resmileştirilen hizmet hedefi

Kaynak: “Gitmeye Başlarken: Go'nun Çöp Toplayıcısının Yolculuğu”, go.dev, 12 Temmuz 2018; ve “Go GC: Düşük gecikme süresine ve basitliğe öncelik verme”, go.dev, 31 Ağustos 2015.

Üç yıllık özverili çalışma, tipik arayı bin kat azalttı. Ancak duraklama hiçbir zaman ortadan kalkmadı: bu bir hizmet hedefidir (SLO), mutlak sıfır garantisi değil. Bir GC izlemesi, yapısı gereği, zaman zaman canlı nesnelerin bir grafiğini geçmelidir. Ayarlanabilir tek değişken bu yolculuğun sıklığı ve süresidir, varlığı değil.

Bu öncelik seçimi tarafsız değildir. Go öncelikli olarak birkaç yüz milisaniyelik bir duraklamanın doğrudan kullanıcı deneyimini bozduğu ağ hizmetlerini ve web arka uçlarını hedefler; dolayısıyla ham GC verimi yerine gecikmeye harcanan büyük çaba budur. Diğer yönetilen çalışma zamanları, kendi düşük duraklamalı toplayıcılarıyla temel oluşturmadan önce, geçmişteki kullanım durumlarına göre şekillenen farklı ödünleşimleri miras aldı. Ortak nokta aynı kalıyor: hepsi GC izlemeden başlıyor, dolayısıyla en aza indirilecek ve asla inşaatla ortadan kaldırılmayacak bir duraklatma mekanizmasından başlıyor.

#
Rust Mekanikler

Neden Rust yapısı gereği bu sorunu yaşamıyor?

Rust GC duraklamalarını azaltmaz: bunlara neden olan mekanizmayı ortadan kaldırır. Derleyici, derleme sonrasında her bellek değerinin kime ait olduğunu izler - buownership. Bir değerin sahibi kapsam dışına çıktığında, Rust bu belleği serbest bırakan çağrıyı ikili kodda aynı yere otomatik olarak ekler. Bu mekanizmaya RAII (Kaynak Edinimi Başlatmadır) adı verilir: sürüm deterministiktir, arka planda çalışan bir çöp toplayıcı tarafından planlanmaz.

Scala/Rust ekosisteminde tanınan bir teknik blogun yazarı Alexandru Nedelcu, yakın tarihli bir makalesinde bu değiş tokuşu şöyle özetliyor: "Rust'in yaptığı değiş tokuş, öngörülebilir gecikme ve güvenlik ile performans tercihi yerine kullanım kolaylığıdır" (alexn.org, 21 Temmuz, 2026). Rust, öngörülebilir gecikme karşılığında yazmanın basitliğinden biraz ödün verir.

Aynı makale, modern GC'lerin neden her zaman yeterli olmadığını özetlemektedir: "Modern GC'ler, programı etkilemeden işlerini aşamalı ve eşzamanlı olarak yapmaya çalışırlar. Ancak yetenekleri sınırlıdır, tüm programı donduran ve dolayısıyla gecikmeyi etkileyen dünyayı durdurma GC döngüsüne geri dönerler".

Yaklaşık on satırlık mekanizmayı burada bulabilirsiniz; genel bir örnek, Aurabase kodundan bir alıntı değil:

example.rsrust
struct Connection {
    id: u32,
}

impl Drop for Connection {
    fn drop(&mut self) {
        println!("connexion {} fermée", self.id);
    }
}

fn handle_request() {
    let conn = Connection { id: 42 };
    // ...isteği işleme koyar...
} // conn burada kapsam dışına çıkıyor: drop() yürütülür
   // tam zamanında, derleyici tarafından kontrol edildi -
   // bir çöp toplama döngüsü yoluyla değil.

Önemli nüans: her şey bedava değildir. Referans sayma türleri (Rc, Arc) her klon ve sürüme küçük bir maliyet ekler. Bu maliyet yerel ve belirleyici olmaya devam ediyor. Hiçbir zaman bir bellek yığınından geçerken programın tamamını donduran bir duraklama olmaz.

Eşzamansız bir arka uç için yararlı açıklama: Rust eşzamansız çalışma zamanının (tokio, tüm Aurabase hizmetleri tarafından kullanılır) çöp toplayıcıyla hiçbir ilgisi yoktur. Bir iş parçacığı havuzu üzerinde ortak görevleri planlar, ancak belleği boşaltmak için hiçbir zaman canlı nesne grafiği boyunca yineleme yapmaz. Eşzamansız çalışma zamanının ve GC'nin aynı sanal makine tarafından yönetildiği ekosistemlerde kafa karışıklığı yaygındır.

#
Mimari çıkarım

Yüksek trafikli bir arka uç için bu neleri değiştirir?

Binlerce eşzamanlı isteğe hizmet veren bir arka uçta, GC'nin yokluğu, p99 denkleminden bir değişkeni kaldırır. Artık bir bellek yığınını boyutlandırmanıza, bir toplayıcının nesillerini ayarlamanıza veya en kötü zamanda gerçekleşebilecek bir döngüyü izlemenize gerek yok. Bireysel bir isteğin gecikmesi, programın başka bir yerindeki öngörülemeyen küresel bir olaya değil, kendi çalışmasına bağlıdır.

Aurabase arka uç çekirdeği bu prensibi uygular: tüm hizmetler (aura-gateway, aura-auth, aura-db, aura-realtime, aura-storage, aura-functions, aura-ai…) Rust şeklinde yazılır ve tek bir Kargoda düzenlenir çalışma alanı. Bu doğrudan depoda doğrulanabilir:

Cargo.tomltoml
[workspace]
resolver = "2"

members = [
    "services/aura-gateway",
    "services/aura-auth",
    "services/aura-db",
    # ...9 diğer hizmet + paylaşılan kütüphaneler
]

[workspace.dependencies]
axum = { version = "0.8", features = ["ws", "multipart", "macros"] }

Cargo.toml, çalışma alanı sürümü 2021, çözümleyici v2'den gerçek alıntı — Aurabase deposunda doğrulandı.

Bu aşamada bu gerçeğin kanıtlamadığı şey: Aurabase için ölçülen bir p99 gecikme rakamı. Henüz kendi arka ucumuz için tekrarlanabilir bir kıyaslama metodolojisi yayınlamadık; bu, bugün mevcut bir sonuç değil, devam eden bir çalışmadır. Çöp toplayıcının olmaması kodda doğrulanan bir mekanizmadır. Bu tek başına ölçülen p99 gecikmesinin kanıtı değildir. Bizimki de dahil olmak üzere konuyla ilgili herhangi bir pazarlama argümanı karşısında bu ayrımı aklınızda bulundurun — mimarinin ayrıntıları için teknik karşılaştırmamız Aurabase ve Supabase bakın.

Bir p99'un doğru şekilde ölçülmesi kendi disiplinini gerektirir: temsili yük koşulları, yeterince geniş bir kayan pencere üzerinden hesaplanan yüzdelikler ve üretime yakın bir test ortamı. Bu metodoloji olmadan bir rakam yayınlamak, bir pazarlama rakamı yayınlamaya benzer. Bu makalede yapmayı reddettiğimiz şey tam olarak budur.

#
Nüans

GC'nin yokluğunun çözemediği şey

No-GC sihirli bir değnek değil

Çöp toplayıcının kaldırılması, kuyruk gecikmesinin yalnızca bir kaynağını ortadan kaldırır; hepsini değil. Bir Rust arka ucu, ağ beklemesi, doymuş bir Postgres bağlantı havuzu, tartışmalı bir veritabanı kilidi, kötü indekslenmiş bir SQL sorgusu veya yavaş bir üçüncü taraf API çağrısı nedeniyle bozulmuş bir p99 göstermeye devam edebilir. Bu makalede anlatılan mekanizma yapısal bir nedeni ortadan kaldırmaktadır. Başkalarına karşı bağışıklık sağlamaz.

Örneğin Aurabase adresinde her hizmet, bir bağlantı havuzu (sqlx) aracılığıyla Postgres ile ve NATS JetStream aracılığıyla diğer hizmetlerle iletişim kurar. Küçük boyutlu bir havuz, yavaş tüketilen bir NATS aboneliği veya uygun bir dizine sahip olmayan bir SQL sorgusunun her biri, bir çöp toplayıcının yokluğuna bakılmaksızın kendi gecikme artışlarına neden olur.

Pratik sonuç: GC'nin yokluğu, p99 uyumlu bir sistem için Rust arka ucunu seçmek için iyi bir mimari nedendir. Bu, ne Aurabase ne de başka bir yerde kendi başına bir gecikme garantisi değildir. Önemli olan yöntem aynı kalıyor: Ölçün, metodolojiyi yayınlayın, ardından ölçümlerin ortaya çıkardığını düzeltin. GC ile bir arka uçtan geçiş yapıyorsanız, Supabase - Aurabase geçiş kılavuzumuz nelerin değiştiğini ve nelerin aynı kaldığını ayrıntılarıyla anlatır.

#
Sık sorulan sorular

SSS: çöp toplayıcı ve p99 gecikmesi

Çöp toplayıcının olmaması p99'un düşük olmasını garanti eder mi?+
Hayır. Tahmin edilemeyen duraklamaların yapısal kaynağını ortadan kaldırır ancak ağ, bağlantı havuzu, veritabanı kilitleri gibi diğer faktörler de kuyruk gecikmesini etkiler. Yukarıdaki "GC'nin Düzeltmediği Neler" bölümüne bakın.
Discord neden GC Go'yu farklı şekilde ayarlamadı?+
Ekip, 2020 gönderilerinde belgelenen, önbellek boyutunun küçültülmesi de dahil olmak üzere çeşitli ince ayarlar denedi. Takas olumsuz olmaya devam etti: daha az GC duraklaması karşısında daha fazla önbellek kaybı. Rust'de yeniden yazmak, uzlaşmayı taşımak yerine ortadan kaldırdı.
Go gibi modern GC'ler sorunu çözdü mü?+
Bunu büyük ölçüde azalttılar - Go'nun GC'si 2015 ile 2018 (go.dev) arasında 300-400 ms'den 500 mikrosaniyeye çıktı - ancak ortadan kaldırılmadı. Bir GC izlemesi, yapısı gereği uç durumlar için bir duraklatma mekanizmasını korur.
Aurabase bir p99 gecikme kıyaslaması yayınladı mı?+
Henüz değil. Kodda doğrulanan gerçek, çöp toplayıcının (Rust, çalışma alanı Kargo, axum hizmetleri) olmamasıdır. Ölçülen p99 gecikme rakamı ve tekrarlanabilir metodolojisi henüz yayınlanmayı bekliyor; kaynaksız bir rakama hiçbir rakamı tercih etmiyoruz.

DAĞITILMAYA HAZIR MISINIZ?

Beş dakika içinde arka ucunuz.

Kredi kartı gerekmez · 500 MB ücretsiz · 50.000 MAU