WebAssembly soğuk başlangıç: kıyaslamaların gösterdiği şey

Soğuk başlangıç, yalnızca akademik bir araştırmanın konusu değil, bir kez daha WebAssembly çalışma zamanları arasındaki ticari farklılaşmanın bir ekseni haline geldi. Wasmer, soğuk başlatma sorununa doğrudan bir yanıt olarak sunulan Instaboot adlı bir özellikle bunu açık bir satış noktası haline getiriyor.

Bu refleks, arka uç kıyaslama metodolojisihakkındaki makalemizde zaten belgelenen dinamiği tam olarak hatırlatmaktadır: birçok rakip satıcı, onları üreten protokolü her zaman belirtmeden performans rakamlarını kendi ürün sayfalarında görüntüler. Yöntemi olmayan bir soğuk başlangıç ​​rakamı, yöntemi olmayan bir gecikme rakamından başka bir şeyi kanıtlamaz.

Soğuk başlatma tek bir işlem değildir: farklı aşamaların toplamıdır ve iki tedarikçinin aynı aşamaları aynı ad altında ölçmesi gerekmez.

Yalnızca önceden yüklenmiş ve halihazırda belleğe derlenmiş bir modülün örneğini sayan bir şekil, ağ yükleme ve derlemeyi içeren bir rakamdan mekanik olarak daha iyi görünecektir. Her ikisi de kendi başına yanlış değildir: sorun, ikisinden hangisinin ölçüldüğü belirtilmeden bunları karşılaştırdığımızda ortaya çıkar.

Son yıllarda arXiv'de ön baskı olarak yayınlanan akademik çalışma, WebAssembly modüllerinin farklı çalışma zamanlarında örneklenme süresini ölçmüştür. Bu çalışmaların ortak noktası yakınsak bir rakam değil; test edilen çalışma süresine, modülün boyutuna ve kullanılan donanıma bağlı olarak önemli bir farktır.

Bu yayınlardan alınan kesin rakamları gönüllü olarak bu makaleye dahil etmiyoruz. Yazma sırasında her makalenin metodolojisini iyice kontrol etmeden, izole edilmiş bir sayıyı yeniden yayınlamak, bu makalenin belgelediği sorunu tam olarak yeniden üretecektir: gerçekte neyi ölçtüğünü bilmemize olanak tanıyan, bağlamı olmayan bir sayı.

Öte yandan, bu varyansın öğrendiği şey doğrudan faydalıdır: Soğuk başlangıç, tam olarak genel metodoloji makalemizde açıklanan ortam eşliği disiplini tarafından hatırlandığı gibi (karşılaştırılan tüm sistemler için aynı donanım, aynı bölge, aynı önbellek durumu) büyük ölçüde ölçüm bağlamına bağlıdır.

Bu tartışmada en çok bahsedilen üç bağımsız WebAssembly çalışma zamanı, derleme hızını ve yürütme performansını aynı şekilde dengelememektedir; bu, soğuk başlangıç rakamlarının neden terim ile terim arasında karşılaştırma yapmadığını kısmen açıklamaktadır.

Sunucusuz tartışmalarda sıklıkla karşı çıkılan iki çalışma zamanı arasındaki mimari ayrıntıların tamamı için özel karşılaştırmamıza bakın Wasmtime ve Wasmer.

Wasmer'in halka açık olarak iletişim kurduğu ürün konumlandırmasına göre Instaboot, her istekte tam başlatmayı yeniden başlatmak yerine, anlık görüntü mekanizması tarafından zaten başlatılmış olan bir örneği geri yükler. Hedeflediği sorunla tutarlı, gerçek bir mimari seçimdir.

Ancak bu makalenin yapmadığı şey, Wasmer ürün sayfasında gösterilen performans rakamını tekrarlamak değildir. Bu rakamı hangi donanımın, hangi iş yükünün ve hangi ölçüm protokolünün ürettiğini bilmeden, yeniden yayınlamak tam olarak yukarıda belgelenen hatayı yapar: bir pazarlama numarasını bağımsız bir karşılaştırma sonucu olarak ele almak.

Aurabase, Edge işlevlerini bir pilot projede değil, üretim aşamasında Wasmtime üzerinde çalıştırıyor. İşte başvurunun tam olarak neye izin verdiği ve bu iddianın nerede bittiği.

Bağımlılık, async ve cranelift özellikleri etkinleştirilerek, dev-dependency veya bir yorumda değil, hizmetin üretim bağımlılıklarında etkin olarak bildirildi:

# Depodan gerçek alıntı
[dependencies]

# WASM Çalışma Zamanı
wasmtime = { version = "43", features = ["async", "cranelift"] }

Bu dosyanın söylemediği şey: kıyaslama metodolojimiz'de açıklanan protokole göre ölçülen hiçbir soğuk başlangıç ​​rakamı bugün bu çalışma zamanı için depoda mevcut değildir. Ayrıştırılmış yüzdelikler, donanım ve iş yükü ile tarihli bir ölçüm yayınlanana kadar, ürünün ölçülen özelliği olarak hiçbir Aurabase rakamı belirtilmemelidir. Platformun genel mimarisi için Aurabase Rust mimarisisütun makalemize bakın. Burada ele alınan metodolojik sorudan bağımsız olarak, soğuk başlatma WASM ile soğuk başlatma kabı arasında somut bir karşılaştırma için WASM vekapları arasındaki özel makalemize bakın.

İlkini yayınladığımız gün bizimki de dahil olmak üzere herhangi bir başlangıç rakamına sorulacak yedi soru.

1. Hangi aşamalar dahildir? Ağ yükleme, doğrulama, derleme, örnekleme, ilk çağrı: yalnızca bir kısmını sayan bir rakam, hepsini sayan bir rakamla karşılaştırılamaz.
2. Modül gerçekten "soğuk" muydu? Zaten bellekte veya disk önbelleğinde bulunan bir modül, ilk kez yüklenen bir modülle aynı şeyi test etmez.
3. JIT derlemesi mi yoksa önceden derlenmiş yapıt (AOT) mı? İki stratejinin yapısal olarak farklı başlangıç ​​maliyetleri vardır.
4. Tek haneli mi yoksa dağılım mı? On turdaki en iyi koşu, bin koşudaki p95 ile aynı değere sahip değildir.
5. Ekipman ve bölge belirtildi mi? Donanım özelliği olmayan bir şekil üçüncü şahıslar tarafından çoğaltılamaz.
6. Eşit yük ve topolojide karşılaştırma? Şirket içinde barındırılan bir çalışma zamanını, rapor edilmeden yönetilen bir hizmetle karşılaştırmak, okumayı bozar.
7. Test edilen çalışma zamanının tarihi ve sürümü? Hızla gelişen bir projeye ilişkin tarihsiz bir rakamın, birkaç ay sonra hiçbir anlamı yoktur.