WebAssembly की ठंडी शुरुआत: बेंचमार्क क्या दिखाते हैं

ठंडी शुरुआत एक बार फिर वेबअसेंबली रनटाइम के बीच व्यावसायिक भेदभाव की धुरी बन गई है, न कि केवल अकादमिक शोध का विषय। वासमर इंस्टाबूट नामक सुविधा के साथ इसे एक स्पष्ट विक्रय बिंदु बनाता है, जिसे कोल्ड बूट समस्या के सीधे उत्तर के रूप में प्रस्तुत किया गया है।

यह रिफ्लेक्स बैकएंड बेंचमार्क पद्धतिपर हमारे लेख में पहले से ही प्रलेखित गतिशीलता की बिल्कुल याद दिलाता है: कई प्रतिस्पर्धी विक्रेता अपने स्वयं के उत्पाद पृष्ठ पर प्रदर्शन आंकड़े प्रदर्शित करते हैं, हमेशा उस प्रोटोकॉल को निर्दिष्ट किए बिना जो उन्हें उत्पन्न करता है। किसी विधि के बिना एक कोल्ड स्टार्ट का आंकड़ा बिना किसी विधि के विलंबता के आंकड़े से ज्यादा कुछ साबित नहीं करता है।

कोल्ड स्टार्ट एक एकल ऑपरेशन नहीं है: यह अलग-अलग चरणों का योग है, और जरूरी नहीं कि दो आपूर्तिकर्ता एक ही नाम के तहत समान चरणों को मापें।

एक आंकड़ा जो केवल पहले से लोड किए गए और पहले से ही मेमोरी में संकलित मॉड्यूल की तात्कालिकता को गिनता है, यांत्रिक रूप से उस आंकड़े से बेहतर दिखेगा जिसमें नेटवर्क लोडिंग और संकलन शामिल है। इनमें से कोई भी अपने आप में गलत नहीं है: समस्या तब प्रकट होती है जब हम उनकी तुलना करते हैं, बिना यह निर्दिष्ट किए कि दोनों में से किसको मापा गया था।

हाल के वर्षों में arXiv पर प्रीप्रिंट के रूप में प्रकाशित अकादमिक कार्य ने विभिन्न रनटाइम पर WebAssembly मॉड्यूल के इंस्टेंटेशन समय को मापा है। इन कार्यों के बीच सामान्य बिंदु एक अभिसरण आंकड़ा नहीं है: यह परीक्षण किए गए रनटाइम, मॉड्यूल के आकार और उपयोग किए गए हार्डवेयर के आधार पर एक महत्वपूर्ण अंतर है।

हम स्वेच्छा से इस लेख में इन प्रकाशनों से लिए गए कोई सटीक आंकड़े शामिल नहीं करते हैं। लेखन के समय प्रत्येक पेपर की पद्धति की पूरी तरह से दोबारा जांच किए बिना, एक पृथक संख्या को पुनः प्रकाशित करने से यह आलेख प्रस्तुत की गई समस्या बिल्कुल उत्पन्न हो जाएगी: संदर्भ के बिना एक संख्या जो हमें यह जानने की अनुमति देगी कि यह वास्तव में क्या मापती है।

दूसरी ओर, यह भिन्नता जो सीखती है, वह सीधे तौर पर उपयोगी है: एक ठंडी शुरुआत दृढ़ता से माप के संदर्भ पर निर्भर करती है, ठीक उसी तरह जैसा कि हमारे सामान्य कार्यप्रणाली लेख (समान हार्डवेयर, समान क्षेत्र, सभी प्रणालियों की तुलना में समान कैश स्थिति) में वर्णित पर्यावरण समता के अनुशासन द्वारा याद किया जाता है।

इस बहस में सबसे अधिक उद्धृत तीन स्टैंडअलोन वेबअसेंबली रनटाइम संकलन गति और निष्पादन प्रदर्शन को उसी तरह से संतुलित नहीं करते हैं, जो आंशिक रूप से बताता है कि उनके कोल्ड स्टार्ट आंकड़े शब्द दर शब्द की तुलना क्यों नहीं करते हैं।

सर्वर रहित चर्चाओं में अक्सर विरोध किए जाने वाले दो रनटाइम के बीच संपूर्ण वास्तुशिल्प विवरण के लिए, हमारी समर्पित तुलना वास्मटाइम बनाम वासमरदेखें।

उत्पाद स्थिति के अनुसार जो वासमर सार्वजनिक रूप से संचार करता है, इंस्टाबूट प्रत्येक अनुरोध के साथ एक पूर्ण स्टार्टअप को पुनरारंभ करने के बजाय, स्नैपशॉट तंत्र द्वारा पहले से ही आरंभ किए गए एक उदाहरण को पुनर्स्थापित करता है। यह एक वास्तविक वास्तुशिल्प विकल्प है जो उस समस्या के अनुरूप है जिसे वह लक्षित करता है।

हालाँकि, यह लेख जो नहीं करता है, वह वासमर उत्पाद पृष्ठ पर प्रदर्शित प्रदर्शन आंकड़े को दोहराना है। यह जाने बिना कि किस हार्डवेयर, किस कार्यभार और किस माप प्रोटोकॉल ने यह आंकड़ा तैयार किया है, इसे पुनः प्रकाशित करने से ऊपर दर्ज की गई गलती होगी: एक मार्केटिंग नंबर को एक स्वतंत्र बेंचमार्क परिणाम के रूप में मानना।

ऑराबेस अपने एज फ़ंक्शंस को उत्पादन में वास्मटाइम पर चलाता है, पायलट प्रोजेक्ट में नहीं। यहां बताया गया है कि फाइलिंग किस लिए अनुमति देती है और वह दावा कहां समाप्त होता है।

सेवा की उत्पादन निर्भरता में, async और cranelift सक्रिय सुविधाओं के साथ निर्भरता को कठिन घोषित किया गया है, न कि dev-dependency में और न ही किसी टिप्पणी में:

# भंडार से वास्तविक उद्धरण
[dependencies]

# WASM रनटाइम
wasmtime = { version = "43", features = ["async", "cranelift"] }

यह फ़ाइल क्या नहीं कहती है: हमारी बेंचमार्क पद्धति में वर्णित प्रोटोकॉल के अनुसार मापा गया कोई कोल्ड स्टार्ट आंकड़े इस रनटाइम के लिए रिपॉजिटरी में आज मौजूद नहीं है। जब तक अलग-अलग प्रतिशत, हार्डवेयर और कार्यभार के साथ एक दिनांकित माप प्रकाशित नहीं किया जाता है, तब तक किसी भी ऑराबेस आंकड़े को उत्पाद की मापी गई विशेषता के रूप में उद्धृत नहीं किया जाना चाहिए। प्लेटफ़ॉर्म के सामान्य आर्किटेक्चर के लिए, हमारा स्तंभ लेख ऑराबेस रस्ट आर्किटेक्चरदेखें। कोल्ड स्टार्ट WASM और कोल्ड स्टार्ट कंटेनर के बीच एक ठोस तुलना के लिए, यहां संबोधित पद्धतिगत प्रश्न से स्वतंत्र, हमारा समर्पित लेख WASM बनामकंटेनर देखें।

किसी भी कोल्ड स्टार्ट आंकड़े को पूछने के लिए सात प्रश्न, जिसमें हमारा वह दिन भी शामिल है जिस दिन हम एक जारी करते हैं।

1. कौन से चरण शामिल हैं? नेटवर्क लोडिंग, सत्यापन, संकलन, इन्स्टेन्शियेशन, पहली कॉल: एक आंकड़ा जो इसका केवल एक हिस्सा गिनता है, उस आंकड़े से तुलनीय नहीं है जो उन सभी को गिनता है।
2. क्या मॉड्यूल वास्तव में "ठंडा" था? पहले से ही मेमोरी या डिस्क कैश में मौजूद मॉड्यूल पहली बार लोड किए गए मॉड्यूल के समान परीक्षण नहीं करता है।
3. JIT संकलन या पूर्व संकलित आर्टिफैक्ट (AOT)? दोनों रणनीतियों में संरचनात्मक रूप से अलग-अलग स्टार्ट-अप लागतें हैं।
4. एकल अंक या वितरण? दस में सर्वश्रेष्ठ रन का मान एक हजार रन में p95 के समान नहीं होता है।
5. उपकरण और क्षेत्र निर्दिष्ट? हार्डवेयर विनिर्देश के बिना किसी चित्र को किसी तीसरे पक्ष द्वारा पुन: प्रस्तुत नहीं किया जा सकता है।
6. समान लोड और टोपोलॉजी पर तुलना? रिपोर्ट किए बिना स्वयं-होस्ट किए गए रनटाइम की प्रबंधित सेवा से तुलना करने से रीडिंग विकृत हो जाती है।
7. परीक्षण किए गए रनटाइम की तिथि और संस्करण? तेजी से विकसित हो रहे किसी प्रोजेक्ट पर अदिनांकित आंकड़े का कुछ महीनों के बाद कोई मतलब नहीं रह जाता है।