WebAssembly 콜드 스타트: 벤치마크 결과

콜드 스타트는 다시 한번 학문적 연구 주제가 아닌 WebAssembly 런타임 간 상업적 차별화의 축이 되었습니다. Wasmer는 콜드 부팅 문제에 대한 직접적인 답변으로 제시된 Instaboot라는 기능을 통해 이를 명시적인 판매 포인트로 만듭니다.

이러한 반사는 백엔드 벤치마크 방법론에 대한 기사에 이미 문서화된 역학을 정확하게 연상시킵니다. 여러 경쟁 공급업체는 성능 수치를 생성한 프로토콜을 항상 지정하지 않고 자체 제품 페이지에 성능 수치를 표시합니다. 방법이 없는 콜드 스타트 ​​수치는 방법이 없는 대기 시간 수치에 지나지 않습니다.

콜드 스타트는 단일 작업이 아닙니다. 이는 서로 다른 단계의 합이며, 두 공급업체가 반드시 동일한 이름으로 동일한 단계를 측정하는 것은 아닙니다.

이미 로드되어 메모리에 컴파일된 모듈의 인스턴스화만 계산하는 수치는 네트워크 로딩 및 컴파일을 포함하는 수치보다 기계적으로 더 좋아 보입니다. 둘 다 그 자체로는 거짓이 아닙니다. 둘 중 어느 것이 측정되었는지 지정하지 않고 비교할 때 문제가 나타납니다.

최근 몇 년 동안 arXiv에 사전 인쇄로 출판된 학술 연구에서는 다양한 런타임에서 WebAssembly 모듈의 인스턴스화 시간을 측정했습니다. 이들 작업 간의 공통점은 수렴되는 수치가 아닙니다. 이는 테스트된 런타임, 모듈 크기 및 사용된 하드웨어에 따라 상당한 차이가 있습니다.

우리는 자발적으로 이 기사에 이러한 간행물에서 가져온 정확한 수치를 포함하지 않습니다. 집필 당시 각 논문의 방법론을 철저하게 재확인하지 않고 분리된 숫자를 다시 출판하면 이 기사에서 설명하는 문제, 즉 실제로 무엇을 측정하는지 알 수 있게 해주는 맥락 없는 숫자를 정확하게 재현하게 됩니다.

반면에 이러한 차이가 학습하는 것은 직접적으로 유용합니다. 콜드 스타트는 측정 컨텍스트에 크게 의존하며, 일반 방법론 문서(비교된 모든 시스템에 대해 동일한 하드웨어, 동일한 지역, 동일한 캐시 상태)에 설명된 환경 패리티 분야에서 설명한 것과 정확히 같습니다.

이 논쟁에서 가장 많이 인용된 세 가지 독립형 WebAssembly 런타임은 같은 방식으로 컴파일 속도와 실행 성능의 균형을 맞추지 않습니다. 이는 콜드 스타트 수치가 용어별로 비교되지 않는 이유를 부분적으로 설명합니다.

서버리스 토론에서 가장 자주 반대되는 두 런타임 간의 전체 아키텍처 세부 정보는 전용 비교 Wasmtime과 Wasmer를 참조하세요.

Wasmer가 공개적으로 전달하는 제품 포지셔닝에 따르면 Instaboot는 요청이 있을 때마다 전체 시작을 다시 시작하는 대신 스냅샷 메커니즘으로 이미 초기화된 인스턴스를 복원합니다. 이는 목표로 하는 문제와 일치하는 실제 아키텍처 선택입니다.

그러나 이 기사에서는 Wasmer 제품 페이지에 표시된 성능 수치를 반복하지 않습니다. 어떤 하드웨어, 어떤 작업 부하, 어떤 측정 프로토콜이 이 수치를 생성했는지 알지 못한 채 이를 다시 게시하면 위에서 설명한 실수, 즉 마케팅 수치를 독립적인 벤치마크 결과로 취급하는 실수를 범하게 됩니다.

Aurabase는 파일럿 프로젝트가 아닌 프로덕션 환경의 Wasmtime에서 Edge 기능을 실행합니다. 제출이 허용하는 내용과 해당 청구가 끝나는 곳은 다음과 같습니다.

종속성은 dev-dependency이나 주석이 아닌 서비스의 프로덕션 종속성에서 async 및 cranelift 기능이 활성화되어 하드 선언됩니다.

# 저장소에서 실제 추출
[dependencies]

# WASM 런타임
wasmtime = { version = "43", features = ["async", "cranelift"] }

이 파일이 말하지 않는 것: 벤치마크 방법론에 설명된 프로토콜에 따라 측정된 콜드 스타트 ​​수치는 현재 이 런타임의 저장소에 존재하지 않습니다. 분리된 백분위수, 하드웨어 및 작업 부하를 포함하는 날짜가 지정된 측정값이 게시될 때까지 제품의 측정된 특성으로 Aurabase 수치를 인용해서는 안 됩니다. 플랫폼의 일반적인 아키텍처에 대해서는 핵심 기사 Aurabase Rust 아키텍처를 참조하세요. 여기에서 다루는 방법론적 질문과 관계없이 콜드 스타트 ​​WASM과 콜드 스타트 ​​컨테이너 간의 구체적인 비교는 WASM 대컨테이너 관련 기사를 참조하세요.

우리가 출시한 날을 포함하여 콜드 스타트 피규어에 물어볼 7가지 질문입니다.

1. 어떤 단계가 포함되나요? 네트워크 로딩, 검증, 컴파일, 인스턴스화, 첫 번째 호출: 일부만 계산하는 수치는 모두를 계산하는 수치와 비교할 수 없습니다.
2. 모듈이 정말 "차갑게" 되었습니까? 이미 메모리나 디스크 캐시에 있는 모듈은 처음 로드된 모듈과 동일한 것을 테스트하지 않습니다.
3. JIT 컴파일 또는 사전 컴파일된 아티팩트(AOT)? 두 가지 전략은 구조적으로 초기 비용이 다릅니다.
4. 한자리수인가요 아니면 분포인가요? 10번의 최고 실행은 p95의 1000번 실행과 동일한 값을 갖지 않습니다.
5. 장비 및 지역이 지정되었습니까? 하드웨어 사양이 없는 피규어는 제3자 복제가 불가능합니다.
6. 동일한 로드 및 토폴로지에서의 비교? 보고하지 않고 자체 호스팅 런타임을 관리형 서비스와 비교하면 판독이 왜곡됩니다.
7. 테스트된 런타임 날짜 및 버전은 무엇입니까? 빠르게 발전하는 프로젝트의 날짜가 표시되지 않은 수치는 몇 달이 지나면 아무 의미가 없습니다.