F5, Apache Arrow를 활용한 OpenTelemetry 2단계 개발 위해 Microsoft와 협력

Apache Arrow를 활용한 OpenTelemetry의 1단계는 야심찬 목표를 가지고 시작되었습니다. 이 단계에서는 OTLP(OpenTelemetry Protocol)에 혁신을 도입하여 그 어느 때보다 원격 측정 데이터 전송을 최적화했습니다. 표준 OTLP 프로토콜과 비교했을 때 압축률이 30~70% 향상되었으며, 이는 향후 연구의 기반을 마련한 놀라운 성과입니다.

하지만 1단계는 빙산의 일각에 불과했습니다. 이는 OpenTelemetry와 Apache Arrow를 결합하면 얻을 수 있는 힘을 입증했으며, 훨씬 더 큰 임무, 즉 전체 OpenTelemetry 파이프라인을 고성능 열 기반 데이터 처리 강국으로 전환하는 토대를 마련했습니다.

2단계에서는 F5와 Microsoft가 Rust와 Apache Arrow로 구동되는 완전 네이티브 OpenTelemetry 파이프라인을 개발하여 성능 최적화를 더욱 심층적으로 추진하고 있으며, 그 목표는 Golang 컬렉터용 Rust 파이프라인을 구축하는 것입니다. 이를 통해 CPU 활용도, 메모리 효율성, 처리량, 지연 시간이 획기적으로 개선되며, 이는 모두 더욱 효율적인 데이터 처리 생태계에 기여합니다.

또한 저희의 목표는 최적의 데이터 압축, 가속화된 데이터 처리, 효율적인 통합을 현대적이고 열 중심의 관찰성과 균형 있게 맞추는 것입니다. 이를 통해 이 이니셔티브는 STEF와 같이 압축에만 주로 초점을 맞춘 다른 프로젝트와 차별화됩니다. 

Rust에 "올인"하기로 한 결정은 기술 커뮤니티 사이에서 흥분과 약간의 논란을 불러일으켰습니다. 결국 OpenTelemetry의 Collector 프로젝트는 전통적으로 Golang을 사용하여 구축되었습니다. 그럼 왜 Rust인가?

Rust와 Apache Arrow는 데이터 처리 분야에서 가장 친한 친구와 같습니다. 두 기술은 서로 긴밀하게 보완되므로 Rust는 2단계 개발에 이상적인 선택입니다. 그 이유는 다음과 같습니다. 

• 가비지 콜렉터 없이 메모리 안전성과 성능: Rust는 메모리 안전에 강력히 집중하여 데이터 파이프라인이 견고하고 안전하도록 보장하고, 데이터 손상이나 세그먼테이션 오류와 같은 위험을 최소화합니다. 이를 Rust의 성능 특성(낮은 오버헤드, 무료 추상화)과 결합하면 Apache Arrow가 처리하는 고속, 대용량 원격 측정 데이터를 효율적으로 처리하는 데 완벽하게 적합합니다.
• 열 데이터 처리: Apache Arrow는 복사 없는 열 지향 데이터 처리를 위한 사실상의 프레임워크입니다. 이 방식은 Parquet, Delta Lake, Iceberg와 같은 시스템을 지원하여 최신 데이터 레이크에서 널리 채택되었습니다. Arrow와의 기본 통합 덕분에 Apache DataFusion 및 Arrow 지원 데이터 레이크와 같은 강력한 분석 엔진과 원활하고 효율적으로 데이터를 교환할 수 있습니다.
• 제로 카피 디자인: Apache Arrow의 제로 복사 패러다임은 Rust의 직접 메모리 접근에 대한 강조와 아름답게 일치합니다. 이러한 기술을 함께 사용하면 직렬화 및 역직렬화 오버헤드가 제거되어 CPU 사이클을 낭비하지 않고도 대용량 데이터 스트림을 효율적으로 처리할 수 있습니다.
• 번영하는 생태계: Apache Arrow를 중심으로 한 Rust 생태계가 활성화되어 있습니다. F5와 Microsoft는 2단계에 Rust를 선택함으로써 이 활발한 커뮤니티에 접근하여 Apache DataFusion과 같은 강력한 라이브러리 및 프레임워크와의 통합을 실현했습니다. 이러한 연결을 통해 새로운 애플리케이션, 특히 분석 및 머신 러닝에 사용되는 대규모 데이터 레이크와의 통합이 가능해집니다. 이 프로젝트는 아직 초기 단계이기는 하지만 이미 관찰성 중심 데이터베이스를 전문으로 하는 몇몇 회사의 관심을 받았습니다.

Rust와 Apache Arrow가 이끄는 Apache Arrow를 탑재한 OpenTelemetry는 단순히 성능 지표를 해결하는 데 그치지 않고 원격 측정 및 데이터 생태계 전반에 걸쳐 더 광범위하게 채택될 수 있는 토대를 마련하고 있습니다.

원격 측정 파이프라인이 데이터 레이크에 원활하게 내장되어 열 기반 분석 플랫폼에 직접 연결되는 세상을 상상해보세요. 이 종단간, 복사 없는 파이프라인을 통해 원격 측정 데이터가 프로덕션 시스템에서 다운스트림 시스템으로 원활하게 흐르도록 하여 이전에는 OpenTelemetry 내에서 상상할 수 없었던 통합이 가능해집니다.

2단계에서는 임베디드 기능 보호, 엄격한 메모리 제어 우선 순위 지정, 코어당 스레드 런타임 지원 활성화를 통해 이 Rust 기반 패러다임이 기대치를 능가할 뿐만 아니라 개발자와 기업 모두가 쉽게 접근할 수 있도록 보장합니다.

Rust에 대한 화제가 되고 있지만, 2단계가 Golang을 포기한다는 의미는 아닙니다. 실제로 F5와 Microsoft는 Go와 Rust 파이프라인 간의 호환성을 보장하기 위해 신중한 조치를 취하고 있습니다. Golang으로 작성된 어댑터와 기존 OpenTelemetry Collector 구성 요소는 계속 지원되고 유지 관리됩니다. 이를 통해 상호 운용성이 보장되어 조직이 단일 언어에 얽매이지 않고 워크플로에 가장 적합한 툴셋을 선택할 수 있습니다.

이러한 통합적 접근 방식은 생태계를 분열시키지 않고 성장시키려는 OpenTelemetry의 노력과 일치합니다. 상호 연결된 워크플로의 일부로 Rust와 Go 파이프라인을 연결함으로써 이 협업을 통해 OpenTelemetry는 다양한 사용자 기반이 계속 접근할 수 있도록 보장됩니다.

OpenTelemetry 거버넌스 위원회는 더 광범위한 OpenTelemetry 생태계 내에서 조화를 유지하면서 Rust 기반 혁신을 탐구하는 것의 중요성을 인식하고 2단계를 승인했습니다. F5의 "Beaubourg" 라이브러리와 같은 기여는 이미 이를 기반으로 구축할 수 있는 강력한 기반을 제공했습니다.

F5와 Microsoft가 이 노력에 협력하면서 단순히 성능을 최적화하는 데 그치지 않고 원격 측정 분야에 흥미로운 가능성을 열어가고 있습니다. 혁신에 대한 이러한 투자는 오픈 소스 원격 측정 시스템의 최첨단을 유지하려는 OpenTelemetry의 헌신을 잘 보여줍니다.