F5는 Apache Arrow를 활용하는 오픈 소스 OpenTelemetry 프로젝트(OTAP)의 2단계에서 Microsoft와 협력하고 있습니다. 이 프로젝트에서는 SDK에서 에이전트, 수집기 및 백엔드에 이르기까지 Apache Arrow 레코드 배치를 사용하여 OpenTelemetry 데이터를 수집, 처리 및 내보냅니다. 텔레메트리 데이터 압축률을 획기적으로 개선한 1단계의 성과를 바탕으로, 이번 단계에서는 Rust 기반의 Arrow 네이티브 데이터 처리 파이프라인을 통해 OpenTelemetry의 한계를 한층 더 확장하는 것을 목표로 합니다.
F5와 Microsoft는 OpenTelemetry with Apache Arrow 프로젝트의 2단계에서 협력하여 Apache Arrow 에코시스템과 통합된 고성능 텔레메트리 파이프라인을 개발할 예정입니다. 이 파이프라인은 소규모부터 대규모 환경까지 폭넓게 활용할 수 있습니다. 현재 Rust 언어로 새로운 텔레메트리 파이프라인 라이브러리를 개발하고 있으며, 기존 OpenTelemetry Collector와의 통합을 통해 이 기능을 제공하는 것을 목표로 하고 있습니다.
이번 협업은 텔레메트리 시스템의 성능을 혁신적으로 향상시킬 것으로 기대되며, OpenTelemetry뿐만 아니라 더 광범위한 Apache Arrow 및 Rust 생태계에도 중요한 이정표가 될 것입니다. 저희는 이 접근 방식에 확신을 갖고 있으며, 현재 새로운 Rust 기반 파이프라인을 적극적으로 구현하는 한편, 개선된 성능을 명확히 입증하기 위해 광범위한 성능 벤치마킹을 진행하고 있습니다.
되돌아보기: 1단계의 성공
Apache Arrow를 활용한 OpenTelemetry 1단계는 야심 찬 목표를 세우고 시작되었습니다. 이 단계에서는 OpenTelemetry 프로토콜(OTLP)에 혁신적인 기술을 도입하여 텔레메트리 데이터 전송을 전례 없는 수준으로 최적화했습니다. 압축률은 표준 OTLP 프로토콜 대비 30%~70% 향상되었으며, 이는 향후 작업의 토대를 마련한 놀라운 성과였습니다.
하지만 1단계는 빙산의 일각에 불과했습니다. 이 단계에서는 OpenTelemetry와 Apache Arrow를 결합했을 때의 강력한 성능을 입증했으며, 전체 OpenTelemetry 파이프라인을 고성능 열 지향 데이터 처리 시스템으로 탈바꿈한다는 더욱 원대한 목표를 위한 발판을 마련했습니다.
2단계: Rust와 Arrow의 등장
2단계에서 F5와 Microsoft는 Golang 컬렉터용 Rust 파이프라인 구축을 목표로, Rust와 Apache Arrow를 기반으로 하는 완전한 네이티브 OpenTelemetry 파이프라인을 개발하여 성능 최적화를 한층 더 심화하고 있습니다. 이를 통해 CPU 활용도, 메모리 효율성, 처리량 및 지연 시간이 크게 개선되며, 궁극적으로 더욱 효율적인 데이터 처리 생태계를 조성할 수 있습니다.
“이번 협업은 텔레메트리 시스템의 성능을 획기적으로 향상시킬 것으로 기대되며, OpenTelemetry뿐만 아니라 더 광범위한 Apache Arrow 및 Rust 생태계에도 중요한 이정표가 될 것입니다.”
또한 최적의 데이터 압축, 데이터 처리 가속화, 최신 열 지향 관측성 시스템과의 효율적인 통합 사이에서 균형을 이루는 것이 우리의 목표입니다. 이러한 점에서 이 이니셔티브는 STEF처럼 주로 압축에만 초점을 맞춘 다른 프로젝트와 차별화됩니다.
Rust에 "올인"하기로 한 결정은 기술 커뮤니티에서 기대감과 함께 다소간의 논란을 불러일으켰습니다. OpenTelemetry의 Collector 프로젝트는 전통적으로 Golang으로 개발되어 왔기 때문입니다. 그렇다면 왜 Rust일까요?
Rust와 Apache Arrow가 완벽한 조합인 이유
Rust와 Apache Arrow는 데이터 처리 분야에서 둘도 없는 단짝과 같습니다. 두 기술은 여러 측면에서 서로를 훌륭하게 보완하므로, Rust는 2단계 개발에 가장 적합한 선택입니다. 그 이유 중 몇 가지를 소개합니다:
- 가비지 컬렉터 없이도 보장되는 메모리 안전성과 성능: Rust는 메모리 안전성을 철저히 보장하여 데이터 파이프라인의 견고성과 보안성을 모두 확보하고, 데이터 손상이나 세그멘테이션 오류와 같은 위험을 최소화합니다. 여기에 낮은 오버헤드와 제로 비용 추상화라는 Rust의 성능 특성이 더해져, Apache Arrow가 지원하는 고속·대용량 텔레메트리 데이터를 효율적으로 처리하는 데 완벽한 조합을 이룹니다.
- 열 지향 데이터 처리: Apache Arrow는 제로 카피 방식의 열 지향 데이터 처리를 위한 사실상의 표준 프레임워크입니다. 최신 데이터 레이크 전반에서 널리 채택되어 Parquet, Delta Lake, Iceberg와 같은 시스템을 지원합니다. Arrow와 네이티브로 통합되므로 Apache DataFusion과 같은 강력한 분석 엔진 및 Arrow를 지원하는 데이터 레이크와 데이터를 원활하고 효율적으로 교환할 수 있습니다.
- 제로 카피 설계: Apache Arrow의 제로 카피 패러다임은 직접 메모리 액세스를 중시하는 Rust의 철학과 매우 잘 맞습니다. 이 두 기술을 함께 사용하면 직렬화 및 역직렬화 오버헤드를 없애 CPU 사이클을 낭비하지 않고도 대규모 데이터 스트림을 효율적으로 처리할 수 있습니다.
- 활발하게 성장하는 생태계: Apache Arrow를 중심으로 한 Rust 생태계는 활발하게 성장하고 있습니다. F5와 Microsoft는 2단계에 Rust를 채택함으로써 이 역동적인 커뮤니티를 활용하고 Apache DataFusion과 같은 강력한 라이브러리 및 프레임워크와의 통합 가능성을 열었습니다. 이러한 연계는 새로운 애플리케이션으로 이어지는 길을 열어 주며, 특히 분석 및 머신 러닝에 사용되는 대규모 데이터 레이크와의 통합 가능성을 확대합니다. 이 프로젝트는 아직 초기 단계이지만, 이미 관측성 중심 데이터베이스를 전문으로 하는 여러 기업의 관심을 끌고 있습니다.
성능을 넘어: 확장된 지평
Rust와 Apache Arrow를 기반으로 하는 OpenTelemetry with Apache Arrow는 단순히 성능 지표를 개선하는 데 그치지 않고, 텔레메트리 및 데이터 생태계 전반으로 더 폭넓게 도입될 수 있는 기반을 마련하고 있습니다.
텔레메트리 파이프라인을 데이터 레이크에 원활하게 내장하고 열 지향 분석 플랫폼에 직접 연결할 수 있는 세상을 상상해 보세요. 이 엔드투엔드 제로 카피 파이프라인을 통해 텔레메트리 데이터가 프로덕션 환경에서 다운스트림 시스템까지 원활하게 흐를 수 있게 되어, 이전에는 OpenTelemetry에서 상상할 수 없었던 통합이 가능해질 것입니다.
임베드 가능성을 보장하고 엄격한 메모리 제어를 우선시하며 코어당 스레드 런타임 지원을 활성화함으로써, 2단계에서는 이 Rust 기반 패러다임이 기대 이상의 성능을 발휘할 뿐만 아니라 개발자와 기업 모두가 쉽게 활용할 수 있도록 합니다.
통합된 접근 방식: Rust와 Go의 만남
Rust에 대한 높은 관심에도 불구하고, 2단계가 Golang을 포기한다는 의미는 아닙니다. 실제로 F5와 Microsoft는 Go 및 Rust 파이프라인 간의 호환성을 보장하기 위해 신중하게 조치를 취하고 있습니다. Golang으로 작성된 어댑터와 기존 OpenTelemetry Collector 구성 요소는 앞으로도 계속 지원되고 유지 관리됩니다. 이를 통해 상호 운용성을 확보하여 조직이 단일 언어에 종속되지 않고 워크플로에 가장 적합한 도구 세트를 선택할 수 있습니다.
이러한 통합적 접근 방식은 생태계를 분열시키는 것이 아니라 확장하려는 OpenTelemetry의 노력과도 부합합니다. 이번 협업은 상호 연결된 워크플로의 일부로 Rust와 Go 파이프라인을 연계함으로써 다양한 사용자층이 계속해서 OpenTelemetry를 손쉽게 활용할 수 있도록 합니다.
업계의 지지와 기여
OpenTelemetry 거버넌스 위원회는 더 광범위한 OpenTelemetry 생태계와의 조화를 유지하면서 Rust 기반 혁신을 모색하는 것이 중요하다는 점을 인정하며 2단계를 승인했습니다. “Beaubourg” 라이브러리와 같은 F5의 기여는 이미 향후 발전을 위한 탄탄한 기반을 마련했습니다.
F5와 Microsoft는 이 프로젝트를 위해 협력하면서 단순히 성능을 최적화하는 데 그치지 않고 텔레메트리 분야에 흥미로운 가능성의 문을 열고 있습니다. 이러한 혁신에 대한 투자는 오픈 소스 텔레메트리 시스템의 최첨단을 계속 선도하려는 OpenTelemetry의 의지를 분명히 보여 줍니다.
다음 단계는 무엇일까요?
Apache Arrow와 함께하는 OpenTelemetry의 발전을 지켜보는 이들에게 2단계는 효율성, 확장성, 유연성 측면에서 큰 도약을 의미합니다. Rust와 Apache Arrow의 잠재력을 최대한 활용함으로써, 이번 협업은 텔레메트리 데이터의 생성, 처리, 소비 방식을 새롭게 정의할 가능성을 지니고 있습니다.
기술 커뮤니티가 이 야심 찬 단계의 결과를 기다리는 가운데, 한 가지는 분명합니다. Apache Arrow를 활용한 OpenTelemetry가 분산형 관측 가능성 시스템의 미래를 만들어 가는 데 기여하고 있다는 점입니다.
2단계 개발 진행 상황과 이 프로젝트가 고성능 열 지향 데이터의 미래를 어떻게 열어가고 있는지에 대한 더 많은 소식을 계속 확인해 주세요. 더 큰 것을, 더 빠르게 만들어 갑시다.
F5와 Microsoft의 협업은 오픈 소스 혁신의 정신을 잘 보여주며, 이러한 노력이 우리 모두를 위해 OpenTelemetry를 어떻게 한 단계 더 발전시킬지 기대됩니다. 우리는 함께 최신 도구를 도입하는 데 그치지 않고, 가능성의 한계를 새롭게 정의하고 있습니다. 자세한 내용은 Microsoft 블로그 게시물을 확인하세요.
관련 블로그 게시물
성평등을 향한 여정: 사이버 보안 분야에서 성공적인 커리어를 개척하는 방법에 관한 Jenn Gile과의 Q&A
F5의 ‘성평등을 향한 여정’ 시리즈 네 번째 Q&A에서는 Rachael Shah와 NGINX 제품 마케팅 책임자 Jenn Gile이 사이버 보안 직종에 대한 오해를 바로잡고, 사이버 보안 분야의 성별 격차를 해소하기 위한 조언과 그 이점에 대해 이야기합니다.
TLS 검사에서 피터 파커 원칙 다루기
“큰 힘에는 큰 책임이 따른다.” 볼테르와 처칠도 이와 비슷한 말을 남겼지만, 이 문구는 스파이더맨 코믹스에서 벤 삼촌의 말로 가장 널리 알려져 있습니다. 물론 이 문구가 문화적으로 널리 통용되는 이유 중 하나는 TLS 검사를 비롯해 수많은 상황과 주제에 적용할 수 있기 때문입니다.
Venafi와 F5를 통한 머신 아이덴티티 보호
‘머신 아이덴티티’란 간단히 말해 자동화된 프로세스가 자신의 신원을 식별할 수 있도록 하고, 다른 자동화 시스템과 프로세스가 관련 리소스에 적절한 수준의 접근 권한을 부여하도록 하는 방법을 의미합니다. 이 개념 자체는 새로운 것이 아닙니다. 비교적 새로운 점은 이를 구현해야 하는 규모입니다.
마이너와 미니언: 데이터 유출만이 비용을 초래하는 것은 아닙니다
물론 데이터 유출은 더 큰 비용을 초래할 수 있고(적어도 지금은), 실패 사실을 세상에 드러낼 수밖에 없게 합니다(통지 의무가 있으니까요). 하지만 보안을 단순히 데이터 노출 문제로만 봐서는 안 됩니다. 요즘은 데이터가...
내 클라우드에서 나가!
F5의 Jay Kelley가 전하는 최신 소식에는 Microsoft Office 365용 신규 ID 및 액세스 솔루션을 배포할 때 고려해야 할 사항이 정리되어 있습니다.
Shift(웹 앱) 보안 레터
웹 앱 보안을 개발 초기 단계로 앞당기세요. F5 블로그에서 DevOps 파이프라인 초기에 보안을 통합하여 취약점을 예방하고 시간을 절약하는 방법을 알아보세요.