F5、Apache Arrowを活用したOpenTelemetryフェーズ2でMicrosoftと協業

Laurent Querel

F5はMicrosoftと協力し、Apache Arrowを活用するオープンソースのOpenTelemetryプロジェクト（OTAP）のフェーズ2に取り組んでいます。このプロジェクトでは、SDKからエージェント、コレクター、バックエンドに至るまで、Apache Arrowのレコードバッチを使用してOpenTelemetryデータを取り込み、処理し、エクスポートします。テレメトリデータの圧縮率が大幅に向上したフェーズ1の成果を基盤に、次の段階ではRustベースのArrowネイティブなデータ処理パイプラインを採用し、OpenTelemetryの可能性をさらに広げることを目指します。

F5とMicrosoftは、OpenTelemetry with Apache Arrowプロジェクトのフェーズ2で連携し、Apache Arrowエコシステムと統合された高性能なテレメトリパイプラインを開発します。このパイプラインは、小規模から大規模まで幅広い用途に対応します。現在、Rust言語で新しいテレメトリパイプラインライブラリを開発しており、既存のOpenTelemetry Collectorとの統合を通じて、この機能を提供することを目指しています。

この協業により、テレメトリシステムのパフォーマンスを革新的に向上させることが期待されます。これは、OpenTelemetryだけでなく、より広範なApache ArrowおよびRustのエコシステムにとっても重要な節目となります。F5はこのアプローチに確信を持っており、現在、この新しいRustベースのパイプラインの実装と広範なパフォーマンスベンチマークを積極的に進め、その進歩を明確に示すことに取り組んでいます。

振り返り：フェーズ1の成功

OpenTelemetry with Apache Arrowのフェーズ1では、意欲的な目標を掲げました。OpenTelemetry Protocol（OTLP）に革新的な技術を導入することで、テレメトリデータ転送をかつてないほど最適化しました。圧縮率は標準のOTLPプロトコルと比べて30%～70%向上しました。これは、今後の取り組みの基盤となる目覚ましい成果です。

しかし、フェーズ1は氷山の一角にすぎませんでした。OpenTelemetryとApache Arrowを組み合わせることの威力を実証し、OpenTelemetryパイプライン全体を高性能な列指向データ処理基盤へと変革する、さらに壮大な取り組みへの道を開きました。

フェーズ2：RustとArrowの導入

フェーズ2では、F5とMicrosoftは、Golangコレクター向けのRustパイプライン構築を目指し、RustとApache Arrowを活用した完全ネイティブのOpenTelemetryパイプラインを開発することで、パフォーマンスの最適化をさらに進めています。これにより、CPU使用率、メモリ効率、スループット、レイテンシーが大幅に改善され、データ処理エコシステム全体の効率向上につながります。

また、最適なデータ圧縮、高速なデータ処理、最新の列指向オブザーバビリティとの効率的な統合を両立させることも目指しています。これにより、この取り組みは、STEFのように主に圧縮のみに重点を置く他のプロジェクトとは一線を画します。

Rustに「全面的に注力する」という決定は、技術コミュニティに期待を呼ぶ一方で、多少の議論も巻き起こしています。そもそも、OpenTelemetryのCollectorプロジェクトは従来Golangで構築されてきました。では、なぜRustなのでしょうか。

RustとApache Arrowが最適な組み合わせである理由

RustとApache Arrowは、データ処理の世界における最高のパートナーです。両者はさまざまな面で互いを補完し合うため、フェーズ2の開発にはRustが最適です。その理由をいくつかご紹介します。

• ガベージコレクターを使用しないメモリ安全性とパフォーマンス：Rustはメモリ安全性を重視しているため、堅牢でセキュアなデータパイプラインを実現し、データ破損やセグメンテーション違反などのリスクを最小限に抑えます。さらに、低オーバーヘッドやゼロコスト抽象化といったRustのパフォーマンス特性を組み合わせることで、Apache Arrowが扱う高速かつ大量のテレメトリデータを効率的に処理するのに最適です。
• 列指向データ処理：Apache Arrowは、ゼロコピーの列指向データ処理における事実上の標準フレームワークです。最新のデータレイクで広く採用されており、Parquet、Delta Lake、Icebergなどのシステムをサポートしています。Arrowとのネイティブ統合により、Apache DataFusionなどの高性能な分析エンジンや、Arrow対応のデータレイクと、シームレスかつ効率的にデータを交換できます。
• ゼロコピーデザイン：Apache Arrowのゼロコピーパラダイムは、ダイレクトメモリアクセスを重視するRustの設計思想と非常によく合致します。両者を組み合わせることで、シリアル化と逆シリアル化のオーバーヘッドを排除し、CPUサイクルを浪費することなく大規模なデータストリームを効率的に処理できます。
• 活気あるエコシステム：Apache Arrowを取り巻くRustエコシステムは活況を呈しています。フェーズ2でRustを採用することで、F5とMicrosoftはこの活発なコミュニティを活用し、Apache DataFusionなどの強力なライブラリやフレームワークとの統合を実現できます。こうした連携により、特に分析や機械学習に使用される大規模なデータレイクとの統合など、新たな用途への道が開かれます。このプロジェクトはまだ初期段階ですが、オブザーバビリティに特化したデータベースを手がける複数の企業から、すでに関心が寄せられています。

パフォーマンスの先へ：広がる可能性

RustとApache Arrowを中核に据えたOpenTelemetry with Apache Arrowは、単にパフォーマンス指標に取り組むだけでなく、テレメトリとデータのエコシステム全体での幅広い導入に向けた基盤を整えています。

テレメトリパイプラインをデータレイクにシームレスに組み込み、列指向の分析プラットフォームに直接接続できる世界を想像してみてください。このエンドツーエンドのゼロコピーパイプラインにより、テレメトリデータを本番環境からダウンストリームシステムへシームレスに流せるようになり、これまでOpenTelemetryでは考えられなかった統合が可能になります。

フェーズ2では、組み込み可能性を維持し、厳格なメモリ制御を優先するとともに、コアごとに1スレッドを割り当てるランタイムをサポートすることで、このRustベースのパラダイムが期待を上回る性能を発揮するだけでなく、開発者と企業の双方にとって利用しやすいものとなることを確実にします

統合アプローチ：RustとGoの融合

Rustが注目を集めていますが、Phase 2への移行はGolangを手放すことを意味するものではありません。実際、F5とMicrosoftは、GoとRustのパイプライン間の互換性を確保するため、慎重に取り組んでいます。Golangで記述されたアダプターと既存のOpenTelemetry Collectorコンポーネントは、今後もサポートおよび保守されます。これにより相互運用性が確保され、組織は単一の言語に縛られることなく、ワークフローに最適なツールセットを選択できます。

この統合的なアプローチは、エコシステムを分断するのではなく、成長させるというOpenTelemetryの方針に沿ったものです。この連携では、相互接続されたワークフローの一部としてRustとGoのパイプラインを橋渡しすることで、多様なユーザーが引き続きOpenTelemetryを利用できるようにします。

業界からの支持と貢献

OpenTelemetry Governance Committeeは、より広範なOpenTelemetryエコシステムとの調和を維持しながら、Rustベースのイノベーションを探求する重要性を認め、フェーズ2を承認しました。「Beaubourg」ライブラリをはじめとするF5の貢献は、今後の取り組みを進めるための強固な基盤となっています。

F5とMicrosoftは、この取り組みで連携し、パフォーマンスを最適化するだけでなく、テレメトリの世界に新たな可能性を切り開いています。こうしたイノベーションへの投資は、オープンソースのテレメトリシステムの最先端を走り続けるというOpenTelemetryの強い姿勢を明確に示しています。

今後の展望

Apache Arrowを活用したOpenTelemetryの進展を追っている方々にとって、フェーズ2は効率性、スケーラビリティ、柔軟性を飛躍的に向上させるものです。RustとApache Arrowの可能性を最大限に引き出すことで、このコラボレーションは、テレメトリデータの生成、処理、利用のあり方を再定義する可能性を秘めています。

技術コミュニティがこの意欲的なフェーズの成果を待つなか、1つ明らかなことがあります。OpenTelemetry with Apache Arrowは、分散オブザーバビリティシステムの未来を形作る一助となっています。

フェーズ2の進展や、このプロジェクトが高性能なカラムナーデータの未来をどのように切り拓いているかについて、今後の最新情報にご注目ください。大規模なものを、迅速に構築していきましょう。

F5とMicrosoftの協業は、オープンソースイノベーションの精神を体現するものです。こうした取り組みによって、OpenTelemetryがすべてのユーザーにとってどのように進化していくのか、期待が高まります。私たちは共に、最新のツールを導入するだけでなく、可能性そのものを再定義しています。詳細については、Microsoftのブログ記事をご覧ください。

著者について

Laurent Querel

Laurent Querelのその他のブログ記事