F5 arbeitet mit Microsoft an Phase 2 von OpenTelemetry mit Apache Arrow zusammen

Laurent Querel

F5 arbeitet gemeinsam mit Microsoft an Phase 2 des Open-Source-Projekts OpenTelemetry mit Apache Arrow (OTAP). Im Rahmen dieses Projekts werden OpenTelemetry-Daten mithilfe von Apache-Arrow-Record-Batches vom SDK bis hin zu Agent, Collector und Backend erfasst, verarbeitet und exportiert. Aufbauend auf dem Erfolg von Phase 1, in der die Komprimierungsraten von Telemetriedaten erheblich verbessert wurden, soll dieses nächste Kapitel die Möglichkeiten von OpenTelemetry mit einer Rust-basierten, Arrow-nativen Datenverarbeitungspipeline noch weiter ausreizen.

Im Rahmen ihrer Zusammenarbeit in Phase 2 des Projekts OpenTelemetry mit Apache Arrow werden F5 und Microsoft eine leistungsstarke, in das Apache-Arrow-Ökosystem integrierte Telemetrie-Pipeline entwickeln, die vielfältige Einsatzmöglichkeiten für kleine und große Umgebungen bietet. Wir entwickeln neue Bibliotheken für Telemetrie-Pipelines in der Programmiersprache Rust und möchten diese Funktionalität durch die Integration in den bestehenden OpenTelemetry Collector bereitstellen.

Diese Zusammenarbeit verspricht innovative Leistungssteigerungen für Telemetriesysteme und stellt damit nicht nur für OpenTelemetry, sondern auch für die umfassenderen Ökosysteme von Apache Arrow und Rust einen bedeutenden Meilenstein dar. Wir sind von unserem Ansatz überzeugt und arbeiten nun aktiv an der Implementierung dieser neuen Rust-basierten Pipeline. Zudem führen wir umfangreiche Leistungsbenchmarks durch, um die erzielten Fortschritte klar aufzuzeigen.

Rückblick: Der Erfolg von Phase 1

Phase 1 von OpenTelemetry mit Apache Arrow startete mit ehrgeizigen Zielen. Durch Neuerungen am OpenTelemetry Protocol (OTLP) optimierte diese Phase den Transport von Telemetriedaten in bisher unerreichter Weise. Die Kompressionsraten verbesserten sich gegenüber dem standardmäßigen OTLP-Protokoll um 30–70 % – eine bemerkenswerte Leistung, die den Grundstein für die bevorstehenden Arbeiten legte.

Doch Phase 1 war nur die Spitze des Eisbergs. Sie zeigte, welches Potenzial in der Kombination von OpenTelemetry und Apache Arrow steckt, und schuf die Grundlage für eine noch größere Mission: die gesamte OpenTelemetry-Pipeline in eine leistungsstarke Plattform für die spaltenorientierte Datenverarbeitung zu verwandeln.

Phase 2: Rust und Arrow kommen ins Spiel

In Phase 2 vertiefen F5 und Microsoft die Leistungsoptimierung, indem sie eine vollständig native, auf Rust und Apache Arrow basierende OpenTelemetry-Pipeline entwickeln. Ziel ist es, Rust-Pipelines für den Golang-Collector zu erstellen. Dies wird zu erheblichen Verbesserungen bei CPU-Auslastung, Speichereffizienz, Durchsatz und Latenz führen – und damit insgesamt zu einem effizienteren Ökosystem für die Datenverarbeitung beitragen.

Unser Ziel ist es außerdem, ein ausgewogenes Verhältnis zwischen optimaler Datenkomprimierung, beschleunigter Datenverarbeitung und effizienter Integration in moderne, spaltenorientierte Observability-Lösungen zu erreichen. Dadurch hebt sich diese Initiative von anderen Projekten wie STEF ab, die sich hauptsächlich auf die Komprimierung konzentrieren.

Die Entscheidung, voll und ganz auf Rust zu setzen, hat in der technischen Community für Begeisterung – und auch ein wenig Kontroverse – gesorgt. Schließlich wird das Collector-Projekt von OpenTelemetry traditionell mit Golang entwickelt. Warum also Rust?

Warum Rust und Apache Arrow perfekt zusammenpassen

Rust und Apache Arrow sind wie beste Freunde in der Welt der Datenverarbeitung. Beide Technologien ergänzen sich auf grundlegende Weise, wodurch Rust die ideale Wahl für die Entwicklung in Phase 2 ist. Hier sind nur einige Gründe dafür:

• Speichersicherheit und Leistung ohne Garbage Collector: Rusts konsequenter Fokus auf Speichersicherheit sorgt dafür, dass Datenpipelines sowohl robust als auch sicher sind, und minimiert Risiken wie Datenbeschädigungen oder Segmentierungsfehler. In Kombination mit Rusts Leistungsmerkmalen – geringem Overhead und kostenfreien Abstraktionen – ergibt sich die perfekte Lösung für die effiziente Verarbeitung der von Apache Arrow unterstützten schnellen und umfangreichen Telemetriedaten.
• Spaltenorientierte Datenverarbeitung: Apache Arrow ist der De-facto-Standard für kopierfreie, spaltenorientierte Datenverarbeitung. Es ist in modernen Data Lakes weit verbreitet und unterstützt Systeme wie Parquet, Delta Lake und Iceberg. Dank der nativen Integration mit Arrow können Sie Daten nahtlos und effizient mit leistungsstarken Analyse-Engines wie Apache DataFusion und Arrow-fähigen Data Lakes austauschen.
• Zero-Copy-Design: Das Zero-Copy-Paradigma von Apache Arrow harmoniert hervorragend mit Rusts Fokus auf direkten Speicherzugriff. Gemeinsam vermeiden diese Technologien den Aufwand für Serialisierung und Deserialisierung. Dadurch lassen sich große Datenströme effizient verarbeiten, ohne unnötig CPU-Zyklen zu verbrauchen.
• Ein florierendes Ökosystem: Das Rust-Ökosystem rund um Apache Arrow floriert. Mit der Entscheidung für Rust in Phase 2 erschließen sich F5 und Microsoft diese dynamische Community und ermöglichen Integrationen mit leistungsstarken Bibliotheken und Frameworks wie Apache DataFusion. Diese Verbindungen eröffnen neue Anwendungsmöglichkeiten, insbesondere Integrationen mit großen Data Lakes für Analysen und maschinelles Lernen. Obwohl sich dieses Projekt noch in einer frühen Phase befindet, haben wir bereits das Interesse mehrerer Unternehmen geweckt, die auf Datenbanken für Observability spezialisiert sind.

Mehr als nur Leistung: Neue Horizonte

Mit Rust und Apache Arrow als treibenden Kräften befasst sich OpenTelemetry mit Apache Arrow nicht nur mit Leistungsmetriken, sondern schafft auch die Voraussetzungen für eine breitere Akzeptanz in Telemetrie- und Datenökosystemen.

Stellen Sie sich eine Welt vor, in der sich Telemetrie-Pipelines nahtlos in Data Lakes einbetten lassen und direkte Verbindungen zu spaltenorientierten Analyseplattformen bieten. Diese durchgängige Zero-Copy-Pipeline ermöglicht es, Telemetriedaten nahtlos von der Produktion in nachgelagerte Systeme zu übertragen, und eröffnet damit Integrationsmöglichkeiten, die innerhalb von OpenTelemetry bislang undenkbar waren.

Indem Phase 2 die Einbettbarkeit sicherstellt, strikte Speicherkontrollen priorisiert und die Unterstützung für Thread-per-Core-Laufzeitumgebungen ermöglicht, sorgt sie dafür, dass dieses Rust-basierte Paradigma nicht nur die Erwartungen übertrifft, sondern auch für Entwickler und Unternehmen gleichermaßen zugänglich bleibt

Ein einheitlicher Ansatz: Rust trifft auf Go

Trotz des Hypes um Rust bedeutet Phase 2 nicht, dass Golang aufgegeben wird. Tatsächlich ergreifen F5 und Microsoft sorgfältig abgestimmte Maßnahmen, um die Kompatibilität zwischen Go- und Rust-Pipelines sicherzustellen. Adapter und bestehende, in Golang geschriebene Komponenten des OpenTelemetry Collectors werden weiterhin unterstützt und gepflegt. Dies gewährleistet Interoperabilität und ermöglicht es Unternehmen, die für ihre Workflows am besten geeigneten Tools auszuwählen, ohne an eine einzige Sprache gebunden zu sein.

Dieser vereinheitlichende Ansatz steht im Einklang mit dem Ziel von OpenTelemetry, das Ökosystem auszubauen, statt es zu fragmentieren. Durch die Verknüpfung von Rust- und Go-Pipelines zu einem zusammenhängenden Workflow stellt die Zusammenarbeit sicher, dass OpenTelemetry für seine vielfältige Nutzerbasis zugänglich bleibt.

Unterstützung und Beiträge aus der Industrie

Das OpenTelemetry Governance Committee hat Phase 2 befürwortet und damit anerkannt, wie wichtig es ist, Rust-basierte Innovationen zu erforschen und zugleich ein harmonisches Zusammenspiel innerhalb des gesamten OpenTelemetry-Ökosystems zu gewährleisten. Beiträge von F5 wie die Bibliothek „Beaubourg“ haben bereits eine solide Grundlage für die weitere Entwicklung geschaffen.

Bei ihrer Zusammenarbeit an diesem Vorhaben optimieren F5 und Microsoft nicht nur die Leistung, sondern eröffnen der Telemetriewelt auch spannende neue Möglichkeiten. Diese Investition in Innovation unterstreicht eindrucksvoll das Engagement von OpenTelemetry, bei quelloffenen Telemetriesystemen weiterhin technologisch führend zu bleiben.

Wie geht es weiter?

Für alle, die die Fortschritte von OpenTelemetry mit Apache Arrow verfolgen, stellt Phase 2 einen großen Sprung in puncto Effizienz, Skalierbarkeit und Flexibilität dar. Indem Rust und Apache Arrow ihr volles Potenzial entfalten, könnte diese Zusammenarbeit neu definieren, wie Telemetriedaten erzeugt, verarbeitet und genutzt werden.

Während die technische Community auf die Ergebnisse dieser ambitionierten Phase wartet, ist eines klar: OpenTelemetry mit Apache Arrow gestaltet die Zukunft verteilter Observability-Systeme mit.

Bleiben Sie auf dem Laufenden, um mehr über die Entwicklungen in Phase 2 zu erfahren und darüber, wie dieses Projekt den Weg in eine Zukunft mit hochperformanten, spaltenorientierten Daten ebnet. Lassen Sie uns Großes schaffen – und zwar schnell.

Die Zusammenarbeit von F5 und Microsoft verkörpert den Geist der Open-Source-Innovation. Wir sind gespannt, wie diese Bemühungen OpenTelemetry für uns alle voranbringen werden. Gemeinsam setzen wir nicht nur moderne Tools ein – wir definieren neu, was möglich ist. Weitere Informationen finden Sie im Blogbeitrag von Microsoft.

Über den Autor

Laurent Querel

Weitere Blogbeiträge von Laurent Querel