F5 collabore avec Microsoft sur la phase 2 d'OpenTelemetry avec Apache Arrow.

La phase 1 d'OpenTelemetry avec Apache Arrow s'est fixée des objectifs ambitieux. En introduisant des innovations dans le protocole OpenTelemetry (OTLP), cette phase a optimisé le transport des données de télémétrie comme jamais auparavant. Les taux de compression ont été améliorés de 30 à 70 % par rapport au protocole OTLP standard, une réalisation remarquable qui a jeté les bases des travaux à venir.

Mais la phase 1 n’était que la pointe de l’iceberg. Cela a prouvé la puissance de la combinaison d'OpenTelemetry et d'Apache Arrow, et a ouvert la voie à une mission encore plus vaste : transformer l'ensemble du pipeline OpenTelemetry en une centrale de traitement de données en colonnes hautes performances.

Dans la phase 2, F5 et Microsoft approfondissent l'optimisation des performances en développant un pipeline OpenTelemetry entièrement natif alimenté par Rust et Apache Arrow dans le but de créer des pipelines Rust pour le collecteur Golang. Cela entraînera des améliorations spectaculaires dans l’utilisation du processeur, l’efficacité de la mémoire, le débit et la latence, qui contribuent tous à un écosystème de traitement des données plus efficace.

Notre objectif est également d'équilibrer la compression optimale des données, le traitement accéléré des données et l'intégration efficace avec une observabilité moderne orientée colonnes, distinguant cette initiative des autres projets principalement axés sur la compression seule, tels que STEF. 

La décision de se lancer à fond dans Rust a suscité de l'enthousiasme - et un peu de controverse - au sein de la communauté technique. Après tout, le projet Collector d’OpenTelemetry est traditionnellement construit à l’aide de Golang. Alors pourquoi Rust ?

Rust et Apache Arrow sont comme les meilleurs amis dans le monde du traitement des données. Les deux technologies se complètent de manière profonde, faisant de Rust le choix idéal pour le développement de la phase 2. Voici quelques raisons : 

• Sécurité et performances de la mémoire sans Garbage Collector : L’engagement fort de Rust en matière de sécurité de la mémoire garantit que les pipelines de données sont à la fois robustes et sécurisés, minimisant les risques tels que la corruption des données ou les défauts de segmentation. Combinez cela avec les caractéristiques de performance de Rust (faible surcharge, abstractions à coût nul) et vous obtenez une solution parfaite pour gérer efficacement les données de télémétrie à haut débit et à haut volume adoptées par Apache Arrow.
• Traitement des données en colonnes : Apache Arrow est le framework de facto pour le traitement de données orienté colonnes et sans copie. Il est largement adopté dans les lacs de données modernes, prenant en charge des systèmes tels que Parquet, Delta Lake et Iceberg. L'intégration native avec Arrow signifie que vous pouvez échanger des données de manière transparente et efficace avec des moteurs d'analyse puissants comme Apache DataFusion et les lacs de données compatibles Arrow.
• Conception zéro copie : Le paradigme zéro copie d’Apache Arrow s’aligne parfaitement avec l’accent mis par Rust sur l’accès direct à la mémoire. Ensemble, ces technologies éliminent les frais de sérialisation et de désérialisation, ce qui permet de gérer efficacement des flux de données volumineux sans gaspiller de cycles CPU.
• Un écosystème florissant : L'écosystème Rust autour d'Apache Arrow est florissant. En choisissant Rust pour la phase 2, F5 et Microsoft exploitent cette communauté dynamique, débloquant des intégrations avec des bibliothèques et des frameworks puissants, tels qu'Apache DataFusion. Ces connexions ouvrent la voie à de nouvelles applications, notamment des intégrations avec des lacs de données à grande échelle utilisés pour l’analyse et l’apprentissage automatique. Bien que ce projet soit encore à ses débuts, nous avons déjà suscité l’intérêt de plusieurs entreprises spécialisées dans les bases de données axées sur l’observabilité.

Avec Rust et Apache Arrow à la barre, OpenTelemetry avec Apache Arrow ne s'attaque pas seulement aux mesures de performance : il prépare le terrain pour une adoption plus large dans les écosystèmes de télémétrie et de données.

Imaginez un monde où les pipelines de télémétrie sont parfaitement intégrables dans les lacs de données, offrant des connexions directes aux plates-formes d’analyse orientées colonnes. Ce pipeline de bout en bout, sans copie, permettra aux données de télémétrie de circuler de manière transparente de la production aux systèmes en aval, débloquant des intégrations auparavant inimaginables au sein d'OpenTelemetry.

En préservant l'intégrabilité, en priorisant les contrôles de mémoire stricts et en permettant la prise en charge de l'exécution thread par cœur, la phase 2 garantit que ce paradigme basé sur Rust non seulement dépassera les attentes, mais restera également accessible aux développeurs et aux entreprises.

Malgré le buzz autour de Rust, la phase 2 ne signifie pas que Golang doit être abandonné. En fait, F5 et Microsoft prennent des mesures prudentes pour garantir la compatibilité entre les pipelines Go et Rust. Les adaptateurs et les composants OpenTelemetry Collector existants écrits en Golang continueront d'être pris en charge et maintenus. Cela garantit l’interopérabilité, permettant aux organisations de choisir le meilleur ensemble d’outils pour leurs flux de travail sans être enfermées dans un seul langage.

Cette approche unificatrice s’aligne sur l’engagement d’OpenTelemetry à développer l’écosystème, et non à le fracturer. En reliant les pipelines Rust et Go dans le cadre d'un flux de travail interconnecté, la collaboration garantit qu'OpenTelemetry reste accessible à sa base d'utilisateurs diversifiée.

Le comité de gouvernance d'OpenTelemetry a approuvé la phase 2, reconnaissant l'importance d'explorer les innovations basées sur Rust tout en maintenant l'harmonie au sein de l'écosystème OpenTelemetry plus large. Les contributions du F5, comme la bibliothèque « Beaubourg », ont déjà fourni une base solide sur laquelle s’appuyer.

Alors que F5 et Microsoft collaborent sur ce projet, ils n’optimisent pas seulement les performances : ils ouvrent également la voie à des possibilités passionnantes pour le monde de la télémétrie. Cet investissement dans l’innovation en dit long sur l’engagement d’OpenTelemetry à rester à la pointe des systèmes de télémétrie open source.