F5 collabore avec Microsoft sur la phase 2 d’OpenTelemetry avec Apache Arrow

Laurent Querel

F5 collabore avec Microsoft à la phase 2 du projet open source OpenTelemetry avec Apache Arrow (OTAP). Dans le cadre de ce projet, les données OpenTelemetry seront ingérées, traitées et exportées à l’aide de lots d’enregistrements Apache Arrow, depuis le SDK jusqu’au système backend, en passant par l’agent et le collecteur. S’appuyant sur le succès de la phase 1, qui a permis d’améliorer considérablement les taux de compression des données de télémétrie, cette nouvelle étape vise à repousser encore davantage les limites d’OpenTelemetry grâce à un pipeline de traitement des données basé sur Rust et nativement compatible avec Arrow.

La collaboration entre F5 et Microsoft dans le cadre de la phase 2 du projet OpenTelemetry avec Apache Arrow permettra de développer un pipeline de télémétrie hautes performances intégré à l’écosystème Apache Arrow, adapté à de nombreux cas d’usage, à petite comme à grande échelle. Nous créons de nouvelles bibliothèques de pipelines de télémétrie en langage Rust et souhaitons proposer cette fonctionnalité en l’intégrant à l’OpenTelemetry Collector existant.

Cette collaboration devrait apporter des améliorations innovantes des performances des systèmes de télémétrie, marquant ainsi une étape importante non seulement pour OpenTelemetry, mais aussi pour les écosystèmes Apache Arrow et Rust dans leur ensemble. Convaincus de la pertinence de notre approche, nous travaillons désormais activement à la mise en œuvre de ce nouveau pipeline basé sur Rust et réalisons des analyses comparatives approfondies des performances afin de démontrer clairement les progrès accomplis.

Rétrospective : le succès de la phase 1

La phase 1 d’OpenTelemetry avec Apache Arrow s’est fixé des objectifs ambitieux. Grâce aux innovations apportées au protocole OpenTelemetry (OTLP), cette phase a optimisé comme jamais auparavant le transport des données de télémétrie. Les taux de compression ont progressé de 30 à 70 % par rapport au protocole OTLP standard, une réussite remarquable qui a jeté les bases des travaux à venir.

Mais la phase 1 n’était que la partie émergée de l’iceberg. Elle a démontré tout le potentiel de l’association d’OpenTelemetry et d’Apache Arrow, et a ouvert la voie à une mission encore plus ambitieuse : transformer l’ensemble du pipeline OpenTelemetry en une infrastructure ultraperformante de traitement des données en colonnes.

Phase 2 : place à Rust et Arrow

Lors de la phase 2, F5 et Microsoft approfondissent l’optimisation des performances en développant un pipeline OpenTelemetry entièrement natif, basé sur Rust et Apache Arrow, dans le but de créer des pipelines Rust pour le collecteur Golang. Cela permettra d’améliorer considérablement l’utilisation du processeur, l’efficacité de la mémoire, le débit et la latence, autant d’éléments qui contribueront à rendre l’écosystème de traitement des données plus efficace.

Notre objectif est également de trouver le juste équilibre entre une compression optimale des données, un traitement accéléré des données et une intégration efficace aux solutions modernes d’observabilité orientées colonnes, ce qui distingue cette initiative d’autres projets principalement axés sur la seule compression, tels que STEF.

La décision de miser entièrement sur Rust a suscité de l’enthousiasme — et une certaine controverse — au sein de la communauté technique. Après tout, le projet Collector d’OpenTelemetry est traditionnellement développé en Go. Alors, pourquoi Rust ?

Pourquoi Rust et Apache Arrow forment le duo parfait

Rust et Apache Arrow sont comme les meilleurs amis du monde du traitement des données. Ces deux technologies se complètent à merveille, ce qui fait de Rust le choix idéal pour le développement de la phase 2. En voici quelques raisons :

• Sécurité de la mémoire et performances sans ramasse-miettes : L’engagement fort de Rust en faveur de la sécurité de la mémoire garantit des pipelines de données à la fois robustes et sûrs, en réduisant au minimum les risques tels que la corruption des données ou les erreurs de segmentation. Ajoutez à cela les caractéristiques de performance de Rust — faible surcoût et abstractions sans coût supplémentaire — et vous obtenez la combinaison idéale pour traiter efficacement les volumes importants de données télémétriques à haut débit pris en charge par Apache Arrow.
• Traitement des données en colonnes : Apache Arrow est le framework de référence pour le traitement sans copie des données organisées en colonnes. Il est largement adopté dans les lacs de données modernes et prend en charge des systèmes tels que Parquet, Delta Lake et Iceberg. L’intégration native avec Arrow permet d’échanger des données de manière fluide et efficace avec de puissants moteurs d’analyse comme Apache DataFusion et des lacs de données compatibles avec Arrow.
• Conception sans copie : Le paradigme sans copie d’Apache Arrow s’accorde parfaitement avec l’accent mis par Rust sur l’accès direct à la mémoire. Ensemble, ces technologies éliminent le coût de la sérialisation et de la désérialisation, ce qui permet de traiter efficacement d’importants flux de données sans gaspiller de cycles processeur.
• Un écosystème florissant : L’écosystème Rust autour d’Apache Arrow est en plein essor. En choisissant Rust pour la phase 2, F5 et Microsoft s’appuient sur cette communauté dynamique et ouvrent la voie à des intégrations avec de puissantes bibliothèques et infrastructures logicielles, telles qu’Apache DataFusion. Ces connexions offrent de nouvelles possibilités d’application, notamment des intégrations avec des lacs de données à grande échelle utilisés pour l’analyse et l’apprentissage automatique. Bien que ce projet n’en soit encore qu’à ses débuts, il a déjà suscité l’intérêt de plusieurs entreprises spécialisées dans les bases de données axées sur l’observabilité.

Au-delà des performances : de nouveaux horizons

Avec Rust et Apache Arrow aux commandes, OpenTelemetry avec Apache Arrow ne se contente pas de s’attaquer aux indicateurs de performance : il ouvre la voie à une adoption plus large dans les écosystèmes de télémétrie et de données.

Imaginez un monde où les pipelines de télémétrie s’intègrent parfaitement aux lacs de données et offrent des connexions directes aux plateformes d’analyse orientées colonnes. Ce pipeline de bout en bout, sans copie, permettra aux données de télémétrie de circuler de manière fluide depuis la production jusqu’aux systèmes en aval, ouvrant la voie à des intégrations jusqu’alors inimaginables au sein d’OpenTelemetry.

En préservant la capacité d’intégration, en donnant la priorité à un contrôle strict de la mémoire et en prenant en charge un modèle d’exécution avec un thread par cœur, la phase 2 garantit que ce paradigme fondé sur Rust dépassera non seulement les attentes en matière de performances, mais restera également accessible aussi bien aux développeurs qu’aux entreprises.

Une approche unifiée : Rust rencontre Go

Malgré l’engouement autour de Rust, la phase 2 ne signifie pas pour autant l’abandon de Golang. En réalité, F5 et Microsoft prennent des mesures rigoureuses pour garantir la compatibilité entre les pipelines Go et Rust. Les adaptateurs et les composants existants d’OpenTelemetry Collector écrits en Golang continueront d’être pris en charge et maintenus. Cette approche garantit l’interopérabilité et permet aux organisations de choisir les outils les mieux adaptés à leurs workflows sans être contraintes d’utiliser un seul langage.

Cette approche unificatrice s’inscrit dans l’engagement d’OpenTelemetry à développer l’écosystème, et non à le fragmenter. En reliant les pipelines Rust et Go au sein d’un workflow interconnecté, cette collaboration garantit qu’OpenTelemetry reste accessible à la diversité de ses utilisateurs.

Soutien et contributions du secteur

Le comité de gouvernance d’OpenTelemetry a approuvé la phase 2, reconnaissant l’importance d’explorer les innovations basées sur Rust tout en préservant la cohérence de l’écosystème OpenTelemetry dans son ensemble. Les contributions de F5, telles que la bibliothèque « Beaubourg », ont déjà fourni une base solide sur laquelle s’appuyer.

En collaborant à cette initiative, F5 et Microsoft ne se contentent pas d’optimiser les performances : ils ouvrent également la voie à des possibilités prometteuses dans le domaine de la télémétrie. Cet investissement dans l’innovation témoigne clairement de la volonté d’OpenTelemetry de rester à la pointe des systèmes de télémétrie open source.

Et maintenant ?

Pour celles et ceux qui suivent les avancées d’OpenTelemetry avec Apache Arrow, la phase 2 marque un bond en avant en matière d’efficacité, de capacité de mise à l’échelle et de flexibilité. En exploitant pleinement le potentiel de Rust et d’Apache Arrow, cette collaboration pourrait redéfinir la manière dont les données de télémétrie sont produites, traitées et consommées.

Alors que la communauté technique attend les résultats de cette phase ambitieuse, une chose est claire : OpenTelemetry avec Apache Arrow contribue à façonner l’avenir des systèmes d’observabilité distribués.

Restez informé pour en savoir plus sur les avancées de la phase 2 et sur la manière dont ce projet ouvre la voie à un avenir fondé sur des données en colonnes hautes performances. Voyons grand, et avançons vite.

La collaboration entre F5 et Microsoft incarne l’esprit d’innovation open source, et nous sommes impatients de voir comment ces efforts feront progresser OpenTelemetry au bénéfice de tous. Ensemble, nous ne nous contentons pas d’adopter des outils modernes : nous redéfinissons le champ des possibles. Pour en savoir plus, consultez l’article de blog de Microsoft.

À propos de l’auteur

Laurent Querel

Autres articles de Laurent Querel