F5 colabora con Microsoft en la fase 2 de OpenTelemetry con Apache Arrow

Laurent Querel

F5 colabora con Microsoft en la fase 2 del proyecto de código abierto OpenTelemetry con Apache Arrow (OTAP). Como parte de este proyecto, los datos de OpenTelemetry se consumirán, procesarán y exportarán mediante lotes de registros de Apache Arrow desde el SDK hasta el agente, el recopilador y el backend. Partiendo del éxito de la fase 1, en la que se lograron mejoras espectaculares en las tasas de compresión de los datos de telemetría, esta nueva etapa pretende ampliar aún más los límites de OpenTelemetry con una canalización de procesamiento de datos basada en Rust y nativa de Arrow.

La colaboración entre F5 y Microsoft en la fase 2 del proyecto OpenTelemetry con Apache Arrow permitirá desarrollar una canalización de telemetría de alto rendimiento integrada en el ecosistema de Apache Arrow, con diversas aplicaciones para usos a pequeña y gran escala. Estamos creando nuevas bibliotecas de canalización de telemetría en el lenguaje Rust y nuestro objetivo es ofrecer esta funcionalidad mediante su integración con el OpenTelemetry Collector existente.

Esta colaboración está llamada a aportar mejoras innovadoras en el rendimiento de los sistemas de telemetría, lo que supone un hito importante no solo para OpenTelemetry, sino también para los ecosistemas más amplios de Apache Arrow y Rust. Confiamos en nuestro enfoque y ya estamos implementando activamente esta nueva canalización basada en Rust y realizando exhaustivas pruebas comparativas de rendimiento para demostrar claramente los avances.

Una mirada retrospectiva: el éxito de la fase 1

La fase 1 de OpenTelemetry con Apache Arrow se planteó objetivos ambiciosos. Mediante la incorporación de innovaciones en el protocolo OpenTelemetry (OTLP), esta fase optimizó el transporte de datos de telemetría como nunca antes. Las tasas de compresión mejoraron entre un 30 % y un 70 % en comparación con el protocolo OTLP estándar, un logro extraordinario que sentó las bases para el trabajo futuro.

Pero la fase 1 fue solo la punta del iceberg. Demostró el potencial de combinar OpenTelemetry y Apache Arrow, y sentó las bases para una misión aún más ambiciosa: transformar todo el flujo de procesamiento de OpenTelemetry en un potente sistema de procesamiento de datos en columnas de alto rendimiento.

Fase 2: Entran en escena Rust y Arrow

En la fase 2, F5 y Microsoft profundizan en la optimización del rendimiento mediante el desarrollo de una canalización OpenTelemetry totalmente nativa basada en Rust y Apache Arrow, con el objetivo de crear canalizaciones en Rust para el recopilador de Golang. Esto permitirá mejorar drásticamente el uso de la CPU, la eficiencia de la memoria, el rendimiento y la latencia, aspectos que contribuyen a crear un ecosistema de procesamiento de datos más eficiente.

Nuestro objetivo también es lograr un equilibrio entre una compresión de datos óptima, un procesamiento de datos acelerado y una integración eficiente con soluciones modernas de observabilidad orientadas a columnas, lo que diferencia esta iniciativa de otros proyectos centrados principalmente en la compresión, como STEF.

La decisión de apostar «a fondo» por Rust ha despertado entusiasmo —y cierta controversia— entre la comunidad técnica. Al fin y al cabo, el proyecto Collector de OpenTelemetry se ha desarrollado tradicionalmente con Golang. Entonces, ¿por qué Rust?

Por qué Rust y Apache Arrow forman la pareja perfecta

Rust y Apache Arrow son como mejores amigos en el mundo del procesamiento de datos. Ambas tecnologías se complementan de manera excepcional, lo que convierte a Rust en la opción ideal para el desarrollo de la fase 2. Estas son solo algunas de las razones:

• Seguridad de memoria y rendimiento sin recolector de basura: El firme compromiso de Rust con la seguridad de memoria garantiza que las canalizaciones de datos sean robustas y seguras, lo que minimiza riesgos como la corrupción de datos o los fallos de segmentación. Si a esto le sumamos las características de rendimiento de Rust —baja sobrecarga y abstracciones sin coste—, obtenemos la combinación perfecta para gestionar de forma eficiente los datos de telemetría de alta velocidad y gran volumen que utiliza Apache Arrow.
• Procesamiento de datos en columnas: Apache Arrow es el estándar de facto para el procesamiento de datos en columnas sin copias. Se utiliza ampliamente en los lagos de datos modernos y es compatible con sistemas como Parquet, Delta Lake e Iceberg. La integración nativa con Arrow permite intercambiar datos de forma fluida y eficiente con potentes motores de análisis como Apache DataFusion y lagos de datos compatibles con Arrow.
• Diseño sin copias: El paradigma sin copias de Apache Arrow encaja a la perfección con el énfasis de Rust en el acceso directo a la memoria. Juntas, estas tecnologías eliminan la sobrecarga de la serialización y la deserialización, lo que permite gestionar grandes flujos de datos de forma eficiente sin desperdiciar ciclos de CPU.
• Un ecosistema próspero: El ecosistema de Rust en torno a Apache Arrow está en pleno auge. Al elegir Rust para la fase 2, F5 y Microsoft aprovechan esta dinámica comunidad y facilitan la integración con potentes bibliotecas y marcos de trabajo, como Apache DataFusion. Estas conexiones abren las puertas a nuevas aplicaciones, especialmente a integraciones con lagos de datos a gran escala utilizados para el análisis y el aprendizaje automático. Aunque este proyecto aún se encuentra en sus primeras etapas, ya ha despertado el interés de varias empresas especializadas en bases de datos orientadas a la observabilidad.

Más allá del rendimiento: nuevos horizontes

Con Rust y Apache Arrow al frente, OpenTelemetry con Apache Arrow no se limita a abordar las métricas de rendimiento, sino que está sentando las bases para una adopción más amplia en los ecosistemas de telemetría y datos.

Imagine un mundo en el que las canalizaciones de telemetría puedan integrarse sin problemas en lagos de datos y ofrecer conexiones directas con plataformas de análisis orientadas a columnas. Esta canalización integral y sin copias permitirá que los datos de telemetría fluyan sin interrupciones desde los entornos de producción hasta los sistemas posteriores, lo que hará posibles integraciones hasta ahora inimaginables en OpenTelemetry.

Al garantizar la capacidad de integración, priorizar controles estrictos de memoria y habilitar la compatibilidad con entornos de ejecución que asignan un hilo por núcleo, la fase 2 asegura que este paradigma basado en Rust no solo superará las expectativas, sino que también seguirá siendo accesible tanto para desarrolladores como para empresas

Un enfoque unificado: Rust se une a Go

A pesar de la expectación en torno a Rust, la fase 2 no implica dejar atrás Golang. De hecho, F5 y Microsoft están tomando medidas cuidadosamente para garantizar la compatibilidad entre los flujos de procesamiento de Go y Rust. Los adaptadores y los componentes existentes de OpenTelemetry Collector escritos en Golang seguirán recibiendo soporte y mantenimiento. Esto garantiza la interoperabilidad y permite a las organizaciones elegir el conjunto de herramientas más adecuado para sus flujos de trabajo sin quedar vinculadas a un único lenguaje.

Este enfoque unificador está en consonancia con el compromiso de OpenTelemetry de ampliar el ecosistema, no de fragmentarlo. Al conectar los pipelines de Rust y Go como parte de un flujo de trabajo interconectado, esta colaboración garantiza que OpenTelemetry siga siendo accesible para su diversa base de usuarios.

Respaldo y contribuciones del sector

El Comité de Gobernanza de OpenTelemetry ha respaldado la fase 2, reconociendo la importancia de explorar innovaciones basadas en Rust y, al mismo tiempo, mantener la armonía dentro del ecosistema más amplio de OpenTelemetry. Las contribuciones de F5, como la biblioteca «Beaubourg», ya han proporcionado una base sólida sobre la que seguir trabajando.

A medida que F5 y Microsoft colaboran en esta iniciativa, no solo optimizan el rendimiento, sino que también abren la puerta a posibilidades apasionantes para el mundo de la telemetría. Esta inversión en innovación demuestra claramente el compromiso de OpenTelemetry de mantenerse a la vanguardia de los sistemas de telemetría de código abierto.

¿Qué viene ahora?

Para quienes siguen de cerca los avances de OpenTelemetry con Apache Arrow, la fase 2 supone un gran salto en eficiencia, escalabilidad y flexibilidad. Al aprovechar al máximo el potencial de Rust y Apache Arrow, esta colaboración podría redefinir la forma en que se generan, procesan y consumen los datos de telemetría.

Mientras la comunidad técnica espera los resultados de esta ambiciosa fase, una cosa está clara: OpenTelemetry con Apache Arrow está contribuyendo a definir el futuro de los sistemas de observabilidad distribuida.

Mantente al día para conocer más detalles sobre los avances de la fase 2 y cómo este proyecto está allanando el camino hacia un futuro de datos columnares de alto rendimiento. Construyamos a lo grande y hagámoslo rápido.

La colaboración entre F5 y Microsoft encarna el espíritu de la innovación de código abierto, y nos entusiasma ver cómo estos esfuerzos mejoran OpenTelemetry para todos. Juntos, no nos limitamos a adoptar herramientas modernas, sino que estamos redefiniendo lo que es posible. Para obtener más información, lee la publicación del blog de Microsoft.

Sobre el autor

Laurent Querel

Más artículos de Laurent Querel