F5 colabora con Microsoft en la Fase 2 de OpenTelemetry con Apache Arrow.

La fase 1 de OpenTelemetry con Apache Arrow se inició con objetivos ambiciosos. Al introducir innovaciones en el Protocolo OpenTelemetry (OTLP), esta fase optimizó el transporte de datos de telemetría como nunca antes. Las tasas de compresión mejoraron entre un 30% y un 70% en comparación con el protocolo OTLP estándar, un logro notable que sentó las bases para el trabajo futuro.

Pero la Fase 1 fue sólo la punta del iceberg. Demostró el poder de combinar OpenTelemetry y Apache Arrow, y preparó el escenario para una misión aún más grande: transformar todo el proceso de OpenTelemetry en una potencia de procesamiento de datos en columnas y de alto rendimiento.

En la Fase 2, F5 y Microsoft están profundizando en la optimización del rendimiento mediante el desarrollo de un pipeline OpenTelemetry totalmente nativo impulsado por Rust y Apache Arrow con el objetivo de construir pipelines de Rust para el recopilador Golang. Esto conducirá a mejoras espectaculares en la utilización de la CPU, la eficiencia de la memoria, el rendimiento y la latencia, todo lo cual contribuye a un ecosistema de procesamiento de datos más eficiente.

Nuestro objetivo también es equilibrar la compresión óptima de datos, el procesamiento acelerado de datos y la integración eficiente con la observabilidad moderna orientada a columnas, lo que distingue a esta iniciativa de otros proyectos centrados principalmente solo en la compresión, como STEF. 

La decisión de apostar todo por Rust ha generado entusiasmo (y un poco de controversia) entre la comunidad técnica. Después de todo, el proyecto Collector de OpenTelemetry se construye tradicionalmente utilizando Golang. Entonces ¿por qué Rust?

Rust y Apache Arrow son como los mejores amigos en el mundo del procesamiento de datos. Ambas tecnologías se complementan profundamente, lo que convierte a Rust en la opción ideal para el desarrollo de la Fase 2. He aquí sólo algunas razones: 

• Seguridad y rendimiento de la memoria sin recolector de basura: El fuerte compromiso de Rust con la seguridad de la memoria garantiza que las canalizaciones de datos sean robustas y seguras, minimizando riesgos como la corrupción de datos o fallas de segmentación. Combine esto con las características de rendimiento de Rust (bajos costos operativos, abstracciones sin costo) y tendrá la combinación perfecta para manejar de manera eficiente los datos de telemetría de alta velocidad y gran volumen adoptados por Apache Arrow.
• Procesamiento de datos en columnas: Apache Arrow es el marco de facto para el procesamiento de datos orientado a columnas y sin copia. Se adopta ampliamente en lagos de datos modernos y admite sistemas como Parquet, Delta Lake e Iceberg. La integración nativa con Arrow significa que puede intercambiar datos de manera fluida y eficiente con potentes motores de análisis como Apache DataFusion y lagos de datos habilitados para Arrow.
• Diseño sin copia: El paradigma de copia cero de Apache Arrow se alinea perfectamente con el énfasis de Rust en el acceso directo a la memoria. En conjunto, estas tecnologías eliminan la sobrecarga de serialización y deserialización, lo que hace posible gestionar grandes flujos de datos de manera eficiente sin desperdiciar ciclos de CPU.
• Un ecosistema próspero: El ecosistema Rust alrededor de Apache Arrow está prosperando. Al elegir Rust para la Fase 2, F5 y Microsoft aprovechan esta vibrante comunidad y desbloquean integraciones con potentes bibliotecas y marcos, como Apache DataFusion. Estas conexiones abren las puertas a nuevas aplicações, especialmente integraciones con lagos de datos a gran escala utilizados para análisis y aprendizaje automático. Aunque este proyecto todavía está en sus primeras etapas, ya hemos atraído el interés de varias empresas especializadas en bases de datos centradas en la observabilidad.

Con Rust y Apache Arrow a la cabeza, OpenTelemetry con Apache Arrow no solo aborda las métricas de rendimiento, sino que también prepara el escenario para una adopción más amplia en los ecosistemas de telemetría y datos.

Imagine un mundo donde las canalizaciones de telemetría se puedan integrar sin problemas en los lagos de datos y ofrezcan conexiones directas a plataformas de análisis orientadas a columnas. Este canal de extremo a extremo y sin copias permitirá que los datos de telemetría fluyan sin problemas desde la producción a los sistemas posteriores, desbloqueando integraciones anteriormente inimaginables dentro de OpenTelemetry.

Al proteger la capacidad de integración, priorizar controles estrictos de memoria y habilitar el soporte de tiempo de ejecución de subprocesos por núcleo, la Fase 2 garantiza que este paradigma basado en Rust no solo superará las expectativas, sino que también seguirá siendo accesible tanto para desarrolladores como para empresas.

A pesar del revuelo en torno a Rust, la Fase 2 no significa dejar atrás a Golang. De hecho, F5 y Microsoft están tomando medidas cuidadosas para garantizar la compatibilidad entre los pipelines de Go y Rust. Los adaptadores y componentes existentes de OpenTelemetry Collector escritos en Golang continuarán recibiendo soporte y mantenimiento. Esto garantiza la interoperabilidad, permitiendo a las organizaciones elegir el mejor conjunto de herramientas para sus flujos de trabajo sin estar limitadas a un solo idioma.

Este enfoque unificador se alinea con el compromiso de OpenTelemetry de hacer crecer el ecosistema, no fracturarlo. Al unir las tuberías de Rust y Go como parte de un flujo de trabajo interconectado, la colaboración garantiza que OpenTelemetry siga siendo accesible para su diversa base de usuarios.

El Comité de Gobernanza de OpenTelemetry aprobó la Fase 2, reconociendo la importancia de explorar innovaciones basadas en Rust manteniendo la armonía dentro del ecosistema más amplio de OpenTelemetry. Las contribuciones de F5, como la biblioteca “Beaubourg”, ya han proporcionado una base sólida sobre la cual construir.

A medida que F5 y Microsoft colaboran en este esfuerzo, no solo están optimizando el rendimiento, sino que también están abriendo puertas a posibilidades apasionantes para el mundo de la telemetría. Esta inversión en innovación dice mucho del compromiso de OpenTelemetry de permanecer a la vanguardia de los sistemas de telemetría de código abierto.