Creación de canalizaciones de datos de IA de alto rendimiento: una conversación con F5 y Futuriom

F5 y Scality: optimización de la entrega de datos y los flujos de trabajo de IA

El auge de la inteligencia artificial ha revolucionado la gestión y el procesamiento de datos, lo que ha llevado a empresas de todos los sectores a invertir considerablemente en infraestructuras robustas diseñadas para maximizar el rendimiento de la IA.

F5 y Scality se sitúan a la vanguardia de la próxima ola de optimización de los flujos de trabajo de IA, con soluciones punteras para afrontar los retos relacionados con la escalabilidad, la resiliencia y la seguridad. Al alojar petabytes de datos y gestionar los procesos de tráfico de las aplicaciones de IA, sus innovaciones combinadas garantizan una entrega y un procesamiento de datos fluidos en todos los flujos de trabajo de IA.

Aquí resumimos las principales conclusiones de este seminario web, «Entrega mejorada de datos de IA a escala: cómo F5 y Scality revolucionan el rendimiento y la seguridad», en el que se explica cómo colaboran sus tecnologías para optimizar los flujos de trabajo de IA, se destaca la importancia de sus soluciones y se analiza cómo pueden aprovecharlas las organizaciones para ampliar de forma eficiente sus flujos de trabajo de entrega de datos de IA.

Comprender la importancia del balanceo de carga para optimizar los flujos de trabajo de IA

En el seminario web, Chris Harvey, director de Ingeniería de Ventas de Scality, destacó el papel fundamental que desempeña el balanceo de carga en la optimización de los flujos de trabajo de IA. Las cargas de trabajo de IA dependen en gran medida de que los datos se suministren con un alto rendimiento y sin interrupciones. S3 (Amazon Simple Storage Service) se ha convertido en el protocolo de datos de facto para los procesos de IA y se utiliza en aplicaciones como el análisis de datos, las copias de seguridad y la inferencia.

Sin embargo, las enormes exigencias de concurrencia y ancho de banda de las aplicaciones de IA que hacen un uso intensivo de la GPU, junto con las solicitudes dinámicas en los procesos de inferencia y generación aumentada por recuperación (RAG), requieren mecanismos sofisticados de gestión del tráfico. Aquí es donde destacan las soluciones de equilibrio de carga de F5. A diferencia de los sistemas convencionales, que pueden recurrir a técnicas de asignación por turnos de DNS propensas a dirigir el tráfico a endpoints inactivos, F5 utiliza sondas de estado y algoritmos inteligentes para garantizar que los conectores defectuosos no interrumpan las operaciones.

Conclusiones principales:

• S3 como protocolo estándar: S3 es ahora el protocolo universal para las cargas de trabajo de IA y resulta fundamental para optimizar el flujo de datos en entornos con una concurrencia de clientes extrema.
• Sondas de estado: F5 utiliza sondas de estado activas para eliminar automáticamente del flujo de trabajo los conectores que presentan fallos.
• Distribución en función de la carga: los algoritmos inteligentes de equilibrio de carga evitan los cuellos de botella y optimizan el uso de los servidores.

Desafíos en los flujos de trabajo de IA y la Infraestructura de Datos Autónoma (ADI) de Scality

El seminario web analizó los retos a los que suelen enfrentarse los flujos de trabajo de IA, como las interrupciones en el suministro de datos de IA, la necesidad de garantizar la fiabilidad a escala y el acceso dinámico a los datos durante la inferencia. La ADI de Scality, junto con las soluciones F5 BIG-IP, resuelve estos problemas descargando la caché KV y ofreciendo un rendimiento equiparable al de GPUDirect.
Uno de los principales obstáculos observados en la gestión de los flujos de trabajo de IA es el tiempo de inactividad de las GPU. Las GPU inactivas no generan retorno de la inversión, ya que los modelos en la nube y locales requieren una ingesta continua de datos para aportar beneficios económicos. Scality aborda estos retos mediante:

• Solicitudes dinámicas de datos: los hosts de GPU preparan previamente los datos de entrenamiento o recuperan dinámicamente los archivos necesarios durante la inferencia.
• Acceso directo a memoria (RDMA): permite flujos de datos más rápidos, de varios terabytes por segundo, lo que garantiza un uso óptimo de las GPU.

Por qué el tiempo de inactividad en los pipelines de IA es inaceptable

Las aplicaciones de IA son sensibles incluso a los contratiempos más leves. Los trabajos de análisis de larga duración suelen prolongarse durante días o semanas, y las interrupciones pueden obligar a realizar costosos reinicios. Además, los fallos transitorios de los endpoints pueden interrumpir los procesos de RAG en tiempo real y poner en riesgo resultados empresariales críticos.
Las soluciones de F5 garantizan una disponibilidad permanente mediante técnicas de equilibrio de carga dinámico y mecanismos de garantía del servicio:

• Descarga de TLS: ahorra ancho de banda de CPU para los conectores S3 y permite centralizar la gestión de certificados.
• Topologías de despliegue: Los despliegues en un único sitio y en varios sitios con equilibrio de carga global de servidores (GSLB) garantizan la resiliencia.

Integración de Scality y F5 para optimizar los flujos de trabajo: descripción general de la arquitectura

La sinergia entre Scality ADI y F5 BIG-IP constituye el núcleo de su arquitectura de fábrica de IA. Este diseño, dotado de funciones inteligentes de gestión de recursos, prioriza el escalado seguro de las API, la distribución de las cargas de trabajo y la entrega eficaz de datos de IA. Se hace especial hincapié en:

• API con estado: gestión de la asignación de recursos para aplicaciones en tiempo real, como la IA agéntica y los mecanismos de recuperación.
• Ventajas operativas de la QoS: F5 permite separar inquilinos, limitar el tráfico y aplicar niveles de servicio mediante un control centralizado, solucionando los problemas causados por inquilinos ruidosos para mantener un funcionamiento óptimo del sistema.

Rendimiento, escalabilidad y seguridad optimizados: innovaciones de vanguardia

Para las organizaciones que gestionan infraestructuras de varios PB a gran escala, optimizar el rendimiento es imprescindible. Las integraciones de F5 ofrecen funciones de aceleración por hardware adaptadas a la optimización de los flujos de trabajo de IA. Al combinar sus diseños propios de FPGA con los grupos de conectores S3 sin estado de Scality ADI, crean sistemas altamente eficientes que mantienen el rendimiento sin cuellos de botella.

Además, al aprovechar medidas de seguridad de vanguardia, incluidos los estándares de criptografía poscuántica (PQC), F5 permite a las organizaciones anticiparse a posibles vulnerabilidades futuras de los datos provocadas por tecnologías de descifrado basadas en la computación cuántica.

Aspectos destacados del rendimiento:

• Las funciones de bypass de F5 permiten entregar grandes volúmenes de datos de IA sin renunciar a la escalabilidad.
• Las configuraciones específicas de cada inquilino garantizan un aislamiento fluido entre las aplicaciones o entidades que comparten infraestructuras.

La optimización de los flujos de trabajo de IA no consiste tanto en implementar soluciones aisladas como en aprovechar soluciones integradas y escalables. El seminario web de F5 y Scality muestra cómo sus tecnologías abordan los retos que plantean los flujos de trabajo dinámicos de IA, garantizando en todo momento la resiliencia, la escalabilidad y la seguridad.

A medida que la IA sigue transformando sectores, las organizaciones deben invertir en soluciones como las que ofrecen F5 y Scality para preparar sus infraestructuras de cara al futuro ante la creciente complejidad y las nuevas amenazas. Sus enfoques innovadores para el equilibrio de carga, la entrega de datos y la optimización de infraestructuras establecen referentes para la gestión eficaz de los canales modernos de IA.

Para obtener más información y descubrir cómo puede optimizar sus flujos de trabajo de IA, vea el seminario web completo bajo demanda mediante el formulario anterior.