Una empresa de servicios financieros garantiza la entrega fiable de datos para la IA

Una destacada gestora de activos europea aprendió por las malas que el almacenamiento de objetos por sí solo no puede soportar la concurrencia de las cargas de trabajo de IA. Después de que una configuración incorrecta de un cliente provocara un incidente de denegación de servicio, la empresa implementó soluciones de F5 para garantizar una entrega de datos S3 fiable, escalable y de alto rendimiento destinada al entrenamiento de modelos de IA.

Desafío

Una gestora de activos europea con una fuerte presencia en los sectores de los servicios financieros y el inmobiliario está invirtiendo considerablemente en IA. Los equipos de ciencia de datos de la empresa entrenan modelos con grandes conjuntos de datos almacenados en Dell Elastic Cloud Storage (ECS), un almacén de objetos compatible con S3, mientras que las cargas de trabajo de IA se ejecutan en Kubernetes. El punto débil era la conexión entre dichas cargas de trabajo y el propio almacenamiento.

Las plataformas de almacenamiento de objetos están diseñadas para ampliar su capacidad, no para controlar el tráfico. Durante décadas, las aplicaciones se conectaban al almacenamiento mediante protocolos específicos en redes controladas, por lo que no era necesario gestionar el tráfico delante de un servidor de archivos o una cabina de almacenamiento. El almacenamiento S3 cambió esta situación. Ahora, cualquier cliente que disponga de una clave puede acceder al almacenamiento de objetos a través de HTTP, lo que significa que el front-end de almacenamiento se comporta como un servicio web y puede sufrir los mismos tipos de fallos. Cada nodo de almacenamiento tiene límites prácticos en cuanto al número de conexiones TCP simultáneas que puede gestionar. Cuando los flujos de trabajo de IA abren miles de sesiones en paralelo para obtener datos de entrenamiento, esos límites pueden alcanzarse rápidamente, y los equipos de almacenamiento rara vez ven venir el problema.

En el caso de la empresa de servicios financieros, un cliente mal configurado abrió más conexiones simultáneas de las que el servidor de origen podía gestionar, lo que provocó de hecho una situación de denegación de servicio contra el propio almacenamiento de la empresa. La ingesta de datos para la IA se detuvo.

El incidente dejó claras dos cosas a los equipos de infraestructura y almacenamiento.

En primer lugar, nunca se debe permitir que un único cliente con un comportamiento anómalo provoque la caída de una plataforma de datos compartida. Especialmente en los servicios financieros, la fiabilidad no es opcional. Los calendarios de entrenamiento de modelos, los análisis y las decisiones empresariales posteriores dependen de que la plataforma de datos siga operativa.

En segundo lugar, dados los planes de la empresa de añadir nodos ECS para respaldar sus crecientes iniciativas de IA, el problema no haría más que agravarse. Para avanzar, era necesario aplicar rigor técnico en el límite del almacenamiento, con un punto de control capaz de regular, equilibrar y proteger el tráfico S3 antes de que llegara a un nodo de almacenamiento.

Soluciones

La empresa evaluó varias soluciones posibles, entre ellas HAProxy y las opciones de Kemp Technologies, pero consideró que ofrecían funcionalidades limitadas para la entrega de aplicaciones adaptadas al protocolo S3.

Las primeras demostraciones de valor resultaron decisivas, ya que pusieron de manifiesto la capacidad de la solución de F5 para afrontar los retos del protocolo S3, como la persistencia de las sesiones, y para integrarse perfectamente con ECS. Dell, socio tecnológico tanto de la empresa como de F5, desempeñó un papel fundamental al adaptar la solución de F5 a la infraestructura de ECS y promover la arquitectura conjunta.

Finalmente, la empresa de servicios financieros eligió F5 e implementó cuatro dispositivos F5 rSeries r5600 con BIG-IP Local Traffic Manager (LTM) como una capa de entrega dedicada delante del almacenamiento ECS.

La implementación siguió un diseño de referencia probado, lo que redujo el riesgo y proporciona una hoja de ruta a medida que madura el entorno de IA. La arquitectura activa/activa resultante, distribuida entre dos centros de datos, es deliberadamente sencilla. Aprovecha mecanismos de enrutamiento dinámico para ofrecer escalabilidad horizontal y alta disponibilidad sin depender del DNS. Ahora, todas las solicitudes S3 de las cargas de trabajo de IA alojadas en Kubernetes pasan por BIG-IP LTM antes de acceder al almacenamiento. Esta única decisión de diseño resuelve el modo de fallo original y sienta las bases para el crecimiento.

Resultados

La agrupación de conexiones aborda directamente el problema de concurrencia, por lo que el incidente que dio origen a este proyecto no puede volver a producirse. BIG-IP-LTM gestiona la avalancha de conexiones TCP del lado del cliente y las transforma en un conjunto más reducido y controlado de conexiones del lado del servidor con los nodos de ECS. También impone una gestión rigurosa de las conexiones para que un único cliente mal configurado o agresivo ya no pueda agotar los recursos de un nodo de almacenamiento. La plataforma ECS permanece disponible para todos los equipos, incluso cuando un cliente se comporta de forma inadecuada.

Ofrecer mejoras de rendimiento cuantificables

El hash coherente de URL permite distribuir las solicitudes de forma inteligente, en lugar de aleatoria. Las solicitudes de los mismos objetos se dirigen de manera predecible por todo el clúster de ECS, lo que mejora el aprovechamiento de la caché, evita los puntos calientes y mantiene estable el rendimiento a medida que se añaden nodos de almacenamiento.

Además, las pruebas internas de rendimiento realizadas con la herramienta Mongoose para evaluar el rendimiento del almacenamiento demostraron una mejora del 500 % en el rendimiento de las entradas y salidas procesadas tras implementar las soluciones de F5 en la ruta de datos. Al optimizar las conexiones TCP, multiplexar las solicitudes del lado del servidor y aprovechar el enrutamiento dinámico, la plataforma logró mejoras inmediatas en el rendimiento para cargas de trabajo de IA exigentes.

Escale las iniciativas de IA sin rediseñar la arquitectura

La empresa tiene previsto ampliar su entorno ECS a medida que se extienda la adopción de la IA. Dado que BIG-IP LTM abstrae los endpoints de almacenamiento tras una única dirección virtual, la empresa puede añadir nodos para ampliar la infraestructura de ECS sin modificar las configuraciones de las aplicaciones ni interrumpir las cargas de trabajo. De este modo, la arquitectura que solucionó un problema de fiabilidad también facilita el crecimiento.

Convierta el almacenamiento en un servicio diseñado arquitectónicamente

Situar una capa dedicada de entrega de aplicaciones delante del almacenamiento favorece la aplicación de buenas prácticas de ingeniería. El tráfico se puede observar, equilibrar y gestionar desde un único lugar, en vez de formar una malla sin gestionar y estrechamente acoplada de clientes que acceden directamente a los nodos. Para el arquitecto de almacenamiento, esto se traduce en un comportamiento predecible de los nodos y una planificación clara de la capacidad. Para el director de TI, significa que la plataforma de datos de IA es un sistema bien diseñado, en lugar de una acumulación de conexiones punto a punto.

Apueste por una alianza para la entrega de datos de IA

F5 y Dell siguen colaborando en el desarrollo de soluciones precisamente para este tipo de carga de trabajo, combinando la gestión del tráfico de BIG-IP LTM con almacenamiento de objetos compatible con S3 para canalizaciones de IA. La conclusión para otras empresas es que el almacenamiento de objetos S3 es un servicio web y que las cargas de trabajo de IA lo someterán a las mismas exigencias que a cualquier otro servicio de este tipo. Un controlador de entrega de aplicaciones dedicado situado delante del almacenamiento puede transformar un origen expuesto en la canalización de datos resiliente necesaria para implementar la IA de forma eficaz.