Crea canalizaciones de datos rápidas y seguras para entrenar IA en AWS

Dave MorrisseyResponsable principal de alianzas | F5

Está invirtiendo mucho en modelos de IA, entrenándolos y ajustándolos para obtener resultados precisos. Sin embargo, existe un cuello de botella crítico que le impide lograr resultados óptimos: la ingesta de datos. Necesita trasladar enormes volúmenes de datos de entrenamiento multimodales —texto, imágenes, audio y vídeo— desde distintas ubicaciones de almacenamiento hasta sus modelos de IA. Si este proceso no es eficiente, puede aumentar los costes y ralentizar las tareas de entrenamiento. El problema es que muchas soluciones de gestión del tráfico no se diseñaron para gestionar la naturaleza dinámica de la IA.

En primer lugar, las fuentes de datos están dispersas en un entorno híbrido multicloud, que incluye centros de datos locales, almacenamiento en nubes privadas y ubicaciones en el extremo de la red. Trasladar terabytes o petabytes de datos de entrenamiento desde estas diversas fuentes hasta su infraestructura de IA genera situaciones complejas de gestión del tráfico y elevados costes de transferencia de datos.

En segundo lugar, te enfrentas a un uso ineficiente de las GPU. Cuando la ingesta de datos se convierte en un cuello de botella, tus costosos recursos de GPU permanecen inactivos, lo que se traduce en mayores costes operativos y ciclos de entrenamiento de modelos más lentos. Necesitas flujos de datos constantes y de alto rendimiento para mantener esas GPU funcionando a plena capacidad.

En tercer lugar, debe mantener la seguridad y el cumplimiento normativo al transferir datos de entrenamiento valiosos a través de las redes. Sus datos propios son confidenciales, desde los datos protegidos de sus clientes hasta la propiedad intelectual que le proporciona una ventaja competitiva, y cualquier brecha de seguridad podría tener consecuencias catastróficas para su empresa.

Entrenamiento de IA con AWS

AWS proporciona una base sólida para tus iniciativas de entrenamiento de IA con servicios como Amazon SageMaker Pipelines para la orquestación de flujos de trabajo, Amazon Data Firehose para la transmisión de datos en tiempo real y AWS Database Migration Service para la replicación continua de datos. Estos servicios nativos de AWS se encargan de las tareas esenciales de transferencia de datos y pueden escalar para admitir miles de flujos de trabajo simultáneos.

Sin embargo, aunque los servicios de AWS destacan en la ingesta de datos y la automatización del entrenamiento de modelos, es probable que necesite funcionalidades que vayan más allá de AWS para abordar escenarios complejos que impliquen entornos híbridos multinube, requisitos de seguridad estrictos y una optimización del tráfico de alto rendimiento.

F5 acelera su éxito

Aquí es donde la F5 Application Delivery and Security Platform (ADSP) complementa su infraestructura de AWS con gestión del tráfico y redes multinube seguras para ayudarle a alcanzar sus objetivos de entrenamiento de IA de forma más eficaz.

Como parte de F5 ADSP, F5 BIG-IP Virtual Edition (VE) proporciona un equilibrio de carga inteligente con optimización de TCP específicamente adaptada para grandes transferencias de datos, a fin de maximizar el uso de las GPU. Funciones como la supervisión del estado de los servidores y el enrutamiento basado en la capacidad garantizan que sus GPU reciban flujos de datos constantes, lo que reduce los costosos tiempos de inactividad. La descarga de SSL, combinada con los perfiles FastL4 y Fast HTTP, acelera aún más el movimiento de datos, lo que le permite sacar más partido a sus inversiones en hardware.

También como parte de la plataforma de F5, F5 Distributed Cloud Network Connect resuelve sus retos de conectividad en entornos híbridos y multicloud al proporcionar conectividad segura de capa 3 entre sus fuentes de datos distribuidas y AWS. Puede conectar directamente a AWS el almacenamiento local y el basado en la nube mediante un aprovisionamiento con un solo clic, lo que elimina las complejas configuraciones de red. Si utiliza sistemas de almacenamiento de NetApp, F5 se integra perfectamente con varios protocolos, incluidos Network File System (NFS), Server Message Block (SMB) y las API de Amazon S3. Conecte las fuentes a través de Internet, mediante una red troncal privada o a través de la red privada F5 Global Network.

Aumente la seguridad y el control

F5 ADSP proporciona una protección integral para sus datos de entrenamiento en entornos híbridos. Incluye mitigación de ataques distribuidos de denegación de servicio (DDoS), protección de aplicaciones web y API, e inspección completa de SSL/TLS con autenticación y autorización centralizadas. Esto garantiza la aplicación de políticas de seguridad coherentes en todos los entornos, a la vez que se cumplen los requisitos normativos para el tratamiento de datos sensibles.

Las funciones de optimización del tráfico de F5 le ayudan a controlar tanto los costes de las GPU como los de transferencia de datos. El enrutamiento inteligente garantiza un movimiento eficiente de los datos entre entornos, mientras que las funciones avanzadas de compresión y almacenamiento en caché reducen el consumo de ancho de banda. Puede supervisar y optimizar continuamente sus canalizaciones de datos para evitar sobrecostes sin sacrificar el rendimiento.

Tu camino hacia el éxito con la IA

Al combinar las capacidades de entrega y seguridad de aplicaciones de F5 con los servicios de desarrollo de IA de AWS, puede crear canalizaciones de datos seguras, eficientes y optimizadas para sus necesidades específicas. Este enfoque integrado le ayuda a:

• Mantenga sus GPU constantemente abastecidas con datos de entrenamiento
• Reduce los costes de infraestructura mediante una gestión inteligente del tráfico
• Mantenga la seguridad y el cumplimiento normativo en entornos híbridos
• Amplíe sus iniciativas de IA con confianza a medida que crece el volumen de datos

Una infraestructura sólida capaz de suministrar de forma fiable grandes volúmenes de datos donde y cuando se necesiten aumenta las probabilidades de que sus iniciativas de entrenamiento de IA tengan éxito en menos tiempo. Gracias a la colaboración entre F5 y AWS, puede centrarse en desarrollar modelos de IA innovadores con la confianza de que la infraestructura de su canalización de datos funcionará de forma fiable, segura y rentable.

Para obtener más información, visite la página de información general sobre F5 en AWS.

Además, no te pierdas la próxima entrada de esta serie, en la que hablaremos de cómo proteger la innovación en IA en AWS mediante la seguridad de las API.

Sobre el autor

Dave MorrisseyResponsable principal de alianzas | F5

Más artículos de Dave Morrissey