Escala, protege y supervisa cargas de trabajo de IA/ML en Kubernetes con controladores de Ingress

Ilya KrutovResponsable sénior de marketing de producto | F5 NGINX

Las cargas de trabajo de inteligencia artificial y aprendizaje automático (IA/ML) están revolucionando la forma en que las empresas operan e innovan. Kubernetes, el estándar de facto para la orquestación y gestión de contenedores, es la plataforma preferida para ejecutar cargas de trabajo escalables de modelos de lenguaje de gran tamaño (LLM) y modelos de inferencia en entornos híbridos y multinube.

En Kubernetes, los controladores de Ingress desempeñan un papel fundamental en la entrega y protección de aplicaciones en contenedores. Desplegados en el perímetro de un clúster de Kubernetes, actúan como punto central para gestionar las comunicaciones entre los usuarios y las aplicaciones.

En este blog, analizamos cómo los controladores Ingress y F5 NGINX Connectivity Stack for Kubernetes pueden ayudar a simplificar y optimizar el despliegue de modelos, la experimentación, la supervisión y la seguridad de las cargas de trabajo de IA/ML.

Despliegue de modelos de IA/ML en producción a gran escala

Al implementar modelos de IA/ML a gran escala, las funciones y capacidades listas para usar de Kubernetes pueden ayudarle a:

• Acelere y simplifique el ciclo de vida de las versiones de aplicaciones de IA/ML.
• Permita la portabilidad de las cargas de trabajo de IA/ML entre distintos entornos.
• Mejorar la eficiencia en el uso de los recursos informáticos y su rentabilidad.
• Ofrezca escalabilidad y alcance la preparación para producción.
• Optimice el entorno para cumplir los acuerdos de nivel de servicio (SLA) de la empresa.

Al mismo tiempo, las organizaciones pueden enfrentarse a dificultades a la hora de desplegar, probar, supervisar y proteger modelos de IA/ML en entornos de producción a gran escala:

• El aumento de la complejidad y la proliferación de herramientas dificultan que las organizaciones configuren, operen, gestionen, automaticen y solucionen problemas en entornos de Kubernetes locales, en la nube y en el extremo de la red.
• Experiencias de usuario deficientes debido a tiempos de espera de conexión y errores provocados por eventos dinámicos, como fallos y reinicios de pods, el escalado automático y tasas de solicitudes extremadamente altas.
• Degradación del rendimiento, tiempo de inactividad, y una resolución de problemas más lenta y difícil en entornos de Kubernetes complejos debido a los informes agregados y a la falta de métricas detalladas, históricas y en tiempo real.
• Riesgo significativo de exposición a amenazas de ciberseguridad en entornos Kubernetes híbridos y multinube, ya que los modelos de seguridad tradicionales no están diseñados para proteger aplicaciones distribuidas con bajo acoplamiento.

Los controladores Ingress de nivel empresarial como F5 NGINX Ingress Controller pueden ayudar a abordar estos retos. Al utilizar una única herramienta que combina las funciones de controlador Ingress, equilibrador de carga y puerta de enlace de API, puede mejorar el tiempo de actividad, la protección y la visibilidad a escala, independientemente de dónde ejecute Kubernetes. Además, reduce la complejidad y los costes operativos.

NGINX Ingress Controller también puede integrarse estrechamente con una tecnología de protección de aplicaciones de capa 7 de F5 líder del sector, que ayuda a mitigar las 10 principales ciberamenazas de OWASP para aplicaciones de LLM y protege las cargas de trabajo de IA/ML frente a ataques DoS.

Ventajas de los controladores de Ingress para cargas de trabajo de IA/ML

Los controladores de Ingress pueden simplificar y agilizar el despliegue y la ejecución de cargas de trabajo de IA/ML en producción gracias a las siguientes funcionalidades:

• Servicio de modelos – Implemente aplicaciones sin interrupciones gracias a las funciones nativas de Kubernetes de equilibrio de carga, escalado automático, limitación de solicitudes y reconfiguración dinámica.
• Experimentación con modelos – Implemente despliegues blue-green y canary, así como pruebas A/B, para lanzar nuevas versiones y actualizaciones sin tiempo de inactividad.
• Monitorización de modelos – Recopile, represente y analice las métricas de los modelos para obtener una visión más clara del estado y el rendimiento de las aplicaciones.
• Seguridad del modelo – Configure la identidad de los usuarios, la autenticación, la autorización, el control de acceso basado en roles y las funciones de cifrado para proteger las aplicaciones frente a las amenazas de ciberseguridad.

NGINX Connectivity Stack para Kubernetes incluye NGINX Ingress Controller y F5 NGINX App Protect para proporcionar comunicaciones rápidas, fiables y seguras entre los clústeres de Kubernetes que ejecutan aplicaciones de IA/ML y sus usuarios, tanto en entornos locales como en la nube. Ayuda a simplificar y agilizar el despliegue, la experimentación, la supervisión y la seguridad de los modelos en cualquier entorno de Kubernetes, mejorando las capacidades de las soluciones de Kubernetes de los proveedores de nube y de las soluciones preconfiguradas con un mayor grado de protección, disponibilidad y observabilidad a escala.

Empiece a utilizar NGINX Connectivity Stack for Kubernetes

NGINX ofrece un conjunto completo de herramientas y componentes básicos para satisfacer sus necesidades y mejorar la seguridad, la escalabilidad y la visibilidad de su plataforma Kubernetes.

Puede empezar hoy mismo solicitando una prueba gratuita de 30 días de Connectivity Stack for Kubernetes.

Sobre el autor

Ilya KrutovResponsable sénior de marketing de producto | F5 NGINX

Más artículos de Ilya Krutov