Escalar, proteger y supervisar cargas de trabajo de IA/ML en Kubernetes con controladores de ingreso

Las cargas de trabajo de IA y aprendizaje automático (IA/ML) están revolucionando el modo en que las empresas operan e innovan. Kubernetes , el estándar de facto para la orquestación y gestión de contenedores, es la plataforma elegida para impulsar cargas de trabajo de modelos de lenguaje grandes (LLM) escalables y modelos de inferencia en entornos híbridos de múltiples nubes.

En Kubernetes, los controladores de ingreso desempeñan un papel vital en la entrega y protección de aplicações en contenedores. Implementados en el borde de un clúster de Kubernetes, sirven como punto central para manejar las comunicaciones entre usuarios y aplicações.

En este blog, exploramos cómo los controladores de Ingress y F5 NGINX Connectivity Stack para Kubernetes pueden ayudar a simplificar y optimizar la prestación de modelos, la experimentación, la supervisión y la seguridad para las cargas de trabajo de IA/ML.

Implementación de modelos de IA/ML en producción a escala

Al implementar modelos de IA/ML a escala, las funciones y capacidades listas para usar de Kubernetes pueden ayudarlo a:

• Acelere y simplifique el ciclo de vida de lanzamiento de aplicação de IA/ML.
• Habilite la portabilidad de la carga de trabajo de IA/ML en diferentes entornos.
• Mejorar la eficiencia y la economía del uso de los recursos computacionales.
• Ofrecer escalabilidad y lograr la preparación para la producción.
• Optimice el entorno para cumplir con los SLA comerciales.

Al mismo tiempo, las organizaciones podrían enfrentar desafíos a la hora de servir, experimentar, monitorear y proteger modelos de IA/ML en producción a gran escala:

• La creciente complejidad y la proliferación de herramientas dificultan que las organizaciones configuren, operen, administren, automaticen y solucionen problemas de entornos de Kubernetes en las instalaciones, en la nube y en el borde.
• Malas experiencias de usuario debido a tiempos de espera de conexión y errores debido a eventos dinámicos, como fallas y reinicios de pods, escalamiento automático y tasas de solicitud extremadamente altas.
• Degradación del rendimiento, tiempo de inactividad y resolución de problemas más lenta y difícil en entornos complejos de Kubernetes debido a informes agregados y falta de métricas granulares, históricas y en tiempo real.
• Riesgo significativo de exposición a amenazas de ciberseguridad en entornos híbridos y multicloud de Kubernetes porque los modelos de seguridad tradicionales no están diseñados para proteger aplicações distribuidas acopladas de forma flexible.

Los controladores de ingreso de clase empresarial como F5 NGINX Ingress Controller pueden ayudar a abordar estos desafíos. Al aprovechar una herramienta que combina capacidades de controlador de Ingress, balanceador de carga y puerta de enlace de API, puede lograr un mejor tiempo de actividad, protección y visibilidad a escala, sin importar dónde ejecute Kubernetes. Además, reduce la complejidad y los costes operativos.

El controlador de ingreso NGINX también se puede integrar estrechamente con una tecnología de protección de aplicaciones de capa 7 líder en la industria de F5 que ayuda a mitigar las 10 principales ciberamenazas de OWASP para aplicações LLM y defiende las cargas de trabajo de IA/ML de ataques DoS.

Beneficios de los controladores de ingreso para cargas de trabajo de IA/ML

Los controladores de ingreso pueden simplificar y agilizar la implementación y la ejecución de cargas de trabajo de IA/ML en producción a través de las siguientes capacidades:

• Servicio de modelos : entregue aplicaciones sin interrupciones con funciones de equilibrio de carga nativo de Kubernetes, escalamiento automático, limitación de velocidad y reconfiguración dinámica.
• Experimentación de modelos : implemente implementaciones azul-verde y canarias, y pruebas A/B para implementar nuevas versiones y actualizaciones sin tiempo de inactividad.
• Monitoreo de modelos : recopile, represente y analice métricas del modelo para obtener una mejor perspectiva del estado y el rendimiento de la aplicación.
• Seguridad del modelo : configure la identidad del usuario, la autenticación, la autorización, el control de acceso basado en roles y las capacidades de cifrado para proteger las aplicaciones de las amenazas a la ciberseguridad.

NGINX Connectivity Stack para Kubernetes incluye NGINX Ingress Controller y F5 NGINX App Protect para proporcionar comunicaciones rápidas, confiables y seguras entre los clústeres de Kubernetes que ejecutan aplicações de IA/ML y sus usuarios, en las instalaciones y en la nube. Ayuda a simplificar y optimizar el servicio de modelos, la experimentación, la supervisión y la seguridad en cualquier entorno de Kubernetes, mejorando las capacidades del proveedor de nube y las ofertas de Kubernetes preempaquetadas con un mayor grado de protección, disponibilidad y observabilidad a escala.

Introducción a la pila de conectividad NGINX para Kubernetes

NGINX ofrece un conjunto integral de herramientas y bloques de construcción para satisfacer sus necesidades y mejorar la seguridad, la escalabilidad y la visibilidad de su plataforma Kubernetes.

Puede comenzar hoy mismo solicitando una prueba gratuita de 30 días de Connectivity Stack for Kubernetes .