Las cargas de trabajo de IA y aprendizaje automático (IA/ML) están revolucionando el modo en que las empresas operan e innovan. Kubernetes , el estándar de facto para la orquestación y gestión de contenedores, es la plataforma elegida para impulsar cargas de trabajo de modelos de lenguaje grandes (LLM) escalables y modelos de inferencia en entornos híbridos de múltiples nubes.
En Kubernetes, los controladores de ingreso desempeñan un papel vital en la entrega y protección de aplicações en contenedores. Implementados en el borde de un clúster de Kubernetes, sirven como punto central para manejar las comunicaciones entre usuarios y aplicações.
En este blog, exploramos cómo los controladores de Ingress y F5 NGINX Connectivity Stack para Kubernetes pueden ayudar a simplificar y optimizar la prestación de modelos, la experimentación, la supervisión y la seguridad para las cargas de trabajo de IA/ML.
Al implementar modelos de IA/ML a escala, las funciones y capacidades listas para usar de Kubernetes pueden ayudarlo a:
Al mismo tiempo, las organizaciones podrían enfrentar desafíos a la hora de servir, experimentar, monitorear y proteger modelos de IA/ML en producción a gran escala:
Los controladores de ingreso de clase empresarial como F5 NGINX Ingress Controller pueden ayudar a abordar estos desafíos. Al aprovechar una herramienta que combina capacidades de controlador de Ingress, balanceador de carga y puerta de enlace de API, puede lograr un mejor tiempo de actividad, protección y visibilidad a escala, sin importar dónde ejecute Kubernetes. Además, reduce la complejidad y los costes operativos.
El controlador de ingreso NGINX también se puede integrar estrechamente con una tecnología de protección de aplicaciones de capa 7 líder en la industria de F5 que ayuda a mitigar las 10 principales ciberamenazas de OWASP para aplicações LLM y defiende las cargas de trabajo de IA/ML de ataques DoS.
Los controladores de ingreso pueden simplificar y agilizar la implementación y la ejecución de cargas de trabajo de IA/ML en producción a través de las siguientes capacidades:
NGINX Connectivity Stack para Kubernetes incluye NGINX Ingress Controller y F5 NGINX App Protect para proporcionar comunicaciones rápidas, confiables y seguras entre los clústeres de Kubernetes que ejecutan aplicações de IA/ML y sus usuarios, en las instalaciones y en la nube. Ayuda a simplificar y optimizar el servicio de modelos, la experimentación, la supervisión y la seguridad en cualquier entorno de Kubernetes, mejorando las capacidades del proveedor de nube y las ofertas de Kubernetes preempaquetadas con un mayor grado de protección, disponibilidad y observabilidad a escala.
NGINX ofrece un conjunto integral de herramientas y bloques de construcción para satisfacer sus necesidades y mejorar la seguridad, la escalabilidad y la visibilidad de su plataforma Kubernetes.
Puede comenzar hoy mismo solicitando una prueba gratuita de 30 días de Connectivity Stack for Kubernetes .
"Esta publicación de blog puede hacer referencia a productos que ya no están disponibles o que ya no reciben soporte. Para obtener la información más actualizada sobre los productos y soluciones F5 NGINX disponibles, explore nuestra familia de productos NGINX . NGINX ahora es parte de F5. Todos los enlaces anteriores de NGINX.com redirigirán a contenido similar de NGINX en F5.com.