Cómo F5 NGINX Plus potencia los clústeres de IA

Liam CrillyDirector sénior de Gestión de Producto

Durante la última década, NGINX Open Source ha sido uno de los servidores web más utilizados del mundo y una de las principales soluciones de entrega de aplicaciones por cuota de mercado. Ha permitido equilibrar la carga y actuar como proxy inverso para todo tipo de proyectos, desde pequeñas empresas emergentes e iniciativas de investigación académica hasta algunas de las aplicaciones web más grandes del mundo.

Del mismo modo que se convirtió en la opción predeterminada para la entrega de aplicaciones, NGINX se ha convertido discretamente en un pilar fundamental para el entrenamiento y la ejecución de aplicaciones de IA. Los principales frameworks, kits de herramientas, bibliotecas y plataformas de IA —como Intel OpenVINO Model Server, NVIDIA Morpheus, vLLM de Meta, NVIDIA Triton y otros— incluyen configuraciones nativas para F5 NGINX Plus (y NGINX Open Source) que permiten gestionar de forma inmediata el proxy gRPC/HTTP, la terminación SSL/TLS, el balanceo de carga con comprobaciones de estado y la reconfiguración dinámica. Numerosos servicios y soluciones de IA que se ejecutan en clústeres de Kubernetes incluyen F5 NGINX Ingress Controller entre sus opciones preferidas para gestionar el tráfico entrante y saliente de los clústeres de IA, tanto para el entrenamiento como para la inferencia de modelos. Si miras bajo la superficie, descubrirás que se ejecuta prácticamente en cualquier lugar donde haya IA.

En una amplia variedad de casos de uso de la IA, NGINX es un componente clave de la pila tecnológica de IA. Tanto si estás ajustando modelos fundacionales como transmitiendo flujos de tokens generados por LLM o dirigiendo solicitudes a endpoints de detección de anomalías en tiempo real, lo más probable es que NGINX ya forme parte del proceso.

Por qué los equipos de IA eligen NGINX Plus

• Entrada nativa de Kubernetes: Actualmente, la mayoría de las plataformas de IA se ejecutan en Kubernetes, y NGINX sigue siendo la solución de entrada predeterminada o preferida en herramientas como Run:ai, KServe y Ray Serve. A medida que las aplicaciones de IA se extienden a entornos híbridos, multinube y perimetrales, NGINX Gateway Fabric ofrece una implementación nativa de Kubernetes de la API Gateway, con una huella ligera y un control granular del tráfico, lo que permite a los equipos de IA controlar mejor el enrutamiento, los reintentos y la observabilidad sin añadir la complejidad de una malla de servicios.
• Despliegues dinámicos a gran escala: las cargas de trabajo de inferencia de IA suelen implicar sesiones de gran valor vinculadas a GPU que requieren un control de versiones minucioso y cero tiempo de inactividad. NGINX admite recargas dinámicas de la configuración, distribución ponderada del tráfico y comprobaciones de estado activas, lo que permite a los equipos desplegar nuevas versiones de modelos de forma segura sin interrumpir las sesiones en curso ni saturar las colas de GPU.
• Gestión de API lista para producción: Los servidores de modelos como Triton, vLLM y OpenVINO utilizan gRPC o HTTP/2 para ofrecer una comunicación rápida y estructurada. NGINX proporciona una compatibilidad consolidada y de alto rendimiento con estos protocolos, además de reutilización de conexiones, persistencia de sesión, terminación TLS y almacenamiento en búfer de solicitudes, funciones esenciales para gestionar tráfico de inferencia de IA con picos repentinos o conexiones de larga duración.
• Control operativo: NGINX Plus ofrece funciones avanzadas, como actualizaciones de configuración mediante API REST, gestión de servidores upstream en tiempo real y un firewall de aplicaciones web (WAF) de nivel empresarial. Para los equipos que gestionan decenas o cientos de instancias de NGINX en distintos clústeres, F5 NGINX One incorpora una consola centralizada para gestionar las configuraciones, el estado y las políticas de seguridad, ideal para equipos que trabajan con varios tipos de modelos o casos de uso de IA con distintos perfiles de acceso y riesgo.
• F5 AI Gateway: Diseñado específicamente para cargas de trabajo de IA, AI Gateway amplía NGINX con un enfoque de seguridad desde el diseño para el tráfico de IA. Incluye protecciones personalizables contra la inyección de prompts y las respuestas tóxicas, así como limitación de velocidad y cuotas de uso para ayudar a evitar la extracción masiva de datos, la saturación o las consultas descontroladas en entornos con recursos de GPU limitados. Se pueden aplicar distintas reglas de seguridad a diferentes rutas de inferencia; por ejemplo, políticas más estrictas para los modelos generativos y más permisivas para las API vectoriales. Todo el tráfico puede registrarse a nivel de token o de solicitud, integrándose en los flujos de observabilidad y facilitando el cumplimiento de los requisitos de auditoría.

Los principales frameworks, herramientas y servicios gestionados de IA integran NGINX

NGINX es una de las opciones de entrada predeterminadas para muchas de las principales plataformas, herramientas y servicios gestionados de AIOps.

Marco de IA

Cómo se utiliza NGINX

Beneficio práctico

Intel OpenVINO Model Serve Una demostración de F5 e Intel implementa fragmentos de modelos detrás de NGINX Plus (YouTube) Una única puerta de enlace puede dirigir el tráfico a backends de CPU, GPU o VPU.NVIDIA Triton El chart de Helm instala Triton con NGINX Plus Ingress para el acceso mediante gRPC (GitHub) La multiplexación HTTP/2 mantiene un alto nivel de utilización de la GPU.NVIDIA Morpheus La guía «Cómo lo hice» protege Morpheus mediante NGINX Plus Ingress (F5 Community) Descarga de TLS y WAF adaptativo delante de la inferencia de seguridad en tiempo real. NVIDIA (XLIO) Guía para implementar NGINX sobre NVIDIA Accelerated IO (XLIO) (docs.nvidia.com) Descarga de TLS mejorada y optimización del rendimiento, incluidas instrucciones de compilación con compatibilidad con OpenSSL y archivos de ejemplo. Meta vLLM La documentación oficial explica cómo equilibrar varias instancias de vLLM mediante NGINX (vLLM) Escalado horizontal rápido para endpoints de generación de texto.

Los equipos de MLOps pueden incorporar productos NGINX por las mismas razones por las que los equipos que gestionan microservicios y API —ambos esenciales en las implementaciones de IA— han adoptado NGINX. Es ligero, modular y portátil, y gestiona grandes volúmenes de tokens en una amplia variedad de entornos. Los desarrolladores de IA y los ingenieros de aprendizaje automático pueden implementar NGINX al poner en marcha sus configuraciones habituales de IA, utilizando una imagen de contenedor configurada por su equipo de plataforma o MLOps. NGINX se integra con la aceleración por hardware en las plataformas y arquitecturas de procesador más habituales.

Los componentes de IA que incluyen NGINX como opción predeterminada abarcan todo el espectro de la infraestructura de IA, desde la programación de GPU de bajo nivel hasta el servicio de modelos de alto nivel, la orquestación de despliegues y la gobernanza de nivel empresarial. En conjunto, demuestran cómo NGINX admite una amplia variedad de casos de uso: enrutar el tráfico de forma segura a los endpoints de inferencia, permitir una entrega de modelos escalable y eficiente, gestionar el acceso a clústeres multiinquilino y aplicar políticas operativas relacionadas con el control de versiones, las auditorías y el cumplimiento normativo.

• KServe: Las guías de despliegue presuponen la existencia de un dominio de NGINX Ingress Controller para enrutar los servicios de inferencia.
• Ray Serve: La documentación incluye instrucciones para configurar NGINX Ingress Controller con el fin de exponer paneles de control y endpoints de modelos.
• Seldon Core v2: Los capítulos sobre el despliegue en producción describen cómo configurar NGINX Ingress Controller mediante Helm, también para escenarios de tráfico canary y shadow.
• Run:ai: Los requisitos previos incluyen NGINX como controlador de entrada validado para clústeres de Kubernetes multiinquilino con uso compartido de GPU.
• AWS SageMaker: La documentación incluye ejemplos del uso de NGINX y Gunicorn como servidores front-end para contenedores de inferencia personalizados.
• Azure AKS: Microsoft ofrece un controlador de entrada NGINX administrado como opción integrada y lista para usar para el tráfico de entrada dentro del clúster.
• DataRobot: Las instrucciones de instalación recomiendan utilizar NGINX Ingress Controller (v4.0.0 o posterior) para el enrutamiento basado en rutas a Portable Prediction Servers en EKS.

NGINX ofrece un camino allanado hacia MLOps

En conjunto, estas plataformas y herramientas abarcan todo el espectro de la infraestructura de IA, desde la programación de GPU de bajo nivel hasta el servicio de modelos de alto nivel, la orquestación de despliegues y la gobernanza de nivel empresarial. Juntas, demuestran cómo NGINX admite una amplia variedad de casos de uso: enrutar de forma segura el tráfico hacia puntos de conexión de inferencia, permitir una entrega de modelos escalable y eficiente, gestionar el acceso a clústeres multiinquilino y aplicar políticas operativas relacionadas con el control de versiones, las auditorías y el cumplimiento normativo. La lista sigue creciendo y estamos deseando ver qué crea con NGINX la próxima generación de empresas nativas de IA.

Obtén ayuda para escalar tu IA con F5 NGINX One.

Sobre el autor

Liam CrillyDirector sénior de Gestión de Producto

Más artículos de Liam Crilly