Para la mayoría de las organizaciones, Kubernetes es la plataforma preferida para desplegar y gestionar cargas de trabajo en contenedores. Sin embargo, las cargas de trabajo de IA presentan nuevos niveles de complejidad en comparación con los microservicios habituales, que son más uniformes y predecibles. Si las organizaciones no son conscientes de estos retos, podrían exponerse a sobrecostes, un uso ineficiente de los recursos y vulnerabilidades de seguridad que ralentizan la IA, reducen su valor y aumentan el riesgo. Para proteger sus inversiones, las organizaciones necesitan un enfoque más inteligente sobre cómo utilizar Kubernetes para la IA.
Los retos de usar Kubernetes para la IA
La IA es diferente de las cargas de trabajo tradicionales. Las solicitudes pueden abarcar desde simples consultas de texto hasta análisis multimedia, lo que genera una demanda variable de recursos de GPU. Los controladores de entrada de los contenedores tienen dificultades para conocer la disponibilidad de las GPU, por lo que el método de distribución por turnos predeterminado provoca que algunas GPU se saturen mientras que otras estén infrautilizadas.
La IA también depende de una compleja red de servicios distribuidos y API que resulta más difícil de gestionar y presenta una superficie de ataque más amplia y difícil de proteger. Debido a esta complejidad, la IA se ha convertido en un objetivo atractivo, y los ciberdelincuentes están utilizando los propios modelos de IA como vectores de ataque. Técnicas como la inyección de prompts y la manipulación de modelos eluden los mecanismos de seguridad tradicionales para extraer datos confidenciales de la IA. Además, los atacantes pueden saturarla con prompts erróneos para reducir la capacidad de respuesta del modelo y agotar aún más sus recursos. La seguridad tradicional de Kubernetes no está diseñada para hacer frente a este tipo de ataques.
Para habilitar una IA verdaderamente dinámica, eficiente y segura en Kubernetes, se necesita una gestión del tráfico que responda a las necesidades específicas de la IA y distribuya las cargas de trabajo en consecuencia. Esto implica tener en cuenta la complejidad de las solicitudes y la disponibilidad de las GPU, así como la relación no lineal entre los recursos y el rendimiento de la IA. Los controles de seguridad nativos para contenedores son imprescindibles para proteger los modelos de IA y evitar que se conviertan en puntos de acceso para usos no autorizados y prácticas abusivas.
Entrega de IA segura y optimizada en Kubernetes
Las soluciones de F5 complementan sus implementaciones de Amazon Elastic Kubernetes Service (EKS) al subsanar las carencias operativas, de seguridad y de rendimiento.
F5 NGINX Ingress Controller ofrece funciones de entrada y equilibrio de carga adaptadas a la IA, con compatibilidad con la reconfiguración dinámica para mantener el tiempo de actividad durante los picos de demanda y los fallos de los pods. Sus equipos también se benefician de herramientas compatibles con estrategias de lanzamiento azul-verde y canario, así como con pruebas A/B, para agilizar las implementaciones y las tareas de optimización.
F5 NGINX App Protect ofrece un firewall de aplicaciones web (WAF) ligero, protección frente a ataques distribuidos de denegación de servicio (DDoS) de capa 7 y seguridad para API. Esta solución se incluye como parte de F5 NGINX Plus junto con NGINX Ingress Controller y se escala sin problemas en sus clústeres de Kubernetes.
F5 proporciona gestión y protección del tráfico adaptadas a la IA para Amazon EKS.
Haz que Kubernetes funcione para la IA distribuida
F5 AI Gateway es otra opción para facilitar los servicios de IA en Kubernetes en todo su entorno híbrido multinube. Puede beneficiarse de funciones de gestión del tráfico adaptadas a la IA, como el almacenamiento en caché semántico, que reutiliza las respuestas a peticiones similares para minimizar el procesamiento redundante y ahorrar tokens.
Las protecciones por capas defienden frente a amenazas específicas de la IA y abordan el Top 10 de OWASP para LLM, al tiempo que evitan las filtraciones de datos confidenciales y las alucinaciones en las respuestas salientes. AI Gateway es compatible con las principales plataformas de IA, como OpenAI, Anthropic y Ollama, así como con modelos de lenguaje basados en HTTP, y proporciona una protección uniforme independientemente de la ubicación de la implementación.
F5 AI Gateway simplifica la entrega de IA en entornos híbridos multinube.
Consiga mejores resultados con un enfoque adaptado a la IA
Al implementar las soluciones de F5 con Amazon EKS, se habilita una gestión inteligente del tráfico que agiliza los tiempos de respuesta de los modelos y ofrece protección frente a amenazas específicas de la IA. Y la lista de ventajas continúa:
- Distribución de cargas de trabajo adaptada a la IA. El balanceo de carga basado en el menor tiempo de respuesta y las comprobaciones de estado activas dirigen las solicitudes de IA a los servicios con mayor capacidad de respuesta.
- Observabilidad integral. Las soluciones de F5 muestran métricas clave, como el volumen de prompts, el uso de tokens, la latencia de inferencia y las estadísticas de rendimiento de los modelos, para ayudarle a impulsar sus iniciativas de optimización.
- Protección del tráfico. La limitación de la tasa evita el uso abusivo de los recursos, los disyuntores aíslan los fallos y el almacenamiento en búfer de las solicitudes ayuda a gestionar los picos de tráfico.
- Mitigación de amenazas específicas de la IA. Las medidas de seguridad integradas bloquean los ataques contra modelos de IA y evitan las filtraciones de datos sensibles.
- Gestión de identidades y controles de acceso. La compatibilidad con JSON Web Tokens, OpenID Connect y el control de acceso basado en roles (RBAC) garantiza que solo los usuarios y servicios autorizados puedan acceder a los endpoints de IA.
Optimiza hoy tus cargas de trabajo de IA en Kubernetes
Cuando se trata de IA, no se debe pasar por alto ninguna optimización. Las soluciones de F5 funcionan de forma coherente en todos los entornos, ya sea en AWS, en las instalaciones o en una multinube híbrida, y abordan los retos específicos de la IA en Kubernetes.
Permita que su IA funcione de forma fluida y fiable, con una protección reforzada frente a las amenazas actuales y futuras. Cada ventaja que consiga le acercará un paso más al éxito de sus proyectos de IA en este entorno tan competitivo y en constante evolución.
Obtenga más información en F5 en Amazon Web Services (AWS).
Sobre el autor
Artículos relacionados del blog
Únete a F5 NGINX en AppWorld 2024
Descubre las numerosas razones para asistir al evento insignia de F5, que incluirá un emocionante anuncio sobre la cartera de productos NGINX.
Rotación de certificados SSL/TLS sin reinicios en NGINX Open Source
La función de diccionario compartido permite configurar NGINX sin necesidad de reiniciarlo al renovar los certificados SSL/TLS.
Exposición de APIs en Kubernetes
La unidad 2 de Microservices March 2022 se centra en cómo exponer tus API en Kubernetes. Aquí tienes enlaces a los recursos que necesitas: la retransmisión en directo del 14 de marzo, artículos de blog y otros recursos de preparación, y el laboratorio práctico «Protege las API de Kubernetes mediante la limitación de solicitudes».
NGINX Sprint 2.0: visión clara, código renovado y nuevos compromisos con el código abierto
Hoy, en NGINX Sprint 2.0, anunciamos cómo respaldaremos nuestra visión del futuro de las aplicaciones modernas con una mayor presencia en la comunidad de código abierto, incluida la participación en el proyecto comunitario Kubernetes, nuevos proyectos de software de código abierto y la arquitectura de referencia para aplicaciones modernas.
Presentamos NGINX Plus R22
NGINX Plus R22 incorpora nuevas funcionalidades, como la compatibilidad con OCSP para verificar la revocación de certificados en TLS mutuo, el uso de varios proveedores de identidad OIDC en una configuración, el seguimiento en tiempo real de la limitación de solicitudes y conexiones en el panel de NGINX Plus y mejoras en NGINX JavaScript.
Presentamos NGINX Plus R17
NGINX Plus R17 incorpora compatibilidad con la limitación de velocidad en dos fases y con TLS 1.3, la versión más reciente del protocolo Transport Layer Security. La configuración de OpenID Connect es más sencilla y NGINX ModSecurity WAF es el doble de rápido que antes. También se ha actualizado el módulo JavaScript de NGINX.