Escale, proteja e monitore cargas de trabalho de IA/ML no Kubernetes com controladores de Ingress

Ilya KrutovGerente Sênior de Marketing de Produto | F5 NGINX

As cargas de trabalho de inteligência artificial e aprendizado de máquina (IA/ML) estão revolucionando a forma como as empresas operam e inovam. Kubernetes, o padrão de fato para orquestração e gerenciamento de contêineres, é a plataforma preferida para executar cargas de trabalho escaláveis de modelos de linguagem de grande porte (LLMs) e modelos de inferência em ambientes híbridos e multinuvem.

No Kubernetes, os controladores de Ingress desempenham um papel fundamental na disponibilização e na proteção de aplicações em contêineres. Implantados na borda de um cluster Kubernetes, eles atuam como o ponto central para gerenciar as comunicações entre usuários e aplicações.

Neste blog, exploramos como os controladores Ingress e o F5 NGINX Connectivity Stack for Kubernetes podem ajudar a simplificar e otimizar a disponibilização de modelos, a experimentação, o monitoramento e a segurança de cargas de trabalho de IA/ML.

Implantação de modelos de IA/ML em produção em grande escala

Ao implantar modelos de IA/ML em escala, os recursos e funcionalidades nativos do Kubernetes podem ajudar você a:

• Acelere e simplifique o ciclo de vida de lançamento de aplicações de IA/ML.
• Permita a portabilidade de cargas de trabalho de IA/ML entre diferentes ambientes.
• Melhore a eficiência e a economia na utilização dos recursos computacionais.
• Ofereça escalabilidade e alcance a prontidão para produção.
• Otimize o ambiente para atender aos SLAs de negócios.

Ao mesmo tempo, as organizações podem enfrentar desafios para disponibilizar, testar, monitorar e proteger modelos de IA/ML em produção e em grande escala:

• O aumento da complexidade e a proliferação de ferramentas dificultam a configuração, a operação, o gerenciamento, a automação e a solução de problemas em ambientes Kubernetes locais, na nuvem e na borda.
• Experiências ruins para os usuários devido a tempos limite de conexão e erros causados por eventos dinâmicos, como falhas e reinicializações de pods, escalonamento automático e taxas de solicitações extremamente altas.
• Degradação do desempenho, indisponibilidade, além de uma solução de problemas mais lenta e difícil em ambientes Kubernetes complexos devido a relatórios agregados e à falta de métricas granulares, históricas e em tempo real.
• Risco significativo de exposição a ameaças de segurança cibernética em ambientes Kubernetes híbridos e multinuvem, pois os modelos de segurança tradicionais não foram projetados para proteger aplicações distribuídas com baixo acoplamento.

Controladores de Ingress de nível empresarial, como o F5 NGINX Ingress Controller podem ajudar a enfrentar esses desafios. Ao utilizar uma única ferramenta que combina os recursos de controlador de Ingress, balanceador de carga e gateway de API, você pode obter maior disponibilidade, proteção e visibilidade em escala, independentemente de onde execute o Kubernetes. Além disso, ela reduz a complexidade e os custos operacionais.

O NGINX Ingress Controller também pode ser totalmente integrado a uma tecnologia de proteção de aplicações de camada 7 da F5, líder do setor que ajuda a mitigar as 10 principais ameaças cibernéticas da OWASP para aplicações de LLM e protege cargas de trabalho de IA/ML contra ataques de DoS.

Benefícios dos controladores de Ingress para cargas de trabalho de IA/ML

Os controladores de Ingress podem simplificar e otimizar a implantação e a execução de cargas de trabalho de IA/ML em produção por meio dos seguintes recursos:

• Disponibilização de modelos – Disponibilize aplicativos sem interrupções com recursos nativos do Kubernetes de balanceamento de carga, escalonamento automático, limitação de taxa e reconfiguração dinâmica.
• Experimentação de modelos – Implemente implantações blue-green e canário, além de testes A/B, para lançar novas versões e atualizações sem tempo de inatividade.
• Monitoramento de modelos – Colete, represente e analise métricas de modelos para obter uma visão mais clara da integridade e do desempenho do aplicativo.
• Segurança do modelo – Configure recursos de identidade do usuário, autenticação, autorização, controle de acesso baseado em funções e criptografia para proteger os aplicativos contra ameaças de segurança cibernética.

NGINX Connectivity Stack para Kubernetes inclui o NGINX Ingress Controller e o F5 NGINX App Protect para proporcionar comunicações rápidas, confiáveis e seguras entre clusters do Kubernetes que executam aplicações de IA/ML e seus usuários, tanto no local quanto na nuvem. Ele ajuda a simplificar e otimizar a disponibilização, a experimentação, o monitoramento e a segurança de modelos em qualquer ambiente Kubernetes, aprimorando os recursos das ofertas de Kubernetes de provedores de nuvem e pré-configuradas com maior nível de proteção, disponibilidade e observabilidade em escala.

Comece a usar o NGINX Connectivity Stack for Kubernetes

A NGINX oferece um conjunto abrangente de ferramentas e componentes básicos para atender às suas necessidades e aprimorar a segurança, a escalabilidade e a visibilidade da sua plataforma Kubernetes.

Você pode começar hoje mesmo solicitando uma avaliação gratuita de 30 dias do Connectivity Stack for Kubernetes.

Sobre o autor

Ilya KrutovGerente Sênior de Marketing de Produto | F5 NGINX

Mais publicações de Ilya Krutov