BLOG | NGINX

Dimensione, proteja e monitore cargas de trabalho de IA/ML no Kubernetes com controladores Ingress

NGINX-Parte-de-F5-horiz-preto-tipo-RGB
Ilya Krutov Miniatura
Ilia Krutov
Publicado em 22 de fevereiro de 2024

As cargas de trabalho de IA e aprendizado de máquina (IA/ML) estão revolucionando a maneira como as empresas operam e inovam. O Kubernetes , o padrão de fato para orquestração e gerenciamento de contêineres, é a plataforma escolhida para alimentar cargas de trabalho de modelos de linguagem grande (LLM) escaláveis e modelos de inferência em ambientes híbridos e multinuvem.

No Kubernetes, os controladores Ingress desempenham um papel vital na entrega e proteção de aplicativos em contêineres. Implantados na borda de um cluster Kubernetes, eles servem como ponto central de tratamento de comunicações entre usuários e aplicativos.

Neste blog, exploramos como os controladores Ingress e o F5 NGINX Connectivity Stack para Kubernetes podem ajudar a simplificar e agilizar o fornecimento de modelos, a experimentação, o monitoramento e a segurança para cargas de trabalho de IA/ML.

Implantando modelos de IA/ML em produção em escala

Ao implantar modelos de IA/ML em escala, os recursos e funcionalidades prontos para uso do Kubernetes podem ajudar você a:

  • Acelere e simplifique o ciclo de vida de lançamento de aplicativos de IA/ML.
  • Habilite a portabilidade da carga de trabalho de IA/ML em diferentes ambientes.
  • Melhore a eficiência e a economia da utilização de recursos de computação.
  • Ofereça escalabilidade e alcance prontidão para produção.
  • Otimize o ambiente para atender aos SLAs de negócios.

Ao mesmo tempo, as organizações podem enfrentar desafios com o fornecimento, experimentação, monitoramento e proteção de modelos de IA/ML em produção em escala:

  • A crescente complexidade e a proliferação de ferramentas dificultam que as organizações configurem, operem, gerenciem, automatizem e solucionem problemas em ambientes Kubernetes no local, na nuvem e na borda.
  • Experiências ruins do usuário devido a tempos limite de conexão e erros causados por eventos dinâmicos, como falhas e reinicializações de pods, dimensionamento automático e taxas de solicitação extremamente altas.
  • Degradação de desempenho, tempo de inatividade e solução de problemas mais lenta e difícil em ambientes Kubernetes complexos devido a relatórios agregados e falta de métricas granulares, em tempo real e históricas.
  • Risco significativo de exposição a ameaças de segurança cibernética em ambientes Kubernetes híbridos e multinuvem porque os modelos de segurança tradicionais não são projetados para proteger aplicativos distribuídos fracamente acoplados.

Controladores Ingress de nível empresarial, como o F5 NGINX Ingress Controller, podem ajudar a resolver esses desafios. Ao aproveitar uma ferramenta que combina recursos de controlador Ingress, balanceador de carga e gateway de API, você pode obter melhor tempo de atividade, proteção e visibilidade em escala, não importa onde você execute o Kubernetes. Além disso, reduz a complexidade e o custo operacional.

Diagrama do ecossistema do controlador de entrada NGINX

O NGINX Ingress Controller também pode ser totalmente integrado a uma tecnologia de proteção de aplicativos de Camada 7 líder do setor da F5 , que ajuda a mitigar as 10 principais ameaças cibernéticas do OWASP para aplicativos LLM e defende cargas de trabalho de IA/ML contra ataques DoS.

Benefícios dos controladores de entrada para cargas de trabalho de IA/ML

Os controladores Ingress podem simplificar e agilizar a implantação e execução de cargas de trabalho de IA/ML na produção por meio dos seguintes recursos:

  • Atendimento de modelos – Entregue aplicativos sem interrupções com balanceamento de carga nativo do Kubernetes, dimensionamento automático, limitação de taxa e recursos de reconfiguração dinâmica.
  • Experimentação de modelos – Implemente implantações azul-verde e canário, e testes A/B para lançar novas versões e atualizações sem tempo de inatividade.
  • Monitoramento de modelo – Colete, represente e analise métricas de modelo para obter melhores insights sobre a integridade e o desempenho do aplicativo.
  • Segurança do modelo – Configure a identidade do usuário, autenticação, autorização, controle de acesso baseado em função e recursos de criptografia para proteger aplicativos contra ameaças de segurança cibernética.

O NGINX Connectivity Stack para Kubernetes inclui o NGINX Ingress Controller e o F5 NGINX App Protect para fornecer comunicações rápidas, confiáveis e seguras entre clusters Kubernetes que executam aplicativos de IA/ML e seus usuários, no local e na nuvem. Ele ajuda a simplificar e agilizar o serviço de modelos, a experimentação, o monitoramento e a segurança em qualquer ambiente Kubernetes, aprimorando os recursos do provedor de nuvem e as ofertas pré-empacotadas do Kubernetes com maior grau de proteção, disponibilidade e observabilidade em escala.

Comece a usar o NGINX Connectivity Stack para Kubernetes

O NGINX oferece um conjunto abrangente de ferramentas e blocos de construção para atender às suas necessidades e melhorar a segurança, a escalabilidade e a visibilidade da sua plataforma Kubernetes.

Você pode começar hoje mesmo solicitando uma avaliação gratuita de 30 dias do Connectivity Stack para Kubernetes .


"Esta postagem do blog pode fazer referência a produtos que não estão mais disponíveis e/ou não têm mais suporte. Para obter as informações mais atualizadas sobre os produtos e soluções F5 NGINX disponíveis, explore nossa família de produtos NGINX . O NGINX agora faz parte do F5. Todos os links anteriores do NGINX.com redirecionarão para conteúdo semelhante do NGINX no F5.com."