As cargas de trabalho de IA e aprendizado de máquina (IA/ML) estão revolucionando a maneira como as empresas operam e inovam. O Kubernetes , o padrão de fato para orquestração e gerenciamento de contêineres, é a plataforma escolhida para alimentar cargas de trabalho de modelos de linguagem grande (LLM) escaláveis e modelos de inferência em ambientes híbridos e multinuvem.
No Kubernetes, os controladores Ingress desempenham um papel vital na entrega e proteção de aplicativos em contêineres. Implantados na borda de um cluster Kubernetes, eles servem como ponto central de tratamento de comunicações entre usuários e aplicativos.
Neste blog, exploramos como os controladores Ingress e o F5 NGINX Connectivity Stack para Kubernetes podem ajudar a simplificar e agilizar o fornecimento de modelos, a experimentação, o monitoramento e a segurança para cargas de trabalho de IA/ML.
Ao implantar modelos de IA/ML em escala, os recursos e funcionalidades prontos para uso do Kubernetes podem ajudar você a:
Ao mesmo tempo, as organizações podem enfrentar desafios com o fornecimento, experimentação, monitoramento e proteção de modelos de IA/ML em produção em escala:
Controladores Ingress de nível empresarial, como o F5 NGINX Ingress Controller, podem ajudar a resolver esses desafios. Ao aproveitar uma ferramenta que combina recursos de controlador Ingress, balanceador de carga e gateway de API, você pode obter melhor tempo de atividade, proteção e visibilidade em escala, não importa onde você execute o Kubernetes. Além disso, reduz a complexidade e o custo operacional.
O NGINX Ingress Controller também pode ser totalmente integrado a uma tecnologia de proteção de aplicativos de Camada 7 líder do setor da F5 , que ajuda a mitigar as 10 principais ameaças cibernéticas do OWASP para aplicativos LLM e defende cargas de trabalho de IA/ML contra ataques DoS.
Os controladores Ingress podem simplificar e agilizar a implantação e execução de cargas de trabalho de IA/ML na produção por meio dos seguintes recursos:
O NGINX Connectivity Stack para Kubernetes inclui o NGINX Ingress Controller e o F5 NGINX App Protect para fornecer comunicações rápidas, confiáveis e seguras entre clusters Kubernetes que executam aplicativos de IA/ML e seus usuários, no local e na nuvem. Ele ajuda a simplificar e agilizar o serviço de modelos, a experimentação, o monitoramento e a segurança em qualquer ambiente Kubernetes, aprimorando os recursos do provedor de nuvem e as ofertas pré-empacotadas do Kubernetes com maior grau de proteção, disponibilidade e observabilidade em escala.
O NGINX oferece um conjunto abrangente de ferramentas e blocos de construção para atender às suas necessidades e melhorar a segurança, a escalabilidade e a visibilidade da sua plataforma Kubernetes.
Você pode começar hoje mesmo solicitando uma avaliação gratuita de 30 dias do Connectivity Stack para Kubernetes .
"Esta postagem do blog pode fazer referência a produtos que não estão mais disponíveis e/ou não têm mais suporte. Para obter as informações mais atualizadas sobre os produtos e soluções F5 NGINX disponíveis, explore nossa família de produtos NGINX . O NGINX agora faz parte do F5. Todos os links anteriores do NGINX.com redirecionarão para conteúdo semelhante do NGINX no F5.com."