Para a maioria das organizações, o Kubernetes é a plataforma preferida para implantar e gerenciar cargas de trabalho em contêineres. No entanto, as cargas de trabalho de IA introduzem novos níveis de complexidade em comparação com microsserviços típicos, que são mais consistentes e previsíveis. Se as organizações não estiverem cientes desses desafios, poderão ficar expostas a custos excessivos, baixa utilização de recursos e vulnerabilidades de segurança que desaceleram a IA, reduzem o valor e ampliam os riscos. Para proteger seus investimentos, as organizações precisam de uma abordagem mais inteligente para usar o Kubernetes com IA.
Os desafios de usar o Kubernetes para IA
A IA é diferente das cargas de trabalho tradicionais. Os prompts podem variar de simples consultas de texto a análises baseadas em conteúdo multimídia, resultando em demandas variáveis por recursos de GPU. Os controladores de entrada de contêineres têm dificuldade para identificar a disponibilidade das GPUs. Por isso, o estilo de distribuição round-robin padrão deixa algumas GPUs sobrecarregadas e outras subutilizadas.
A IA também depende de uma rede complexa de serviços distribuídos e APIs, que é mais difícil de gerenciar e apresenta uma superfície de ataque maior e mais difícil de proteger. Devido a essa complexidade, a IA se tornou um alvo atraente, e os cibercriminosos estão usando os próprios modelos de IA como vetores de ataque. Técnicas como injeção de prompts e manipulação de modelos contornam os mecanismos de segurança tradicionais para extrair dados confidenciais da IA. Além disso, invasores podem inundar a IA com prompts incorretos para reduzir a capacidade de resposta do modelo e esgotar ainda mais seus recursos. A segurança tradicional do Kubernetes não foi projetada para lidar com esses tipos de ataque.
Para viabilizar uma IA verdadeiramente dinâmica, eficiente e segura no Kubernetes, é necessário contar com um gerenciamento de tráfego que atenda às necessidades específicas da IA e distribua as cargas de trabalho de acordo com elas. Isso inclui considerar a complexidade das solicitações e a disponibilidade de GPUs, bem como a relação não linear entre os recursos e a capacidade de processamento da IA. Controles de segurança nativos de contêineres são indispensáveis para proteger os modelos de IA e impedir que eles se tornem pontos de acesso para uso não autorizado e práticas abusivas.
Entrega de IA segura e otimizada no Kubernetes
As soluções da F5 complementam suas implantações do Amazon Elastic Kubernetes Service (EKS), preenchendo lacunas operacionais, de segurança e de desempenho.
F5 NGINX Ingress Controller oferece balanceamento de carga e entrada com reconhecimento de IA, além de suporte à reconfiguração dinâmica para manter a disponibilidade durante picos de demanda e falhas de pods. Suas equipes também contam com ferramentas compatíveis com estratégias de lançamento blue-green e canário, bem como testes A/B, para tornar as implantações e os esforços de otimização mais eficientes.
F5 NGINX App Protect oferece um firewall de aplicações web (WAF) leve, proteção contra ataques distribuídos de negação de serviço (DDoS) na camada 7 e segurança de APIs. Essa solução é fornecida como parte do F5 NGINX Plus juntamente com o NGINX Ingress Controller e pode ser dimensionada de forma integrada nos seus clusters do Kubernetes.
A F5 oferece gerenciamento e proteção de tráfego com reconhecimento de IA para o Amazon EKS.
Faça o Kubernetes funcionar para IA distribuída
F5 AI Gateway é outra opção para viabilizar serviços de IA no Kubernetes em todo o seu ambiente híbrido de múltiplas nuvens. Você se beneficia de recursos de gerenciamento de tráfego com reconhecimento de IA, incluindo cache semântico, que reutiliza respostas a prompts em solicitações semelhantes para minimizar o processamento redundante e economizar tokens.
Proteções em camadas defendem contra ameaças específicas da IA, abordando o OWASP Top 10 para LLMs, além de evitar vazamentos de dados confidenciais e alucinações nas respostas de saída. O AI Gateway oferece suporte às principais plataformas de IA, incluindo OpenAI, Anthropic e Ollama, bem como a modelos de linguagem baseados em HTTP, proporcionando proteção consistente independentemente do local de implantação.
F5 AI Gateway simplifica a entrega de IA em ambientes híbridos de múltiplas nuvens.
Obtenha melhores resultados com uma abordagem voltada para IA
Ao implementar as soluções da F5 com o Amazon EKS, você viabiliza um gerenciamento inteligente de tráfego que proporciona tempos de resposta mais rápidos dos modelos e proteção contra ameaças específicas de IA. E a lista de benefícios não para por aí:
- Distribuição de cargas de trabalho com reconhecimento de IA. O balanceamento de carga pelo menor tempo de resposta e as verificações ativas de integridade direcionam as solicitações de IA aos serviços mais responsivos.
- Observabilidade abrangente. As soluções da F5 apresentam métricas importantes, como volume de prompts, uso de tokens, latência de inferência e estatísticas de desempenho dos modelos, para ajudar a impulsionar seus esforços de otimização.
- Proteção do tráfego. A limitação de taxa evita o uso abusivo de recursos, o circuit breaker isola falhas e o armazenamento temporário de solicitações ajuda a lidar com picos de tráfego.
- Mitigação de ameaças específicas de IA. As proteções integradas bloqueiam ataques a modelos de IA e evitam o vazamento de dados confidenciais.
- Gerenciamento de identidades e controles de acesso. O suporte a JSON Web Tokens, OpenID Connect e controle de acesso baseado em função (RBAC) garante que apenas usuários e serviços autorizados possam acessar endpoints de IA.
Otimize suas cargas de trabalho de IA no Kubernetes hoje mesmo
Quando se trata de IA, nenhuma otimização deve ser ignorada. As soluções da F5 funcionam de forma consistente em todos os ambientes, seja na AWS, on-premises ou em uma multicloud híbrida, e enfrentam os desafios específicos da IA no Kubernetes.
Permita que sua IA opere de forma fluida e confiável, com proteção reforçada contra as ameaças de hoje e de amanhã. Cada vantagem que você conquista deixa seus projetos de IA um passo mais perto do sucesso neste cenário altamente competitivo e em constante evolução.
Saiba mais em F5 na Amazon Web Services (AWS).
Sobre o autor
Publicações relacionadas no blog
Como o F5 NGINX One aprimora o gerenciamento e a observabilidade
Descubra como o F5 NGINX One aprimora o gerenciamento e a observabilidade de ambientes híbridos e multicloud ao oferecer um console web centralizado baseado em SaaS, com insights em tempo real, conformidade automatizada e gerenciamento simplificado de configurações.
Do OpenAPI ao NGINX como gateway de API usando uma API declarativa
Descubra como transformar uma definição de esquema OpenAPI em uma configuração NGINX totalmente funcional, operando como um API Gateway com a segurança de um Web Application Firewall e um Portal do Desenvolvedor, usando uma abordagem declarativa de API.
Como gerenciar picos repentinos de tráfego e sobrecarga do servidor
Picos de tráfego e sobrecarga de servidores são preocupações sérias para varejistas online em qualquer época, mas especialmente durante a “Cyber Season” de compras de fim de ano. Detalhamos como você pode aproveitar as soluções de entrega de aplicações de nível de produção da NGINX para se preparar para aumentos repentinos de tráfego.
Distribuição segura de chaves privadas SSL com o NGINX
Descrevemos três maneiras progressivamente mais seguras de proteger chaves privadas SSL ao configurar o NGINX para processar tráfego HTTPS: permitir acesso de leitura apenas ao usuário root, criptografar as chaves com senhas armazenadas separadamente e distribuir as senhas a partir de um repositório central.
Agrupando solicitações de API em lotes com NGINX Plus e o módulo JavaScript do NGINX
O módulo JavaScript do NGINX lançado com o NGINX Plus R15 oferece suporte a subsolicitações, possibilitando uma classe totalmente nova de casos de uso para o NGINX Plus. Este exemplo completo também usa a API do NGINX Plus e os módulos de chave-valor para converter solicitações de API dos clientes em solicitações separadas para as APIs dos microsserviços que compõem um aplicativo.
Como superar o esgotamento de portas efêmeras no NGINX e no NGINX Plus
Confira dicas para evitar o esgotamento de portas efêmeras com ajustes no kernel do Linux, conexões keepalive e conexões vinculadas dinamicamente a endereços IP locais.