Conectividade Kubernetes preparada para o futuro da IA

Roteamento com reconhecimento de modelo para cargas de trabalho de IA

As cargas de trabalho de inferência de IA são imprevisíveis — os prompts variam em tamanho e intensidade computacional, tornando o roteamento tradicional ineficiente. O balanceamento de carga estático pode sobrecarregar os backends ou subutilizar os recursos. O NGINX Gateway Fabric permite o roteamento com reconhecimento de modelo, direcionando o tráfego com base no tipo de modelo, nos perfis de custo/desempenho e nos sinais de tempo de execução para uma entrega de IA eficiente e escalável.

• Roteie por modelo e tipo de carga de trabalho: Direcione as solicitações com base no tipo ou na versão do modelo, ou em outros parâmetros, garantindo a seleção do backend ideal e o uso eficiente dos recursos.
• Gerencie cargas de trabalho variáveis de IA: Adapte-se dinamicamente às variações no tamanho dos prompts e nas demandas computacionais, evitando sobrecargas e mantendo um desempenho consistente.
• Melhore o desempenho e a eficiência: Otimize a latência e a taxa de transferência encaminhando as solicitações para os back-ends mais adequados com base em métricas em tempo real, como profundidade do cache e da fila.
  

Integração do NGF com o F5 AI Guardrails e o F5 WAF

• Mitigação avançada de ameaças de IA: Inspeciona e filtra o tráfego de entrada para bloquear ataques de injeção de prompt e jailbreak diretamente na borda do cluster, antes que eles alcancem seus modelos de linguagem de grande escala.
• Proteção de dados sensíveis: Aplica políticas rigorosas de saída para impedir a exfiltração de informações de identificação pessoal (PII) e de propriedade intelectual nas respostas do modelo.
• Proteção WAF integrada: Aplica proteção de firewall de aplicações web (WAF) de nível empresarial usando fluxos de trabalho GitOps fáceis de usar para desenvolvedores, proporcionando prevenção nativa contra ameaças.
• Conformidade declarativa: Permite que as equipes de segurança criem políticas globais de conformidade e proteção, enquanto as equipes de aplicações as implantam com segurança por meio de recursos personalizados nativos do Kubernetes.

Controle de tráfego expressivo

O Ingress tradicional depende muito de anotações, o que resulta em configurações fragmentadas e difíceis de gerenciar. O NGINX Gateway Fabric apresenta CRDs expressivos e nativos do Kubernetes, que permitem políticas de tráfego consistentes, reutilizáveis e declarativas entre equipes e ambientes.

• CRDs em vez de anotações: Substitua anotações dispersas por APIs estruturadas e nativas do Kubernetes, que melhoram a legibilidade, a consistência e a facilidade de manutenção a longo prazo.
• Políticas de tráfego reutilizáveis: Defina políticas de roteamento e tráfego uma única vez e reutilize-as em diferentes ambientes, reduzindo a duplicação e divergências de configuração.
• Modelo de configuração declarativa: Gerencie o tráfego usando recursos declarativos com controle de versão, alinhados às práticas recomendadas do Kubernetes.

Controle baseado em funções para equipes de plataforma

À medida que as equipes crescem, o gerenciamento da infraestrutura compartilhada se torna complexo e sujeito a erros. O NGINX Gateway Fabric introduz recursos orientados a funções que separam as responsabilidades da plataforma e das aplicações, permitindo uma delegação segura e mantendo a governança e o controle centralizados.

• Separação clara de funções: Permita que as equipes de plataforma definam a infraestrutura e as políticas, enquanto os desenvolvedores controlam com segurança o roteamento específico das aplicações.
• Habilitação segura de autoatendimento: Permita que as equipes implantem e gerenciem serviços de forma independente, dentro de limites predefinidos, reduzindo gargalos e riscos.
• Governança consistente em escala: Aplique políticas centralizadas a clusters e equipes, mantendo a flexibilidade para aplicações individuais.

Evolua para além do Ingress sem interrupções

NGINX Gateway Fabric oferece um modelo voltado para o futuro para o gerenciamento de tráfego, permitindo que as equipes modernizem a conectividade do Kubernetes enquanto aproveitam os padrões de ingress existentes e a familiaridade operacional.

• Modelo de ingress de última geração: Adote uma abordagem mais flexível e extensível para o gerenciamento de tráfego, desenvolvida para aplicações modernas e cargas de trabalho em constante evolução.
• Desenvolvido para cargas de trabalho modernas: Oferece suporte a aplicativos, APIs e casos de uso de IA com roteamento avançado, controle de políticas e escalabilidade.
• Adoção flexível: Execute o Ingress e a Gateway API lado a lado — use a Gateway API para novos aplicativos enquanto mantém os fluxos de trabalho existentes do Ingress sem interrupções.

GatewayLink - Estendendo o BIG-IP ao Kubernetes

• Elimina alterações constantes na configuração: Protege o hardware BIG-IP externo das constantes mudanças de IP dos pods dinâmicos do Kubernetes, fornecendo um único endpoint NGINX altamente estável.
• Conecta NetOps e DevOps: A equipe de NetOps mantém o controle seguro na borda do BIG-IP, enquanto a equipe de DevOps preserva total agilidade no roteamento interno de aplicações.
• Fluxo de tráfego otimizado: Agiliza o tráfego norte-sul desde a borda da rede até o interior do cluster Kubernetes, reduzindo a latência e simplificando as arquiteturas de roteamento entre vários clusters.

DESTAQUE

NGINX Gateway Fabric oferece suporte à extensão de inferência da Gateway API

O NGINX Gateway Fabric oferece suporte à extensão Inference para a Gateway API, permitindo o roteamento inteligente e sensível à inferência no Kubernetes

Blogs

A alternativa ao Ingress NGINX: F5 NGINX Ingress Controller para o longo prazo ›

Novidades do F5 NGINX Gateway 2.3.0 ›

Guias de comparação

Compare o NGINX One com o NGINX Open Source ›

Folhas de dados

F5 NGINX Gateway Fabric

Ferramentas

Laboratório de Aprendizagem Interativa

Automatize sua migração para a API Gateway