Na última década, o NGINX Open Source tem sido um dos servidores web mais utilizados no mundo e uma das principais soluções de entrega de aplicações em participação de mercado. Ele tem ajudado a realizar o balanceamento de carga e o proxy reverso de tudo, desde pequenas startups e projetos de pesquisa acadêmica até algumas das maiores aplicações web do mundo.
Assim como se tornou uma escolha padrão para a entrega de aplicações, o NGINX passou discretamente a desempenhar um papel central no treinamento e na disponibilização de aplicações de IA. Os principais frameworks, kits de ferramentas, bibliotecas e plataformas de IA — como Intel OpenVINO Model Server, NVIDIA Morpheus, vLLM da Meta, NVIDIA Triton, entre outros — vêm com configurações nativas para o F5 NGINX Plus (e o NGINX Open Source), permitindo lidar de imediato com proxy gRPC/HTTP, terminação SSL/TLS, balanceamento de carga com reconhecimento de verificações de integridade e reconfiguração dinâmica. Diversos serviços e soluções de IA executados em clusters do Kubernetes apontam o F5 NGINX Ingress Controller como uma das opções preferenciais para gerenciar o tráfego de entrada e saída dos clusters de IA, tanto para treinamento quanto para inferência de modelos. Basta olhar mais de perto para encontrá-lo em praticamente todos os lugares onde há IA.
“O F5 NGINX tornou-se discretamente um componente essencial para o treinamento e a disponibilização de aplicações de IA... Basta olhar mais de perto para encontrá-lo em praticamente todos os lugares onde há IA.”
Em uma ampla variedade de casos de uso de IA, o NGINX é um componente essencial da pilha de IA. Seja para fazer o ajuste fino de modelos fundacionais, transmitir tokens gerados por LLMs ou encaminhar solicitações para endpoints de detecção de anomalias em tempo real, é bem provável que o NGINX já faça parte do fluxo.
Por que as equipes de IA escolhem o NGINX Plus
- Ingress nativo do Kubernetes: Atualmente, a maioria das plataformas de IA é executada no Kubernetes, e o NGINX continua sendo o ingress padrão ou preferencial em ferramentas como Run:ai, KServe e Ray Serve. À medida que os aplicativos de IA se expandem para ambientes híbridos, multinuvem e de borda, o NGINX Gateway Fabric oferece uma implementação nativa do Kubernetes para a API Gateway, com baixo consumo de recursos e controle granular do tráfego, proporcionando às equipes de IA maior controle sobre roteamento, novas tentativas e observabilidade, sem adicionar a complexidade de uma malha de serviços.
- Implantações dinâmicas em escala: as cargas de trabalho de inferência de IA geralmente envolvem sessões de alto valor vinculadas a GPUs, que exigem um controle cuidadoso de versões e disponibilidade contínua. O NGINX oferece recarregamentos dinâmicos de configuração, distribuição ponderada de tráfego e verificações ativas de integridade, permitindo que as equipes implantem novas versões de modelos com segurança, sem interromper sessões em andamento nem sobrecarregar as filas de GPUs.
- Gerenciamento de APIs pronto para produção: Servidores de modelos como Triton, vLLM e OpenVINO utilizam gRPC ou HTTP/2 para uma comunicação rápida e estruturada. O NGINX oferece suporte consolidado e de alto desempenho a esses protocolos, além de reutilização de conexões, persistência de sessão, terminação TLS e armazenamento em buffer de solicitações — recursos essenciais para lidar com tráfego de inferência de IA em picos ou de longa duração.
- Controle operacional: NGINX Plus disponibiliza recursos avançados, como atualizações de configuração via REST, gerenciamento de upstreams em tempo real e firewall de aplicações web (WAF) de nível empresarial. Para equipes que gerenciam dezenas ou centenas de instâncias do NGINX em vários clusters, o F5 NGINX One oferece um console centralizado para gerenciar configurações, integridade e políticas de segurança — ideal para equipes que trabalham com vários tipos de modelos ou casos de uso de IA com diferentes perfis de acesso e risco.
- F5 AI Gateway: Desenvolvido especificamente para cargas de trabalho de IA, o AI Gateway amplia o NGINX com uma abordagem de segurança em primeiro lugar para o tráfego de IA. Ele inclui proteções personalizáveis contra injeção de prompts e saídas tóxicas, além de limitação de taxa e cotas de uso para ajudar a evitar extração de dados, sobrecarga de tráfego ou consultas descontroladas em ambientes com recursos limitados de GPU. Diferentes regras de segurança podem ser aplicadas a diferentes rotas de inferência — por exemplo, usando políticas mais rigorosas para modelos generativos e mantendo as APIs vetoriais mais permissivas. Todo o tráfego pode ser registrado no nível de token ou de solicitação, alimentando pipelines de observabilidade e atendendo aos requisitos de auditoria.
Os principais frameworks, ferramentas e serviços gerenciados de IA integram o NGINX
O NGINX é uma das opções padrão de ingresso para muitas das principais pilhas, ferramentas e serviços gerenciados de AIOps.
Framework de IA
Como o NGINX é usado
Benefício prático
Intel OpenVINO Model Serve Uma demonstração da F5 e da Intel implanta fragmentos de modelos por trás do NGINX Plus (YouTube) Um único gateway pode encaminhar o tráfego para back-ends de CPU, GPU ou VPU.NVIDIA Triton O chart do Helm instala o Triton com o NGINX Plus Ingress para acesso via gRPC (GitHub) A multiplexação HTTP/2 mantém alta a utilização da GPU.NVIDIA Morpheus O guia "Como eu fiz” protege o Morpheus por meio do NGINX Plus Ingress (Comunidade F5) Descarregamento de TLS e WAF adaptativo à frente da inferência de segurança em tempo real. NVIDIA (XLIO) Guia para implantar o NGINX sobre o NVIDIA Accelerated IO (XLIO) (docs.nvidia.com) Descarregamento de TLS aprimorado e ajuste de desempenho, incluindo instruções de compilação com suporte ao OpenSSL e arquivos de exemplo. Meta vLLM A documentação oficial explica como balancear várias instâncias do vLLM por meio do NGINX (vLLM) Escalabilidade horizontal rápida para endpoints de geração de texto.
As equipes de MLOps podem incorporar os produtos NGINX pelos mesmos motivos que levaram as equipes responsáveis por microsserviços e APIs — ambos essenciais em implantações de IA — a adotar o NGINX. Ele é leve, modular, portátil e processa grandes volumes de tokens em uma ampla variedade de ambientes. Desenvolvedores de IA e engenheiros de aprendizado de máquina podem implantar o NGINX ao configurar suas soluções comuns de IA, usando uma imagem de contêiner configurada pela equipe de plataforma ou de MLOps. O NGINX integra-se à aceleração de hardware nas plataformas e arquiteturas de processador mais comuns.
Os componentes de IA que incluem o NGINX como opção padrão abrangem todo o espectro da infraestrutura de IA, desde o agendamento de GPUs em baixo nível até a disponibilização de modelos em alto nível, a orquestração de implantações e a governança de nível empresarial. Em conjunto, eles demonstram como o NGINX oferece suporte a uma ampla variedade de casos de uso: roteamento seguro do tráfego para endpoints de inferência, disponibilização escalável e eficiente de modelos, gerenciamento do acesso a clusters multilocatários e aplicação de políticas operacionais relacionadas a controle de versões, auditoria e conformidade regulatória.
- KServe: Os guias de implantação pressupõem a existência de um domínio do NGINX Ingress Controller para rotear serviços de inferência.
- Ray Serve: A documentação inclui instruções para configurar o NGINX Ingress Controller a fim de expor painéis e endpoints de modelos.
- Seldon Core v2: Os capítulos sobre implantação em produção descrevem como configurar o NGINX Ingress Controller via Helm, inclusive para cenários de tráfego canário e espelhado.
- Run:ai: Os pré-requisitos incluem o NGINX como um controlador de entrada validado para clusters Kubernetes multilocatários com compartilhamento de GPUs.
- AWS SageMaker: A documentação fornece exemplos do uso do NGINX e do Gunicorn como front-end para contêineres de inferência personalizados.
- Azure AKS: A Microsoft oferece um NGINX Ingress Controller gerenciado como uma opção nativa e pronta para uso para o tráfego de entrada no cluster.
- DataRobot: As instruções de instalação recomendam o uso do NGINX Ingress Controller (v4.0.0 ou posterior) para o roteamento baseado em caminhos para Portable Prediction Servers no EKS.
O NGINX oferece um caminho facilitado para MLOps
Em conjunto, essas plataformas e ferramentas abrangem todo o espectro da infraestrutura de IA — desde o agendamento de GPUs em baixo nível até a disponibilização de modelos em alto nível, a orquestração de implantações e a governança de nível empresarial. Juntas, elas demonstram como o NGINX oferece suporte a uma ampla variedade de casos de uso: roteamento seguro de tráfego para endpoints de inferência, disponibilização escalável e eficiente de modelos, gerenciamento do acesso a clusters multilocatários e aplicação de políticas operacionais relacionadas a controle de versão, auditoria e conformidade regulatória. A lista continua crescendo, e estamos entusiasmados para ver o que a próxima geração de empresas nativas de IA criará com o NGINX.
Obtenha ajuda para escalar sua IA com o F5 NGINX One.
Sobre o autor
Publicações relacionadas no blog
Como o F5 NGINX One aprimora o gerenciamento e a observabilidade
Descubra como o F5 NGINX One aprimora o gerenciamento e a observabilidade de ambientes híbridos e multicloud ao oferecer um console web centralizado baseado em SaaS, com insights em tempo real, conformidade automatizada e gerenciamento simplificado de configurações.
Do OpenAPI ao NGINX como gateway de API usando uma API declarativa
Descubra como transformar uma definição de esquema OpenAPI em uma configuração NGINX totalmente funcional, operando como um API Gateway com a segurança de um Web Application Firewall e um Portal do Desenvolvedor, usando uma abordagem declarativa de API.
Como gerenciar picos repentinos de tráfego e sobrecarga do servidor
Picos de tráfego e sobrecarga de servidores são preocupações sérias para varejistas online em qualquer época, mas especialmente durante a “Cyber Season” de compras de fim de ano. Detalhamos como você pode aproveitar as soluções de entrega de aplicações de nível de produção da NGINX para se preparar para aumentos repentinos de tráfego.
Distribuição segura de chaves privadas SSL com o NGINX
Descrevemos três maneiras progressivamente mais seguras de proteger chaves privadas SSL ao configurar o NGINX para processar tráfego HTTPS: permitir acesso de leitura apenas ao usuário root, criptografar as chaves com senhas armazenadas separadamente e distribuir as senhas a partir de um repositório central.
Agrupando solicitações de API em lotes com NGINX Plus e o módulo JavaScript do NGINX
O módulo JavaScript do NGINX lançado com o NGINX Plus R15 oferece suporte a subsolicitações, possibilitando uma classe totalmente nova de casos de uso para o NGINX Plus. Este exemplo completo também usa a API do NGINX Plus e os módulos de chave-valor para converter solicitações de API dos clientes em solicitações separadas para as APIs dos microsserviços que compõem um aplicativo.
Como superar o esgotamento de portas efêmeras no NGINX e no NGINX Plus
Confira dicas para evitar o esgotamento de portas efêmeras com ajustes no kernel do Linux, conexões keepalive e conexões vinculadas dinamicamente a endereços IP locais.