Na NVIDIA GTC e, novamente, na CES, a NVIDIA deixou claro o rumo da IA empresarial: fábricas de IA — infraestruturas e pilhas de software validadas e desenvolvidas especificamente para oferecer desempenho previsível, custos mais baixos e confiança operacional para inferência e treinamento de IA.
Fábrica de IA Empresarial da NVIDIA dá vida a essa visão, combinando computação acelerada, redes, software e orquestração da NVIDIA em um projeto validado de pilha completa que as empresas podem implantar com confiança em suas próprias instalações. Como parte dessa arquitetura, a NVIDIA continua ampliando seu ecossistema de parceiros validados que solucionam desafios reais e em escala de produção em toda a infraestrutura de IA.
Hoje, temos o prazer de anunciar que o F5 BIG-IP Next for Kubernetes foi validado para execução em servidores NVIDIA RTX PRO, equipados com DPUs NVIDIA BlueField-3, e está sendo incluído no projeto validado NVIDIA Enterprise AI Factory. Os clientes, que fazem parte das mais de 20 mil organizações que atualmente utilizam o F5 BIG-IP, podem ampliar facilmente os recursos confiáveis do F5 BIG-IP ao implantar fábricas de IA empresarial da NVIDIA.
“F5 BIG-IP Next for Kubernetes no NVIDIA BlueField oferece gerenciamento de tráfego de alto desempenho, segurança e controles com reconhecimento de IA em uma solução validada e pronta para empresas.”
O design validado da NVIDIA Enterprise AI Factory é estruturado com base em componentes replicáveis que garantem desempenho previsível, segurança e escalabilidade à medida que as empresas colocam a IA em produção. Em vez de reunir soluções pontuais, a arquitetura define como GPUs, DPUs, redes e software trabalham em conjunto como um sistema coeso. A inclusão da F5 nesse design validado reforça essa abordagem.
Além da validação do projeto, concluímos testes detalhados de desempenho em laboratório que quantificam os benefícios reais de desempenho e eficiência da execução do BIG-IP Next for Kubernetes acelerado por DPUs da NVIDIA em cargas de trabalho de inferência de IA. Os resultados e a metodologia estão disponíveis em nosso relatório Desempenho validado para inferência de IA.
Por que as fábricas de IA precisam de uma abordagem full-stack
O desempenho da inferência de IA não depende apenas de GPUs mais rápidas. Ele também está relacionado à pilha completa capaz de otimizar os sistemas. Em ambientes de produção, a rede, a segurança e o gerenciamento de tráfego determinam cada vez mais a rapidez com que os tokens são gerados, a consistência das respostas dos modelos e a eficiência no uso da infraestrutura.
À medida que os serviços de IA são ampliados para atender a diferentes locatários, modelos e usuários, as empresas precisam gerenciar vários elementos com eficiência. Isso é particularmente crítico para organizações que implantam ambientes de IA locais ou soberanos, nos quais o desempenho, a governança e o controle não podem ser delegados a serviços de nuvem pública.
As necessidades empresariais incluem maximizar o uso das CPUs dos hosts, que atualmente precisam lidar com tarefas de rede e segurança, garantir latência consistente para otimizar o tempo até o primeiro token (TTFT), proporcionar visibilidade e controle sobre o uso de tokens e permitir a aplicação de políticas de governança, equidade e conformidade.
É nesse ponto que as DPUs — e o software executado nelas — se tornam fundamentais para a fábrica de IA.
Transferindo a carga de trabalho certa para o chip certo
F5 BIG-IP Next for Kubernetes acelerado em DPUs NVIDIA BlueField-3 transfere funções críticas de rede e segurança da CPU do host para os núcleos ARM programáveis e os mecanismos de aceleração de hardware da DPU.
Esses serviços transferidos incluem balanceamento de carga e direcionamento de tráfego, terminação e criptografia TLS, aplicação de políticas de firewall e segurança, além de proteção de APIs e detecção de intrusões.
Ao transferir essas funções para as DPUs NVIDIA BlueField, as CPUs dos hosts ficam livres para cargas de trabalho de uso geral, enquanto as GPUs permanecem totalmente dedicadas à inferência de IA.
Os resultados são mensuráveis e significativos: aumento de mais de 30% na taxa de geração de tokens e redução de até 60% no TTFT.
Esses ganhos se traduzem diretamente em respostas mais rápidas, maior utilização dos modelos e mais eficiência da infraestrutura — exatamente o que as fábricas de IA empresariais exigem.
Além do offload: governança de tokens e roteamento inteligente de LLMs
O offloading é apenas o ponto de partida.
O plano de dados programável do BIG-IP Next for Kubernetes, executado em DPUs NVIDIA BlueField, viabiliza serviços avançados com reconhecimento de IA que vão além das redes tradicionais.
Governança de tokens integrada
O BIG-IP Next for Kubernetes apresenta recursos nativos de governança de tokens que permitem às empresas contabilizar e monitorar tokens por locatário, usuário ou modelo; aplicar limites de taxa de tokens e políticas de uso; e atender a requisitos de conformidade, cobrança interna e equidade.
À medida que a precificação baseada em tokens se torna o modelo econômico predominante para a IA, a governança na camada de infraestrutura passa a ser essencial.
Roteamento inteligente de LLMs com o NVIDIA NIM
Por meio da integração com os microsserviços NVIDIA NIM, o BIG-IP Next for Kubernetes pode encaminhar dinamicamente as solicitações de inferência para o modelo mais adequado com base na complexidade da consulta, nos requisitos de desempenho ou nas restrições de política.
Isso permite respostas mais rápidas para consultas simples, utilização otimizada dos modelos em diversas cargas de trabalho e roteamento orientado por políticas, alinhado às metas de custo, desempenho e conformidade.
Juntos, a governança de tokens e o roteamento inteligente transformam o BIG-IP Next for Kubernetes, que deixa de ser um componente de rede e passa a ser um plano de controle para o tráfego de inferência de IA.
Um componente validado da fábrica de IA empresarial da NVIDIA
Servidores NVIDIA RTX PRO, complementados pelas DPUs NVIDIA BlueField-3, representam os principais componentes da plataforma de computação acelerada deste projeto full-stack validado para fábricas de IA empresariais.
Com o BIG-IP Next for Kubernetes agora validado no NVIDIA BlueField e incluído no projeto de fábrica de IA empresarial, os clientes se beneficiam de uma camada otimizada de rede e segurança, pronta para produção, que oferece desempenho determinístico para cargas de trabalho de IA. Eles também obtêm maior eficiência de GPU e CPU, além de controles integrados para economia e governança de tokens.
Essa validação reforça uma visão compartilhada entre a F5 e a NVIDIA: a infraestrutura de IA deve ser projetada, não apenas montada.
Olhando para o futuro
À medida que as empresas passam da experimentação com IA para fábricas de IA em produção, a pilha de infraestrutura precisa evoluir para oferecer desempenho, eficiência e governança em escala. À medida que a NVIDIA continua aprimorando a Enterprise AI Factory, a F5 ampliará sua atuação no gerenciamento de tráfego, na segurança e nos controles com reconhecimento de IA para oferecer suporte, em escala, às plataformas de inferência de última geração.
F5 BIG-IP Next for Kubernetes em DPUs NVIDIA BlueField oferece exatamente isso: combina gerenciamento de tráfego de alto desempenho, segurança e controles com reconhecimento de IA em uma solução validada e pronta para uso empresarial.
Temos orgulho de colaborar com a NVIDIA como parte do ecossistema Enterprise AI Factory e esperamos ampliar, nos próximos meses, os esforços conjuntos de inovação e entrada no mercado.
Saiba mais sobre o design validado do NVIDIA Enterprise AI Factory e sobre como a F5 se integra a ele.
Sobre o autor
Publicações relacionadas no blog
Entrega e proteção de agentes de IA em fábricas de IA: F5 para a arquitetura de referência NVIDIA OpenShell para agentes de IA seguros
As soluções da F5 ampliam a Arquitetura de Referência NVIDIA OpenShell para agentes de IA seguros.
Como medir – e minimizar – o custo total de propriedade do seu Kubernetes
O Kubernetes pode ser baixado e executado gratuitamente, mas sua manutenção está longe de não ter custos. Assim como outras grandes plataformas de código aberto que são “gratuitas” apenas em um sentido simplista, o Kubernetes quase certamente exigirá investimentos para ser implantado e operado.
As-Code: a pilha de TI contínua
Infraestrutura, configuração, pipeline, operações. De repente, tudo é “como código”. Lori MacVittie busca esclarecer a terminologia e identificar os diferentes componentes de uma stack contínua de TI.
O estado da entrega de aplicações em 2017: automação, APIs e DevOps
Explore o relatório State of Application Delivery de 2017. Leia o blog retrospectivo da F5 sobre o início da ascensão das redes declarativas e dos pipelines de DevOps.
DevOps Summit: onde a rede foi convidada para a festa
No DevOps Summit NY, falou-se muito não apenas sobre DevOps, mas também sobre contêineres, IoT e microsserviços. As sessões se concentraram não só na mudança cultural necessária para crescer em escala com uma abordagem DevOps, mas também fizeram questão de incluir...
F5 e Nutanix convergem em infraestrutura no .NEXT
Aplicações empresariais como Microsoft SharePoint e Exchange, juntamente com a VDI, continuam sendo a espinha dorsal da sua empresa. A produtividade, embora não seja tão atraente quanto o lucro, é um fator essencial para o sucesso das operações empresariais atuais. Deixar de...