O setor está entrando em uma nova fase da infraestrutura de IA.
A primeira onda da IA generativa se concentrou na criação e no treinamento de modelos. A próxima fase consiste em operar a IA em escala. Empresas, provedores de hiperescala e uma nova geração de provedores de neocloud estão construindo o que chamamos de fábricas de IA. Esses ambientes são projetados para gerar tokens com o máximo possível de eficiência, confiabilidade e segurança.
Nesses ambientes, cada milissegundo de latência e cada ponto percentual de utilização da GPU fazem a diferença.
Nos testes do The Tolly Group, o F5 BIG-IP Next for Kubernetes executado em DPUs NVIDIA BlueField proporcionou um aumento de até 40% na taxa de transferência de tokens, uma redução de 61% no tempo até o primeiro token e uma latência de solicitação 34% menor em comparação com soluções tradicionais de balanceamento de carga.
As GPUs estão entre os componentes mais caros dos data centers modernos. Quando as solicitações são encaminhadas de forma ineficiente ou as GPUs ficam subutilizadas, as organizações acabam desperdiçando capacidade computacional e dinheiro.
No entanto, muitas implantações de IA ainda dependem do balanceamento de carga round-robin tradicional, que distribui as solicitações sem considerar o estado da infraestrutura de GPUs em tempo real. Essa abordagem funcionava bem para aplicações web tradicionais, mas não é suficiente para a inferência de IA.
A importância de uma infraestrutura ciente de GPUs
Os ambientes de inferência de IA são fundamentalmente diferentes das arquiteturas de aplicações tradicionais.
Os clusters de inferência consistem em conjuntos de GPUs que executam grandes modelos de linguagem e outras cargas de trabalho de IA. A qualquer momento, cada GPU pode estar processando cargas de trabalho muito diferentes, dependendo de fatores como o tamanho da fila, o tempo de execução do modelo, a quantidade de tokens gerados e a utilização da memória.
Quando o tráfego é distribuído sem considerar a carga, as solicitações podem ser facilmente encaminhadas para GPUs que já estão ocupadas, enquanto outros aceleradores permanecem subutilizados. O resultado é uma maior latência de resposta e o uso ineficiente da infraestrutura.
É por isso que a infraestrutura de IA precisa estar ciente das cargas de trabalho.
Na F5, acreditamos que a camada de infraestrutura precisa evoluir para distribuir de forma inteligente as solicitações de inferência de IA com base nas condições do ambiente em tempo real.
Validação independente do The Tolly Group
Para entender melhor o impacto do balanceamento de carga com reconhecimento de GPU, contratamos o The Tolly Group, uma empresa independente de validação de tecnologia, para avaliar nossa abordagem em comparação com soluções tradicionais de balanceamento de carga.
Os resultados foram impressionantes. Nos testes do The Tolly Group, F5 BIG-IP Next for Kubernetes executado em DPUs NVIDIA BlueField alcançou até:
- Taxa de transferência de tokens 40% maior
- Tempo até o primeiro token 61% menor
- Latência das solicitações 34% menor
Essas melhorias foram avaliadas em comparação com soluções de balanceamento de carga de código aberto amplamente utilizadas.
Uma observação interessante feita durante os testes foi que os benefícios se tornaram ainda mais evidentes com modelos menores, nos quais a distribuição eficiente do tráfego pode ter um impacto ainda maior no desempenho do sistema.
Transferência do processamento de infraestrutura para DPUs
Outra dimensão importante dessa arquitetura é o descarregamento do processamento da infraestrutura.
Atualmente, em muitas implantações, as funções de gerenciamento de tráfego são executadas diretamente na CPU do servidor, juntamente com as cargas de trabalho de IA. Isso significa que recursos valiosos da CPU são consumidos por tarefas de infraestrutura, em vez de serem destinados às cargas de trabalho das aplicações.
Ao executar o F5 BIG-IP Next for Kubernetes em DPUs NVIDIA BlueField, as funções de gerenciamento de tráfego podem ser transferidas da CPU do servidor para a DPU.
Nos testes do The Tolly Group, a diferença foi significativa. O BIG-IP Next for Kubernetes executado em DPUs Nvidia BlueField exigiu cerca de 2 núcleos de CPU, enquanto o balanceamento de carga tradicional baseado em CPU exigiu aproximadamente 12 núcleos.
Isso representa uma redução de aproximadamente 80% na utilização da CPU, permitindo que esses recursos de CPU permaneçam disponíveis para outras cargas de trabalho.
O futuro da infraestrutura de IA
À medida que as fábricas de IA ganham escala, a eficiência da infraestrutura se tornará um dos fatores mais importantes para determinar o sucesso das implementações de IA.
As organizações precisarão maximizar a utilização das GPUs, minimizar a latência, aumentar a taxa de processamento de tokens e garantir a segurança e o isolamento da infraestrutura. Para alcançar esses objetivos, é necessária uma infraestrutura que compreenda a dinâmica das cargas de trabalho de IA. O balanceamento de carga com reconhecimento de GPUs e a infraestrutura acelerada por DPUs são passos importantes rumo a esse futuro.
Na F5, acreditamos que a infraestrutura inteligente terá um papel central na viabilização da próxima geração de fábricas de IA. Os resultados validados pelo The Tolly Group representam um avanço empolgante nessa direção. Você pode obter uma cópia completa do relatório aqui.
Além disso, não deixe de visitar a página do F5 BIG-IP Next for Kubernetes.
Sobre o autor
Publicações relacionadas no blog
Segurança de APIs sem concessões: apresentamos novas opções flexíveis de descoberta com F5 API security
As opções ampliadas de descoberta de APIs da F5 foram desenvolvidas para oferecer o máximo de flexibilidade e atender às organizações onde quer que estejam.
Governe sua IA no presente e antecipe o futuro da sua IA
Aprenda com nosso CISO de campo, Chuck Herrin, como se preparar para o novo desafio de proteger modelos e agentes de IA.
Segurança de IA para a cadeia de suprimentos
As cadeias de suprimentos são cada vez mais impulsionadas pela IA — desde a previsão de demanda e o planejamento logístico até a análise de riscos de fornecedores e a gestão de estoque em tempo real. Essas ferramentas ajudam as empresas a reduzir custos, aumentar a resiliência e se adaptar a disrupções globais. No entanto, elas também criam novos riscos em um vasto ecossistema: nossas soluções de segurança de IA em tempo de execução protegem o setor de Cadeia de Suprimentos […]
Segurança de IA para Recursos Humanos
A IA está revolucionando o RH. As empresas estão implementando copilotos de recrutamento com IA, assistentes de integração, chatbots de suporte aos funcionários e ferramentas de análise da força de trabalho para reduzir custos e melhorar a experiência dos colaboradores. No entanto, as aplicações de RH também apresentam riscos específicos que podem expor as organizações a falhas de conformidade, alegações de viés e danos à reputação: nossas soluções de segurança de IA em tempo de execução protegem o setor de RH com […]
Equilibrando o desempenho da IA e a gestão de recursos
As organizações dependem cada vez mais de ferramentas e iniciativas de IA para impulsionar a inovação e a transformação. Cada avanço incremental na sofisticação das ferramentas de IA torna o equilíbrio entre desempenho e gestão de recursos um desafio maior e mais relevante para as equipes de TI e segurança. No entanto, esse equilíbrio é essencial para maximizar o ROI, garantir a segurança e manter a eficiência em toda a […]
Integração de APIs em IA: a base técnica
A integração de APIs é um canal essencial no ecossistema de IA, por meio do qual diferentes sistemas, plataformas e aplicações interagem. Analisamos as nuances técnicas da integração de APIs em IA, com ênfase em sua importância para aprimorar a eficiência e os recursos dos sistemas de IA. As APIs permitem a troca fluida de dados e funcionalidades entre diferentes soluções de IA […]