A IA generativa está acelerando o impacto da IA na infraestrutura. Já havíamos entrado em um renascimento da infraestrutura, com profissionais de tecnologia resgatando o interesse e a admiração pelas modestas camadas de rede, computação e armazenamento do data center. Impulsionados principalmente pela “morte” da Lei de Moore e pelo surgimento da computação de borda, já víamos, anos atrás, a ascensão de unidades de processamento especializadas — as xPUs.
Hoje, a IA generativa—e os videogames, para sermos justos—tornaram as GPUs um termo conhecido do grande público e criaram uma nova necessidade: a otimização de GPUs.
Isso acontece porque a demanda por GPUs é alta e a oferta é baixa. As organizações já estão desembolsando — ou planejando desembolsar — percentuais significativos de seu orçamento total de TI nesse poderoso componente de hardware. Parte desse investimento é destinada à infraestrutura própria, enquanto outra parte é usada para dar suporte à infraestrutura de nuvem pública.
Mas tudo isso serve para garantir a disponibilidade de recursos de GPU para executar aplicações de IA.
Mas, ao olharmos ao nosso redor, constatamos que a introdução de um novo tipo de recurso na infraestrutura traz desafios. Há anos, as organizações tratam a infraestrutura como uma commodity. Ou seja, consideram que é tudo igual.
E, em grande parte, era mesmo. As organizações padronizaram o uso de servidores white box ou de marcas conhecidas, todos com os mesmos recursos de memória e processamento. Isso facilitou as operações de infraestrutura, pois não havia necessidade de, no gerenciamento de tráfego, se preocupar se uma carga de trabalho era executada no server8756 ou no server4389. Ambos tinham os mesmos recursos.
Mas e agora? Bem, as GPUs mudam tudo isso. Agora, as equipes de operações de infraestrutura precisam saber onde estão os recursos de GPU e como estão sendo utilizados. E há indícios de que isso talvez não esteja funcionando tão bem.
De acordo com o relatório Estado da infraestrutura de IA em escala em 2024 “15% relatam que menos de 50% das GPUs disponíveis e adquiridas estão em uso.”
É claro que é possível que esses 15% das organizações simplesmente não tenham a carga de trabalho necessária para utilizar mais de 50% de seus recursos de GPU. Também é possível que tenham, mas não estejam utilizando.
Certamente, algumas organizações vão se enquadrar nessa última categoria e ficarão se perguntando por que seus aplicativos de IA não apresentam o desempenho esperado pelos usuários, mesmo tendo bastante capacidade ociosa de GPU disponível.
Parte disso diz respeito à infraestrutura e a garantir que as cargas de trabalho sejam devidamente associadas aos recursos necessários. Afinal, nem toda carga de trabalho de um aplicativo de IA precisa da capacidade de uma GPU. A carga de trabalho que se beneficiará dela é a do servidor de inferência, e pouco mais além disso. Portanto, isso exige um trabalho estratégico de arquitetura na camada de infraestrutura, garantindo que as cargas de trabalho que demandam GPU sejam executadas em sistemas equipados com GPU, enquanto as demais cargas de trabalho do aplicativo são executadas em sistemas convencionais.
Isso significa adotar políticas de provisionamento capazes de identificar quais nós têm GPU e quais não têm. Essa é uma parte importante da otimização de GPUs. Também significa que os serviços do aplicativo que distribuem solicitações para esses recursos precisam ser mais inteligentes. Balanceamento de carga, controle de entrada, e gateways que distribuem solicitações fazem parte da equação de eficiência no uso da infraestrutura. Se todas as solicitações forem direcionadas a um ou dois sistemas com GPU, além de apresentarem baixo desempenho, as organizações ficarão com capacidade de GPU “ociosa” pela qual pagaram um bom dinheiro.
Isso também pode significar aproveitar esses recursos de GPU na nuvem pública. E fazer isso significa utilizar serviços de rede para garantir a segurança dos dados compartilhados.
Em outras palavras, as aplicações de IA terão um impacto significativo na infraestrutura, tanto em termos de distribuição quanto na forma como ela é provisionada e gerenciada em tempo real. Haverá uma necessidade maior de telemetria para garantir que a equipe de operações tenha uma visão atualizada de quais recursos estão disponíveis e onde, além de uma boa automação para assegurar que o provisionamento atenda aos requisitos das cargas de trabalho.
É por isso que as organizações precisam modernizar toda a sua arquitetura empresarial. Afinal, não se trata mais apenas de camadas ou níveis, mas de como essas camadas e esses níveis se interconectam e se apoiam mutuamente para atender às necessidades de uma empresa com maturidade digital capaz de aproveitar o poder da IA.
Sobre o autor
Lori MacVittie é engenheira distinta e evangelista-chefe no Escritório do CTO da F5, com ampla experiência em entrega de aplicações, estratégia de automação e infraestrutura. Ela é conhecida por transformar complexidade em clareza, seja definindo diretrizes para agentes de IA, analisando arquiteturas multinuvem frágeis ou investigando os limites de sistemas escaláveis. Ela acumula mais de trinta anos de experiência no setor, abrangendo desenvolvimento de aplicações, arquitetura de TI e operações de redes e sistemas. Antes de ingressar na F5, atuou como editora de tecnologia e recebeu diversos prêmios. MacVittie tem mestrado em Ciência da Computação e é uma autora prolífica, com publicações que abrangem segurança, nuvem e arquitetura empresarial. Ela também é uma entusiasta de jogos de tabuleiro e videogames, além de ter opiniões assumidamente fortes sobre queijos.
Mais publicações de Lori Mac VittiePublicações relacionadas no blog
O estado da maturidade digital empresarial: a transformação digital ainda não terminou
Explore como a IA impacta as empresas, as aplicações da IA generativa, as estratégias para modernizar as operações de TI e os benefícios da maturidade digital com a F5.
Como a IA generativa acelera a transformação digital
Veja como a IA generativa impulsiona a transformação digital nas empresas, acelerando tendências como a integração de APIs, os desafios dos modelos operacionais de TI híbrida e a adoção de AIOps.
Seis capacidades técnicas para acelerar a transformação digital
As arquiteturas empresariais atuais carecem dos fatores necessários de agilidade, escalabilidade, segurança e observabilidade, essenciais para impulsionar a mudança tecnológica. No entanto, estas seis capacidades fundamentais ajudarão as empresas a gerenciar riscos e desafios ao longo de sua transformação digital.
Inverter a API é a transformação digital de que as empresas precisam para participar e competir em uma economia de APIs
As organizações detêm um valor latente — na forma de APIs internas — que precisam explorar para competir em uma economia de APIs. Embora os desafios técnicos e de segurança possam desestimular algumas delas, as empresas precisam reconhecer que inverter suas APIs permitirá liberar o valor da organização como plataforma.
A modernização da TI começa pela infraestrutura
O hardware e o software evoluíram rapidamente desde os primórdios da internet, mas, para aproveitar ao máximo os benefícios resultantes dessa evolução, as organizações precisam avaliar e modernizar sua infraestrutura e a entrega de aplicativos. Acelere os esforços de modernização com a nova F5 rSeries.