Dizem que é no orçamento de TI que uma estratégia prospera ou fracassa. Se for assim, as estratégias de IA estão prosperando.
Nossa pesquisa mais recente indica que as organizações estão destinando, em média, 18% do orçamento de TI exclusivamente à IA. No entanto, é a forma como esses 18% estão sendo alocados que nos permite vislumbrar suas estratégias para a IA.
Atualmente, cerca de 18% do orçamento de IA é destinado a serviços de IA, ou seja, aplicativos de terceiros que integram ou oferecem algum tipo de ferramenta de IA. O restante é destinado a modelos (19%), desenvolvimento (16%), segurança (9%), tecnologias de dados (11%) e GPUs (9%).
Considerando também a divisão igualitária dos gastos entre treinamento (50%) e inferência (50%), bem como a constatação de que a IA será distribuída entre a nuvem pública (80%) e ambientes locais (54%), pode-se concluir que as organizações estão planejando mudanças significativas em sua infraestrutura para dar suporte a todo o ciclo de vida da IA.
Parte desse suporte exige uma nova análise da rede.
A implementação da infraestrutura para dar suporte tanto ao treinamento quanto à inferência exige atenção especial aos ambientes de aplicações modernos, como o Kubernetes, e à forma como o tráfego fluirá entre instâncias de IA, bem como entre os modelos e as aplicações que os utilizam.
Embora a NVIDIA não seja a única fornecedora de tecnologias de aceleração (GPUs, DPUs, IPUs etc.), ela está na vanguarda quando se trata de arquitetura de referência. É nesses detalhes que encontramos impactos significativos na arquitetura de rede e de escalabilidade.
Pods, clusters e fábricas de IA
Há uma preocupação considerável no setor atualmente quanto ao uso de terminologia específica do Kubernetes. Embora os operadores já tenham compreendido a definição de pods e clusters, os principais fornecedores de GPUs estão flexibilizando esses conceitos quando se trata de implantar inferência em larga escala.
Por exemplo, a NVIDIA usa o termo pods de IA para se referir a clusters do Kubernetes. E chama um conjunto de clusters relacionados de fábrica de IA.
Não estou aqui para discutir terminologia — raramente venço esse tipo de discussão —, então vou me concentrar nessas unidades de recursos de IA e no que elas representam para a rede.
Uma das realidades do escalonamento da IA generativa, em particular, é a demanda por ciclos de computação — mais especificamente, ciclos de computação de GPU. Para atender a essa demanda, especialmente no caso dos provedores de serviços de IA, é necessário criar unidades complexas de computação de IA. Essas unidades são o que a NVIDIA chama de pods de IA, mas outros certamente terão seus próprios nomes específicos para elas. Em essência, são clusters Kubernetes.
Isso significa muito tráfego L-O dentro da unidade de computação de IA, mas também muito tráfego N-S entrando nessas unidades de computação de IA. E é justamente aí que observamos uma mudança significativa na fronteira entre a infraestrutura tradicional de data centers e os complexos emergentes de computação de IA.
Há muita coisa acontecendo nessa fronteira, especialmente para provedores de serviços que precisam de isolamento de rede por locatário. Também há uma necessidade considerável de gerenciamento de tráfego das camadas 4 a 7, incluindo limitação de taxa para não sobrecarregar os recursos de IA. Há ainda o balanceamento de carga necessário para garantir escalabilidade e distribuição, além de serviços de rede, como recursos avançados de CGNAT.
Grande parte disso também é necessária para as empresas, que esperam ampliar suas implementações de IA para atender a um conjunto crescente de casos de uso de negócios, desde produtividade, geração de código e conteúdo e automação de fluxos de trabalho até, é claro, o interesse cada vez maior no uso de IA para operações. Embora o isolamento por locatário possa não ser um requisito empresarial, ele pode ajudar a garantir que as cargas de trabalho de IA de alta prioridade — como automação e análise operacional — não sejam sufocadas por cargas de trabalho de IA de prioridade mais baixa.
Seja para um provedor de serviços ou uma empresa, a rede do data center passará por mudanças significativas. Inserir cargas de trabalho de IA em uma arquitetura tradicional de data center pode impedir a escalabilidade ou até mesmo comprometer a confiabilidade da operação.
Entender as mudanças na arquitetura do data center é importante, assim como contar com ferramentas e tecnologias como o BIG-IP Next SPK para oferecer os recursos necessários à modernização bem-sucedida da rede do data center, a fim de dar suporte a todas as cargas de trabalho de IA e aos negócios que, em última análise, dependerão delas.
Sobre o autor
Lori MacVittie é engenheira distinta e evangelista-chefe no Escritório do CTO da F5, com ampla experiência em entrega de aplicações, estratégia de automação e infraestrutura. Ela é conhecida por transformar complexidade em clareza, seja definindo diretrizes para agentes de IA, analisando arquiteturas multinuvem frágeis ou investigando os limites de sistemas escaláveis. Ela acumula mais de trinta anos de experiência no setor, abrangendo desenvolvimento de aplicações, arquitetura de TI e operações de redes e sistemas. Antes de ingressar na F5, atuou como editora de tecnologia e recebeu diversos prêmios. MacVittie tem mestrado em Ciência da Computação e é uma autora prolífica, com publicações que abrangem segurança, nuvem e arquitetura empresarial. Ela também é uma entusiasta de jogos de tabuleiro e videogames, além de ter opiniões assumidamente fortes sobre queijos.
Mais publicações de Lori Mac VittiePublicações relacionadas no blog
O estado da maturidade digital empresarial: a transformação digital ainda não terminou
Explore como a IA impacta as empresas, as aplicações da IA generativa, as estratégias para modernizar as operações de TI e os benefícios da maturidade digital com a F5.
Como a IA generativa acelera a transformação digital
Veja como a IA generativa impulsiona a transformação digital nas empresas, acelerando tendências como a integração de APIs, os desafios dos modelos operacionais de TI híbrida e a adoção de AIOps.
Seis capacidades técnicas para acelerar a transformação digital
As arquiteturas empresariais atuais carecem dos fatores necessários de agilidade, escalabilidade, segurança e observabilidade, essenciais para impulsionar a mudança tecnológica. No entanto, estas seis capacidades fundamentais ajudarão as empresas a gerenciar riscos e desafios ao longo de sua transformação digital.
Inverter a API é a transformação digital de que as empresas precisam para participar e competir em uma economia de APIs
As organizações detêm um valor latente — na forma de APIs internas — que precisam explorar para competir em uma economia de APIs. Embora os desafios técnicos e de segurança possam desestimular algumas delas, as empresas precisam reconhecer que inverter suas APIs permitirá liberar o valor da organização como plataforma.
A modernização da TI começa pela infraestrutura
O hardware e o software evoluíram rapidamente desde os primórdios da internet, mas, para aproveitar ao máximo os benefícios resultantes dessa evolução, as organizações precisam avaliar e modernizar sua infraestrutura e a entrega de aplicativos. Acelere os esforços de modernização com a nova F5 rSeries.