No primeiro semestre deste ano, tanto os padrões de implantação de inferência quanto uma emergente arquitetura de aplicações de IA começaram a se padronizar e a oferecer uma perspectiva mais clara sobre os impactos futuros em tudo, desde a rede até a entrega e a segurança de aplicações. Com base nos resultados de nossa pesquisa recente voltada para IA, estamos confiantes de que a inferência será implantada tanto localmente quanto na nuvem (padrão autogerenciado), além de ser consumida por meio de ofertas de provedores de nuvem (padrão hospedado na nuvem) e como serviço (padrão de inferência como serviço).
No entanto, a arquitetura emergente de IA depende fortemente da geração aumentada por recuperação (RAG), que incorpora fontes de dados (grafos de conhecimento e bancos de dados vetoriais) à arquitetura da aplicação. Pesquisas indicam que “70% das empresas que utilizam IA generativa usam ferramentas e bancos de dados vetoriais para aprimorar modelos-base”. (Databricks, 2024)
Esse padrão arquitetural tem quatro consequências.
- Amplia o número de cargas de trabalho de aplicações modernas na empresa.
- Aumenta drasticamente o número de APIs que precisam de segurança.
- Aumenta a relevância estratégica do caminho de dados L-O para as tecnologias de entrega e segurança de aplicações.
- Introduz uma nova camada nas arquiteturas de aplicações: a camada de inferência. Essa é a camada de “modelo” mencionada nas primeiras pilhas de tecnologia de IA, mas, ao operar aplicações de IA, é útil diferenciar um modelo em treinamento (processo de desenvolvimento) de um modelo em operação (processo de execução).
É importante observar que 90% dos desafios enfrentados pelas organizações em relação à arquitetura de IA não são novos. As mudanças necessárias para atender às expectativas de visibilidade, limitação de taxa, roteamento etc. são incrementais em relação aos recursos existentes que a maioria das empresas já possui.
De todos os recursos necessários para disponibilizar e proteger aplicações de IA, estimo que apenas 10% sejam totalmente novos, e quase todos estão relacionados a prompts e à natureza não estruturada do tráfego das aplicações de IA. São esses 10% que estão dando origem a novos serviços de aplicação, como segurança, gerenciamento e otimização de prompts, além de funções relacionadas à segurança de dados. A F5 já demonstrou seu compromisso em atender a essas necessidades por meio de parcerias com a Portkey e a Prompt Security.
É também nesse contexto que estamos vendo a introdução de gateways de IA. A definição de gateway de IA e os recursos que ele oferece ao mercado variam de acordo com quem fornece a “solução”, mas, assim como os gateways de API, os gateways de IA tendem a reunir recursos de segurança e roteamento de aplicações em um único ponto de controle estratégico para as organizações. Porém, mais uma vez, os recursos da “solução” são, em sua maioria, novos recursos incrementais específicos para o tráfego de IA; os demais já existem.
O que é realmente interessante, para mim, é a nova camada, porque é nela que serão necessários recursos novos e existentes de entrega e segurança de aplicações.
Na verdade, a introdução de uma nova camada está levando ao surgimento de uma nova arquitetura de data center com uma infraestrutura capaz de fornecer os recursos de computação, armazenamento e rede necessários para executar inferência de IA em escala. É nessa camada que estão surgindo elementos como malhas de rede de IA, fábricas de IA ou seja lá como vamos chamá-los. Independentemente do nome, esse novo modelo de infraestrutura inclui a capacidade de operar modelos de infraestrutura existentes em novos sistemas de hardware. Esse é o item nº 4 no interessante diagrama apresentado.
Mas também são necessários alguns novos recursos no ponto nº 2. Embora a ponte aqui seja um caminho de dados N-S bastante convencional, com uma necessidade evidente de dimensionar, proteger e rotear o tráfego de API (sim, essa API é para inferência, mas ainda é uma API), provavelmente veremos novos algoritmos de balanceamento de carga — ou, pelo menos, novos critérios de decisão incorporados aos algoritmos existentes — neste ponto.
Por exemplo, a contagem de tokens e as janelas de contexto são particularmente importantes para compreender o desempenho e a carga que uma determinada solicitação impõe ao sistema receptor, sem mencionar o impacto da contagem de tokens sobre o custo. Portanto, não é difícil concluir que essas variáveis podem passar a fazer parte de qualquer decisão de balanceamento de carga/roteamento de tráfego tomada no ponto 2.
O ponto nº 4 talvez seja o mais interessante, pois nos remete à época em que se usava hardware para retirar dos servidores as tarefas de rede. Sim, é o retorno da abordagem arquitetural “deixe os servidores servirem”. No mundo moderno, isso significa usar DPUs como um sistema holístico no qual a entrega e a segurança de aplicações podem ser implementadas, deixando a CPU do servidor de inferência livre para, bem, realizar inferências. É um padrão que já vimos antes e que resolverá com sucesso quaisquer problemas de escalabilidade (e, portanto, de desempenho) dos serviços de inferência.
O impacto da arquitetura de IA na entrega e na segurança de aplicações é, ao mesmo tempo, trivial e monumental. É trivial porque os desafios são, em sua maioria, os mesmos. É monumental porque introduz pontos adicionais na arquitetura em que as organizações podem enfrentar esses desafios de forma estratégica.
A forma como o setor responderá tanto ao trivial quanto ao monumental moldará o futuro da entrega e da segurança de aplicações.
Sobre o autor
Lori MacVittie é engenheira distinta e evangelista-chefe no Escritório do CTO da F5, com ampla experiência em entrega de aplicações, estratégia de automação e infraestrutura. Ela é conhecida por transformar complexidade em clareza, seja definindo diretrizes para agentes de IA, analisando arquiteturas multinuvem frágeis ou investigando os limites de sistemas escaláveis. Ela acumula mais de trinta anos de experiência no setor, abrangendo desenvolvimento de aplicações, arquitetura de TI e operações de redes e sistemas. Antes de ingressar na F5, atuou como editora de tecnologia e recebeu diversos prêmios. MacVittie tem mestrado em Ciência da Computação e é uma autora prolífica, com publicações que abrangem segurança, nuvem e arquitetura empresarial. Ela também é uma entusiasta de jogos de tabuleiro e videogames, além de ter opiniões assumidamente fortes sobre queijos.
Mais publicações de Lori Mac VittiePublicações relacionadas no blog
O estado da maturidade digital empresarial: a transformação digital ainda não terminou
Explore como a IA impacta as empresas, as aplicações da IA generativa, as estratégias para modernizar as operações de TI e os benefícios da maturidade digital com a F5.
Como a IA generativa acelera a transformação digital
Veja como a IA generativa impulsiona a transformação digital nas empresas, acelerando tendências como a integração de APIs, os desafios dos modelos operacionais de TI híbrida e a adoção de AIOps.
Seis capacidades técnicas para acelerar a transformação digital
As arquiteturas empresariais atuais carecem dos fatores necessários de agilidade, escalabilidade, segurança e observabilidade, essenciais para impulsionar a mudança tecnológica. No entanto, estas seis capacidades fundamentais ajudarão as empresas a gerenciar riscos e desafios ao longo de sua transformação digital.
Inverter a API é a transformação digital de que as empresas precisam para participar e competir em uma economia de APIs
As organizações detêm um valor latente — na forma de APIs internas — que precisam explorar para competir em uma economia de APIs. Embora os desafios técnicos e de segurança possam desestimular algumas delas, as empresas precisam reconhecer que inverter suas APIs permitirá liberar o valor da organização como plataforma.
A modernização da TI começa pela infraestrutura
O hardware e o software evoluíram rapidamente desde os primórdios da internet, mas, para aproveitar ao máximo os benefícios resultantes dessa evolução, as organizações precisam avaliar e modernizar sua infraestrutura e a entrega de aplicativos. Acelere os esforços de modernização com a nova F5 rSeries.