A infraestrutura de IA não fica mais lenta apenas quando há limitações de capacidade computacional. Ela também perde desempenho quando os dados não conseguem ser movimentados com velocidade, consistência ou confiabilidade suficientes para manter os fluxos de trabalho de IA em execução. Para o treinamento e o ajuste fino de modelos, bem como para a geração aumentada por recuperação (RAG), o armazenamento de objetos compatível com S3 tornou-se uma base essencial. Grandes conjuntos de dados são armazenados em repositórios de objetos. As tarefas de treinamento os acessam em grande escala. Os pipelines de RAG dependem de acesso rápido e previsível a dados em constante mudança.
Isso faz com que a confiabilidade, a escalabilidade e a segurança do fluxo de dados entre o armazenamento e os recursos computacionais sejam uma preocupação em ambientes de produção.
A IA precisa de um caminho de dados mais robusto
O Dell ObjectScale foi projetado para o armazenamento corporativo de objetos na escala da IA, ajudando as organizações a gerenciar a coleta de dados em larga escala, o treinamento de IA generativa e as cargas de trabalho modernas com dados não estruturados. No entanto, à medida que os ambientes de IA passam de projetos-piloto para a produção, o desempenho do armazenamento é apenas uma parte de toda a arquitetura. As empresas também precisam de uma camada de entrega capaz de otimizar o tráfego, manter a disponibilidade, aplicar políticas e garantir o fluxo contínuo dos pipelines quando o ambiente estiver sob pressão.
Esse é o papel do F5 BIG-IP na entrega de dados para IA.
O F5 BIG-IP oferece um ponto de controle programável e de alto desempenho para armazenamento de objetos compatível com S3. Ele fica entre os clientes S3 e ambientes de armazenamento, como o Dell ObjectScale, para gerenciar de forma inteligente o tráfego S3, abstrair os endpoints de armazenamento de back-end, monitorar a integridade e direcionar os fluxos de dados com base em disponibilidade, desempenho e políticas.
Para os arquitetos, isso significa que os aplicativos e fluxos de trabalho de IA podem permanecer desacoplados da implementação de armazenamento subjacente. Para os executivos, significa que a infraestrutura de IA pode ser operada com maior confiabilidade, controle e resiliência.
“À medida que os ambientes de IA passam de projetos-piloto para a produção, o desempenho do armazenamento é apenas uma parte de toda a arquitetura. As empresas também precisam de uma camada de entrega capaz de otimizar o tráfego, manter a disponibilidade, aplicar políticas e garantir que os pipelines continuem operando quando o ambiente estiver sob pressão.”
A SecureIQLab valida a arquitetura e os resultados
A F5 concluiu recentemente testes de laboratório de engenharia com o armazenamento Dell ObjectScale, usando F5 VELOS e BIG-IP com um cluster S3 do Dell ObjectScale. Os resultados foram então validados pela SecureIQLab e estão sendo divulgados em um novo relatório independente.
Os testes se concentraram em duas questões práticas que os arquitetos corporativos farão antes de implementar uma camada de entrega à frente do armazenamento de IA.
- É possível inserir o BIG-IP no caminho de dados do S3 sem comprometer a taxa de transferência e, possivelmente, melhorar as métricas de desempenho em condições de rede abaixo do ideal?
- O BIG-IP pode aumentar a resiliência quando o ambiente de armazenamento está sob condições adversas?
A resposta para ambas foi sim.
BIG-IP preservou o desempenho
Muitos compradores de soluções de armazenamento presumem que adicionar um controlador de entrega de aplicações à frente de um armazenamento de objetos de alto desempenho acarretará uma sobrecarga significativa. Com razão, os arquitetos querem evidências antes de inserir um novo ponto de controle no caminho dos dados.
Em todo o escopo dos testes — três tamanhos de objeto (8 KiB, 100 MiB e carga de trabalho mista) e três condições de latência de rede (RTT de 0 ms, 10 ms e 75 ms) —, a taxa de transferência do BIG-IP permaneceu dentro de aproximadamente ±6% da linha de base sem proteção em todas as combinações testadas. Com um perfil TCP personalizado e devidamente ajustado, a inserção é previsível, consistente e não apresenta o tipo de queda acentuada na taxa de transferência que, historicamente, tem levado os arquitetos a agir com cautela ao inserir proxies à frente do armazenamento.
A implicação prática: o BIG-IP pode ser introduzido como um ponto de controle de alto valor sem se tornar o gargalo. Os arquitetos podem adotar o BIG-IP por seus recursos de resiliência e gerenciamento de tráfego sem precisar sacrificar a taxa de transferência para obtê-los.
A resiliência é o maior valor
A neutralidade de throughput é a condição prévia. A resiliência é o motivo para implementar.
Os testes validados pelo SecureIQLab examinaram dois cenários adversos que correspondem a condições reais de produção.
Durante um ataque DDoS simulado direcionado a um único nó do ObjectScale, o cluster desprotegido sofreu uma interrupção significativa: o nó afetado começou a apresentar esgotamento de conexões, a interface de gerenciamento do ObjectScale deixou de responder em todo o cluster e o gerador de carga de trabalho parou de enviar tráfego aos nós. Com o BIG-IP no caminho dos dados, as mesmas condições de ataque produziram um resultado diferente: o BIG-IP absorveu e gerenciou o tráfego de ataque no nível das conexões, os nós de backend continuaram processando as cargas de trabalho das aplicações sem falhas e a interface de gerenciamento do ObjectScale permaneceu responsiva.
Em caso de falha de rede em um nó de backend, o BIG-IP monitorou continuamente a disponibilidade dos nós de backend e a integridade das conexões. Quando a conectividade com um nó era interrompida, o tráfego era redistribuído dinamicamente entre os demais nós íntegros, sem exigir intervenção no lado do cliente. As cargas de trabalho ativas do S3 continuaram sem interrupção do serviço.
Para as equipes de infraestrutura de IA, esse é o ponto arquitetural mais amplo. Em produção, o caminho dos dados precisa resistir às condições reais de operação. Nós falham. As redes se degradam. O tráfego aumenta repentinamente. O tráfego de ataques compete com o tráfego legítimo. As janelas de manutenção entram em conflito com as demandas do negócio.
Sem um ponto de controle dedicado, esses eventos podem resultar em execuções de treinamento interrompidas, consultas RAG com falha, GPUs ociosas e experiências imprevisíveis para os usuários.
A IA em produção requer pontos de controle
O BIG-IP ajuda a mitigar esses riscos ao criar uma camada de entrega resiliente para dados de IA. Ele pode monitorar a integridade do armazenamento, redirecionar o tráfego para contornar nós indisponíveis, preservar a continuidade do serviço e aplicar controles de tráfego antes que o cluster de armazenamento se torne instável.
Ele também oferece um ponto central para aplicar segurança e governança de forma consistente, incluindo o gerenciamento de TLS, a mitigação de DDoS, a aplicação de políticas compatíveis com S3 e futuros controles do plano de dados que ajudam os clientes a obter uma contrapressão previsível, em vez de tempos limite aleatórios.
Para empresas que implantam clusters de armazenamento para IA, este é um padrão de arquitetura prático: combinar um armazenamento de objetos escalável e compatível com S3 com uma camada de entrega inteligente, desenvolvida especificamente para oferecer desempenho, aplicação de políticas e resiliência.
A principal conclusão para líderes de IA
Para os líderes de IA, o valor para o negócio é evidente. A disponibilização resiliente de armazenamento reduz o risco operacional. Um ponto de controle programável dá mais confiança às equipes à medida que as cargas de trabalho de IA passam da fase experimental para a produção. E, como o BIG-IP pode ser inserido sem comprometer a taxa de transferência, o benefício da resiliência não exige abrir mão do desempenho.
O sucesso da IA depende de mais do que apenas o modelo. Ele depende do sistema que envolve o modelo.
Baixe o relatório da SecureIQLab para conferir as conclusões validadas sobre o F5 BIG-IP com o Dell ObjectScale e saber como a F5 ajuda a tornar os pipelines de dados de IA mais rápidos, resilientes e prontos para produção.
Além disso, não deixe de assistir ao nosso webinar “Aprimorando o desempenho da IA com a infraestrutura da Dell”.
Sobre os autores
Paul Pindell é arquiteto principal na F5, onde atua na área de Alianças Tecnológicas e supervisiona parcerias técnicas em todo o portfólio de produtos da empresa. Desde 2019, ele também desempenha um papel fundamental em iniciativas de estratégia corporativa, inclusive ajudando a lançar o primeiro projeto de inovação da F5. Paul liderou a equipe multidisciplinar de estratégia de IA da F5, dedicada a definir como os produtos existentes da empresa podem ajudar a proteger e disponibilizar aplicações de IA. Posteriormente, ele ajudou a desenvolver a Arquitetura de Referência de IA da F5, que descreve os principais componentes, desafios, riscos e soluções de parceiros necessários para viabilizar a disponibilização e a segurança de aplicações de IA. Paul participa frequentemente como palestrante principal e em sessões temáticas de eventos do setor, incluindo OPI Summit, OCP Global Summit, Intel InnovatiON, Open Source Summit, Red Hat Tech Exchange e diversas edições da VMworld nos EUA e na região EMEA. Ele também é fundador e mantenedor de projetos de código aberto, preside o Comitê de Divulgação do Open Programmable Infrastructure Project e, anteriormente, liderou as operações de data centers dos Centros de Resposta a Antivírus da Symantec e de laboratórios de testes de software de segurança.
Mais publicações de Paul PindellMark Menger é arquiteto de soluções na F5, especializado em parcerias de tecnologia de IA e segurança. Ele lidera o desenvolvimento da Arquitetura de Referência de IA da F5, promovendo soluções de IA seguras e escaláveis. Com experiência como arquiteto de soluções globais e engenheiro de soluções, Mark contribuiu para a Arquitetura de Nuvem Segura da F5 e participou do desenvolvimento de sua Arquitetura Distribuída em Quatro Camadas. Coautor de Solving IT Complexity, ele tem ampla experiência na resolução de desafios de TI. Anteriormente, atuou como desenvolvedor de aplicações e arquiteto corporativo, com foco em aplicações modernas, automação e aceleração do retorno sobre investimentos em IA.
Mais publicações de Mark MengerHunter Smit é gerente sênior de marketing de produtos para soluções e estratégia na F5. Ele lidera o marketing de soluções em todo o portfólio da F5, incluindo infraestrutura de IA e segurança de aplicações, e está conduzindo a entrada da F5 no mercado emergente de entrega de dados para IA. Hunter integra o Conselho Consultivo da Escola de Negócios da Whitworth University e atuou como professor adjunto de marketing de produtos. Ele possui MBA e bacharelado em Administração de Empresas com ênfase em gestão pela Whitworth University.
Mais publicações de Hunter SmitPublicações relacionadas no blog
Entrega e proteção de agentes de IA em fábricas de IA: F5 para a arquitetura de referência NVIDIA OpenShell para agentes de IA seguros
As soluções da F5 ampliam a Arquitetura de Referência NVIDIA OpenShell para agentes de IA seguros.
Como medir – e minimizar – o custo total de propriedade do seu Kubernetes
O Kubernetes pode ser baixado e executado gratuitamente, mas sua manutenção está longe de não ter custos. Assim como outras grandes plataformas de código aberto que são “gratuitas” apenas em um sentido simplista, o Kubernetes quase certamente exigirá investimentos para ser implantado e operado.
As-Code: a pilha de TI contínua
Infraestrutura, configuração, pipeline, operações. De repente, tudo é “como código”. Lori MacVittie busca esclarecer a terminologia e identificar os diferentes componentes de uma stack contínua de TI.
O estado da entrega de aplicações em 2017: automação, APIs e DevOps
Explore o relatório State of Application Delivery de 2017. Leia o blog retrospectivo da F5 sobre o início da ascensão das redes declarativas e dos pipelines de DevOps.
DevOps Summit: onde a rede foi convidada para a festa
No DevOps Summit NY, falou-se muito não apenas sobre DevOps, mas também sobre contêineres, IoT e microsserviços. As sessões se concentraram não só na mudança cultural necessária para crescer em escala com uma abordagem DevOps, mas também fizeram questão de incluir...
F5 e Nutanix convergem em infraestrutura no .NEXT
Aplicações empresariais como Microsoft SharePoint e Exchange, juntamente com a VDI, continuam sendo a espinha dorsal da sua empresa. A produtividade, embora não seja tão atraente quanto o lucro, é um fator essencial para o sucesso das operações empresariais atuais. Deixar de...