Uma empresa de serviços financeiros garante a entrega confiável de dados para IA

Uma importante gestora de ativos europeia aprendeu da pior maneira que o armazenamento de objetos, por si só, não consegue lidar com a simultaneidade das cargas de trabalho de IA. Depois que uma configuração incorreta de um cliente desencadeou um evento de negação de serviço, a empresa implantou soluções da F5 para garantir a entrega confiável, escalável e de alto desempenho de dados S3 para o treinamento de modelos de IA.

Desafio

Uma gestora de ativos europeia com forte presença nos setores de serviços financeiros e imobiliário está investindo fortemente em IA. As equipes de ciência de dados da empresa treinam modelos usando grandes conjuntos de dados armazenados no Dell Elastic Cloud Storage (ECS), um armazenamento de objetos compatível com S3, enquanto as cargas de trabalho de IA são executadas no Kubernetes. O ponto fraco era o caminho entre essas cargas de trabalho e o próprio armazenamento.

As plataformas de armazenamento de objetos são projetadas para ampliar a capacidade, não para controlar o tráfego. Durante décadas, as aplicações se conectaram ao armazenamento por meio de protocolos dedicados em redes controladas, portanto não era necessário gerenciar o tráfego à frente de um servidor de arquivos ou de um array. O armazenamento S3 mudou esse cenário. Agora, o armazenamento de objetos é acessado via HTTP por qualquer cliente que possua uma chave, o que significa que o front-end do armazenamento se comporta como um serviço web e pode falhar das mesmas formas. Cada nó de armazenamento tem limites práticos quanto ao número de conexões TCP simultâneas que consegue processar. Quando os pipelines de IA abrem milhares de sessões paralelas para obter dados de treinamento, esses limites podem ser atingidos rapidamente, e as equipes de armazenamento raramente percebem o problema com antecedência.

No caso da empresa de serviços financeiros, um cliente configurado incorretamente abriu mais conexões simultâneas do que o servidor de origem conseguia suportar, causando, na prática, uma condição de negação de serviço contra o próprio armazenamento da empresa. A ingestão de dados de IA foi interrompida.

O incidente deixou duas coisas claras para as equipes de infraestrutura e armazenamento.

Primeiro, um único cliente com comportamento inadequado jamais deveria ser capaz de derrubar uma plataforma de dados compartilhada. Especialmente no setor de serviços financeiros, a confiabilidade não é opcional. Os cronogramas de treinamento de modelos, as análises e as decisões de negócios subsequentes dependem da continuidade operacional da plataforma de dados.

Em segundo lugar, considerando os planos da empresa de adicionar nós ECS para dar suporte às crescentes iniciativas de IA, o problema só se agravaria. Para avançar, era necessário aplicar rigor de engenharia na camada de armazenamento, com um ponto de controle capaz de moldar, equilibrar e proteger o tráfego S3 antes mesmo que ele chegasse a um nó de armazenamento.

Soluções

A empresa avaliou várias soluções em potencial, incluindo o HAProxy e opções da Kemp Technologies, mas constatou que elas ofereciam recursos limitados de entrega de aplicações adaptados ao protocolo S3.

As primeiras demonstrações de comprovação de valor foram decisivas, evidenciando a capacidade da solução F5 de lidar com desafios do protocolo S3, como a persistência de sessão, e ao mesmo tempo se integrar perfeitamente ao ECS. A Dell, parceira técnica tanto da empresa quanto da F5, desempenhou um papel fundamental ao alinhar a solução F5 à infraestrutura do ECS e defender a arquitetura conjunta.

Por fim, a empresa de serviços financeiros escolheu a F5 e implantou quatro appliances F5 rSeries r5600 executando o BIG-IP Local Traffic Manager (LTM) como uma camada dedicada de entrega à frente do armazenamento ECS.

A implantação seguiu um projeto de referência comprovado, que reduziu os riscos e oferece um roteiro à medida que o ambiente de IA amadurece. A arquitetura ativa/ativa resultante, distribuída entre dois data centers, é intencionalmente simples. Ela utiliza mecanismos de roteamento dinâmico para proporcionar escalabilidade horizontal e alta disponibilidade sem depender de DNS. Agora, todas as solicitações S3 das cargas de trabalho de IA hospedadas no Kubernetes passam pelo BIG-IP LTM antes de acessar o armazenamento. Essa única decisão de projeto elimina o modo de falha original e estabelece uma base para o crescimento.

Resultados

O pool de conexões resolve diretamente o problema de simultaneidade, impedindo que o incidente que deu origem a este projeto volte a ocorrer. O BIG-IP-LTM gerencia o grande volume de conexões TCP do lado do cliente e as consolida em um conjunto menor e controlado de conexões do lado do servidor com os nós do ECS. Ele também impõe regras de conexão para que um único cliente mal configurado ou agressivo não consiga mais esgotar os recursos de um nó de armazenamento. A plataforma ECS permanece disponível para todas as equipes, mesmo quando um cliente apresenta comportamento inadequado.

Proporcionar ganhos de desempenho mensuráveis

O hashing consistente de URLs mantém a distribuição de solicitações inteligente, em vez de aleatória. As solicitações dos mesmos objetos são direcionadas de forma previsível pelo cluster ECS, o que melhora a utilização do cache, evita pontos de sobrecarga e mantém a taxa de transferência estável à medida que novos nós de armazenamento são adicionados.

Além disso, testes internos de desempenho realizados com a ferramenta Mongoose para testes de desempenho de armazenamento demonstraram um ganho de 500% no desempenho das entradas e saídas processadas após a implementação das soluções da F5 no caminho de dados. Ao otimizar as conexões TCP, multiplexar as solicitações no lado do servidor e aproveitar o roteamento dinâmico, a plataforma proporcionou melhorias imediatas na taxa de transferência para cargas de trabalho exigentes de IA.

Escale iniciativas de IA sem refazer a arquitetura

A empresa planeja expandir seu ambiente ECS à medida que a adoção da IA aumenta. Como o BIG-IP LTM abstrai os endpoints de armazenamento por trás de um único endereço virtual, a empresa pode adicionar nós para ampliar a infraestrutura do ECS sem alterar as configurações dos aplicativos nem interromper as cargas de trabalho. Dessa forma, a arquitetura que solucionou um problema de confiabilidade também viabiliza o crescimento.

Transforme o armazenamento em um serviço projetado

Posicionar uma camada dedicada de entrega de aplicações à frente do armazenamento favorece boas práticas de engenharia. O tráfego pode ser observado, balanceado e gerenciado em um único lugar, em vez de formar uma malha não gerenciada e fortemente acoplada de clientes acessando os nós diretamente. Para o arquiteto de armazenamento, isso significa um comportamento previsível dos nós e um planejamento de capacidade bem estruturado. Para o CIO, significa que a plataforma de dados de IA é um sistema bem projetado, e não um acúmulo de conexões ponto a ponto.

Aposte em uma parceria para a entrega de dados de IA

A F5 e a Dell continuam trabalhando em conjunto para atender exatamente a esse tipo de carga de trabalho, combinando o gerenciamento de tráfego do BIG-IP LTM com o armazenamento de objetos compatível com S3 para pipelines de IA. A lição para outras empresas é que o armazenamento de objetos S3 é um serviço web, e as cargas de trabalho de IA o levarão ao limite como tal. Um controlador dedicado de entrega de aplicações à frente do armazenamento pode transformar uma origem exposta no pipeline de dados resiliente necessário para uma implementação eficaz de IA.