Uma agência de segurança pública protege a entrega de dados de IA com a F5

Plataformas autônomas geram continuamente dados visuais e de sensores, que uma agência nacional de tecnologia para segurança pública armazena, transforma e fornece a serviços de RAG. Os appliances F5 BIG-IP r4600 ficam à frente dos sistemas de armazenamento Weka e VAST Data da agência para proteger e balancear a carga desse fluxo de ingestão, protegendo os dados no perímetro e garantindo dados atualizados de forma confiável para aplicações de IA.

Desafio de negócios

Uma agência nacional de ciência e tecnologia desenvolve sistemas avançados que ajudam os agentes que atuam na linha de frente a manter a segurança da população. Entre seus programas mais inovadores está uma prova de conceito para plataformas robóticas autônomas, incluindo robôs terrestres e drones empregados no apoio a operações em campo. Essas plataformas contam com sistemas de visão computacional, mecanismos de detecção de objetos e tecnologias de fusão de sensores que geram fluxos contínuos de imagens, telemetria e dados de eventos desde o momento em que deixam a base.

Todos esses dados chegam à nuvem privada da agência, onde são gravados, por meio de interfaces compatíveis com S3, em um armazenamento de alto desempenho baseado em soluções da WEKA e da VAST Data. A partir daí, os conjuntos de dados são recuperados, transformados conforme necessário e incorporados a serviços de geração aumentada por recuperação (RAG), que dão suporte às aplicações de IA da agência. O grau de atualização e a integridade dos dados que percorrem esse pipeline influenciam diretamente o desempenho da IA, o que é crucial em um ambiente no qual ela auxilia a tomada de decisões operacionais em tempo real. Um fluxo de dados atrasado ou comprometido não é apenas um inconveniente. É um risco operacional.

O principal desafio da agência era implementar uma estrutura robusta de segurança de perímetro para proteger essas fontes de dados antes que chegassem aos ambientes de armazenamento da WEKA e da VAST Data. Os dados gerados por dispositivos chegam do campo, atravessam o perímetro da rede e são enviados para APIs de armazenamento que nunca foram projetadas para se proteger por conta própria. A agência precisava inspecionar e controlar esse tráfego na borda, autenticar todas as fontes autorizadas e fazer isso sem desacelerar a ingestão nem interromper as aplicações viabilizadas pelos dados.

A camada de armazenamento também precisa acompanhar o ritmo à medida que o programa cresce. Cada novo robô, drone e conjunto de sensores aumenta o fluxo, e cada novo caso de uso de IA acrescenta leitores do outro lado. A agência precisava de uma porta de entrada para seu armazenamento que pudesse proteger esse fluxo e crescer junto com ele.

Soluções

A agência implantou o hardware F5 rSeries em uma configuração r4600 “Best Bundle” para criar um caminho de dados seguro e altamente disponível à frente de seus clusters de armazenamento WEKA e VAST Data. A arquitetura, validada durante a prova de conceito, posiciona o F5 BIG-IP Local Traffic Manager (LTM) e o F5 BIG-IP Advanced WAF na DMZ para fornecer serviços de firewall de aplicações web (WAF), gateway de API, S3 e DNS no perímetro. A partir daí, o BIG-IP LTM distribui o tráfego para a plataforma de nuvem privada, onde são executados as máquinas virtuais, os serviços baseados em Kubernetes e o ambiente de armazenamento.

No plano de dados, o BIG-IP LTM distribui de forma inteligente as solicitações de objetos S3 entre os nós de armazenamento para manter a alta taxa de transferência e a disponibilidade do serviço. Ele monitora continuamente a integridade dos nós e desvia o tráfego de ingestão dos nós sobrecarregados antes que um ponto de congestionamento possa interromper o pipeline, fazendo isso de maneira consistente nos ambientes WEKA e VAST Data e oferecendo à agência um único caminho de dados para sistemas de armazenamento heterogêneos. O BIG-IP LTM também abstrai o endpoint de armazenamento por trás de um único endereço estável, um recurso igualmente importante para a equipe de operações de armazenamento. Os nós podem ser adicionados, desativados ou rebalanceados por trás desse endereço, enquanto os robôs em campo e os serviços de RAG no data center permanecem conectados. Isso permite que os administradores de armazenamento criem clusters durante as operações, em vez de aguardar uma janela de manutenção.

Enquanto isso, os serviços de segurança de WAF e API da F5 são posicionados no caminho dos dados, imediatamente antes do armazenamento, inspecionando as chamadas à API do S3 antes mesmo que elas cheguem ao cluster. O controle de acesso, implementado na primeira fase da implantação em várias etapas, garante que somente fontes autenticadas e autorizadas possam gravar ou ler dados no ambiente. O roteiro de implantação da agência estende esse mesmo ponto de aplicação de políticas à segurança de IA em tempo de execução, com os serviços da F5 inspecionando o tráfego de inferência à medida que as aplicações de RAG da agência avançam da prova de conceito para a produção.

O resultado é um único ponto de controle para a segurança e o tráfego no caminho dos dados antes do ambiente de armazenamento. Os dados são protegidos na entrada e continuam fluindo na saída.

Resultados

Ingestão confiável de dados para IA em robótica

Robôs terrestres e drones agora transmitem dados de visão, detecção e fusão de sensores para o armazenamento por meio de um caminho seguro e altamente disponível. Se um nó de armazenamento apresentar degradação, o BIG-IP LTM redirecionará o tráfego para contorná-lo, garantindo a continuidade da ingestão de dados. As aplicações de IA das quais essas plataformas dependem podem acessar de forma confiável os dados necessários para a tomada de decisões operacionais em tempo real.

Uma única porta de entrada segura para APIs de armazenamento

Os serviços de WAF, segurança de APIs e controle de acesso agora estão concentrados em um único ponto de aplicação de políticas à frente do ambiente S3. Todas as solicitações são inspecionadas e autenticadas antes de chegarem a um nó de armazenamento, de modo que a segurança dos dados não dependa do comportamento adequado de cada cliente. Com um perímetro reforçado, a equipe de armazenamento deixa de ser a última linha de defesa.

Mantenha os pipelines de RAG abastecidos e atualizados

Com um fluxo de ingestão confiável, os conjuntos de dados são recuperados do armazenamento de objetos, transformados e ingeridos nos serviços de RAG sem interrupções. Dados atualizados e completos tornam as aplicações da agência baseadas em IA mais precisas, resilientes e confiáveis para os agentes que dependem delas.

Escale o armazenamento sem alterar os aplicativos

Alterações de endpoint e pontos de sobrecarga podem causar grandes interrupções em uma plataforma de alto desempenho, como o armazenamento WEKA ou VAST Data, quando não há uma camada de entrega de aplicações à frente do cluster. No entanto, como o BIG-IP LTM abstrai o endpoint de armazenamento, a agência pode expandir seus clusters WEKA e VAST Data sem redirecionar nenhuma aplicação ou plataforma de campo. Os administradores de armazenamento adicionam nós e rebalanceiam os dados por trás de um endereço estável, enquanto o monitoramento da integridade e o direcionamento do tráfego protegem o cluster à medida que ele cresce.

Um modelo para a entrega de dados de IA

Os resultados alcançados pela agência com seu armazenamento WEKA e VAST Data se aplicam a qualquer organização que alimente sistemas de IA a partir de um cluster de armazenamento, seja ele um armazenamento de objetos comum compatível com S3 ou uma plataforma de dados de alto desempenho desenvolvida para treinamento e inferência. À medida que a ingestão de dados para RAG aumenta, uma camada dedicada de entrega e segurança transforma um armazenamento que talvez esteja tendo dificuldades para acompanhar a demanda em um pipeline protegido e pronto para crescer. À medida que o programa de robótica da agência se expande, seu fluxo de dados está preparado.