Uma porta de entrada programável para armazenamento em implantações de IA e ambientes corporativos

A maioria das arquiteturas de segurança exige concessões

O armazenamento de objetos funciona na nuvem porque a capacidade, a taxa de transferência e os endpoints aumentam por trás de um único endereço sem que a aplicação perceba. Em ambientes locais, isso é mais difícil, pois um cluster é um conjunto finito de nós de acesso por trás de um endpoint fixo. O armazenamento que antes atendia a backups e arquivos agora alimenta o treinamento e o ajuste fino de modelos, além da criação de índices para RAG, portanto, escalabilidade e resiliência deixaram de ser opcionais.

F5 BIG-IP elimina essa lacuna. lg F5 BIG-IP atua no caminho de dados do S3 como um proxy completo e permite que a equipe de armazenamento controle o endpoint resolvido pelos clientes, como as solicitações são distribuídas entre os nós de acesso e como as falhas são tratadas. BIG-IP otimiza, protege e roteia dinamicamente o tráfego de armazenamento de objetos por meio de:

• Garantindo disponibilidade contínua com verificações de integridade ativas e reais do S3 em cada nó de acesso.
• Encerrar SSL/TLS em hardware dedicado e desenvolvido especificamente para essa finalidade, para que a CPU do armazenamento seja usada para servir objetos, em vez de processar handshakes.
• Maximização da taxa de transferência com perfis TCP personalizados e ajustados especificamente para cargas de trabalho S3 de alta largura de banda.
• Direcionamento inteligente do tráfego com iRules nativas baseadas em bucket, prefixo de chave e operação.

Principais benefícios

Balanceie a carga e roteie o tráfego S3 de forma inteligente

O BIG-IP apresenta um único endpoint virtual do S3 e o mapeia para qualquer recurso que a equipe de armazenamento decida colocar por trás dele, sejam nós adicionais, um segundo cluster, outro fornecedor ou um conjunto de dados que esteja retornando da nuvem pública. Os pools ponderados permitem migrar uma carga de trabalho gradualmente, em vez de realizar uma única transição de alto risco. O direcionamento por bucket ou prefixo de chave permite que a migração seja feita para um conjunto de dados por vez. Quem já participou de uma discussão sobre interoperabilidade do S3 sabe que as implementações diferem de maneiras sutis, mas relevantes, e as iRules oferecem um meio de assimilar essas diferenças, reescrevendo estilos de endereçamento e cabeçalhos na borda para que as aplicações nunca precisem se preocupar com qual implementação está respondendo.

Mantenha a taxa de transferência estável com QoS por locatário

Centenas de workers de treinamento simultâneos que resolvem o mesmo endpoint tendem a se concentrar nos primeiros nós de acesso que alcançam. O desequilíbrio resultante satura alguns nós de acesso enquanto outros permanecem ociosos, e nem mesmo toda a largura de banda agregada do cluster consegue ocultar esse problema. O BIG-IP distribui essa simultaneidade entre todos os nós, reutiliza conexões de back-end e encerra o TLS em hardware, permitindo que os ciclos de CPU do armazenamento sejam usados para fornecer dados, em vez de processar handshakes. Perfis TCP ajustados para leituras contínuas de objetos grandes e para acesso de alta simultaneidade a objetos pequenos mantêm a taxa de transferência previsível em pipelines mistos. Além disso, os controles de taxa por locatário impedem que uma tarefa agressiva ou uma rajada de checkpoints reduza todas as outras cargas de trabalho para abaixo do limite de utilização usado para avaliar a plataforma.

Supere falhas e manutenções programadas

Os monitores de nível de aplicação do BIG-IP executam operações reais do S3 em cada nó e retiram os membros com problemas da rotação antes que qualquer cliente perceba alguma diferença. Assim, torna-se rotineiro retirar temporariamente um nó para atualizar o firmware, substituir hardware com falha ou expandir um cluster enquanto as leituras e gravações continuam fluindo. Se um site inteiro apresentar degradação, o BIG-IP DNS direcionará o tráfego para um local íntegro. As intervenções programadas no armazenamento deixam de exigir uma reunião do comitê consultivo de mudanças e uma sala cheia de responsáveis pelas aplicações, pois, do ponto de vista da aplicação, é como se nada tivesse acontecido.

Visualize e controle todas as solicitações de objetos

As conexões diretas entre clientes e buckets deixam a equipe de armazenamento apenas com gráficos de capacidade e pouco mais. Atuando como proxy, o BIG-IP registra quem solicitou o quê, em qual bucket, qual operação foi realizada e quanto tempo ela levou. Isso transforma o estorno de custos, a resposta a auditorias e o planejamento de capacidade em atividades de geração de relatórios, em vez de análises forenses. Esse mesmo ponto aplica políticas, protegendo endpoints S3 e repositórios de backup contra abuso de APIs, ataques DDoS das camadas 3 a 7, ataques a credenciais e a exfiltração não autorizada de dados que levaram meses para serem preparados, além de transferir o processamento de TLS para o hardware, evitando que a CPU do cluster seja usada para criptografia. E, como os conjuntos de dados preparados permanecem armazenados por anos, o BIG-IP já negocia a troca híbrida de chaves pós-quânticas na conexão, eliminando a janela para coletar agora e descriptografar depois antes mesmo que ela se abra.

Recursos

O BIG-IP é implantado à frente de qualquer destino compatível com S3 como hardware, edição virtual ou contêiner, sem exigir alterações nos nós de armazenamento.

Perfis TCP otimizados para tráfego S3

• Escalonamento de janela e dimensionamento de buffers ajustados para leituras contínuas de objetos grandes em caminhos com alta largura de banda e alta latência
• Opções de perfil para os padrões de pequenas leituras com alta simultaneidade, típicos de conjuntos de dados de linguagem e RAG
• Comportamento de congestionamento e de tempo limite de inatividade adequado para sessões prolongadas de upload multipartes
• Arquitetura de proxy completo; as pilhas TCP do lado do cliente e do armazenamento são ajustadas de forma independente

Programabilidade nativa do S3 com F5 iRules

• Direcionamento de solicitações por bucket, prefixo de chave, método HTTP ou operação do S3
• Conversão entre endereçamento de hospedagem virtual e endereçamento no estilo de caminho na borda
• Roteamento canário que valida um novo backend com um único conjunto de dados antes de uma migração mais ampla
• Telemetria personalizada por solicitação e aplicação de convenções de nomenclatura ou marcação de buckets

Abstração de endpoint

• Um servidor virtual e um nome DNS à frente de vários back-ends
• Pools ponderados para migração em fases, repatriação e avaliação de fornecedores
• Separação de leitura e gravação entre clusters ou camadas
• SigV4 preservada no encaminhamento direto ou reassinada por iRules ao traduzir endpoints

Monitoramento de integridade e failover

• Os monitores fazem solicitações S3 reais, não apenas verificações TCP ou ICMP
• Drenagem gradual de nós, grupos de prioridade e pools de contingência
• Direcionamento entre vários sites e várias nuvens com o F5 BIG-IP DNS
• Pares de alta disponibilidade com espelhamento de conexões

Descarregamento de processamento e QoS do S3

• Descarregamento de TLS por hardware e gerenciamento de certificados no F5 rSeries e F5 VELOS
• Reutilização de conexões de back-end com o OneConnect
• Controladores de largura de banda com limites mínimos garantidos e limites máximos rígidos por classe de carga de trabalho
• Limites de taxa e de conexões por cliente, locatário ou bucket, para que as leituras de treinamento tenham prioridade sobre cópias e restaurações em segundo plano

Acesso a múltiplas redes e pilha dupla

• IPv4 e IPv6 de pilha dupla, com tradução entre as redes de clientes e de armazenamento
• Um endpoint S3 publicado nas redes de dados, backup e parceiros usando VLANs e domínios de roteamento
• Isolamento de locatários e políticas por rede em clusters de armazenamento compartilhado
• Controle de SNAT e self-IP para topologias de cluster com múltiplas interfaces de rede

Segurança na borda do armazenamento

• F5 WAF para proteção da API do S3, mitigação de ataques DoS na camada 7 e um caminho reforçado para repositórios de backup
• F5 BIG-IP Advanced Firewall Manager para defesa contra DDoS na rede e controle de acesso a endpoints
• F5 BIG-IP Zero Trust Access para TLS mútuo e identidade de máquina em clientes de ingestão
• Preparação para a era pós-quântica, com troca híbrida de chaves no TLS 1.3 usando ML-KEM em conformidade com o FIPS 203
• Registro em log por solicitação, locatário, bucket e operação, transmitido para a plataforma de SIEM e observabilidade

Visão de nível 3 de uma arquitetura de IA para públicos de engenharia e arquitetura

Figura: A F5 oferece suporte e segurança em todas as etapas da arquitetura de referência de IA. Nos caminhos de ingestão, a F5 disponibiliza um único endpoint S3 e otimiza, direciona e protege o tráfego de treinamento, ajuste fino e RAG que chega ao armazenamento de objetos.

Especificações

Recursos

Validação da resiliência da entrega de dados de IA: F5 BIG-IP e Dell ObjectScale

Otimize os custos de processamento de dados de IA e reforce a segurança com F5 rSeries, VELOS e BIG-IP LTM

Viabilizando a ingestão de dados de IA

Entrega de dados de IA de alto desempenho para armazenamento compatível com S3