Você está investindo pesado em modelos de IA, treinando-os e ajustando-os para obter resultados precisos. Mas há um gargalo crítico entre você e os melhores resultados possíveis: a ingestão de dados. É preciso transferir grandes volumes de dados de treinamento multimodais — texto, imagens, áudio e vídeo — de diversos locais de armazenamento para seus modelos de IA. Se esse processo for ineficiente, ele poderá aumentar os custos e tornar as tarefas de treinamento mais lentas. O desafio é que muitas soluções de gerenciamento de tráfego não foram desenvolvidas para lidar com a natureza dinâmica da IA.
Primeiro, as fontes de dados estão distribuídas em um ambiente híbrido de múltiplas nuvens, incluindo data centers locais, armazenamento em nuvem privada e locais de borda. A transferência de terabytes ou petabytes de dados de treinamento dessas diversas fontes para sua infraestrutura de IA cria cenários complexos de gerenciamento de tráfego e altos custos de transferência de dados.
Em segundo lugar, você está lidando com o uso ineficiente das GPUs. Quando a ingestão de dados se torna um gargalo, seus valiosos recursos de GPU ficam ociosos, o que resulta em custos operacionais mais altos e ciclos de treinamento de modelos mais lentos. Você precisa de fluxos de dados consistentes e de alto desempenho para manter essas GPUs operando em plena capacidade.
Terceiro, você precisa manter a segurança e a conformidade ao transferir dados valiosos de treinamento entre redes. Seus dados proprietários são confidenciais, desde dados protegidos de clientes até a propriedade intelectual que lhe proporciona uma vantagem competitiva, e qualquer violação de segurança pode ser catastrófica para a sua empresa.
Treinamento de IA com a AWS
A AWS oferece uma base sólida para suas iniciativas de treinamento de IA, com serviços como o Amazon SageMaker Pipelines para orquestração de fluxos de trabalho, o Amazon Data Firehose para streaming de dados em tempo real e o AWS Database Migration Service para replicação contínua de dados. Esses serviços nativos da AWS realizam tarefas essenciais de movimentação de dados e podem ser dimensionados para comportar milhares de fluxos de trabalho simultâneos.
““Ao combinar a experiência da F5 em entrega e segurança de aplicações com os serviços de desenvolvimento de IA da AWS, você pode criar pipelines de dados seguros, eficientes e otimizados para suas necessidades específicas.””
No entanto, embora os serviços da AWS se destaquem na ingestão de dados e na automação do treinamento de modelos, provavelmente você precisará de recursos que vão além da AWS para cenários complexos que envolvam ambientes híbridos de múltiplas nuvens, requisitos rigorosos de segurança e otimização de tráfego de alto desempenho.
A F5 acelera o seu sucesso
É aqui que a F5 Application Delivery and Security Platform (ADSP) complementa sua infraestrutura da AWS com gerenciamento de tráfego e redes multinuvem seguras para ajudar você a alcançar suas metas de treinamento de IA com mais eficiência.
Como parte da F5 ADSP, F5 BIG-IP Virtual Edition (VE) oferece balanceamento de carga inteligente com otimização de TCP especificamente ajustada para grandes transferências de dados, a fim de maximizar a utilização das GPUs. Recursos como monitoramento da integridade dos servidores e roteamento baseado em capacidade garantem que suas GPUs recebam fluxos de dados consistentes, reduzindo períodos ociosos dispendiosos. O descarregamento de SSL, combinado com os perfis FastL4 e Fast HTTP, acelera ainda mais a movimentação de dados, ajudando você a obter mais valor dos seus investimentos em hardware.
Também parte da plataforma da F5, F5 Distributed Cloud Network Connect soluciona seus desafios de conectividade em ambientes híbridos e multicloud, fornecendo conectividade segura de camada 3 entre suas fontes de dados distribuídas e a AWS. Você pode conectar o armazenamento local e na nuvem diretamente à AWS com provisionamento em um clique, eliminando configurações de rede complexas. Se você usa sistemas de armazenamento da NetApp, a F5 oferece integração perfeita com vários protocolos, incluindo Network File System (NFS), Server Message Block (SMB) e APIs do Amazon S3. Conecte as fontes pela Internet, por meio de um backbone privado ou pela rede privada F5 Global Network.
Aumente a segurança e o controle
O F5 ADSP oferece proteção abrangente para seus dados de treinamento em ambientes híbridos. Você conta com mitigação de ataques distribuídos de negação de serviço (DDoS), proteção de aplicações web e APIs, além de inspeção completa de SSL/TLS com autenticação e autorização centralizadas. Isso garante políticas de segurança consistentes em todos os ambientes e, ao mesmo tempo, atende aos requisitos de conformidade para o tratamento de dados confidenciais.
Os recursos de otimização de tráfego da F5 ajudam você a controlar os custos de GPU e de transferência de dados. O roteamento inteligente garante a movimentação eficiente de dados entre ambientes, enquanto os recursos avançados de compactação e armazenamento em cache reduzem o consumo de largura de banda. Você pode monitorar e otimizar continuamente seus pipelines de dados para evitar custos excessivos sem comprometer o desempenho.
Seu caminho para o sucesso com IA
Ao combinar os recursos de entrega e segurança de aplicações da F5 com os serviços de desenvolvimento de IA da AWS, você pode criar pipelines de dados seguros, eficientes e otimizados para suas necessidades específicas. Essa abordagem integrada ajuda você a:
- Mantenha suas GPUs constantemente abastecidas com dados de treinamento
- Reduza os custos de infraestrutura por meio do gerenciamento inteligente de tráfego
- Mantenha a segurança e a conformidade em ambientes híbridos
- Amplie suas iniciativas de IA com confiança à medida que o volume de dados aumenta
Uma infraestrutura robusta, capaz de fornecer com confiabilidade grandes volumes de dados onde e quando forem necessários, aumenta as chances de suas iniciativas de treinamento de IA alcançarem o sucesso em menos tempo. Com a F5 e a AWS trabalhando em conjunto, você pode se concentrar no desenvolvimento de modelos inovadores de IA, com a confiança de que a infraestrutura do seu pipeline de dados terá um desempenho confiável, seguro e econômico.
Para saber mais, acesse a página de visão geral da F5 na AWS.
Além disso, acompanhe o próximo artigo desta série, no qual discutiremos como proteger a inovação em IA na AWS com segurança de APIs.
Sobre o autor
Publicações relacionadas no blog
Entrega e proteção de agentes de IA em fábricas de IA: F5 para a arquitetura de referência NVIDIA OpenShell para agentes de IA seguros
As soluções da F5 ampliam a Arquitetura de Referência NVIDIA OpenShell para agentes de IA seguros.
Como medir – e minimizar – o custo total de propriedade do seu Kubernetes
O Kubernetes pode ser baixado e executado gratuitamente, mas sua manutenção está longe de não ter custos. Assim como outras grandes plataformas de código aberto que são “gratuitas” apenas em um sentido simplista, o Kubernetes quase certamente exigirá investimentos para ser implantado e operado.
As-Code: a pilha de TI contínua
Infraestrutura, configuração, pipeline, operações. De repente, tudo é “como código”. Lori MacVittie busca esclarecer a terminologia e identificar os diferentes componentes de uma stack contínua de TI.
O estado da entrega de aplicações em 2017: automação, APIs e DevOps
Explore o relatório State of Application Delivery de 2017. Leia o blog retrospectivo da F5 sobre o início da ascensão das redes declarativas e dos pipelines de DevOps.
DevOps Summit: onde a rede foi convidada para a festa
No DevOps Summit NY, falou-se muito não apenas sobre DevOps, mas também sobre contêineres, IoT e microsserviços. As sessões se concentraram não só na mudança cultural necessária para crescer em escala com uma abordagem DevOps, mas também fizeram questão de incluir...
F5 e Nutanix convergem em infraestrutura no .NEXT
Aplicações empresariais como Microsoft SharePoint e Exchange, juntamente com a VDI, continuam sendo a espinha dorsal da sua empresa. A produtividade, embora não seja tão atraente quanto o lucro, é um fator essencial para o sucesso das operações empresariais atuais. Deixar de...