As organizações buscam criar novos aplicativos e fluxos de trabalho baseados em IA. No entanto, operá-los com sucesso pode ser um desafio. A variedade de frameworks de IA e ambientes de aplicativos aumenta a complexidade para desenvolvedores e equipes de segurança. Eles precisam de uma solução que facilite a criação, a execução e a proteção de inferências rápidas.
Simplifique o desenvolvimento e a segurança da IA
O kit de ferramentas OpenVINO™ da Intel é uma solução de código aberto que acelera a inferência de IA, oferecendo menor consumo de recursos e uma abordagem que permite escrever uma vez e implantar em qualquer lugar. Ele ajuda os desenvolvedores a criar soluções de IA escaláveis e eficientes com relativamente poucas linhas de código. Os desenvolvedores podem usar modelos de IA treinados com frameworks populares, como TensorFlow, PyTorch, ONNX, entre outros. Com o OpenVINO, os desenvolvedores primeiro convertem os modelos e podem otimizá-los e compactá-los ainda mais para obter respostas mais rápidas. Em seguida, o modelo de IA está pronto para ser implantado por meio da incorporação do runtime do OpenVINO ao aplicativo, adicionando recursos de IA. Os desenvolvedores podem implantar seus aplicativos com IA por meio de um contêiner leve em um data center, na nuvem ou na borda, em diversas arquiteturas de hardware.
Talvez um desenvolvedor não queira hospedar o modelo junto ao aplicativo nem incorporá-lo ao aplicativo. O modelo do aplicativo pode precisar ser atualizado periodicamente, e o aplicativo pode precisar executar vários modelos para oferecer os recursos disponibilizados. O OpenVINO oferece uma solução com o OpenVINO Model Server, um sistema de alto desempenho definido por software para disponibilizar modelos em uma arquitetura cliente-servidor. Entre os benefícios do OpenVINO Model Server estão:
- Facilidade de implantação: Com sua arquitetura em contêineres usando Docker, a implantação de modelos com o OpenVINO Model Server se torna mais simples e escalável. Ele abstrai as complexidades da configuração de hardware e das dependências.
- Escalabilidade: O OpenVINO Model Server pode ser implantado em um ambiente de cluster para lidar com altas cargas de inferência e escalar horizontalmente conforme necessário. Essa escalabilidade garante que o desempenho da inferência permaneça consistente mesmo sob cargas de trabalho intensas.
- Inferência remota: O servidor de modelos OpenVINO oferece suporte à inferência remota, permitindo que os clientes executem inferências em modelos implantados em servidores remotos. Esse recurso é útil para aplicações distribuídas ou cenários em que a inferência precisa ser executada em servidores de alto desempenho, enquanto o dispositivo cliente dispõe de recursos limitados.
- Monitoramento e gerenciamento: O servidor de modelos OpenVINO oferece recursos de monitoramento e gerenciamento, permitindo que os administradores acompanhem o desempenho da inferência e a utilização de recursos, além de gerenciar com eficiência os modelos implantados.
O OpenVINO simplifica a otimização, a implantação e o dimensionamento de modelos de IA, mas eles também precisam de segurança para serem executados em produção. F5 NGINX Plus funciona como um proxy reverso, oferecendo gerenciamento de tráfego e proteção para servidores de modelos de IA. Com configurações de alta disponibilidade e verificações ativas de integridade, o NGINX Plus garante que as solicitações de aplicativos, fluxos de trabalho ou usuários cheguem a um servidor de modelos OpenVINO operacional. Ele também permite o uso de certificados HTTPS e mTLS para criptografar as comunicações entre o aplicativo do usuário e o servidor de modelos sem prejudicar o desempenho.
Quando implantado no mesmo servidor host ou na mesma máquina virtual, o NGINX Plus filtra o tráfego de entrada e monitora a integridade dos contêineres upstream. Ele também oferece cache de conteúdo para melhorar o desempenho e reduzir a carga de trabalho do servidor de modelos. Essa combinação proporciona segurança eficiente, mas o NGINX Plus e os servidores de modelos OpenVINO podem precisar disputar recursos quando implantados em uma única CPU. Isso pode causar lentidão ou degradação do desempenho.
Acelere o desempenho dos modelos de IA
Como os serviços de infraestrutura, como comutação virtual, segurança e armazenamento, podem consumir uma quantidade significativa de ciclos de CPU, a Intel desenvolveu a Unidade de Processamento de Infraestrutura Intel® (Intel® IPU), que libera núcleos de CPU para melhorar o desempenho dos aplicativos. As Intel IPUs são dispositivos de rede programáveis que gerenciam de forma inteligente os recursos no nível do sistema, acelerando com segurança as funções de infraestrutura de rede e armazenamento em um data center. Elas são compatíveis com o servidor Dell PowerEdge R760 equipado com processadores Intel® Xeon®, oferecendo desempenho e versatilidade para cargas de trabalho com uso intensivo de computação. A integração com o controlador de gerenciamento integrado Dell iDRAC proporciona controle térmico de malha fechada da IPU.
O uso de uma IPU Intel com um servidor em rack Dell PowerEdge R760 pode aumentar o desempenho tanto dos servidores de modelos OpenVINO quanto do F5 NGINX Plus. A execução do NGINX Plus na IPU Intel proporciona desempenho e escalabilidade graças aos aceleradores de hardware da IPU Intel. Essa combinação também mantém os recursos da CPU disponíveis para os servidores de modelos de IA.
A integração de uma IPU Intel com o NGINX Plus cria um isolamento de segurança entre o NGINX Plus e os servidores de modelos OpenVINO. Essa camada adicional de segurança oferece proteção contra possíveis vulnerabilidades compartilhadas, ajudando a resguardar dados confidenciais no modelo de IA.
Potencialize a IA na borda
A solução combinada da F5, Intel e Dell facilita o suporte à inferência de IA na borda. Com o NGINX Plus na IPU da Intel, as respostas são mais rápidas e confiáveis para aplicações de borda, como análise de vídeo e IoT.
A solução também funciona para redes de distribuição de conteúdo, com cache e entrega de conteúdo otimizados, além de oferecer suporte a implantações distribuídas de microsserviços que exigem confiabilidade em diferentes ambientes.
Acelere a segurança e o desempenho da IA com F5, Intel e Dell
Potencialize a inferência de IA de alto desempenho em qualquer lugar, com segurança e consistência, usando uma solução integrada de hardware e software. Implante facilmente a inferência de IA em data centers, nuvens ou ambientes de edge, mantendo a disponibilidade e o desempenho necessários para dar suporte a usuários e aplicações baseadas em IA.
Saiba mais sobre a parceria entre a F5 e a Intel em f5.com/intel.
Sobre o autor
Kunal Anand lidera a organização de produtos da F5 como Chief Product Officer. Responsável pela visão, estratégia e execução de produtos, ele garante o desenvolvimento de soluções inovadoras que resolvem desafios críticos e proporcionam experiências excepcionais aos clientes. Em sua função anterior como Chief Technology and AI Officer, Kunal definiu a estratégia e a visão de tecnologia e IA da empresa. Antes da F5, Kunal exerceu simultaneamente os cargos de Chief Technology Officer e Chief Information Security Officer na Imperva. Sua trajetória na Imperva começou em 2018, com a aquisição da Prevoty, uma startup de segurança de aplicações que ele cofundou em 2013. Antes de ingressar na Prevoty, foi Diretor de Tecnologia na BBC Worldwide. Kunal tem um amplo histórico de inovação e conhecimento técnico especializado, além de ter ocupado cargos de liderança em equipes de segurança, dados, tecnologia e engenharia na Gravity, MySpace e no Laboratório de Propulsão a Jato da NASA. Kunal tem mais de 15 anos de experiência em IA e aprendizado de máquina, abrangendo treinamento de modelos, uso de algoritmos baseados em IA para aprimorar produtos e projeto e implementação de arquiteturas de IA. Kunal é bacharel em Ciência da Computação pelo Babson College.
Mais publicações de Kunal AnandPublicações relacionadas no blog
O estado da maturidade digital empresarial: a transformação digital ainda não terminou
Explore como a IA impacta as empresas, as aplicações da IA generativa, as estratégias para modernizar as operações de TI e os benefícios da maturidade digital com a F5.
Como a IA generativa acelera a transformação digital
Veja como a IA generativa impulsiona a transformação digital nas empresas, acelerando tendências como a integração de APIs, os desafios dos modelos operacionais de TI híbrida e a adoção de AIOps.
Seis capacidades técnicas para acelerar a transformação digital
As arquiteturas empresariais atuais carecem dos fatores necessários de agilidade, escalabilidade, segurança e observabilidade, essenciais para impulsionar a mudança tecnológica. No entanto, estas seis capacidades fundamentais ajudarão as empresas a gerenciar riscos e desafios ao longo de sua transformação digital.
Inverter a API é a transformação digital de que as empresas precisam para participar e competir em uma economia de APIs
As organizações detêm um valor latente — na forma de APIs internas — que precisam explorar para competir em uma economia de APIs. Embora os desafios técnicos e de segurança possam desestimular algumas delas, as empresas precisam reconhecer que inverter suas APIs permitirá liberar o valor da organização como plataforma.
A modernização da TI começa pela infraestrutura
O hardware e o software evoluíram rapidamente desde os primórdios da internet, mas, para aproveitar ao máximo os benefícios resultantes dessa evolução, as organizações precisam avaliar e modernizar sua infraestrutura e a entrega de aplicativos. Acelere os esforços de modernização com a nova F5 rSeries.