BLOG | ESCRITÓRIO DO DIRETOR DE TECNOLOGIA

Adicione simplicidade, segurança e desempenho à inferência de IA com F5, Intel e Dell

Kunal Anand Miniatura
Kunal Anand
Publicado em 21 de maio de 2024

As organizações buscam construir novos aplicativos e fluxos de trabalho movidos por IA. Mas operá-los com sucesso pode ser complicado. Diversas estruturas de IA e ambientes de aplicativos criam complexidade para desenvolvedores e equipes de segurança. Eles precisam de uma solução que torne a inferência rápida mais fácil de construir, executar e proteger.

Simplifique o desenvolvimento e a segurança da IA

O kit de ferramentas OpenVINO™ da Intel é um kit de ferramentas de código aberto que acelera a inferência de IA, ao mesmo tempo em que oferece um espaço menor e uma abordagem de gravação única e implantação em qualquer lugar. Ele ajuda os desenvolvedores a criar soluções de IA escaláveis e eficientes com relativamente poucas linhas de código. Os desenvolvedores podem usar modelos de IA treinados usando estruturas populares como TensorFlow, PyTorch, ONNX e muito mais. Com o OpenVINO, os desenvolvedores primeiro convertem e podem otimizar e compactar modelos para obter respostas mais rápidas. Agora, o modelo de IA está pronto para ser implantado incorporando o tempo de execução do OpenVINO em seu aplicativo para torná-lo compatível com IA. Os desenvolvedores podem implantar seus aplicativos com infusão de IA por meio de um contêiner leve em um data center, na nuvem ou na borda em uma variedade de arquiteturas de hardware.

Um desenvolvedor pode não querer hospedar o modelo com o aplicativo ou incorporá-lo ao aplicativo. O modelo do aplicativo pode precisar ser atualizado de tempos em tempos, e o aplicativo pode precisar executar vários modelos para fornecer os recursos que o aplicativo fornece. A OpenVINO tem uma solução com o servidor de modelo OpenVINO, um sistema de alto desempenho definido por software para servir modelos em uma arquitetura cliente-servidor. Os benefícios do servidor modelo OpenVINO incluem:

  1. Facilidade de implantação: Com sua arquitetura em contêiner usando Docker, a implantação de modelos com o servidor de modelos OpenVINO se torna mais simples e escalável. Ele abstrai as complexidades da configuração e dependências de hardware.
  2. Escalabilidade: O servidor de modelo OpenVINO pode ser implantado em um ambiente em cluster para lidar com altas cargas de inferência e escalar horizontalmente conforme necessário. Essa escalabilidade garante que o desempenho da inferência permaneça consistente mesmo sob cargas de trabalho pesadas.
  3. Inferência Remota: O servidor de modelo OpenVINO suporta inferência remota, permitindo que clientes realizem inferência em modelos implantados em servidores remotos. Esse recurso é útil para aplicativos distribuídos ou cenários onde a inferência precisa ser realizada em servidores poderosos enquanto o dispositivo cliente tem recursos limitados.
  4. Monitoramento e Gestão: O servidor de modelo OpenVINO fornece recursos de monitoramento e gerenciamento, permitindo que os administradores rastreiem o desempenho de inferência, a utilização de recursos e gerenciem modelos implantados de forma eficaz.

O OpenVINO simplifica a otimização, implantação e escala de modelos de IA, mas para serem executados em produção, eles também precisam de segurança. O F5 NGINX Plus funciona como um proxy reverso, oferecendo gerenciamento de tráfego e proteção para servidores de modelo de IA. Com configurações de alta disponibilidade e verificações de integridade ativas, o NGINX Plus pode garantir que solicitações de aplicativos, fluxos de trabalho ou usuários cheguem a um servidor de modelo OpenVINO operacional. Ele também permite o uso de certificados HTTPS e mTLS para criptografar comunicações entre o aplicativo do usuário e o servidor do modelo sem diminuir o desempenho.

Quando implantado no mesmo servidor host ou máquina virtual, o NGINX Plus filtra o tráfego de entrada e monitora a integridade dos contêineres upstream. Ele também oferece cache de conteúdo para acelerar o desempenho e reduzir o trabalho do servidor do modelo. Essa combinação fornece segurança eficiente, mas os servidores NGINX Plus e do modelo OpenVINO podem precisar competir por recursos quando implantados em uma única CPU. Isso pode resultar em lentidão ou degradação do desempenho.

Acelere o desempenho do modelo de IA

Como serviços de infraestrutura como comutação virtual, segurança e armazenamento podem consumir um número significativo de ciclos de CPU, a Intel desenvolveu a Intel® Infrastructure Processing Unit (Intel® IPU) que libera núcleos de CPU para melhorar o desempenho dos aplicativos. As IPUs Intel são dispositivos de rede programáveis que gerenciam de forma inteligente os recursos no nível do sistema, acelerando com segurança as funções de infraestrutura de rede e armazenamento em um data center. Eles são compatíveis com o servidor Dell PowerEdge R760 com processadores Intel® Xeon® para desempenho e versatilidade em cargas de trabalho com uso intensivo de computação. A integração com o controlador de gerenciamento integrado Dell iDRAC fornece controle térmico de circuito fechado da IPU.

Usar uma IPU Intel com um servidor em rack Dell PowerEdge R760 pode aumentar o desempenho dos servidores modelo OpenVINO e F5 NGINX Plus. Executar o NGINX Plus na Intel IPU proporciona desempenho e escalabilidade graças aos aceleradores de hardware da Intel IPU. Essa combinação também deixa recursos de CPU disponíveis para os servidores do modelo de IA.

A integração de uma Intel IPU com o NGINX Plus cria uma lacuna de segurança entre o NGINX Plus e os servidores do modelo OpenVINO. Essa camada extra de segurança protege contra potenciais vulnerabilidades compartilhadas para ajudar a proteger dados confidenciais no modelo de IA.

IA de potência na ponta

A solução combinada da F5, Intel e Dell facilita o suporte à inferência de IA na borda. Com o NGINX Plus na Intel IPU, as respostas são mais rápidas e confiáveis no suporte a aplicativos de ponta, como análise de vídeo e IoT.

A solução também funciona para redes de distribuição de conteúdo com cache e distribuição de conteúdo otimizados, além de fornecer suporte para implantações de microsserviços distribuídos que precisam de confiabilidade em todos os ambientes.

Acelere a segurança e o desempenho da IA com F5, Intel e Dell

Potencialize a inferência de IA de alto desempenho em qualquer lugar, de forma segura e consistente, com uma solução combinada de hardware e software. Implante facilmente a inferência de IA em data centers, nuvens ou sites de ponta, mantendo a disponibilidade e o desempenho para dar suporte a usuários e aplicativos com tecnologia de IA.

Saiba mais sobre a parceria entre a F5 e a Intel em f5.com/intel .