Adicione simplicidade, segurança e desempenho à inferência de IA com F5, Intel e Dell

As organizações buscam construir novos aplicativos e fluxos de trabalho movidos por IA. Mas operá-los com sucesso pode ser complicado. Diversas estruturas de IA e ambientes de aplicativos criam complexidade para desenvolvedores e equipes de segurança. Eles precisam de uma solução que torne a inferência rápida mais fácil de construir, executar e proteger.

O kit de ferramentas OpenVINO™ da Intel é um kit de ferramentas de código aberto que acelera a inferência de IA, ao mesmo tempo em que oferece um espaço menor e uma abordagem de gravação única e implantação em qualquer lugar. Ele ajuda os desenvolvedores a criar soluções de IA escaláveis e eficientes com relativamente poucas linhas de código. Os desenvolvedores podem usar modelos de IA treinados usando estruturas populares como TensorFlow, PyTorch, ONNX e muito mais. Com o OpenVINO, os desenvolvedores primeiro convertem e podem otimizar e compactar modelos para obter respostas mais rápidas. Agora, o modelo de IA está pronto para ser implantado incorporando o tempo de execução do OpenVINO em seu aplicativo para torná-lo compatível com IA. Os desenvolvedores podem implantar seus aplicativos com infusão de IA por meio de um contêiner leve em um data center, na nuvem ou na borda em uma variedade de arquiteturas de hardware.

Um desenvolvedor pode não querer hospedar o modelo com o aplicativo ou incorporá-lo ao aplicativo. O modelo do aplicativo pode precisar ser atualizado de tempos em tempos, e o aplicativo pode precisar executar vários modelos para fornecer os recursos que o aplicativo fornece. A OpenVINO tem uma solução com o servidor de modelo OpenVINO, um sistema de alto desempenho definido por software para servir modelos em uma arquitetura cliente-servidor. Os benefícios do servidor modelo OpenVINO incluem:

1. Facilidade de implantação: Com sua arquitetura em contêiner usando Docker, a implantação de modelos com o servidor de modelos OpenVINO se torna mais simples e escalável. Ele abstrai as complexidades da configuração e dependências de hardware.
2. Escalabilidade: O servidor de modelo OpenVINO pode ser implantado em um ambiente em cluster para lidar com altas cargas de inferência e escalar horizontalmente conforme necessário. Essa escalabilidade garante que o desempenho da inferência permaneça consistente mesmo sob cargas de trabalho pesadas.
3. Inferência Remota: O servidor de modelo OpenVINO suporta inferência remota, permitindo que clientes realizem inferência em modelos implantados em servidores remotos. Esse recurso é útil para aplicativos distribuídos ou cenários onde a inferência precisa ser realizada em servidores poderosos enquanto o dispositivo cliente tem recursos limitados.
4. Monitoramento e Gestão: O servidor de modelo OpenVINO fornece recursos de monitoramento e gerenciamento, permitindo que os administradores rastreiem o desempenho de inferência, a utilização de recursos e gerenciem modelos implantados de forma eficaz.

O OpenVINO simplifica a otimização, implantação e escala de modelos de IA, mas para serem executados em produção, eles também precisam de segurança. O F5 NGINX Plus funciona como um proxy reverso, oferecendo gerenciamento de tráfego e proteção para servidores de modelo de IA. Com configurações de alta disponibilidade e verificações de integridade ativas, o NGINX Plus pode garantir que solicitações de aplicativos, fluxos de trabalho ou usuários cheguem a um servidor de modelo OpenVINO operacional. Ele também permite o uso de certificados HTTPS e mTLS para criptografar comunicações entre o aplicativo do usuário e o servidor do modelo sem diminuir o desempenho.

Quando implantado no mesmo servidor host ou máquina virtual, o NGINX Plus filtra o tráfego de entrada e monitora a integridade dos contêineres upstream. Ele também oferece cache de conteúdo para acelerar o desempenho e reduzir o trabalho do servidor do modelo. Essa combinação fornece segurança eficiente, mas os servidores NGINX Plus e do modelo OpenVINO podem precisar competir por recursos quando implantados em uma única CPU. Isso pode resultar em lentidão ou degradação do desempenho.