Añada simplicidad, seguridad y rendimiento a la inferencia de IA con F5, Intel y Dell

Kunal AnandDirector de Producto | F5

Las organizaciones buscan crear nuevas aplicaciones y flujos de trabajo basados en IA. Sin embargo, gestionarlos correctamente puede resultar complicado. La coexistencia de múltiples marcos de IA y entornos de aplicaciones añade complejidad para los desarrolladores y los equipos de seguridad. Necesitan una solución que facilite el desarrollo, la ejecución y la protección de la inferencia rápida.

Simplifique el desarrollo y la seguridad de la IA

El kit de herramientas OpenVINO™ de Intel es de código abierto y acelera la inferencia de IA, al tiempo que ofrece un tamaño más reducido y un enfoque que permite escribir el código una sola vez e implementarlo en cualquier lugar. Ayuda a los desarrolladores a crear soluciones de IA escalables y eficientes con relativamente pocas líneas de código. Los desarrolladores pueden utilizar modelos de IA entrenados con marcos populares como TensorFlow, PyTorch, ONNX y otros. Con OpenVINO, primero convierten los modelos y, después, pueden optimizarlos y comprimirlos aún más para obtener respuestas más rápidas. Una vez hecho esto, el modelo de IA está listo para implementarse integrando el entorno de ejecución de OpenVINO en la aplicación para dotarla de capacidades de IA. Los desarrolladores pueden implementar su aplicación con IA mediante un contenedor ligero en un centro de datos, en la nube o en el extremo, y en diversas arquitecturas de hardware.

Es posible que un desarrollador no quiera alojar el modelo junto con la aplicación ni integrarlo en ella. Puede que el modelo de la aplicación deba actualizarse periódicamente y que la aplicación necesite ejecutar varios modelos para ofrecer sus funcionalidades. OpenVINO proporciona una solución mediante OpenVINO Model Server, un sistema de alto rendimiento definido por software para servir modelos en una arquitectura cliente-servidor. Entre las ventajas de OpenVINO Model Server se incluyen:

1. Facilidad de implementación: Gracias a su arquitectura en contenedores basada en Docker, la implementación de modelos con OpenVINO Model Server resulta más sencilla y escalable. Además, evita tener que lidiar con las complejidades de la configuración del hardware y las dependencias.
2. Escalabilidad: OpenVINO Model Server puede implementarse en un entorno de clúster para gestionar cargas de inferencia elevadas y escalar horizontalmente según sea necesario. Esta escalabilidad garantiza que el rendimiento de la inferencia se mantenga constante incluso con cargas de trabajo intensas.
3. Inferencia remota: El servidor de modelos OpenVINO admite la inferencia remota, lo que permite a los clientes ejecutar inferencias en modelos implementados en servidores remotos. Esta función resulta útil para aplicaciones distribuidas o situaciones en las que la inferencia debe ejecutarse en servidores potentes mientras el dispositivo cliente dispone de recursos limitados.
4. Supervisión y gestión: El servidor de modelos OpenVINO ofrece funciones de supervisión y gestión que permiten a los administradores realizar un seguimiento del rendimiento de la inferencia y del uso de los recursos, así como gestionar eficazmente los modelos implementados.

OpenVINO simplifica la optimización, el despliegue y el escalado de los modelos de IA, pero estos también necesitan seguridad para ejecutarse en producción. F5 NGINX Plus funciona como proxy inverso y ofrece gestión del tráfico y protección para los servidores de modelos de IA. Gracias a las configuraciones de alta disponibilidad y las comprobaciones de estado activas, NGINX Plus puede garantizar que las solicitudes de aplicaciones, flujos de trabajo o usuarios lleguen a un servidor de modelos OpenVINO operativo. También permite utilizar certificados HTTPS y mTLS para cifrar las comunicaciones entre la aplicación del usuario y el servidor de modelos sin reducir el rendimiento.

Cuando se implementa en el mismo servidor host o máquina virtual, NGINX Plus filtra el tráfico entrante y supervisa el estado de los contenedores ascendentes. También ofrece almacenamiento en caché de contenido para mejorar el rendimiento y reducir la carga de trabajo del servidor de modelos. Esta combinación proporciona una seguridad eficaz, pero es posible que NGINX Plus y los servidores de modelos OpenVINO tengan que competir por los recursos cuando se implementan en una sola CPU. Esto puede provocar ralentizaciones o una degradación del rendimiento.

Acelere el rendimiento de los modelos de IA

Dado que los servicios de infraestructura, como la conmutación virtual, la seguridad y el almacenamiento, pueden consumir una cantidad considerable de ciclos de CPU, Intel desarrolló la unidad de procesamiento de infraestructura Intel® (Intel® IPU), que libera núcleos de CPU para mejorar el rendimiento de las aplicaciones. Las Intel IPU son dispositivos de red programables que gestionan de forma inteligente los recursos del sistema mediante la aceleración segura de las funciones de infraestructura de red y almacenamiento en un centro de datos. Son compatibles con el servidor Dell PowerEdge R760 equipado con procesadores Intel® Xeon®, lo que ofrece rendimiento y versatilidad para cargas de trabajo con un uso intensivo de recursos informáticos. La integración con el controlador de gestión integrado Dell iDRAC proporciona un control térmico de bucle cerrado de la IPU.

El uso de una IPU de Intel con un servidor en rack Dell PowerEdge R760 puede mejorar el rendimiento tanto de los servidores de modelos OpenVINO como de F5 NGINX Plus. La ejecución de NGINX Plus en la IPU de Intel ofrece rendimiento y escalabilidad gracias a los aceleradores de hardware de la IPU de Intel. Esta combinación también permite mantener disponibles los recursos de la CPU para los servidores de modelos de IA.

La integración de una IPU de Intel con NGINX Plus crea un aislamiento de seguridad entre NGINX Plus y los servidores de modelos OpenVINO. Esta capa adicional de seguridad protege frente a posibles vulnerabilidades compartidas y ayuda a salvaguardar los datos confidenciales del modelo de IA.

Impulsa la IA en el edge

La solución conjunta de F5, Intel y Dell facilita la inferencia de IA en el extremo de la red. Con NGINX Plus en la IPU de Intel, las respuestas son más rápidas y fiables para aplicaciones en el extremo, como el análisis de vídeo y el IoT.

La solución también es adecuada para redes de distribución de contenidos, ya que optimiza el almacenamiento en caché y la entrega de contenidos, además de ofrecer compatibilidad con implementaciones de microservicios distribuidos que requieren fiabilidad en distintos entornos.

Acelere la seguridad y el rendimiento de la IA con F5, Intel y Dell

Impulse una inferencia de IA de alto rendimiento en cualquier lugar, de forma segura y uniforme, con una solución combinada de hardware y software. Implemente fácilmente la inferencia de IA en centros de datos, nubes o ubicaciones perimetrales, manteniendo la disponibilidad y el rendimiento necesarios para dar soporte a los usuarios y a las aplicaciones basadas en IA.

Obtenga más información sobre la colaboración entre F5 e Intel en f5.com/intel.

Sobre el autor

Kunal AnandDirector de Producto | F5

Kunal Anand dirige la organización de productos de F5 como director de Producto. Es responsable de la visión, la estrategia y la ejecución de los productos, y garantiza el desarrollo de soluciones innovadoras que resuelven retos críticos y ofrecen experiencias excepcionales a los clientes. En su anterior cargo como director de Tecnología e IA, Kunal definió la estrategia y la visión tecnológica y de inteligencia artificial de la empresa. Antes de incorporarse a F5, Kunal desempeñó simultáneamente los cargos de director de Tecnología y director de Seguridad de la Información en Imperva. Su trayectoria en Imperva comenzó en 2018 con la adquisición de Prevoty, una startup de seguridad de aplicaciones que cofundó en 2013. Antes de incorporarse a Prevoty, fue director de Tecnología en BBC Worldwide. Kunal cuenta con una amplia trayectoria en innovación y conocimientos técnicos, y ha ocupado puestos de liderazgo al frente de equipos de seguridad, datos, tecnología e ingeniería en Gravity, MySpace y el Laboratorio de Propulsión a Chorro de la NASA. Kunal cuenta con más de 15 años de experiencia en inteligencia artificial y aprendizaje automático, que abarca desde el entrenamiento de modelos y el uso de algoritmos basados en IA para mejorar productos hasta el diseño y la implementación de arquitecturas de IA. Kunal es graduado en Ciencias de la Computación por Babson College.

Más artículos de Kunal Anand