Agregue simplicidad, seguridad y rendimiento a la inferencia de IA con F5, Intel y Dell

Las organizaciones buscan desarrollar nuevas aplicaciones y flujos de trabajo basados en IA. Sin embargo, implementarlos correctamente puede ser complicado. Múltiples marcos de IA y entornos de aplicaciones crean complejidad para los desarrolladores y los equipos de seguridad. Necesitan una solución que facilite la creación, ejecución y protección de inferencias rápidas.

El kit de herramientas OpenVINO™ de Intel es un kit de herramientas de código abierto que acelera la inferencia de IA al tiempo que ofrece un espacio más pequeño y un enfoque de escritura única e implementación en cualquier lugar. Ayuda a los desarrolladores a crear soluciones de IA escalables y eficientes con relativamente pocas líneas de código. Los desarrolladores pueden utilizar modelos de IA entrenados con marcos populares como TensorFlow, PyTorch, ONNX y más. Con OpenVINO, los desarrolladores primero convierten y pueden optimizar y comprimir aún más los modelos para obtener respuestas más rápidas. Ahora, el modelo de IA está listo para implementarse incorporando el entorno de ejecución de OpenVINO en su aplicação para que sea compatible con IA. Los desarrolladores pueden implementar su aplicação con IA a través de un contenedor liviano en un centro de datos, en la nube o en el borde en una variedad de arquitecturas de hardware.

Es posible que un desarrollador no desee alojar el modelo con la aplicação o integrarlo en la aplicação. Es posible que sea necesario actualizar el modelo de la aplicación de vez en cuando, y que la aplicação deba ejecutar varios modelos para ofrecer las funciones que aplicação . OpenVINO tiene una solución con el servidor de modelos OpenVINO, un sistema de alto rendimiento definido por software para servir modelos en una arquitectura cliente-servidor. Los beneficios del servidor de modelos OpenVINO incluyen:

1. Facilidad de implementación: Con su arquitectura en contenedores que utiliza Docker, la implementación de modelos con el servidor de modelos OpenVINO se vuelve más sencilla y escalable. Abstrae las complejidades de la configuración y las dependencias del hardware.
2. Escalabilidad: El servidor de modelos OpenVINO se puede implementar en un entorno agrupado para manejar altas cargas de inferencia y escalar horizontalmente según sea necesario. Esta escalabilidad garantiza que el rendimiento de la inferencia se mantenga constante incluso bajo cargas de trabajo pesadas.
3. Inferencia remota: El servidor de modelos OpenVINO admite la inferencia remota, lo que permite a los clientes realizar inferencias en modelos implementados en servidores remotos. Esta característica es útil para aplicações distribuidas o escenarios donde es necesario realizar inferencias en servidores potentes mientras el dispositivo cliente tiene recursos limitados.
4. Monitoreo y Gestión: El servidor de modelos OpenVINO proporciona capacidades de monitoreo y administración, permitiendo a los administradores rastrear el rendimiento de la inferencia, la utilización de recursos y administrar modelos implementados de manera efectiva.

OpenVINO simplifica la optimización, la implementación y la escala de los modelos de IA, pero para ejecutarse en producción, también necesitan seguridad. F5 NGINX Plus funciona como un proxy inverso, ofreciendo gestión de tráfico y protección para servidores de modelos de IA. Con configuraciones de alta disponibilidad y controles de estado activos, NGINX Plus puede garantizar que las solicitudes de aplicaciones, flujos de trabajo o usuarios lleguen a un servidor de modelo OpenVINO operativo. También permite el uso de certificados HTTPS y mTLS para cifrar las comunicaciones entre la aplicação del usuario y el servidor de modelos sin reducir el rendimiento.

Cuando se implementa en el mismo servidor host o máquina virtual, NGINX Plus filtra el tráfico entrante y monitorea el estado de los contenedores ascendentes. También ofrece almacenamiento en caché de contenido para acelerar el rendimiento y reducir el trabajo del servidor de modelos. Esta combinación proporciona una seguridad eficiente, pero es posible que los servidores del modelo NGINX Plus y OpenVINO deban competir por recursos cuando se implementan en una sola CPU. Esto puede provocar ralentizaciones o degradación del rendimiento.