F5, Intel 및 Dell과 함께 AI 추론에 단순성, 보안성 및 성능 추가

조직은 AI로 구동되는 새로운 앱과 워크플로를 구축하려고 합니다. 하지만 이를 성공적으로 운영하는 것은 까다로울 수 있습니다. 여러 AI 프레임워크와 앱 환경은 개발자와 보안 팀에 복잡성을 초래합니다. 그들은 신속한 추론을 보다 쉽게 구축, 실행하고 보안을 강화할 수 있는 솔루션이 필요합니다.

Intel의 OpenVINO™ 툴킷은 더 작은 설치 공간과 한 번 작성하고 어디에나 배포할 수 있는 접근 방식을 제공하면서 AI 추론을 가속화하는 오픈 소스 툴킷입니다. 이는 개발자가 비교적 적은 줄의 코드로 확장 가능하고 효율적인 AI 솔루션을 만드는 데 도움이 됩니다. 개발자는 TensorFlow, PyTorch, ONNX 등의 인기 있는 프레임워크를 사용하여 학습된 AI 모델을 사용할 수 있습니다. OpenVINO를 사용하면 개발자는 모델을 먼저 변환한 다음, 더욱 빠르게 응답할 수 있도록 최적화하고 압축할 수 있습니다. 이제 AI 모델은 OpenVINO 런타임을 애플리케이션에 내장하여 AI 기능을 구현하여 배포할 준비가 되었습니다. 개발자는 다양한 하드웨어 아키텍처의 데이터 센터, 클라우드 또는 에지에 있는 경량 컨테이너를 통해 AI가 주입된 애플리케이션을 배포할 수 있습니다.

개발자는 모델을 애플리케이션과 함께 호스팅하거나 애플리케이션에 내장하는 것을 원하지 않을 수도 있습니다. 애플리케이션 모델은 수시로 업데이트되어야 할 수 있으며 애플리케이션은 애플리케이션이 제공하는 기능을 제공하기 위해 여러 모델을 실행해야 할 수 있습니다. OpenVINO는 클라이언트-서버 아키텍처에서 모델을 제공하기 위한 소프트웨어 정의 고성능 시스템인 OpenVINO 모델 서버를 솔루션으로 제공합니다. OpenVINO 모델 서버의 이점은 다음과 같습니다.

1. 배포 용이성: Docker를 사용한 컨테이너화된 아키텍처 덕분에 OpenVINO 모델 서버로 모델을 배포하는 것이 더 간단하고 확장 가능해졌습니다. 하드웨어 구성과 종속성의 복잡성을 추상화합니다.
2. 확장성: OpenVINO 모델 서버는 클러스터 환경에 배포하여 높은 추론 부하를 처리하고 필요에 따라 수평적으로 확장할 수 있습니다. 이러한 확장성 덕분에 작업 부하가 많을 때에도 추론 성능이 일관되게 유지됩니다.
3. 원격 추론: OpenVINO 모델 서버는 원격 추론을 지원하므로 클라이언트가 원격 서버에 배포된 모델에 대한 추론을 수행할 수 있습니다. 이 기능은 분산 애플리케이션이나 추론을 강력한 서버에서 수행해야 하는 반면 클라이언트 장치의 리소스가 제한된 시나리오에서 유용합니다.
4. 모니터링 및 관리: OpenVINO 모델 서버는 모니터링 및 관리 기능을 제공하여 관리자가 추론 성능, 리소스 활용도를 추적하고 배포된 모델을 효과적으로 관리할 수 있도록 합니다.

OpenVINO는 AI 모델의 최적화, 배포, 확장을 간소화하지만, 프로덕션에서 실행하려면 보안도 필요합니다. F5 NGINX Plus는 역방향 프록시 역할을 하여 AI 모델 서버에 대한 트래픽 관리 및 보호 기능을 제공합니다. 고가용성 구성과 활성 상태 검사를 통해 NGINX Plus는 앱, 워크플로 또는 사용자의 요청이 운영 가능한 OpenVINO 모델 서버에 도달하도록 보장할 수 있습니다. 또한 성능 저하 없이 HTTPS 및 mTLS 인증서를 사용하여 사용자 애플리케이션과 모델 서버 간의 통신을 암호화할 수 있습니다.

동일한 호스트 서버나 가상 머신에 배포되는 경우 NGINX Plus는 들어오는 트래픽을 필터링하고 업스트림 컨테이너의 상태를 모니터링합니다. 또한, 성능을 높이고 모델 서버의 작업을 줄이기 위해 콘텐츠 캐싱 기능도 제공합니다. 이러한 조합은 효율적인 보안을 제공하지만 NGINX Plus와 OpenVINO 모델 서버는 단일 CPU에 배포되는 경우 리소스를 놓고 경쟁해야 할 수 있습니다. 이로 인해 속도 저하 또는 성능 저하가 발생할 수 있습니다.