Intel OpenVINO를 통한 향상된 AI 추론 보안: Intel IPU, F5 NGINX Plus, Red Hat OpenShift 활용

본질적으로 이 설정은 중요한 인프라 작업을 Intel IPU에 오프로드하여 AI 추론을 극대화하도록 설계되었습니다. 이를 통해 Intel OpenVINO 추론 서버를 실행하는 호스트 시스템은 실제로 중요한 것, 즉 빠르고 정확한 추론 결과를 제공하는 데 리소스를 전념할 수 있습니다. F5 NGINX Plus와 Red Hat의 Enterprise Linux OS, OpenShift, MicroShift와 결합된 이 시스템은 성능, 확장성, 보안의 고유한 균형을 달성합니다.

워크플로 자체가 매력적이긴 하지만, 아키텍처상의 이점이 더 큰 가치를 더해줍니다. 인프라 작업을 IPU로 이전함으로써 이 솔루션은 성능상의 이점과 관리자의 책임 분담을 모두 제공합니다.

Intel IPU에 NGINX Plus를 배포하는 가장 중요한 이점 중 하나는 호스트 시스템의 CPU에서 인프라 작업을 오프로드하는 것입니다. 트래픽 라우팅, 암호 해독, 액세스 제어와 같이 리소스를 많이 소모하는 작업은 전적으로 IPU에서 처리됩니다. 즉, 호스트 CPU는 추가 Intel OpenVINO 추론 모델을 실행하거나 리소스를 많이 사용하는 AI 프로세스를 처리하는 등 애플리케이션별 워크로드에 집중할 수 있는 사이클이 훨씬 더 많아집니다.

실제 상황에서는 이는 값비싸고 고성능인 서버 하드웨어를 더 잘 활용할 수 있다는 것을 의미합니다. 호스트 CPU는 백그라운드 인프라 작업으로 인해 부담을 받는 대신 가장 중요한 작업에 대해 최대 용량으로 작동할 수 있습니다.

이 솔루션의 또 다른 고유한 이점은 인프라 서비스와 애플리케이션 워크로드를 분리한다는 것입니다. NGINX Plus, 네트워크 관리, 액세스 제어와 같은 모든 인프라 작업을 Intel IPU에서 실행하고 Intel OpenVINO 추론 서버를 호스트에 유지함으로써 제어 평면의 책임 간에 명확한 "명확한 경계"를 만들었습니다.

Intel OpenVINO 애플리케이션 관리자는 추론 워크로드 관리, AI 모델 배포 및 확장, 애플리케이션 수준 성능 최적화를 담당합니다. 인프라 관리자는 Intel IPU 환경을 감독하고, 라우팅을 관리하고, 액세스 제어(FXP 규칙을 통해)를 시행하고, NGINX Plus 인스턴스를 구성하여 인프라 서비스가 안전하고 효율적으로 작동하도록 보장합니다.

이러한 업무 분리를 통해 모호성을 없애고, 조직 간 협업을 강화하며, 각 관리자가 각자의 전문 분야에만 집중할 수 있습니다.

이러한 이점을 모두 합치면 이 솔루션은 실용적일 뿐만 아니라 리소스 활용도와 보안을 최고 수준으로 유지하면서 엔터프라이즈 AI 워크플로를 확장하는 데 효율적입니다.

이 시스템의 가장 두드러지는 측면 중 하나는 Red Hat MicroShift와 OpenShift DPU Operators를 활용하여 구성과 확장을 실질적으로 손쉽게 만드는 방식입니다. 솔직히 말해서, 이런 종류의 자동화가 실제로 작동하는 걸 보면 마법처럼 느껴집니다. 간단히 설명하자면 다음과 같습니다.

두 개의 클러스터가 있습니다. 호스트 시스템에서 실행되는 OpenShift 클러스터가 있습니다. 구체적으로 말하면, 이것은 OpenShift 워커 노드이고 Dell R760에서 실행됩니다. 두 번째 클러스터는 MicroShift 클러스터입니다. 이는 Intel IPU의 Arm 코어에 배포됩니다. OpenShift의 이 가벼운 버전은 전체 Kubernetes 환경의 오버헤드 없이 컨테이너의 유연성을 제공합니다.

이러한 클러스터는 DPU 운영자를 통해 함께 작동하며, DPU 운영자는 보이지 않는 힘든 작업을 수행합니다. 그들은 서로 대화하며 활성 포드와 네트워크에 대한 데이터를 교환합니다. 이러한 연결은 보안 및 트래픽 규칙을 동적으로 관리하는 데 특히 중요합니다.

개발자의 작업을 정말 편리하게 해주는 부분은 바로 동적 규칙 생성 기능입니다. 이전에는 FXP 규칙(PCIe 트래픽에 대한 액세스 제어를 관리하는 데 사용됨)을 설정하려면 수동 작업과 P4 프로그래밍에 대한 지식이 필요했습니다. 이제 여러분이 해야 할 일은 워크로드를 배포하는 것뿐이며, 운영자가 모든 것을 자동으로 처리합니다.

적절하게 태그된 OpenVINO 추론 포드가 배포될 때마다 운영자는 동적으로 새로운 FXP 규칙을 생성합니다. 이러한 FXP 규칙은 PCIe 버스를 통한 통신을 허용하고, 작업 부하가 늘어나거나 줄어들면 시스템이 자동으로 이러한 액세스 규칙을 조정하여 구성에서 추측 작업을 제거합니다.

이러한 수준의 자동화는 개발자부터 시스템 관리자까지 누구나 인프라 구성의 복잡한 부분에 갇히지 않고 AI 워크로드에 집중할 수 있다는 것을 의미합니다.

이제 AI 추론을 위해 이 전체 시스템이 어떻게 작동하는지 자세히 살펴보겠습니다. Intel OpenVINO 딥러닝 배포 툴킷을 사용하여 이미지에서 동물 종을 인식하는 예를 살펴보겠습니다. 워크플로는 단계별로 다음과 같습니다.

먼저, 암호화된 이미지 데이터가 GRPCS API 호출을 통해 AI 클라이언트에서 전송됩니다. Intel IPU에서 실행되는 NGINX Plus는 데이터를 복호화하고 트래픽 프록시 역할을 합니다. 그런 다음 이 트래픽은 PCIe 버스를 통해 Dell R760에 호스팅된 Intel OpenVINO 추론 서버로 안전하게 흐릅니다. Intel OpenVINO 추론 서버는 ResNet AI 모델을 사용하여 이미지를 처리하여 각 사진의 종을 판별합니다. 예를 들어, "이것은 골든 리트리버입니다" 또는 "저것은 얼룩 고양이입니다"라고 추론할 수 있습니다. 결과는 NGINX Plus를 거쳐 클라이언트로 다시 전송됩니다.

이 시스템은 여러 AI 클라이언트가 동시에 대량의 이미지를 처리하도록 설정할 수 있습니다. 루프에서 추론 요청을 실행하는 여러 클라이언트가 있는 경우에도 시스템은 보안, 원활함, 응답성을 유지합니다.

이 시스템의 주요 이점 중 하나인 보안에 대해 이야기해 보겠습니다. Intel IPU는 단순히 트래픽을 처리하는 것이 아니라 호스트에서 실행되는 추론 워크로드와 인프라 간의 통신을 적극적으로 보호합니다.

작동 원리는 다음과 같습니다. IPU는 FXP 규칙을 사용하여 PCIe 인터페이스 전반의 트래픽을 제어합니다. DPU 운영자가 관리하는 이러한 동적으로 생성된 규칙에 의해 승인된 트래픽만 흐름이 허용됩니다. 이를 통해 호스트 시스템에 대한 무단 액세스를 차단하는 동시에 안전한 통신이 보장됩니다. 이러한 종류의 다층적 보안은 특히 AI 파이프라인을 통해 민감한 데이터를 처리하는 기업의 위험을 완화하는 데 도움이 됩니다.

저는 이 솔루션의 매력이 성능, 자동화, 보안이 완벽하게 조화를 이룬 데 있다고 생각합니다. Intel, Red Hat, F5는 호스트 머신에서 추론 워크로드를 호스팅하는 동시에 IPU에서 인프라 관리를 격리함으로써 효율적이고 안전한 설정을 만들어냈습니다.

이 구성을 게임 체인저로 만드는 요소는 다음과 같습니다.

• 간소화된 설정: 수동 구성은 잊어버리세요. DPU 연산자와 동적 규칙 생성 기능을 갖춘 이 시스템은 플러그 앤 플레이에 가장 가깝습니다.
• 동적 크기 조정: 추론 포드를 하나 실행하든 20개 실행하든 통신 및 보안 규칙은 자동으로 조정됩니다.
• 강화된 보안: 인프라와 워크로드를 엄격하게 분리하고 PCIe 버스의 액세스 제어를 결합하면 강력한 보안 경계가 형성됩니다.
• 최적화된 리소스 활용: 인프라 작업을 IPU에 오프로드하면 호스트 CPU가 우선 순위가 높은 컴퓨팅 작업에 집중할 수 있습니다.
• 명확한 책임 분담: 관리자는 서로의 업무를 방해하지 않고 애플리케이션이나 인프라 등 자신의 도메인에 집중할 수 있습니다.