Ingress Controllers를 사용하여 Kubernetes에서 AI/ML 워크로드 확장, 보안 및 모니터링

AI와 머신 러닝(AI/ML) 워크로드는 기업의 운영 및 혁신 방식에 혁명을 일으키고 있습니다. 쿠버네티스컨테이너 오케스트레이션 및 관리의 사실상 표준인 는 하이브리드 멀티 클라우드 환경에서 확장 가능한 대규모 언어 모델(LLM) 워크로드 및 추론 모델을 구동하기 위한 최고의 플랫폼입니다.

Kubernetes에서 Ingress 컨트롤러는 컨테이너화된 애플리케이션을 제공하고 보호하는 데 중요한 역할을 합니다. 쿠버네티스 클러스터의 가장자리에 배포되어 사용자와 애플리케이션 간의 통신을 처리하는 중심점 역할을 합니다.

이 블로그에서는 Ingress 컨트롤러와 Kubernetes용 F5 NGINX Connectivity Stack이 AI/ML 워크로드에 대한 모델 제공, 실험, 모니터링 및 보안을 단순화하고 효율화하는 데 어떻게 도움이 될 수 있는지 살펴보겠습니다.

대규모 프로덕션에서 AI/ML 모델 배포

대규모로 AI/ML 모델을 배포할 때 즉시 사용 가능한 Kubernetes 기능과 성능은 다음과 같은 데 도움이 될 수 있습니다.

• AI/ML 애플리케이션 릴리스 수명 주기를 가속화하고 단순화합니다.
• 다양한 환경에서 AI/ML 워크로드 이동성을 지원합니다.
• 컴퓨팅 리소스 활용의 효율성과 경제성을 개선합니다.
• 확장성을 제공하고 프로덕션 준비 상태를 달성합니다.
• 비즈니스 SLA를 충족하도록 환경을 최적화합니다.

동시에 조직은 대규모 프로덕션에서 AI/ML 모델을 제공하고, 실험하고, 모니터링하고, 보호하는 데 어려움을 겪을 수 있습니다.

• 복잡성이 증가하고 도구가 확산되면서 조직이 온프레미스, 클라우드 및 엣지에서 Kubernetes 환경을 구성, 운영, 관리, 자동화하고 문제를 해결하기가 어려워졌습니다.
• Pod 오류 및 재시작, 자동 크기 조정, 매우 높은 요청 빈도와 같은 동적 이벤트로 인한 연결 시간 초과 및 오류로 인해 사용자 경험이 저하됩니다 .
• 집계된 보고와 세부적이고 실시간이며 과거 기록된 지표가 부족하여 복잡한 Kubernetes 환경에서 성능 저하, 가동 중지 시간, 문제 해결 속도가 느리고 어렵습니다.
• 기존 보안 모델은 느슨하게 결합된 분산 애플리케이션을 보호하도록 설계되지 않았기 때문에 하이브리드, 멀티 클라우드 Kubernetes 환경에서 사이버보안 위협에 노출될 위험이 큽니다 .

F5 NGINX Ingress Controller 와 같은 엔터프라이즈급 Ingress 컨트롤러는 이러한 과제를 해결하는 데 도움이 될 수 있습니다. Ingress 컨트롤러, 로드 밸런서, API 게이트웨이 기능을 결합한 하나의 도구를 활용하면 Kubernetes를 어디에서 실행하든 규모에 맞게 더 나은 가동 시간, 보호 및 가시성을 달성할 수 있습니다. 게다가 복잡성과 운영 비용도 줄어듭니다.

NGINX Ingress Controller는 LLM 애플리케이션에 대한 OWASP Top 10 사이버 위협을 완화하고 DoS 공격으로부터 AI/ML 워크로드를 방어하는 데 도움이 되는 F5의 업계 선도적인 Layer 7 앱 보호 기술 과 긴밀하게 통합될 수도 있습니다.

AI/ML 워크로드를 위한 Ingress 컨트롤러의 이점

Ingress 컨트롤러는 다음 기능을 통해 프로덕션에서 AI/ML 워크로드의 배포와 실행을 간소화하고 효율화할 수 있습니다.

• 모델 제공 – Kubernetes 기본 부하 분산, 자동 확장, 속도 제한 및 동적 재구성 기능을 사용하여 중단 없이 앱을 제공합니다.
• 모델 실험 – 블루-그린 및 카나리아 배포와 A/B 테스트를 구현하여 다운타임 없이 새로운 버전과 업그레이드를 출시합니다.
• 모델 모니터링 – 모델 메트릭을 수집, 표현, 분석하여 앱 상태와 성능에 대한 더 나은 통찰력을 얻습니다.
• 모델 보안 – 앱을 사이버보안 위협으로부터 보호하기 위해 사용자 ID, 인증, 권한 부여, 역할 기반 액세스 제어 및 암호화 기능을 구성합니다.

Kubernetes용 NGINX Connectivity Stack 에는 NGINX Ingress Controller 와 F5 NGINX App Protect가 포함되어 있어, 온프레미스와 클라우드에서 AI/ML 애플리케이션을 실행하는 Kubernetes 클러스터와 해당 사용자 간에 빠르고 안정적이며 안전한 통신을 제공합니다. Kubernetes 환경에서 모델 제공, 실험, 모니터링 및 보안을 간소화하고 효율화하여 클라우드 공급자와 사전 패키징된 Kubernetes 서비스의 기능을 향상시키고 규모에 맞게 더 높은 수준의 보호, 가용성 및 관찰성을 제공합니다.

Kubernetes를 위한 NGINX Connectivity Stack 시작하기

NGINX는 사용자의 요구 사항을 충족하고 Kubernetes 플랫폼의 보안, 확장성 및 가시성을 향상시키는 데 필요한 포괄적인 도구와 빌딩 블록 세트를 제공합니다.

Kubernetes용 Connectivity Stack의 무료 30일 체험판을 요청하여 오늘 시작해보세요.