직접 제어하는 인프라에서 AI 팩토리를 운영하세요

엔터프라이즈 AI 팩토리는 조직이 자체 애플리케이션과 에이전트에 사용할 모델을 학습하고 미세 조정하며 서비스하기 위해 자체 데이터 센터, 코로케이션 시설 또는 전용 클라우드 환경에서 직접 제어하는 GPU로 운영하는 AI 인프라입니다. 조직은 민감한 데이터를 내부에 보관하고, 규제 요건을 충족하며, 규모 확장에 따른 비용을 관리하거나 모델을 맞춤화하기 위해 이를 구축합니다. 이를 통해 AI는 조직이 직접 운영하는 플랫폼이 되며, 다른 프로덕션 시스템과 동일한 수준의 서비스 제공 및 보안 요건을 충족해야 합니다.

GPU가 데이터를 기다리며 유휴 상태에 머물지 않도록 스토리지 경로도 다른 프로덕션 트래픽과 동일하게 관리하세요. S3 엔드포인트 앞에 로드 밸런서를 배치하면 작업이 특정 스토리지 노드에 집중되지 않고 여러 노드로 분산됩니다. 또한 노드나 사이트에 장애가 발생해도 작업을 재시작하지 않고 페일오버할 수 있으며, 정책에 따라 사이트와 클라우드 간 트래픽을 라우팅할 수 있습니다. 데이터 경로는 공격 경로이기도 하므로 S3 API도 보호하세요.

기업 전반에서 GPU를 공유하려면 GPU를 풀로 구성하고 각 팀에 격리된 영역과 할당량을 제공하세요. Kubernetes 네임스페이스와 쿼터로 스케줄링을 관리하고, 네트워크 수준의 격리로 팀별 트래픽을 분리하며, 팀별 토큰 기반 제한으로 특정 팀의 워크로드가 다른 팀의 리소스를 잠식하지 않도록 합니다. 여기에 추론 특성을 고려한 라우팅을 적용하면 요청별 처리 부하에 따라 요청을 분산하여 공유 GPU를 균등하게 활용할 수 있습니다.

온프레미스에서 LLM을 안전하게 실행하려면 모델을 프로덕션 파이프라인의 한 구성 요소로 다뤄야 합니다. 네트워크에서 팀과 환경을 분리하고, 모델과 에이전트가 클러스터 외부에서 접근할 수 있는 대상을 제어하며, 런타임에 프롬프트와 응답을 검사해 인젝션 공격과 데이터 유출을 탐지하세요. 또한 배포 전에 모델과 에이전트를 대상으로 적대적 테스트를 수행하고, 이를 외부에 노출하는 API를 보호하세요. 그런 다음 각 경계를 통과한 내용을 로그로 기록하세요.

아니요, 엔터프라이즈 AI 팩토리에 DPU가 반드시 필요한 것은 아닙니다. BIG-IP Next for Kubernetes는 대부분의 엔터프라이즈 AI 플랫폼이 기반으로 삼는 표준 호스트 CPU와 Kubernetes에서 실행되며, F5 데이터 전송 기능은 BIG-IP 소프트웨어, VELOS 및 rSeries에서 실행됩니다. NVIDIA BlueField DPU는 네트워킹 데이터 경로를 호스트에서 분리하고 하드웨어 수준의 격리를 추가하므로, 인프라 규모가 커질수록 도입 가치가 높아집니다.