AI 추론이 데이터 센터 아키텍처에 미치는 영향

IT 예산은 전략의 생존과 사망을 좌우한다고 합니다. 그렇다면 AI 전략은 여전히 건재하다는 뜻입니다. 

우리의 가장 최근 연구에 따르면 조직은 평균적으로 IT 예산의 18%를 AI에만 할당하고 있습니다. 하지만 그 18%가 어떻게 할당되는지 보면 AI에 대한 전략을 엿볼 수 있습니다.

현재 AI 예산의 약 18%는 AI 서비스, 즉 어떤 종류의 AI 툴을 통합하거나 제공하는 타사 애플리케이션에 사용됩니다. 나머지는 모델(19%), 개발(16%), 보안(9%), 데이터 기술(11%), GPU(9%)에 사용됩니다. 

훈련(50%)과 추론(50%)에 동일한 비용이 분배된다는 점, 그리고 AI가 퍼블릭 클라우드(80%)와 온프레미스(54%)에 분산될 것이라는 사실을 종합해 보면, 조직들이 AI 수명 주기 전체를 지원하기 위해 인프라에 상당한 변화를 계획하고 있다고 추측할 수 있습니다.

그러한 지원에는 네트워크를 새로운 시각으로 보는 것이 필요합니다.

학습과 추론을 모두 지원하는 인프라를 구축하려면 Kubernetes와 같은 최신 애플리케이션 환경과 AI 인스턴스 간, 그리고 모델과 이를 사용하는 애플리케이션 간의 트래픽이 어떻게 흐르는지에 신중하게 주의해야 합니다. 

NVIDIA가 가속 기술(GPU, DPU, IPU 등)을 제공하는 유일한 업체는 아니지만, 참조 아키텍처 분야에서는 선두를 달리고 있습니다. 네트워킹과 확장성 아키텍처에 중요한 영향을 미치는 것은 바로 이러한 세부 사항입니다.