AI 팩토리를 위한 검색 증강 생성(RAG)

기존 제조 공장과 마찬가지로 AI 팩토리는 서버, GPU, DPU, 스토리지 등의 꼼꼼하게 조율된 인프라를 통해 AI 출력과 모델을 구축하도록 설계되었습니다. AI 팩토리는 훈련과 추론을 지원하여 대규모 AI 애플리케이션을 개발하는 데 필수적입니다. 하지만 RAG를 통합하여 출력의 맥락적 관련성을 강화하면 AI 팩토리의 진정한 잠재력이 발휘됩니다.

자세히 알아보기 전에 검색 증강 생성을 정의해 보겠습니다. RAG는 독점 데이터를 통합하여 AI 모델을 보완하고 상황에 맞는 AI 출력을 제공하는 AI 기술입니다. 애플리케이션 배포가 점점 더 분산되고 하이브리드 및 멀티클라우드 환경에서 호스팅됨에 따라 기업의 데이터는 어디에나 있습니다. AI를 위해 데이터의 전략적 이점을 활용하고자 하는 조직에서는 다음과 같은 의문이 발생합니다. 대규모 언어 모델(LLM)과 같은 AI 모델에 대한 입력을 보강하기 위해 관련 데이터를 어떻게 연결할 수 있을까요? 많은 기업은 이 문제를 해결하고 AI 모델에서 분산 데이터 사일로까지 안전한 고속도로를 구축하기 위해 RAG를 활용하고 있습니다. 이를 통해 최신 정보에 접근하여 시기적절하고 상황에 맞는 결과물을 제공하고 정확성을 높일 수 있습니다. 이러한 요소가 없다면 미세하게 조정된 AI 모델조차도 최신 정보에 접근할 수 없으며, 이러한 정보는 훈련이 완료되자마자 자주 변경됩니다.

몇 가지 예를 들어보죠? 고려해야 할 두 가지는 시각 기반 자율 주행 차량과 LLM이 요청의 맥락적 관련성 부족으로 인해 환각을 보거나 가정을 하는 경우입니다.

자율주행 차량의 경우 추론에는 보행자, 자전거 타는 사람 및 다른 자동차가 있는 거리를 안전하게 주행하기 위해 차량의 위치와 끊임없이 변화하는 주변 환경에 따른 실시간 데이터가 포함되어야 합니다. LLM의 경우 고객 지원 챗봇 사례를 사용하면 변경 로그, 지식 기반, 시스템 상태, 원격 측정과 같은 제품 정보에 대한 액세스와 지원 티켓, 구매 내역, 고객 프로필과 같은 고유한 고객 정보를 결합하면 일반적인 LLM 응답이 귀중한 결과물로 변환됩니다.