엔터프라이즈 환경에서 LLM 배포하기: 프라이빗 클라우드에서 API를 통한 배포

F5 ADSP | 2023년 9월 06일

전문적인 보호 장치나 보안 프로토콜 없이 생성형 AI(GenAI) 모델, 특히 대규모 언어 모델(LLM)을 전사적으로 도입하는 것은 어떤 조직에나 위험이 큰 만큼 큰 성과를 기대할 수 있는 기회입니다. 조직이 GenAI 환경으로 나아가는 이 중대한 단계를 구체적으로 어떻게 추진할지는 신중하게 계획해야 합니다.

조직 차원에서는 구성이나 설치 문제를 피하기 위해 서비스형 소프트웨어(SaaS) 방식에 따라 공급자를 통해 AI 모델을 이용하는 편이 더 나을 수 있습니다. 또는 조직의 프라이빗 클라우드나 온프레미스 환경에 모델을 배포하여 API 구성과 관리를 직접 제어하는 방식이 더 적합할 수도 있습니다.

이 블로그 시리즈에서는 어떻게?라는 질문을 다룹니다. 조직이 투자 수익을 극대화하려면 전사적으로 LLM을 어떻게 배포해야 할까요? 각 블로그에서는 일반적인 배포 프레임워크 한 가지의 장단점에 관한 정보를 제공하여, 회사의 조직 및 사업 구조와 구체적인 비즈니스 요구 사항을 고려해 해당 프레임워크를 검토할 수 있도록 돕습니다.

클라우드와 API의 정의

‘클라우드’라는 용어는 널리 사용되는 만큼 흔히 오해되기도 하므로, 여기서 클라우드가 무엇을 의미하는지 명확히 하고자 합니다. 클라우드는 전 세계 수많은 데이터 센터에 위치한 방대한 물리적 서버의 집합입니다. 이러한 원격 서버는 애플리케이션 실행, 데이터 저장 또는 관리, 소셜 미디어와 같은 콘텐츠 제공, 스트리밍 서비스나 전문 소프트웨어와 같은 서비스 제공 등 비즈니스에 필수적인 여러 기능을 수행합니다. 각 서버는 고유한 기능을 갖추고 있지만 서로 네트워크로 연결되어 하나의 상호 의존적인 디지털 생태계를 구성하며, 개인과 조직 모두 인터넷에 연결된 모든 기기에서 파일과 데이터에 액세스할 수 있도록 합니다.

한편, 애플리케이션 프로그래밍 인터페이스(API)는 본질적으로 두 장치가 서로 정보를 주고받을 수 있도록 연결해 주는 인터페이스입니다. API 소프트웨어는 장치 간에 전송할 내용(예: 요청을 보내는 클라이언트 장치와 응답을 보내는 서버 장치)을 규정하는 정의와 해당 정보를 전송하는 방식(예: 수신 장치의 URL/엔드포인트 및 요청과 응답 모두에 사용해야 하는 구문/표현/언어)을 정하는 프로토콜로 구성됩니다.

이를 통해 최종 사용자는 시스템이 어떻게 또는 왜 작동하는지 이해하지 않아도 애플리케이션에 로그인해 웹사이트에서 상품을 구매하거나, 차량 호출 서비스를 예약하거나, LLM에 질의를 보내고 답변을 받을 수 있습니다. API는 모니터링하고 보안을 적용할 수 있으므로 클라이언트 기기의 데이터가 서버 기기에 완전히 노출되는 일은 없습니다.

SaaS와 클라우드 기반 서비스의 차이점

이 시리즈의 첫 번째 블로그에서는 서비스형 소프트웨어(Software-as-a-Service), 즉 SaaS 프레임워크를 사용하여 기업 전반에 LLM을 배포할 때의 장단점을 다루었습니다. SaaS 기반 배포 모델과 클라우드 기반 배포 모델은 자체 시스템에서 애플리케이션을 호스팅하는 대신 클라우드를 통해 필요한 소프트웨어에 액세스한다는 점에서 여러모로 유사합니다. 하지만 이 둘을 구분하는 핵심적인 차이는 매우 간단한 개념으로 요약할 수 있습니다. 기본적으로 SaaS는 조직이 ‘클라우드’에서 호스팅되는 타사 소프트웨어 애플리케이션에 액세스하고 이를 사용하는 대가를 지불하는 것을 의미하는 반면, 클라우드 컴퓨팅은 ‘클라우드’에 저장된 조직의 데이터를 타사가 호스팅하고 이에 대한 액세스를 제공하도록 비용을 지불하는 것을 의미합니다.

이점

빠른 배포: 조직에서 사용할 수 있도록 LLM을 구성해 주는 클라우드 서비스는 신속하게 설정할 수 있어 모델을 빠르게 사용할 수 있습니다.

확장성: 클라우드에 배포된 LLM은 수요에 맞춰 자동으로 확장되도록 구성할 수 있으며, 별도의 수동 개입이 필요하지 않습니다.

운영 부담 감소: 설정, 보안, 유지 관리, 업데이트 및 시스템 최적화는 일반적으로 클라우드 제공업체가 담당하므로 IT 팀과 기타 인력이 다른 업무에 집중할 수 있습니다. 접근성: 클라우드 기반 LLM은 인터넷에 연결할 수 있는 곳이라면 어디서든 모든 기기에서 이용할 수 있어 출장 중이거나 원격으로 근무하는 직원에게 유연성을 제공합니다.

비용 효율성: 클라우드 서비스 제공업체는 일반적으로 사용량 기반 요금제를 제공하므로, 사용한 리소스에 대해서만 비용을 지불하면 됩니다. 이는 조직의 수요가 변동하는 경우 특히 중요할 수 있습니다. 또한 조직에서 대규모 컴퓨팅 리소스나 데이터 저장 용량을 자체적으로 확보할 필요가 없습니다.

사전 학습 및 미세 조정된 모델: AI 모델은 더 크고 우수한 데이터 세트를 기반으로 지속적으로 업그레이드되고 학습되며, 사용자 지정 데이터 세트에 맞게 미세 조정할 수 있습니다.

내재된 이중화: 클라우드 환경의 다중 이중화 계층을 통해 서비스 중단으로 인한 데이터 손실 위험이 크게 줄어듭니다.

단점

지연 시간: ‘실시간’의 정의는 클라우드 서비스 제공업체가 운영하는 서버의 위치, 속도 및 컴퓨팅 성능에 따라 달라집니다. 일부 환경에서는 응답 시간이 약간 지연되어도 알아차리지 못할 수 있지만, 다른 환경에서는 미션 크리티컬한 활동에 지장을 줄 수 있습니다.

지속적인 비용: 클라우드 컴퓨팅에는 적지 않은 비용이 들며, 모델의 규모가 커지고 속도가 빨라질수록 컴퓨팅 및 스토리지 리소스 비용도 그에 따라 증가합니다.

공급업체 종속: 단일 공급업체에 의존하는 데에는 위험이 따릅니다. 공급업체의 물리적 보안 및 사이버 보안 태세와 프로토콜은 물론, 서비스 약관이나 기타 정책의 변경, 가격 인상, 서비스 중단과 같은 문제도 중요하게 고려해야 합니다.

결론

클라우드 기반 서비스를 사용하여 기업 전반에 LLM을 배포할 때 얻는 이점이 단점보다 큰지는 조직의 재정적·기술적 자원, 비즈니스 요구 사항, 보안 또는 기타 운영상의 제약을 면밀히 검토한 결과에 따라 결정됩니다. 앞서 게시한 블로그 글 중 일부에서는 조직 내외부의 체계적인 보호 장치, AI 거버넌스 프로그램, 그리고 기타 방법을 통해 이러한 혁신적인 도구를 조직에 안전하게 배포하는 방안을 다루었으며, 기술 생태계의 새로운 길을 헤쳐 나가는 데 도움이 될 수 있습니다.