멀티 에이전트 시스템의 가능성과 위험

F5 에코시스템 | 2025년 7월 31일

누군가에게 자동차 열쇠를 건네고 장을 봐 달라고 부탁한다고 상상해 보세요. 가게가 가깝고 장보기 목록이 간단하다면 실수할 여지가 거의 없습니다. 하지만 특정 브랜드, 식이 제한, 빠듯한 예산 등 고려해야 할 사항이 늘어나면 작업은 더욱 복잡해집니다. 이처럼 겉보기에는 평범한 일이 잘못될 경우, 무단 구매부터 차량이 완전히 파손되는 사고까지 다양한 결과로 이어질 수 있습니다.

현재 많은 조직이 AI 에이전트를 도입하는 과정에서 이와 비슷한 상황에 직면하고 있습니다. 워크플로의 모든 작업을 탁월한 수준으로 수행할 수 있는 에이전트를 만드는 것은 어렵고 비용도 많이 듭니다. 또한 최근까지 에이전트와 도구 간 통신에는 웹 연결에서 HTTP가 하는 역할에 해당하는 AI 분야의 통일된 표준이 없었습니다.

“"멀티 에이전트 시스템은 여러 고도로 전문화된 에이전트에 역할을 분담하고, 이들이 협력하여 더욱 정확하고 관련성 높은 결과를 제공하는 새로운 AI 패러다임입니다."”

다중 에이전트 시스템(MAS)은 여러 고도로 전문화된 에이전트에 책임을 분산하고, 이들이 협력하여 더욱 정확하고 관련성 높은 결과를 제공하는 새로운 AI 패러다임입니다. MAS는 각 에이전트의 범위와 접근 권한, 도메인 전문 지식 학습을 의도적으로 제한하고 모듈식 작업 실행을 통해 확장성을 높입니다. MAS의 가능성은 매력적이지만, 조직이 에이전틱 AI에 ‘성의 열쇠’를 넘겨주는 순간 그 가능성만큼이나 수많은 보안 과제도 뒤따릅니다. 그 가능성 이면에는 공격 표면의 확대라는 위험과 함께, 에이전틱 AI 시스템의 보안, 신뢰, 책임성을 재고해야 한다는 과제가 도사리고 있습니다.

멀티 에이전트 시스템이란 무엇인가요?

기본적으로 MAS는 분산형 에이전트 AI 시스템을 구축하기 위한 프레임워크입니다. 여러 작업을 비효율적으로 수행하는 모놀리식 AI 에이전트에 의존하는 대신, MAS는 한두 가지 영역에 특화된 에이전트들에게 작업을 분배하며, 이러한 에이전트는 흔히 하위 에이전트의 계층 구조나 클러스터를 이룹니다. 각 에이전트는 자율적으로 행동하면서도 개별 목표와 공동 목표를 달성하기 위해 협력합니다. MAS에서 고려해야 할 주요 에이전트 유형은 다음과 같습니다:

  • 슈퍼 에이전트 – MAS 내에서 워크플로를 조율하는 에이전트입니다. 중앙 집중화 수준은 사용 사례에 따라 달라지며, 일부 단순한 MAS 워크플로에서는 모든 에이전트에 동등한 자율성을 부여합니다.
  • 트리아지 에이전트 – 각 에이전트가 작업을 효과적으로 수행하는 데 필요한 도구와 리소스에 접근할 수 있도록 지원하는 리소스 할당자입니다.
  • 가디언 에이전트 – 책임성을 강화하는 계층으로 작동하는 검증 에이전트로, 결과물의 정확성을 테스트하고 사용자의 의도가 준수되도록 합니다.

MAS가 갑자기 실현 가능해진 이유는 무엇일까요?

분산 시스템이나 전문가 패널이라는 개념은 새로운 것이 아니지만, 최근까지는 AI 에이전트 간 통신에 이를 실현할 통일된 표준이 없었습니다. Anthropic의 모델 컨텍스트 프로토콜(MCP)이 도입되면서 구조화된 소스 전반의 데이터 검색과 도구 접근에 범용 표준이 마련되었고, Google의 에이전트 간(A2A) 프레임워크 덕분에 AI 에이전트는 이제 자연어를 통해 다른 에이전트와 통신할 수 있는 모델 독립적 프레임워크를 갖추게 되었습니다. 간단히 말해 MCP는 에이전트와 데이터 간 통신이고, A2A는 에이전트 간 통신입니다.

MAS 도입이 임박한 세 가지 이유

에이전트형 AI로 긍정적인 투자수익률(ROI)을 달성하는 데 가장 큰 걸림돌은 정확성, 비용, 확장성입니다. MAS는 필연적으로 복잡성을 수반하지만, 이 세 가지 요소를 모두 최적화할 수 있는 가장 유망한 메커니즘 중 하나입니다:

  1. 정확성 – 전문화된 에이전트는 워크플로 요구 사항에 맞게 조정할 수 있는 모듈식 위험 완화 및 품질 보증 계층을 추가합니다. 각 에이전트의 책임 범위를 좁힘으로써 MAS는 모놀리식 모델에 비해 환각이나 오해의 위험을 줄입니다(Yang et al., 2025).
  2. 비용 – 다수의 전문 에이전트를 훈련하는 비용은 범용 에이전트와 비교할 때 달라질 수 있지만, 분산형 MAS 환경에서는 중복 처리와 과도한 처리가 줄어들기 때문에 추론 비용이 낮아질 가능성이 높습니다 (Gandhi, Patwardhan, Vig, & Shroff, 2024).
  3. 확장성 – MAS는 AI 생태계의 확장 방식을 혁신합니다. 전체 시스템을 교체하거나 재학습하는 대신, 새로운 비즈니스 요구에 맞춰 에이전트를 모듈식으로 추가함으로써 비용을 절감할 수 있습니다.

MAS가 제대로 작동할 때

아래 다이어그램을 통해 가상의 사용 사례를 살펴보겠습니다. 여러분이 재무 자문가이고, 고객인 Alice가 자신의 포트폴리오 성과에 대한 맞춤형 보고서를 받아보는 것을 선호한다고 가정해 보세요.

슈퍼 에이전트는 프롬프트를 수신하고 전반적인 의도를 파악한 다음, 필요한 리소스를 결정하기 위해 트리아지 에이전트를 호출합니다. 트리아지 에이전트 또는 규칙 기반 엔진은 사용자별 컨텍스트를 확인하기 위해 CRM 에이전트를, Alice의 국가/지역을 확인하기 위해 현지화 에이전트를, 거래 플랫폼 데이터를 가져오기 위해 포트폴리오 에이전트를 호출하기로 결정합니다. 트리아지 에이전트가 이러한 호출을 진행하기 전에 컴플라이언스 에이전트는 이 작업에서 접근이 허용되는 데이터와 도구를 검증합니다.

멀티 에이전트 시스템은 대부분의 조직이 하이브리드 환경을 사용하는 것과 같은 이유로 도입될 가능성이 높습니다. 즉, 성능, 보안, 비용 관리 간의 균형을 맞출 때 유연성이 다른 대부분의 고려 사항보다 더 중요하기 때문입니다.

이러한 각 다운스트림 에이전트에는 개인화나 뉴스 분석과 같은 특정 작업을 수행하는 하위 에이전트의 추가 계층 구조와 클러스터가 있으며, 일부는 서로 연결되어 작동하는 반면 다른 일부는 독립적으로 운영됩니다.

보고서가 완성되면 규정 준수 에이전트로 전송되어 모든 규제 요건을 충족하는지 확인한 후, 최종적으로 가디언 에이전트 또는 휴먼 인 더 루프 담당자에게 전달되어 결과물이 정확하고 고객의 의도에 부합하는지 검증합니다. 이를 통해 가치 있는 자산을 정확하게 맞춤형으로 제공할 수 있습니다.

MAS에 문제가 생기면 어떻게 될까요?

MAS 워크플로가 최상의 방식으로 처리되지 않는 상황을 가정해 보겠습니다. 에이전트 간의 모든 연결은 표준 API를 통해 이루어지며, 이는 여전히 많은 조직이 노출되어 있는 일반적인 공격 경로입니다.

초기 프롬프트가 인젝션 공격으로 조작되어 Alice의 최종 보고서를 공격자의 이메일 주소로 보내라는 지시가 삽입되었습니다. 규정 준수 에이전트가 이를 탐지한다면 문제가 되지 않겠지만, 보안이 취약한 API 연결로 인해 스푸핑 공격이 가능해집니다. 공격자는 규정 준수 에이전트를 사칭해 후속 에이전트가 Alice의 은행 계좌 및 신용카드 정보에 액세스하도록 승인하고 추가 제한도 해제합니다.

가드레일이 없으면 에이전트의 권한이 기하급수적으로 확대되어, 접근 가능한 모든 정보에 실제로 접근하게 됩니다. 개인화 에이전트는 이제 Alice의 저축 계좌 잔액이 관련 맥락이라고 판단할 수 있으며, 금융 분석 에이전트는 독점 거래 알고리즘과 파트너십 계약을 인접 에이전트에 필요한 입력 정보로 잘못 판단할 수도 있습니다.

검증을 위해 인간 참여형(human-in-the-loop) 또는 가디언 에이전트에 도달했을 때, 출력은 정확하고 사용자의 의도에도 부합해 보입니다. 하지만 그 과정에서 연결 전반에 걸쳐 신뢰가 무분별하게 전파되고, 정보가 노출되며, 권한이 확대되는 결과가 발생합니다. 단 하나의 간단한 요청으로 고객 및 파트너와의 신뢰가 훼손되고 수많은 취약점이 드러난 것입니다.

현실은 정밀함과 위험 사이 어딘가에 있다

멀티 에이전트 시스템의 일반적인 운영 방식은 이 두 사례의 중간 지점에 해당합니다. 출력의 정확도는 눈에 띄게 향상되지만, 공격 표면을 보호하기는 훨씬 더 어려워집니다. 이제 완전한 에이전트형 앱을 기술적으로 구현할 수 있게 되었지만, 이러한 시스템의 가장 실용적인 구현 방식은 기존 인프라와 AI 구성 요소를 모두 통합하는 하이브리드 형태가 주를 이룰 것입니다. 이러한 전환은 하루아침에 이루어지지 않겠지만, 이 문제의 복잡성을 고려하면 보상보다 더 큰 위험을 초래하지 않으면서 비즈니스 가치를 제공하는 에이전트형 시스템을 구축하는 방법을 두고 이해관계자들이 선제적으로 협력해야 합니다.

보호를 위한 플레이북

현대 애플리케이션의 역사를 살펴보면 통합과 하이브리드화가 반복되는 주기를 확인할 수 있습니다. 기업은 흔히 모놀리식 플랫폼에 전적으로 의존하는 방식으로 시작하지만, 결국 기능적 요구 사항과 비용 간의 균형을 더 효과적으로 맞출 수 있는 하이브리드 포트폴리오로 전환합니다. 에이전틱 AI도 같은 경로를 따를 가능성이 높습니다. 모놀리식 플랫폼에 대한 초기의 열기는 점차 사그라들고, 온프레미스, SaaS, 엣지 전반에 걸친 애플리케이션과 API의 분산형 생태계, 그리고 오늘날 피할 수 없이 나타나는 도구의 난립으로 이어질 것입니다. 이러한 주기를 예측함으로써 조직은 MAS 기반 워크플로와 AI의 분산형 미래에 대비하기 위한 선제적 조치를 취할 수 있습니다.

  1. API 보안 강화 – MCP 연결과 에이전틱 시스템이 등장하면서 API 보안의 필요성이 더욱 커지고 있습니다. 솔루션은 알려진 API와 알려지지 않은 API를 모두 포괄하고, 취약점을 동적으로 탐지하며, 지속적인 가시성을 제공해야 합니다.
  2. 설명 가능성 동작 요구 – AI의 ‘블랙박스’ 문제가 여전히 존재하지만, 의도적으로 범위가 제한된 에이전트에 프로그래밍 가능한 설명 가능성 동작을 결합하면 환각과 유해한 출력의 추적 가능성을 높일 수 있습니다. 에이전트의 출력은 기록해야 하며, 런타임 중 문제가 있는 동작에는 플래그를 지정하고 무단 확산을 방지하기 위해 분석해야 합니다.
  3. 인간 참여형(HITL) 정책 수립 – 잘못된 의사 결정이 큰 영향을 초래하는 작업, 규정 준수를 위해 사람의 관리·감독이 필요한 작업, 예외 상황에 대한 확립된 프로토콜이 없는 작업에 적용됩니다. 가디언 에이전트는 인간의 지능을 대체할 수 없으며 공격자에게 매력적인 표적이 될 수 있습니다. 병목 현상을 방지하면서 위험을 특정 임계값 이하로 유지하는 가장 안전한 방법은 여전히 HITL을 통합한 기존의 규칙 기반 시스템입니다. 설정된 임계값 아래에서는 위험을 더욱 완화하기 위해 가디언 에이전트를 제한적으로 사용하는 것이 가장 바람직하지만, 조직은 에이전트가 제공하는 위험 완화 효과와 에이전트가 침해되는 최악의 시나리오를 비교하여 평가해야 합니다.
  4. 민감한 데이터에 제로 트러스트 적용 – 최소 권한 액세스 원칙을 적용하여 에이전트가 액세스하고 공유할 수 있는 데이터를 제한하고, 권한 상승을 억제하기 위해 권한을 지속적으로 검증하며, 모든 단계와 에이전트에서 침해가 발생할 수 있다고 가정합니다.
  5. 분산된 도구 통합 - 오늘날 난립하는 도구 환경에 빠르게 확산되는 에이전트가 도입되면서, 더 이상 임시방편식 솔루션만으로는 가시성을 확보할 수 없습니다. 조직은 새롭게 확장된 공격 표면 전반에서 강력한 보안 태세를 유지하는 데 필요한 도구와 가시성을 보안 전문가에게 제공할 수 있도록, 이를 통합하는 단일 보안 플랫폼에 투자해야 합니다.

레드팀 활동만으로는 에이전트 확산 문제를 해결할 수 없습니다

비결정적 출력을 생성하는 시스템은 결정론적 솔루션으로 보호할 수 없습니다. 결정론적 출력에 의존하는 기존 테스트 방식으로는 실행할 때마다 일관된 결과를 내놓지 않는 기술에 제대로 대응할 수 없습니다. 또한 단일 조직이 워크플로에 포함된 API나 에이전트 대부분을 소유하거나 통제하기 어렵다는 현실을 고려하면, MAS에는 더욱 포괄적인 보안 접근 방식이 필요합니다.

멀티 에이전트 시스템은 정확성을 높이는 대신 복잡성을 증폭시킵니다. 새로운 연결이 추가될 때마다 위험이 발생하고, 신뢰 경계가 늘어날 때마다 취약성이 커지며, 에이전트가 추가될 때마다 공격 표면이 확대됩니다. 하지만 여러 측면에서 새로운 규칙은 여전히 기존 규칙과 다르지 않으며, 이제는 이를 준수하는 것이 더욱 중요해졌을 뿐입니다. API 보안, 제로 트러스트 적용, 시스템 동작 모니터링은 MAS 도입이 가속화될수록 더욱 중요해지는 기본적인 보안 관행입니다.

광범위한 도입이 하루아침에 이루어지지는 않겠지만, 이러한 상황에 대비해 보안 스택을 준비하면 조직은 MAS 도입에 대응할 수 있을 뿐만 아니라 현대 시스템이 갈수록 더 많이 직면하는 위협에도 효과적으로 대처할 수 있습니다.

AI 배포로 인해 이미 공격 표면이 확대되었으며, 오늘 보호하는 시스템이 미래 방어 체계의 기반이 될 것입니다. AI 애플리케이션을 대규모로 배포하면서, F5가 어디서나 AI 애플리케이션을 제공하고 보호하는 방법을 알아보세요.

공유
태그: 2025

작성자 소개

관련 블로그 게시물

성평등을 향한 여정: 사이버 보안 분야에서 성공적인 커리어를 개척하는 방법에 관한 Jenn Gile과의 Q&A
F5 에코시스템 | 2023. 07. 13.

성평등을 향한 여정: 사이버 보안 분야에서 성공적인 커리어를 개척하는 방법에 관한 Jenn Gile과의 Q&A

F5의 ‘성평등을 향한 여정’ 시리즈 네 번째 Q&A에서는 Rachael Shah와 NGINX 제품 마케팅 책임자 Jenn Gile이 사이버 보안 직종에 대한 오해를 바로잡고, 사이버 보안 분야의 성별 격차를 해소하기 위한 조언과 그 이점에 대해 이야기합니다.

TLS 검사에서 피터 파커 원칙 다루기
F5 에코시스템 | 2019. 12. 09.

TLS 검사에서 피터 파커 원칙 다루기

“큰 힘에는 큰 책임이 따른다.” 볼테르와 처칠도 이와 비슷한 말을 남겼지만, 이 문구는 스파이더맨 코믹스에서 벤 삼촌의 말로 가장 널리 알려져 있습니다. 물론 이 문구가 문화적으로 널리 통용되는 이유 중 하나는 TLS 검사를 비롯해 수많은 상황과 주제에 적용할 수 있기 때문입니다.

Venafi와 F5를 통한 머신 아이덴티티 보호
F5 에코시스템 | 2018. 12. 11.

Venafi와 F5를 통한 머신 아이덴티티 보호

‘머신 아이덴티티’란 간단히 말해 자동화된 프로세스가 자신의 신원을 식별할 수 있도록 하고, 다른 자동화 시스템과 프로세스가 관련 리소스에 적절한 수준의 접근 권한을 부여하도록 하는 방법을 의미합니다. 이 개념 자체는 새로운 것이 아닙니다. 비교적 새로운 점은 이를 구현해야 하는 규모입니다.

마이너와 미니언: 데이터 유출만이 비용을 초래하는 것은 아닙니다
F5 에코시스템 | 2018. 07. 23.

마이너와 미니언: 데이터 유출만이 비용을 초래하는 것은 아닙니다

물론 데이터 유출은 더 큰 비용을 초래할 수 있고(적어도 지금은), 실패 사실을 세상에 드러낼 수밖에 없게 합니다(통지 의무가 있으니까요). 하지만 보안을 단순히 데이터 노출 문제로만 봐서는 안 됩니다. 요즘은 데이터가...

내 클라우드에서 나가!
F5 에코시스템 | 2016. 10. 12.

내 클라우드에서 나가!

F5의 Jay Kelley가 전하는 최신 소식에는 Microsoft Office 365용 신규 ID 및 액세스 솔루션을 배포할 때 고려해야 할 사항이 정리되어 있습니다.

Shift(웹 앱) 보안 레터
F5 에코시스템 | 2015. 07. 06.

Shift(웹 앱) 보안 레터

웹 앱 보안을 개발 초기 단계로 앞당기세요. F5 블로그에서 DevOps 파이프라인 초기에 보안을 통합하여 취약점을 예방하고 시간을 절약하는 방법을 알아보세요.