F5 Labs AI 보안 모델 인사이트: 공격자 없이도 AI 에이전트가 데이터를 노출할 때

Malcolm Heath수석 사이버 보안 위협 연구원 | F5

Louise Scully수석 관리자, 제품 마케팅, AI 보안 및 위협 인텔리전스 | F5

AI 에이전트는 자율적으로 작업을 완료하도록 설계되었으며, 운영자가 예상하지 못한 방식으로 목표를 달성할 방법을 찾아내기도 합니다. 최근 발생한 사례들은 주어진 작업을 수행하는 에이전트가 어떻게 예기치 않게 중요 데이터를 노출하거나 원치 않는 워크플로를 실행할 수 있는지 보여줍니다.

이러한 사고가 반드시 악의적인 행동이나 침해된 모델로 인해 발생하는 것은 아닙니다. 에이전트가 정당한 목표를 추구하더라도 접근, 실행 또는 공유할 수 있는 대상에 대한 적절한 통제 없이 작동하면 위험이 발생할 수 있습니다. 그 결과, 공격자가 전혀 개입하지 않아도 민감한 데이터가 대중에게 노출되고, 잠재적으로 악의적인 행위자에게까지 유출될 수 있습니다.

이러한 유형의 위험을 보여 주는 두 가지 사례는 F5 Labs의 10월 AI 보안 인사이트 보고서에서 살펴볼 수 있습니다. 이 월간 보고서는 F5 Labs AI 보안 리더보드를 통해 모델의 복원력을 살펴보고, AI 시스템에 영향을 미치는 새로운 위협과 취약점, 보안 사고도 분석합니다. 또한 외부 공격자의 개입 없이 정상적인 작업을 수행하던 에이전트가 민감한 정보를 노출한 이번 달의 두 가지 사례를 비롯해, 새롭게 등장하는 AI 보안 위협과 사고를 살펴봅니다. 이러한 사고는 보안 위험이 모델의 취약점뿐만 아니라 에이전트의 행동과 이를 관리하는 통제 체계에서도 발생할 수 있음을 보여 줍니다.

의도치 않은 결과의 법칙에 유의하라

이러한 사고 중 하나인 최근의 PixelLeak 유출 사례는 적절한 보안 통제가 적용되지 않을 때 에이전트의 자율적 행동이 초래할 수 있는 위험을 보여줍니다. AI 코딩 에이전트는 일반적으로 개발자의 작업 전후 스크린샷을 풀 리퀘스트에 첨부하는 업무를 맡습니다. 하지만 독점 소유의 이미지이자 민감한 정보가 담겨 있을 수 있는 이미지를 공개 GitHub 저장소에 게시하는 방식으로 이 업무를 수행하리라고는 아무도 예상하지 못했습니다.

에이전트는 이미지 호스팅 서비스에 접근할 때 사람이 사용하는 브라우저 인터페이스 대신 명령줄 인터페이스(CLI)를 사용합니다. 명령줄에서 비공개 풀 리퀘스트에 이미지를 추가할 방법이 없자, 에이전트는 검토자가 접속할 수 없는 링크가 생기지 않도록 하려면 공개 저장소를 만들어야 한다고 판단했습니다. 일부 개발자는 공개 저장소 생성과 연관된 오픈 소스 스크린샷 게시 도구인 gitshot을 사용하기도 했습니다. 해당 연구에 따르면, 피해를 입은 조직 중 약 3분의 1에서 개발자들이 이 도구를 사용하고 있었습니다.

1만 3,000건이 넘는 내부 스크린샷과 녹화물이 900개 이상의 공개 GitHub 저장소에 노출되어 300곳이 넘는 조직이 영향을 받았다. 한 소프트웨어 공급업체에서는 일주일 만에 12개가 넘는 에이전트가 이 우회 방법을 재사용 가능한 스킬로 구현했다. 더 근본적인 보안 문제는 에이전트가 기업의 통상적인 관리·감독 범위를 벗어나 잠재적으로 민감한 자료를 공개 저장소에 게시할 수 있었다는 점이다. 영향을 받은 저장소의 93%가 개인 계정에 속해 있었다는 이번 조사 결과는, 의도된 워크플로나 개발자의 지시에만 의존하기보다 에이전트가 데이터를 게시할 수 있는 위치를 제한하는 통제를 강제 적용하는 것이 중요함을 보여준다.

10월에 보고된 또 다른 사건은 공유 AI 에이전트 환경 내 데이터 노출에 대한 우려를 불러일으켰습니다. 당사자가 직접 전한 내용에 따르면, Grok 기반 개인 비서 에이전트가 소유자의 개인 재무 정보를 공개했습니다. 해당 정보는 에이전트 소유자가 참여하고 있는 업무용 Slack 채널에 게시되었습니다. 이 Grok 봇은 소유자의 은행 계좌를 읽기 전용으로 점검하고 지출을 분석한 뒤, 매월 결과를 보고하도록 되어 있었습니다. 특히 중요한 점은 이 에이전트가 Slack에 연결되어 있지 않았다는 것입니다. 점검 결과는 다른 수단을 통해 소유자에게 전달하도록 되어 있었습니다.

그러나 소유자의 재무 정보는 마치 본인이 직접 게시한 것처럼 회사 Slack 채널에 올라갔고, 동료가 문제를 제기하기 전까지 두 시간 동안 노출되었습니다. 보고된 이 사건의 사실 여부는 아직 확인되지 않았지만, 이는 현실적인 보안 우려를 드러냅니다. 여러 에이전트가 동일한 환경에서 자격 증명, 세션 또는 연동 기능을 공유할 경우, 에이전트별 권한 설정만으로는 충분한 격리를 보장하지 못할 수 있습니다.

재무 봇에는 Slack 접근 권한이 없었지만, 같은 계정의 다른 봇에는 접근 권한이 있었으며, 한 사용자의 모든 봇은 리소스를 공유합니다. 실제로 SpaceXAI 문서에는 별도의 봇을 보안 경계로 사용해서는 안 된다는 경고가 명시되어 있습니다. 보고된 이번 사건은 공유 환경에서 에이전트별 권한이 충분한 보호를 제공하는지에 대한 의문을 제기합니다. 에이전트가 공통 인증 정보, 세션 또는 리소스에 접근할 수 있는 경우, 조직은 실효성 있는 격리 및 권한 부여 통제가 적용되고 있는지 평가해야 합니다.

공격자가 없어도 위험은 존재한다

이러한 사례는 중요한 차이점을 보여줍니다. 모델이 적대적 공격에 강하다고 해서 이를 기반으로 구축된 모든 애플리케이션이나 에이전트의 보안이 보장되는 것은 아닙니다. 모델의 복원력은 중요한 고려 사항이지만, 보안은 배포된 AI 시스템을 관리하는 권한, 통합 방식, 통제 수단에도 좌우됩니다.

F5 Labs의 종합 AI 보안 지수(CASI)는 프롬프트 인젝션과 탈옥을 비롯한 적대적 공격에 대한 모델의 저항력을 측정합니다. 에이전트 저항력 점수(ARS)는 복잡한 다단계 에이전트 기반 공격에 대한 복원력을 평가합니다. 두 지표 모두 적대적 공격에 대한 복원력을 보여 주는 유용한 근거를 제공하지만, 배포된 에이전트와 관련된 모든 권한, 통합 또는 실행 제어를 평가하기 위한 것은 아닙니다.

이러한 구분이 중요한 이유는 에이전트가 커넥터, 자격 증명, 공유 리소스, 권한으로 이루어진 더 큰 시스템 안에서 작동하기 때문입니다. 10월 연구는 이러한 주변 통제 장치의 취약점이 공격자의 개입 없이도 의도치 않은 정보 유출로 이어질 수 있음을 보여 줍니다. 또한 GitSpawn과 GitLab AI Gateway 취약점을 비롯해, 필요할 때 제대로 적용되지 않은 신뢰 경계나 실행 경계를 공격자가 악용할 수 있었던 다른 사례도 제시합니다. 이 사례들이 공통으로 주는 교훈은 위험한 행동이 정상적인 작업을 수행하는 에이전트에서 비롯되든, 취약점을 악용하는 공격자에게서 비롯되든 관계없이 보안 경계가 실질적으로 작동해야 한다는 것입니다.

CISO는 모델 자체를 넘어 더 넓은 범위를 평가해야 합니다. 위협 모델링은 신원, 권한 부여, 도구 접근, 공유 환경, 자율적 행동의 결과를 포함해 에이전트 아키텍처 전반을 다뤄야 합니다. 주로 악의적인 침입에 초점을 맞춘 탐지 방식은 적법한 권한을 가진 에이전트가 수행하는 유해한 행동을 놓칠 수도 있습니다. 모델 수준에서 적대적 공격에 대한 강력한 복원력을 확보하는 것은 중요하지만, 이것이 배포된 에이전트가 무엇에 접근하고, 무엇을 실행하며, 어떤 정보를 공개할 수 있는지에 대한 통제와 모니터링을 대신할 수는 없습니다.

악의적 공격 없이도 발생하는 위험으로부터 조직을 보호하세요

이러한 결과는 조직이 에이전트의 의도된 동작이나 모델의 보안 점수에만 의존해서는 안 되는 이유를 보여줍니다. 최고정보보호책임자(CISO)는 자율 에이전트가 취할 수 있는 모든 행동을 예측할 수는 없지만, 강제 적용 가능한 경계를 설정하고 검증함으로써 예상치 못한 동작의 영향을 줄일 수 있습니다. 다음 다섯 가지 영역에 주목해야 합니다:

1. AI 보안의 정의를 확장하세요. 모델의 복원력과 함께 에이전트 ID, 권한 부여, 격리, 리소스 접근, 실행 환경을 포함한 AI 시스템 전반의 보안을 평가하세요. 이 두 가지 보안 평가는 서로 구별되지만 상호 보완적입니다.
2. AI 인프라 전체를 고려하세요. AI 게이트웨이, 템플릿 엔진, 에이전트 오케스트레이션 서비스를 자산 목록, 취약점 관리, 패치 프로세스 및 특권 접근 권한 검토 대상에 포함하세요. 10월에 발견된 GitLab AI Gateway 취약점은 이러한 구성 요소를 보안상 중요한 인프라로 취급해야 하는 이유를 보여줍니다.
3. 기술적 경계를 엄격히 적용하세요. 특히 에이전트가 리소스를 공유하는 환경에서는 프롬프트 지침과 에이전트별 설정이 효과적인 격리 및 권한 부여를 대신할 수 없습니다. 에이전트가 산출물을 게시할 수 있는 위치를 제한하고, 에이전트가 만든 재사용 가능한 스킬을 검토하며, 에이전트의 작업이 실제로 어떤 결과를 생성하는지 모니터링하세요.
4. 실행 전에 통제 장치를 검증하세요. 잠재적으로 위험한 작업이 발생하기 전에 신뢰 및 승인 통제 장치가 작동하는지 확인하세요. 10월에 발견된 GitSpawn 문제에서는 모델의 도구 호출 없이도 저장소 설정으로 인해 에이전트 시작 중 관련 신뢰 검사가 수행되기 전에 코드가 실행될 수 있었습니다. 이를 고려하여 시작 시 동작, 개발자 엔드포인트 권한, 소프트웨어 공급망 경로를 검토하세요.
5. 모델과 에이전트 환경이 변경되면 다시 평가하세요. 10월 CASI 결과에 따르면 동일한 모델 제품군 내에서도 차이가 나타났습니다. GPT-6 Luna는 93.52점, Astra는 89.62점, Sol은 88.22점을 기록했습니다. 따라서 모델 변형별로 개별적인 보안 평가가 필요합니다. 에이전트 권한, 통합 구성, 인프라에도 중대한 변경이 발생하면 다시 평가해야 합니다. F5 AI Red Team을 비롯한 적대적 테스트는 취약점을 식별하는 데 도움이 될 수 있지만, 에이전트의 동작을 관리하는 운영 통제에 대한 점검도 반드시 병행해야 합니다.

10월의 분석 결과는 최고정보보호책임자(CISO)에게 실무적인 교훈을 다시 한번 강조합니다. 모델의 복원력, 에이전트의 동작, AI 배포 환경의 통제 수단을 종합적으로 평가해야 한다는 것입니다. 적대적 공격에 대한 복원력 점수가 높더라도 권한, 통합 또는 인프라에서 발생하는 위험까지 사라지는 것은 아닙니다.

Read the F5 Labs의 10월 AI 보안 인사이트 보고서를 읽고 최신 CASI 및 ARS 결과, 새롭게 등장하는 공격 기법, AI 시스템 취약점 분석을 살펴보세요.

조직을 보호하는 데 F5 AI Security Platform이 어떻게 도움이 되는지 알아보세요. 또한 지난달 F5 Labs 위협 인텔리전스 인사이트 블로그도 꼭 읽어보세요. 이 글에서는 CISO가 모델 배포 전후에 평가해야 하는 다양한 보안 지표를 중점적으로 다뤘습니다.

작성자 소개

Malcolm Heath수석 사이버 보안 위협 연구원 | F5

Malcolm Heath는 F5 Labs의 수석 위협 연구원입니다. 그는 대기업과 소기업을 아우르는 여러 회사에서 인시던트 대응, 프로그램 관리, 침투 테스트, 코드 감사, 취약점 연구 및 익스플로잇 개발 업무를 수행해 왔습니다. F5 Labs에 합류하기 전에는 F5 SIRT에서 선임 보안 엔지니어로 근무했습니다.

Malcolm Heath의 다른 블로그 게시물

Louise Scully수석 관리자, 제품 마케팅, AI 보안 및 위협 인텔리전스 | F5

Louise Scully는 F5에서 AI 보안 및 위협 인텔리전스 제품 마케팅을 담당하는 시니어 매니저입니다. AI 보안 및 엔터프라이즈 기술 분야에서 제품 마케팅, 제품 관리, 시장 진출 전략, 커뮤니케이션, 사고 리더십, 카테고리 개발 등 폭넓은 경력을 쌓았습니다. F5에 합류하기 전에는 CalypsoAI와 Artomatix에서 마케팅을 총괄하며 AI 기술과 연구 성과의 시장 출시를 이끌었습니다.

Louise Scully의 다른 블로그 게시물