에이전트가 도입되면, 기존 보안 모델이 무너집니다

오늘날 대부분의 기업용 보안 도구는 매우 구체적인 가정들을 기반으로 설계되어 있습니다. 이것은 나쁜 것이 아닙니다. 지난 20년간 이 가정들이 수없이 검증되었기 때문입니다. 그 중 핵심은 소프트웨어가 지시대로 작동하고, 사용자는 프로파일링할 수 있으며, 시스템은 알려진 조건 하에서 예측 가능한 방식으로 동작한다는 점입니다. 이 방식은 API, 웹 서버, 그리고 비밀번호 관리가 취약한 사용자를 보호할 때 유효했습니다.

하지만 자율 에이전트가 나타나면 상황이 완전히 달라집니다.

에이전트는 언제나 대본대로 움직이지 않습니다. 항상 고정된 경로만 따르지도 않죠. 그들은 생각하고, 계획하며, 적응합니다. 당신이 주의를 기울이지 않으면 예상 밖 행동도 할 수 있습니다. 그래서 기존 방어 전략은 이제 뒤늦게 지나치게 낙관적이었다고 볼 수 있습니다.

다행히도 보안 연구자들이 이러한 현실에 대응하기 시작했습니다. 그 중 하나의 중요한 징후가 논문으로 나타났습니다. “에이전트형 AI 보안: LLM 에이전트를 위한 위협 모델링.” 단순히 새로운 위협 시나리오를 늘어놓는 대신, 우리는 앞으로 맞닥뜨릴 에이전트 세계에 맞춰 설계된 새로운 운영 체계를 제시합니다.

저희는 실제 환경에서 자율 에이전트를 관리하는 계층적 방안인 SHIELD를 소개합니다. 이는 단순히 공격 벡터 목록이 아니라 거버넌스 설계도입니다. SHIELD에는 다음이 포함됩니다.

• 샌드박싱: 에이전트가 행동하기 전에 다룰 수 있는 도구, 파일, API를 명확히 지정하세요. 엄격한 접근 통제를 반드시 적용해야 합니다. 중요한 원칙인 이 개념은 건전하며, AI 도구 사용 관리를 위한 다양한 시도가 이미 진행 중입니다.
• 사람 개입: 되돌릴 수 없는 조치를 취하기 전에 반드시 체크포인트나 에스컬레이션 경로를 마련하십시오. 대부분 자동화 작업의 기본인 만큼 누구나 당연히 알고 있을 것입니다.
• 인터페이스 제약 조건: 에이전트가 시스템과 상호작용할 때 엄격한 입출력 규칙을 적용합니다. 입력 검증과 응답 검사 같은 내용이네요. 음.
• 실행 추적: 도구 호출, 메모리 상태 변화, 계획 실행 단계를 직접 모니터링하세요. 가시성 확보. 가시성 확보. 가시성 확보.
• 로깅: 결과뿐 아니라 추론 과정과 도구 사용도 기록합니다. 알기 쉬운 약어를 위해 필요하지만, 사실 위의 추적과 연결되며 전체 관찰 전략의 한 부분입니다.
• 결정적 재생: 단순히 무엇이 일어났는지뿐 아니라 왜 그런 일이 발생했는지 추론 세션을 재구성해 감사할 수 있습니다. 에이전트의 '상태'—사실 모든 AI의 상태를 재현하는 일이 거의 불가능하다는 점에서 저는 이 기능이 가능하다는 것을 믿기 어렵습니다. 하지만 만약 가능하다면 정말 멋진 일이 될 것입니다.

아직 초기 단계지만 SHIELD가 잡아낸 핵심은 매우 중요합니다. 에이전트 AI를 다루려면 새로운 통제 지점, 새로운 전제, 그리고 새로운 사고방식이 필요하다는 점입니다. 최근에 이 백서에서 이 부분을 언급한 바 있습니다. 지금은 보안 책임자와 엔지니어들에게 이 말이 정확히 무엇을 의미하는지 짧게 요약해 드리겠습니다.

1. 정적 위협 모델에서 동적 행동 모니터링으로
전통적인 위협 모델은 공격자가 측면 이동, 권한 상승, 페이로드 전달 같은 알려진 패턴을 따를 것으로 간주합니다. 하지만 공격자는 정해진 패턴을 따르지 않습니다. 그들은 상황에 따라 유연하게 대응합니다.

보안팀은 새로운 행동 패턴 모니터링을 시작해야 합니다. 즉, 에이전트가 무엇을 하고 어떻게 판단하는지, 계획된 경로에서 벗어날 때를 추적할 수 있는 원격 측정 시스템을 구축해야 합니다. 의미 기반. 관측 가능성. 이것만으로 충분합니다.

2. 경계 제어에서 런타임 정책 실행까지
LLM 에이전트가 이미 내부에서 도구를 호출하고, 파일에 접근하며, API 요청을 자율적으로 처리할 때는 방화벽과 게이트웨이 보호가 효과를 발휘하지 못합니다.

보안을 런타임에 더 가깝게 이동시켜 작업별 권한 부여, 환경 격리, 그리고 실시간으로 의도 검증을 시행해야 합니다. 정책을 추론처럼 다뤄보십시오. 에이전트가 어떤 행동을 할 수 있는지는 실제로 행동을 결정하는 순간 반드시 확인해야 합니다. 이는 데이터 평면과 제어 평면의 통합이며, 보안이 여기에 직접 관여해야 합니다.

3. 이벤트 기록에서 맥락 포착까지
이해하지 못하면 보호할 수 없습니다. 에이전트에서는 단순한 로그보다 더 많은 정보가 필요합니다. 프롬프트 체인, 도구 호출 메타데이터, 메모리 스냅샷, 실행 맥락을 모두 기록하고 추적할 수 있어야 합니다. 맥락이 곧 새로운 경계입니다.

왜 에이전트가 새벽 2시에 다섯 건의 미팅을 잡고 공급업체에 이메일을 보냈는지 알고 싶나요? 의사결정 과정을 다시 실행해봐야 알 수 있습니다. 그건 단순한 관찰이 아닙니다. 에이전트 포렌식입니다.

4. 코드 검토에서 행동 테스트까지
에이전트 논리는 코드가 아니라 가중치, 프롬프트, 도구, 그리고 상황의 조합에 달렸습니다. 따라서 정적 리뷰는 무의미합니다.

필요한 것은 샌드박스 환경에서 행동을 검증하는 QA입니다: 극단적인 상황, 공격성 입력, 권한 한계를 직접 시뮬레이션하세요. 에이전트를 결정론적 코드가 아닌, 젊은 엔지니어가 경험을 쌓는 과정처럼 다뤄야 합니다.

레드팀은 단순히 시스템을 뚫는 것을 넘어서, 에이전트를 조작하는 데 집중해야 합니다. 반복적으로 시도하면서 실패가 연쇄적으로 일어나는 지점을 예리하게 파악해야 합니다.

5. 사용자 신원에서 에이전트 신원과 권한 범위로
오늘날 접근 제어는 주로 사용자 중심입니다. 당신은 누구이며, 어떤 역할을 맡고 있나요? 이 방식을 에이전트에 적용할 수 없습니다. AI 행위자에게 신원, 권한 범위, 작업 한계를 지정하고 자동 만료(TTL), 공유 메모리 분리, 지속적인 감사 기록도 함께 구현해야 합니다.

간단히 말해, 제로 트러스트는 이제 비인간 주체에도 적용됩니다. 당신은 그들이 도구를 사용하거나 자원에 접근할 때마다 신뢰를 확인해야 합니다.

에이전트 AI는 단순한 신기술이 아니라 시스템 전체를 바꾸는 변화입니다. 모델이 자율성을 갖추면 시스템에 새로운 불확실성이 더해지고, 기존 가정이 오히려 부담이 됩니다.

SHIELD가 옳은 점은 단지 제어 목록에만 있지 않습니다. 두 가지 핵심 가정을 포함하는 철학에 있습니다.

• 에이전트가 본능적으로든 조작에 의해든 대본에서 벗어날 수 있음을 예상하세요
• 추론 오류가 시스템 전반에 영향을 미칠 수 있다고 생각하세요

지금 이 원칙을 받아들이는 보안팀이 확장 가능한 보호 체계를 구축할 것입니다. 받아들이지 않는 팀은? “그저 도움을 주려던” 에이전트 때문에 뒤처리를 해야 할 겁니다.

아니요, 기존 프레임워크만으로는 부족합니다. 에이전트들이 등장했습니다. 그들이 누구인지 제대로 이해하는 거버넌스로 맞서야 할 때입니다.