2020년 이후 AI 사용이 폭발적으로 증가한 것은 전례 없는 일입니다. 도입 속도 측면에서 AI는 클라우드보다, 모바일보다, 그리고 인터넷보다도 확실히 빠르게 확산되고 있습니다. Gartner는 올해 기업의 80% 이상이 AI를 도입할 것으로 전망합니다.
기업의 AI 도입 여정을 분류해 보면, 성숙도는 네 가지 범주로 나뉘며, 이러한 범주는 순차적으로 진행되기보다는 동시에 진행되는 경우가 많습니다:
- 카테고리 1은 범용 AI와 생산성에 관한 것으로, 직원들이 ChatGPT, Gemini, Copilot 등을 사용하는 경우를 예로 들 수 있습니다.
- 카테고리 2는 조직이 내부 활용 사례를 위해 HR이나 IT 등의 업무용 맞춤형 챗봇을 구축하는 경우입니다.
- 카테고리 3에는 대외 공개용 생성형 AI 애플리케이션 구축과 같은 외부 사용 사례가 포함되며, 고객 서비스 챗봇 등이 이에 해당합니다.
- 카테고리 4는 에이전틱 워크플로로, 사용자를 대신해 자율적으로 작업을 수행하는 복잡한 시스템으로 구성됩니다.
바로 이 마지막 세 가지 범주에서 보안이 매우 중요해집니다. 조직이 비결정론적 AI 모델을 기반으로 복잡한 소프트웨어를 구축하면서 기존 방화벽으로는 전혀 탐지할 수 없는 취약점이 생기기 때문입니다.
“AI를 도입하는 기업은 기준선을 확립하기 위해서라도 알려진 취약점을 대상으로 신속한 자동화 테스트를 수행해야 한다는 점은 분명합니다.”
보안은 기업에 언제나 최우선 과제이지만, AI와 관련된 우려는 다릅니다. 바로 사각지대라는 점입니다. 보안 책임자들은 지난 20년간 웹 애플리케이션, 웹사이트, 심지어 API까지 보호하기 위해 웹 애플리케이션 방화벽(WAF)을 배포하고 구성해 왔습니다. 그러나 WAF는 매우 유용하지만 AI와 관련해서는 한계가 있습니다. AI에 사용되는 자연어 처리는 기존 WAF의 탐지 방식으로 대응하기 어려울 수 있습니다. 간단히 말해, 대화에는 방화벽을 적용할 수 없습니다. 기업은 어디서나 앱과 API를 보호하고 모든 환경에서 AI를 안전하게 지킬 수 있는 새로운 접근 방식이 필요합니다.
그렇기 때문에 CISO의 75%가 AI 보안 사고를 보고하고 있습니다. 기존의 보안 체계는 이러한 위협을 탐지하도록 설계되지 않았기 때문입니다. 또한 91%가 이미 AI 인프라에 대한 공격 시도를 탐지했으며, 무려 94%가 현재 AI 시스템 테스트를 우선시하고 있습니다.
새로운 유형의 인지 공격
AI 시대에 조직은 단순히 코드 취약점만 다루는 것이 아닙니다. 다음과 같은 완전히 새로운 유형의 인지 공격에도 직면하고 있습니다:
- 프롬프트 인젝션, 직접 및 간접 방식 모두
- 데이터 오염 학습 단계에서
- 정교한 탈옥 기법(예: 기호 언어 공격)
- 토큰 압축: 공격자가 AI 모델은 읽을 수 있지만 사람은 읽을 수 없는 형식으로 악성 명령을 숨기는 기법
기존의 보안 가드레일은 결정론적 입력을 처리하지만, 프롬프트 인젝션과 기타 자연어 공격은 패턴 매칭이 아닌 의미론적 문제입니다. 이는 개별적인 버그가 아니라 AI 기반 아키텍처로 인해 발생하는 구조적인 비즈니스 위험입니다.
AI가 위협 모델을 어떻게 변화시키고 있는지 보여주는 실제 사례는 많습니다. 지난해 여름 한 글로벌 소프트웨어 제공업체에서 발생한 침해 사고는 MCP 서버의 테넌트 격리 로직 결함으로 인해 조직 간 데이터가 노출되면서 발생했습니다. 이는 전형적인 멀티테넌트 버그이지만, 유출된 데이터가 자연스러운 언어로 나타나 탐지가 훨씬 더 어렵기 때문에 LLM 시스템에서는 더욱 위험합니다.
한편, 한 글로벌 기술 기업에서 발생한 사고는 신뢰 경계가 무너진 또 다른 유형의 실패를 보여주었습니다. 프롬프트 인젝션으로 챗봇의 역할이 재정의되었고, 백엔드 시스템은 서버 측 권한 부여를 적용하지 않은 채 챗봇의 도구 요청을 신뢰했습니다. 문제는 모델이 규칙을 무시한 것이 아니라, 권한 부여가 모델에 부적절하게 위임되었다는 점이었습니다.
이는 훨씬 더 광범위하게 새롭게 부상하는 위험 환경에 해당하는 두 가지 사례에 불과합니다. 업계는 이러한 AI 취약점을 분류하기 위해 발 빠르게 움직이고 있습니다. 현재 대규모 언어 모델(LLM) 애플리케이션을 위한 OWASP 10대 위험, 에이전틱 애플리케이션을 위한 OWASP 10대 위험, MITRE ATLAS, NIST AI 위험 관리 프레임워크와 같은 프레임워크가 등장하고 있지만, 보안이 실제로 어떤 모습이어야 하는지에 관한 확정적인 데이터베이스나 통합 표준은 아직 없습니다.
기존 방식으로는 변화의 속도를 따라갈 수 없습니다
현재 업계가 AI를 도입해야 한다는 압박은 생존이 걸린 문제입니다. 개발자들은 AI를 활용해 이전보다 10배 빠르게 코드를 작성하고 있으며, 기업들은 말 그대로 하룻밤 사이에 새로운 기능은 물론 제품까지 출시하고 있습니다.
동시에 규제는 이러한 흐름을 가속화하고 있습니다 규정 준수 측면에서도 마찬가지입니다. EU AI 법은 예를 들어 고위험 및 범용 AI 시스템에 대한 적대적 테스트를 명시적으로 요구합니다. 이는 실질적으로 목적에 맞게 설계된 레드팀 테스트—즉, 모의 적대적 공격을 통해 AI 시스템을 테스트하는 것—를 이제 AI 보안 체계의 핵심 구성 요소로 간주해야 하며, 이러한 시스템이 현실에서 직면하는 과제를 해결하는 방식으로 수행해야 한다는 의미입니다.
CISO와 보안 팀이 기계적인 속도로 일어나는 변화에 대응해 보안을 확보하려다 보면, 양동이 하나로 쓰나미를 막으려는 듯한 기분이 들 수 있습니다. 계산상으로도 불가능하고, 속도 면에서도 감당할 수 없습니다. AI 공격 표면은 근본적으로 다르며, 기존 접근 방식으로는 따라잡을 수 없습니다.
기존의 레드팀 활동은 효과적이지 않으며, 속도와 통제 사이의 긴장을 해소하려면 AI 레드팀 활동이 필요하다는 점은 분명합니다. 고객과 소통하며 고객의 AI 시스템 보안을 지원한 경험을 바탕으로, 고려해야 할 네 가지 핵심 영역은 다음과 같습니다:
첫째, 위협의 진화입니다. AI 공격은 정적인 테스트 스위트보다 더 빠르게 진화합니다. 검사를 자동화하자마자 AI 모델이나 공격 방식이 바뀌기 때문에, 보안팀은 위험을 줄이는 대신 테스트를 유지·관리하는 데 매달리게 됩니다.
둘째, 에이전트의 복잡성: AI 에이전트는 결정론적 시스템이 아니므로 검색, 도구, 메모리를 추가하면 경우의 수가 거의 무한대로 늘어납니다. 이제는 코드를 테스트하는 것이 아니라 맥락에 따라 달라지는 대화를 테스트하는 것입니다.
셋째, 자동화와 확장성입니다. 수동 레드팀 테스트는 이러한 시스템의 규모가 커지면 대응하기 어렵습니다. 챗봇 하나는 관리할 수 있을지 몰라도, 수백 개 또는 수천 개의 챗봇은 그렇지 않습니다. 모델이나 시스템 프롬프트가 업데이트될 때마다 사람이 수천 건의 적대적 대화를 일일이 재현하는 방식에 의존할 수는 없습니다.
마지막으로, 실행 가능한 보고가 필요합니다. 발견된 문제는 반드시 재현 가능하고 조치할 수 있어야 합니다. “봇이 부적절하게 행동했다”는 설명만으로는 조치를 취할 수 없습니다. 엔지니어에게는 대화 매개변수와 문제를 유발한 조건이 필요하며, 그렇지 않으면 수정 및 개선 작업이 지연될 수밖에 없습니다.
공격을 받는 상황에서도 AI가 의도한 대로 작동하도록 보장
몇 가지 사례를 통해 이를 실제로 검증해 보겠습니다. 저희 고객사 중 한 곳은 규제가 매우 엄격한 환경에서 사업을 운영하는 글로벌 은행입니다. 저희가 처음 이 고객사와 협력하기 시작했을 당시, 인사, 조달, 사이버 보안 분야에 걸쳐 50개가 넘는 AI 활용 사례가 있었지만 내부 감사 담당자에게 안전성을 입증할 수 없어 그중 어느 것도 실제로 도입하지 못하고 있었습니다.
AI red-teaming with F5 AI Red Team을 활용한 AI 레드팀 테스트를 통해 은행은 자사의 AI 시스템이 실제로 어떻게 작동하는지, 즉 데이터가 유출될 수 있는 지점, 프롬프트가 악용될 수 있는 방식, 자사 환경에서 통제가 제대로 작동하지 않는 부분을 파악하는 데 필요한 근거를 확보했습니다.
이 고객은 AI Red Team에서 도출된 결과를 바탕으로 F5 AI Guardrails를 사용해 맞춤형 보안 제어를 구현하고 방어 태세를 강화하고 있습니다. 이러한 조합을 통해 은행은 보안 태세와 거버넌스 프로그램에 대한 확신을 바탕으로 비즈니스 전반에서 AI를 확장할 수 있습니다.
공공 부문에서는 자발적 테스트가 아닌 의무적 테스트가 필수로 요구됩니다. NIST와 CISA를 비롯한 기관의 지침에 따라 공공 부문 기관들은 생물학적 데이터의 무기화와 같이 임무 수행에 중대한 위험을 식별하기 위한 적대적 스트레스 테스트 등의 조치를 취하고 있습니다. 여기서 AI 레드팀 활동은 단순히 위험을 줄이는 데 그치지 않고, 임무의 연속성과 운영 권한을 유지하는 데 목적이 있습니다.
고객 데이터든 공공 서비스든 보호 대상이 무엇이든 요구 사항은 동일합니다. 누군가 AI 시스템을 무력화하려는 상황에서도 시스템이 의도한 대로 작동한다는 사실을 증거에 기반해 지속적으로 보장해야 합니다.
규정 준수의 허점 해소
AI를 도입하는 기업이 기준선을 확립하려면 알려진 취약점을 대상으로 신속한 자동화 테스트를 수행해야 한다는 점은 분명합니다. 이제 컨텍스트가 새로운 공격 표면이 되었습니다. 정적인 방어 체계로는 에이전트형 공격을 막을 수 없으므로, 조직은 모델뿐 아니라 워크로드도 테스트해야 합니다.
이는 보안 팀이 지금 당장 해소하려는 현실의 격차이자, AI 레드팀 테스트가 주목받는 이유입니다. 이러한 환경에서는 규정 준수가 경쟁 우위가 됩니다. 적절한 보고 체계를 갖추면 보안은 더 이상 걸림돌이 아니라 기업의 AI 출시를 앞당기는 원동력이 됩니다.
그러한 환경에서는 올해 AI를 도입할 계획인 수많은 기업이 여정의 어느 단계에 있든 두려움이 아닌 확신을 가지고 이를 추진할 수 있습니다.
여기에서 AI 시스템을 테스트하는 방법을 자세히 알아보세요.
F5 전문가들이 AI Red Team을 통해 지속적인 적대적 테스트를 가속화하는 방법을 소개하는 영상을 여기에서 확인하세요.
작성자 소개
관련 블로그 게시물
추론 경로가 곧 트래픽 경로다: AI 보안이 자리해야 할 곳
이제 AI 트래픽에는 의도와 데이터, 작업이 담깁니다. AI 보안을 적용하는 데 추론 경로가 가장 중요한 지점이 된 이유를 알아보세요.
최전선 AI를 네트워크 경계에서 차단하기: 인라인 제어가 Mythos급 모델에 맞서는 핵심 우위인 이유
포스트-Mythos 시대에 사이버 방어가 어떻게 변화했으며, 조직이 통제 지점을 바꿔야 하는 이유를 알아봅니다.
애플리케이션 딜리버리 컨트롤러가 다시 전략적 의제로 떠오르고 있습니다
AI로 인해 애플리케이션 제공의 중요성이 더욱 커지고 있습니다. F5의 Nirav Shah가 새로운 Gartner® ADC 연구와 이것이 엔터프라이즈 인프라 의사 결정에 미치는 영향에 대해 설명합니다.
증거로 입증하는 AI 보안: Gartner SRM에서 선보일 내용
Gartner SRM에서의 세션을 앞두고, F5의 제품 마케팅 담당 수석 부사장이 F5가 세 가지 실질적인 단계를 통해 조직의 AI 보안을 어떻게 지원하는지 설명합니다.
파이프라인 속도 저하 없이 AI 데이터 파이프라인을 안전하게 보호하세요
AI 데이터 파이프라인 보안은 선택 사항이 아닙니다. 그 점은 분명합니다. 하지만 이를 제대로 보호하는 방법은 훨씬 불분명하며, 훨씬 더 어려운 과제입니다.
AI 스토리지에 새로운 로드 밸런싱 접근 방식이 필요한 이유
AI 워크로드에는 새로운 관점으로 설계된 스토리지가 필요합니다. AI 특유의 데이터 액세스 패턴은 레거시 인프라에 내재된 심각한 병목 현상과 비효율성을 여실히 드러냅니다.