불과 몇 년 전만 해도 우리 대부분은 ‘생성형 AI’라고 하면 초현실적인 초상화를 그리거나, 음악을 작곡하거나, 단편 소설을 쓰는 등의 예술 활동을 떠올렸습니다. 하지만 오늘날에는 바로 그 생성형 기술이 사이버 보안을 위한 강력한 도구로 거듭나고 있습니다. 한때 기발한 고양이 이미지를 만드는 데 쓰이던 기술이 이제는 정교한 위협 벡터를 탐지하고 실제 보안 사고에 대응하는 데 도움을 주고 있다는 점은 다소 역설적입니다.
하지만 생성형 AI와 사이버 보안의 융합은 그저 과장된 기대에 불과할까요? 아니면 공격을 탐지하고 완화하는 데 걸리는 평균 시간을 획기적으로 단축할 수 있는 위협 모델링과 사고 대응의 새로운 시대가 눈앞에 다가온 것일까요? 저는 생성형 AI가 새로운 위협을 식별하고 효율적인 데이터 기반 대응을 조율하는 두 영역 모두에서 판도를 바꿀 핵심 기술이 될 것이라고 봅니다. 하지만 여느 신기술과 마찬가지로 주의해야 할 점도 있습니다. 자세히 살펴보겠습니다.
핵심 주장: 생성형 AI는 패턴을 종합하고, 새로운 공격 벡터를 예측하며, 대응 전략을 자동화하는 고유한 능력으로 위협 모델링과 사고 대응 역량을 크게 향상시킬 것입니다. 다만, 그러려면 신뢰성, 윤리, 데이터 거버넌스와 관련된 과제를 정면으로 해결해야 합니다.
사이버 위협은 엄청난 속도로 진화하며, 기존의 규칙 기반 또는 시그니처 기반 시스템은 이러한 변화에 뒤처지는 경우가 많습니다. 고도화된 대규모 언어 모델과 같은 생성형 모델은 기존 휴리스틱의 범위를 훨씬 뛰어넘어 이상 징후를 탐지하고 향후 발생할 수 있는 공격 패턴에 대한 가설을 세울 수 있습니다. 그러나 오탐을 유발하는 ‘환각’을 일으키거나 의도치 않게 악성 코드를 생성할 가능성 등 새로운 취약점도 초래합니다. 우리는 이러한 역량을 기대와 신중함을 균형 있게 갖추고 활용해야 합니다.
알려진 시그니처를 넘어선 위협 모델링
위협 모델링에 생성형 AI를 사용하는 이유는 무엇일까요?
전통적으로 위협 모델링은 알려진 공격 시그니처, 과거 패턴, 전문가의 지식에 의존해 왔습니다. 하지만 다형성 악성코드, 공급망 취약점, 제로데이 익스플로잇이 급증하면서 사후 대응 방식만으로는 충분하지 않게 되었습니다.
바로 여기서 생성형 AI가 등장합니다. 오늘날 '생성형'이라는 말은 흔히 대규모 언어 모델(LLM)을 가리키지만, 새로운 데이터 패턴을 만들어 낼 수 있는 다른 알고리즘도 포함할 수 있습니다. 이러한 모델은 방대한 텔레메트리 데이터셋에서 의심스러운 명령 시퀀스, 측면 이동 시도, 데이터 유출 패턴 등과 관련된 미묘한 상관관계를 포착합니다. 중요한 점은 이러한 모델이 무엇이 '악성'인지 명시적으로 지정한 레이블에만 의존하지 않는다는 것입니다. 대신 '정상' 행동의 기저 분포를 학습하여, 위협으로 명시적으로 분류되지 않은 이상 징후도 탐지할 수 있습니다.
그러나 이상 징후를 탐지하는 것은 첫 단계에 불과합니다. 특정 행동이 악성인지 정상인지 레이블이 지정되어 있지 않다면, LLM(또는 다른 생성형 접근 방식)에 추가 분류기나 휴리스틱 검사를 연계하여 해당 행동이 실제로 악의적인지, 아니면 단지 이례적인지 확인해야 할 수 있습니다. 예를 들어, 새로운 내부 이동 패턴을 의심스러운 것으로 추정할 수 있지만, 일부 조직에서는 접속 빈도가 낮은 점프 호스트를 정상적으로 사용하므로 이러한 맥락에서는 해당 이상 징후가 무해할 수 있습니다. 궁극적으로 생성형 AI는 기존 시그니처로는 포착하기 어려운 잠재적 위협을 드러내는 데 탁월하지만, 어떤 이상 징후가 실제 위협인지를 판단하려면 자동화된 방식이든 사람이 주도하는 방식이든 견고한 의사결정 로직과 결합해야 합니다.
실제 환경 테스트: F5 샌드박스 환경
F5는 진화하는 위협 환경에서 생성형 AI 모델이 어떤 성능을 발휘하는지 알아보기 위해 2024년 말에 통제된 시뮬레이션을 진행했습니다. F5 내부 테스트 환경에 멀티테넌트 환경에서 수집한 익명화된 로그 데이터를 입력하고, 이전에 관찰되지 않은 새로운 공격 패턴을 의도적으로 주입했습니다. 초기에는 모델이 몇 차례 ‘오탐’을 일으켰지만(이러한 모델은 지나치게 민감하게 반응할 수 있습니다), 반복적인 학습을 거치면서 기존 시그니처 기반 시스템보다 더 정밀하게 이상 징후를 탐지하기 시작했습니다. 정말 인상적이었던 점은 무엇일까요? 정상적인 파일 공유 프로토콜로 위장한 일부 횡적 이동 시도처럼, 블루팀 분석가들조차 고려하지 못했던 잠재적인 악용 시도까지도 포착했다는 점입니다.
‘평균 조치 시간’ 단축
적응형 대응 플레이북
생성형 모델은 탐지에만 쓰이는 것이 아닙니다. 보안 사고가 발생하면 신속하게 대응 플레이북을 제안할 수도 있습니다. 실시간 로그를 모니터링하고, 여러 데이터 소스의 인텔리전스를 통합하며, 체계적인 대응 계획을 제안하는 AI 협업 파트너라고 생각하면 됩니다.
예를 들어, 시스템이 고위험 이상 징후를 감지하면 동적 방화벽 정책을 권장하거나 의심스러운 가상 머신(VM)을 격리하도록 제안할 수 있습니다. 과거의 보안 사고를 학습하므로 이러한 제안은 시간이 지날수록 더욱 정교해집니다. 이는 초기 설정 이후 거의 업데이트되지 않는 정적인 런북에서 크게 발전한 방식입니다.
대규모 도구 오케스트레이션
최근 주요 보안 컨퍼런스(예: Black Hat 2024 및 올해 새롭게 출범한 AI-SecOps Summit)에서 생성형 AI 통합이 활발하게 이루어지고 있습니다. 이러한 통합은 AI 계층이 SIEM, 엔드포인트 보호, WAF 등 여러 보안 도구를 실시간으로 조율하는 ‘자율형’ 또는 ‘에이전트형’ 대응에 초점을 맞추고 있습니다. 멀티클라우드가 보편화된 오늘날, AWS, Azure, 온프레미스 환경 전반의 위협 대응을 조율하는 단일 생성형 모델은 매우 매력적인 선택지로 떠오르고 있습니다.
하지만 여기에는 함정이 있습니다. 낡거나 비효율적인 프로세스를 단순히 자동화하기만 한다면, 전반적인 보안 태세를 개선하기는커녕 ‘실패만 앞당길’ 위험이 있습니다. 기본적인 워크플로를 재검토하지 않은 채 AI를 도입하면 결함 있는 절차의 실행 속도만 높일 수 있습니다. 따라서 AI는 보안과 딜리버리에 대한 접근 방식을 새롭게 구상하는 촉매제로 보아야 합니다. 단순히 기존 업무의 속도를 높이는 수단에 그쳐서는 안 됩니다.
또한 생성형 모델이 대응을 자동화할 수 있다고 해서 반드시 그렇게 해야 하는 것은 아니라는 점도 유념해야 합니다. 프로덕션 환경의 전체 세그먼트를 격리하는 것과 같은 중요한 의사결정에 사람이 계속 관여하도록 하려면 가드레일과 에스컬레이션 경로가 필요합니다. 요컨대, 생성형 AI는 기존의 가정에 도전하고 더 효율적이고 유연한 사고 대응 프레임워크를 설계할 수 있는 매력적인 기회를 제공합니다. 다만 이를 위해서는 단순히 처리 속도를 높이는 데 그치지 않고 프로세스의 근본적인 토대부터 개선하려는 의지가 필요합니다.
2025년의 주요 화제
- LLM 전쟁은 계속된다: 주요 클라우드 제공업체들은 가장 ‘안전한’ 대규모 언어 모델(LLM)을 출시하기 위해 경쟁하고 있으며, 저마다 고도화된 미세 조정을 통해 환각 현상을 줄이고 규정 준수 수준을 높였다고 주장하고 있습니다.
- 오픈 소스 프로젝트: 커뮤니티 주도 이니셔티브(AI-SIGS 또는 ThreatGen 등)가 등장하면서 보안 연구자들이 맞춤형 생성형 위협 모델을 구축할 수 있는 오픈 소스 프레임워크를 제공하고 있습니다.
- 규제 동향: EU의 새로운 AI 규제안은 생성형 AI 기반 사이버 보안 애플리케이션을 ‘고위험’ 기술로 분류하고, 투명성과 명확한 데이터 출처를 요구합니다.
지금은 변화의 열기가 뜨거운 시기입니다. 기존 솔루션의 한계를 단숨에 뛰어넘으려는 대기업과 중견기업을 중심으로 도입이 확대되고 있습니다. 하지만 생성형 AI 도입을 서두르면서 탄탄한 데이터 거버넌스, 모델의 설명 가능성, 책임 체계 확립과 같은 기본 단계를 건너뛴다면 문제가 발생할 수 있습니다.
환각 현상, 개인정보 보호, 윤리적 딜레마
생성형 모델은 창의적인 추론으로 놀라움을 선사할 수 있지만, 실제로 존재하지 않는 위협을 그럴듯하게 지어내는 ‘환각’ 현상을 일으킬 수도 있습니다. 오탐이 쏟아지면 보안 운영팀은 무의미한 경고에 파묻힐 수 있습니다. 이런 상황이 지속되면 AI 기반 시스템에 대한 신뢰가 약화될 수 있습니다.
견고한 모델을 훈련하려면 방대한 양의 데이터가 필요합니다. 지역에 따라 개인정보 보호법이 사용 가능한 로그나 텔레메트리 데이터를 제한할 수 있습니다. 복잡한 규정 준수 문제를 피하고 데이터를 윤리적으로 사용하려면 민감한 사용자 정보를 제거하거나 익명화하는 것이 필수적입니다.
어두운 이면도 간과할 수 없습니다. 위협 행위자들은 생성형 AI를 이용해 그럴듯한 피싱 이메일을 작성하거나, 새로운 형태의 악성코드를 개발하거나, 제로데이 취약점을 더 빠르게 발견할 수 있으며, 실제로 그렇게 해 왔습니다. 우리가 이러한 방어 역량을 구축하는 동안 공격자들 역시 공격 역량을 강화하기 위해 같은 노력을 기울이고 있다고 가정해야 합니다.
미래를 포용하기
앞으로는 생성형 AI가 모든 SecOps 도구 모음의 기본 구성 요소로 자리 잡을 수 있으며, 오늘날의 취약점 스캐너나 침입 탐지 시스템만큼 긴밀하게 통합될 수 있습니다. 설명 가능성이 향상되어 AI가 결론에 도달하는 과정이 더욱 투명해지면, 보안팀은 위협 모델링 수명 주기에서 더 많은 부분을 AI에 맡기는 데 확신을 갖게 될 것입니다.
또한 글로벌 위협 인텔리전스 연합이 등장할 수도 있습니다. 이러한 연합에서는 각기 다른 조직에서 학습된 생성형 모델들이 개인정보를 보호하면서 일부 인사이트를 공유합니다. 이를 통해 여러 산업 전반에서 제로데이 공격에 더욱 신속하고 체계적으로 공동 대응할 수 있을 것입니다.
다만, 아직 초기 단계라는 점을 다시 한번 강조할 필요가 있습니다. 조직은 핵심 업무에 생성형 AI를 활용하기에 앞서 데이터 관리 모범 사례, 견고한 학습 파이프라인, 명확하게 정의된 거버넌스에 투자해야 합니다.
보안을 새롭게 바라볼 준비가 되셨나요?
생성형 AI는 위협 모델링과 사고 대응에 대한 기존 접근 방식을 근본적으로 바꿀 잠재력이 있습니다. 패턴을 창의적으로 분석하고 대응 전략을 자동화함으로써 비교할 수 없는 속도와 정확성을 제공할 수 있습니다. 다만, 이를 위해서는 환각 현상, 규제 준수, 윤리적 안전장치와 같은 내재된 과제를 해결해야 합니다.
관련 블로그 게시물
AI 시대의 새로운 애플리케이션 제공 원칙으로 복잡성 극복하기
보안, 일관성, 완전 자동화에 중점을 둔 애플리케이션 제공의 새로운 6가지 원칙을 도입하여 복잡성 없이 하이브리드 멀티클라우드의 유연성을 누리세요.
디지털 혁신을 가속화하는 6가지 기술 역량
오늘날의 엔터프라이즈 아키텍처에는 기술 변화를 주도하는 데 핵심적인 민첩성, 확장성, 보안 및 관찰 가능성이 부족하지만, 이 여섯 가지 핵심 역량은 기업이 디지털 혁신 전반에 걸쳐 위험과 과제를 관리하는 데 도움이 될 것입니다.
하이브리드 근무가 ID 중심 보안으로의 전환을 이끌고 있습니다
자동화와 디지털화의 폭발적인 성장에 하이브리드 근무 모델로의 전환 추세가 더해지면서, IP 기반 보안에서 벗어나 ID 기반 액세스 전략으로 전환하는 움직임이 더욱 가속화될 것입니다.
관점의 현대화: 애플리케이션에서 경험으로
그리스와 로마의 신들처럼, 여러 신화에서도 동일한 존재가 다양한 모습으로 나타나는 것을 볼 수 있습니다. 본질적으로 각각의 화신은 기존 존재가 새로운 얼굴로 드러난 것입니다. 디지털 세계에서도 이와 비슷한 양상이 나타납니다. 우리가 ‘애플리케이션’이라고 부르는 것들은 흔히 기존 기능이 새로운 형태로 구현된 것이라 볼 수 있습니다.
코로나19 이후 기업 결제의 디지털 전환
디지털 결제는 과거의 현금만큼이나 보편화되었습니다. 코로나19 팬데믹으로 인한 봉쇄 조치는 소비자의 디지털 결제 서비스 의존도를 더욱 빠르게 높였습니다. 기업의 디지털 결제 도입 역시 가속화되었습니다. 대중을 상대로 영업하든 하지 않든 기업에는 여전히 지급해야 할 대금과 받아야 할 대금이 있기 때문입니다.
공급망 해킹과 보안에서 하드웨어의 역할
수석 아키텍트 Dave Schmitt와 CTO 오피스가 최근 Bloomberg의 Super Micro 관련 기사를 계기로 하드웨어 보안 전문성의 중요성을 되짚어봅니다. 또한 이 글에서는 시스템이 안전하게 보호되고 있는지 확인하기 위해 공급업체에 물어봐야 할 질문도 소개합니다.