위협 모델링 및 사고 대응을 위한 생성형 AI
몇 년 전만 해도 우리 대부분은 "생성적 AI"를 예술적 활동, 즉 초현실적 초상화 그리기, 음악 작곡, 심지어 단편 소설 쓰기와 연관시켰습니다. 오늘날로 넘어가면, 우리는 이 동일한 생성 기술이 사이버 보안을 위한 강력한 도구로 바뀌는 것을 보고 있습니다. 한때 기발한 고양이 이미지를 만드는 데 사용되었던 기술이 이제는 정교한 위협 벡터를 발견하고 실제 사건에 대응하는 데 도움이 된다는 것은 약간 아이러니합니다.
하지만 생성적 AI와 사이버 보안의 이러한 융합은 단지 과장된 것일까요? 아니면 위협 모델링과 사고 대응 분야에서 새로운 시대가 열리고 있는 걸까요? 공격을 탐지하고 완화하는 데 걸리는 평균 시간을 획기적으로 줄일 수 있는 시대가 온 걸까요? 저는 생성적 AI가 새로운 위협을 식별하고 효율적이고 데이터 기반의 대응을 조율하는 데 있어 획기적인 변화를 가져올 것이라고 주장하고 싶습니다. 그러나 모든 새로운 기술과 마찬가지로 이 기술 역시 함정이 없는 것은 아닙니다. 시작해 볼까요.
명제: 생성 AI는 패턴을 합성하고, 새로운 공격 벡터를 예측하고, 대응 전략을 자동화하는 고유한 능력을 갖추고 있어 위협 모델링과 사고 대응 역량을 크게 향상시킬 것입니다. 하지만 이는 신뢰성, 윤리, 데이터 거버넌스와 관련된 과제를 정면으로 해결해야만 가능합니다.
사이버 위협은 엄청난 속도로 진화하고 있으며, 기존의 규칙 기반 시스템이나 서명 기반 시스템은 종종 뒤처집니다. 생성 모델(고급 대규모 언어 모델과 같은)은 기존 휴리스틱의 범위를 훨씬 넘어서 이상 징후를 감지하고 잠재적인 미래 공격 패턴을 가설화할 수 있습니다. 그러나 이는 또한 거짓 양성을 "환각"하거나 실수로 악성 코드를 생성할 가능성과 같은 새로운 취약점을 도입합니다. 우리는 이러한 역량에 대해 흥분과 신중함을 동시에 가져야 합니다.
알려진 시그니처를 넘어선 위협 모델링
위협 모델링을 위한 생성 AI의 이유는?
전통적으로 위협 모델링은 알려진 공격 시그니처, 과거 패턴 및 인간의 전문 지식에 의존해 왔습니다. 하지만 다형성 맬웨어, 공급망 취약성, 제로데이 익스플로잇의 급증으로 인해 순전히 반응적인 방법만으로는 부족합니다.
생성적 AI에 대해 알아보겠습니다. 오늘날의 용어로 "생성적"이라는 말은 종종 대규모 언어 모델(LLM)을 의미하지만, 새로운 데이터 패턴을 생성할 수 있는 다른 알고리즘도 포함할 수 있습니다. 이러한 모델은 방대한 원격 측정 데이터 세트 에서 미묘한 상관관계를 찾아냅니다. 예를 들어 의심스러운 명령 시퀀스, 측면 이동 시도 또는 탈출 패턴 등이 있습니다. 중요한 점은 "악의적"인 것에 대한 명확한 라벨에만 국한되지 않는다는 것입니다. 대신, 그들은 "정상적인" 행동의 기본 분포를 배우고 위협으로 명시적으로 나열되지 않은 이상 징후를 표시할 수 있습니다.
하지만 이상 징후를 감지하는 것은 단지 첫 단계일 뿐입니다. 아무도 특정 행동을 악의적이거나 양성적이라고 분류하지 않았다면 LLM(또는 생성적 접근 방식)은 무언가가 정말로 사악한지 아니면 그저 특이한지 확인하기 위해 추가 분류자나 휴리스틱 검사와 연결되어야 할 수도 있습니다. 예를 들어, 새로운 측면 이동 패턴이 의심스럽다고 가정할 수 있지만 일부 조직에서는 거의 액세스되지 않는 점프 호스트를 합법적으로 사용하여 맥락상 이상 현상이 무해하게 만들 수 있습니다. 궁극적으로 생성적 AI는 기존의 특징을 넘어선 가능성을 표면화하는 데 뛰어나지만, 어떤 이상 현상이 실제 위협인지 판단하려면 자동화된 것이든 인간이 주도하는 것이든 강력한 의사 결정 논리와 결합되어야 합니다.
실제 세계 시험: F5 샌드박스 환경
F5에서는 2024년 후반에 통제된 시뮬레이션을 실행하여 진화하는 위협 환경에서 생성 AI 모델이 어떤 성능을 보이는지 확인했습니다. 우리는 다중 테넌트 환경의 익명화된 로그 데이터를 내부 F5 테스트 환경에 공급하여 의도적으로 이전에 본 적이 없는 새로운 공격 패턴을 주입했습니다. 처음에는 모델이 몇 개의 "거짓 경보"(이러한 모델은 지나치게 과민할 수 있음)를 생성했지만 반복적인 학습을 통해 기본 시그니처 기반 시스템보다 더 나은 정확도로 이상을 감지하기 시작했습니다. 정말 인상적인 부분은? 또한, 일반 파일 공유 프로토콜로 위장한 특정 측면 이동 시도와 같이 블루팀 분석가조차 고려하지 못했던 잠재적인 악용 사례도 표시했습니다.
‘수정 평균 시간’ 단축
적응형 대응 플레이북
생성 모델은 감지에만 사용되는 것이 아니라 사고가 발생하면 제안된 플레이북을 빠르게 생성할 수도 있습니다. 실시간 로그를 모니터링하고, 여러 데이터 소스의 정보를 병합하고, 조정된 대응 계획을 제안하는 AI 협력자라고 생각해 보세요.
예를 들어, 시스템에서 위험성이 높은 이상을 감지하면 동적 방화벽 정책을 권장하거나 의심스러운 가상 머신(VM)을 격리할 수 있습니다. 과거 사건으로부터 학습하기 때문에 이러한 제안은 시간이 지남에 따라 더욱 정교해집니다. 이는 초기 설정 후 거의 업데이트되지 않는 정적 런북을 훨씬 뛰어넘는 큰 진전입니다.
규모에 따른 도구 조율
최근 주요 보안 컨퍼런스(예: Black Hat 2024 및 올해 새롭게 시작된 AI-SecOps Summit)에서 생성적 AI 통합 붐이 일어나고 있습니다. 그들은 AI 계층이 SIEM, 엔드포인트 보호, WAF 등 여러 보안 도구를 실시간으로 조율하는 "자율적" 또는 "대리적" 대응에 집중하고 있습니다. 요즘 멀티클라우드가 표준이라면 AWS, Azure 및 온프레미스 환경에서 위협 대응을 조정하는 단일 생성 모델이 매우 매력적으로 보이기 시작합니다.
하지만 문제는 다음과 같습니다. 오래되었거나 비효율적인 프로세스만 자동화한다면 전반적인 보안 태세를 개선하는 대신 "더 빨리 실패할" 위험이 있습니다. 기본적인 업무 흐름을 재고하지 않고 AI를 도입하면, 문제가 있는 절차의 실행을 가속화할 수도 있습니다. 그렇기 때문에 AI는 우리가 이미 하고 있는 일을 단순히 가속화하는 것이 아니라, 보안과 서비스 제공에 대한 접근 방식을 재구성하는 촉매제로 여겨져야 합니다 .
또한 생성 모델이 응답을 자동화할 수 있다고 해서 그래야 하는 것은 아니라는 점도 알아두는 것이 중요합니다. 생산의 전체 세그먼트를 분리하는 것과 같은 중요한 결정에 대해 사람들이 계속 정보를 얻을 수 있도록 보호책과 에스컬레이션 경로가 필요합니다. 간단히 말해, 생성적 AI는 오래된 가정에 도전하고 더 효율적이고 적응 가능한 사고 대응 프레임워크를 설계할 수 있는 흥미로운 기회를 제공합니다. 물론 속도뿐만 아니라 프로세스의 기반 자체를 업데이트하려는 의지가 있다면 말입니다.
2025년 현재 화제
- LLM 전쟁은 계속됩니다: 최고의 클라우드 공급업체는 가장 "안전한" 대규모 언어 모델(LLM)을 출시하기 위해 경쟁하고 있으며, 각각 환각을 줄이고 규정 준수를 개선하기 위한 고급 미세 조정 기능을 주장합니다.
- 오픈소스 프로젝트: 커뮤니티 중심 이니셔티브( AI-SIGS 또는 ThreatGen 등)가 등장하면서 보안 연구원이 맞춤형 생성 위협 모델을 구축할 수 있는 오픈소스 프레임워크가 제공되고 있습니다.
- 규제 주목: EU의 새로운 AI 규정 제안은 생성적 사이버 보안 애플리케이션을 "고위험" 기술로 분류하여 투명성과 명확한 데이터 출처를 요구합니다.
지금은 매우 흥미로운 시기입니다. 대기업과 중간 계층 기업이 기존 솔루션을 뛰어넘으려는 열망으로 이를 도입하는 경우가 늘고 있습니다. 그러나 생성적 AI를 도입하려는 서두름으로 인해 조직이 견고한 데이터 거버넌스, 모델 설명 가능성, 책임 프레임워크와 같은 기본 단계를 건너뛸 경우 문제가 발생할 수 있습니다.
환각, 프라이버시, 그리고 윤리적 딜레마
생성 모델은 창의적인 추론으로 눈부시게 만들 수 있지만, 존재하지 않는 그럴듯하게 들리는 위협을 "환상"시킬 수도 있습니다. 거짓 긍정의 물결이 계속되면 보안 운영팀은 무의미한 경고의 눈사태에 파묻힐 수 있습니다. 시간이 지남에 따라 이는 AI 기반 시스템에 대한 신뢰가 떨어질 수 있습니다.
견고한 모델을 훈련하려면 엄청난 양의 데이터가 필요합니다. 지역에 따라 개인정보 보호법에 따라 사용할 수 있는 로그나 원격 측정 데이터가 제한될 수 있습니다. 민감한 사용자 데이터를 정리하거나 익명화하는 것은 규정 준수 문제를 피하고 윤리적인 데이터 사용을 뒷받침하는 데 필수적입니다.
우리는 더 어두운 반대편을 무시할 수 없습니다. 위협 행위자들은 생성적 AI를 사용하여 설득력 있는 피싱 이메일을 작성하고, 새로운 형태의 맬웨어를 개발하거나, 제로데이를 더욱 신속하게 발견할 수 있었습니다(실제로도 그렇게 했습니다). 우리가 이러한 방어 역량을 구축함에 따라, 공격자도 공격 시 동일한 역량을 구축할 것이라고 가정해야 합니다.
미래를 포용하다
앞으로 생성적 AI는 모든 SecOps 툴킷의 표준 계층으로 발전하여 오늘날의 취약점 스캐너나 침입 탐지 시스템만큼 긴밀하게 통합될 수 있습니다. 설명 가능성이 향상되면(AI가 결론에 도달하는 방식에 대한 투명성이 높아짐) 보안 팀은 AI가 위협 모델링 라이프사이클의 더 많은 부분을 처리하도록 하는 데 더욱 자신감을 가질 수 있을 것입니다.
또한 다양한 조직에서 훈련된 생성 모델이 개인 정보를 보호하면서 부분적인 통찰력을 공유하는 글로벌 위협 정보 연합이 형성될 수도 있습니다. 이를 통해 업계 전반에서 제로데이 공격에 대한 대응이 더 빠르고 조율될 수 있습니다.
그래도, 우리는 아직 초기 단계라는 점을 반복해서 강조할 가치가 있습니다. 조직에서는 임무 수행에 중요한 시나리오에서 생성적 AI를 활용하기 전에 모범 사례, 견고한 교육 파이프라인, 명확하게 정의된 거버넌스에 투자해야 합니다.
보안을 재고할 준비가 되셨나요?
생성적 AI는 위협 모델링과 사고 대응에 대한 기존 접근 방식을 뒤집을 수 있는 잠재력을 가지고 있습니다. 패턴을 창의적으로 분석하고 대응 전략을 자동화함으로써 환각, 규정 준수, 윤리적 보호 조치와 같은 고유한 과제를 해결한다고 가정하면 비교할 수 없는 속도와 정확성을 제공할 수 있습니다.