글로벌 CISO 팟캐스트 시리즈에 오신 것을 환영합니다

AI 분야에서 세계적 리더십을 놓고 미국과 중국은 전 세계적으로 우위를 점하고 남반구에 영향력을 행사하기 위해 경쟁하고 있습니다. 하지만 두 나라 모두 AI 스택에 이념적 제약을 구축하고 있습니다. 미국 AI 액션 플랜은 미국을 중심으로 한 지정학적 주제를 담고 있습니다. 미국 국립표준기술원(NIST)은 기후 변화, DEI, 잘못된 정보 등의 주제를 NIST 위험 관리 프레임워크에서 제외하도록 요구했습니다. 오픈 소스(실제로는 공개된 내용)로 홍보되고 남반구에서 쉽게 구할 수 있는 공식 중국 AI 스택은 사회주의 원칙에 충실하도록 만들어졌습니다.

이 AI 모델들과 그 기반 기술들이 지닌 이념적 요소가 둘 중 어느 쪽의 도입도 어렵게 만들 수 있다고 봅니다. 예를 들어 보험 업계의 손해보험 수리사들이 미국산 AI 모델에 의존할까요? 기후 변화 데이터를 반영하지 않는다면 재산 손해 평가와 예측에 활용할 수 있을까요? 중국 AI 모델을 금융 시장 분석에 쓰면서 사회주의 원칙 고수가 어떤 가치를 준다고 믿으시나요? 많은 글로벌 기업은 이념적 편향에 기반한 AI 모델은 피하려 할 것입니다. 

미국과 중국 간 AI 이념 대립에서 이익을 얻을 잠재적 강자로 EU에 주목하세요. EU가 세계 최고의 AI 혁신가는 아니지만, 유럽 기술 기업들은 뛰어난 성과를 내고 있고, 프랑스는 세계 최고 수준의 수학자를 보유하고 있습니다. EU는 이념적 편향을 벗어나 위험 관리와 수용에 집중하며, AI를 무책임하게 사용하는 기업에 엄격한 제재를 가하는 방식을 추구합니다. 그래서 EU를 아직 배제하지 마세요.

핵심 내용: 기술 리더는 어떤 AI 모델과 기술 스택을 도입할지 매우 신중하게 결정해야 합니다. 초기 선택이 장기적으로 큰 영향을 미치고 높은 전환 비용으로 이어질 수 있기 때문입니다. 어쨌든, 개방형 모델의 도입은 계속해서 확대될 것으로 예상합니다.  

OpenAI의 CEO 샘 알트먼은 최근 무대에서 AI 시스템이 일으키는 사기 피해가 급증하고 있다고 밝혔습니다. 이는 F5의 경험과도 일치합니다. 우리는 대부분의 자동 튜링 테스트와 CAPTCHA 퀴즈가 오랜 기간 무의미했으며, 특히 고도화된 봇에겐 효과가 거의 없다고 말해왔습니다. 그러나 방어 측이 ChatGPT 에이전트가 얼마나 쉽게 CAPTCHA 제한을 우회하는지 보고 크게 놀랐다고 생각합니다. 

AI 에이전트가 현지 억양을 완벽하게 흉내 내며 마치 옆집에 사는 사람처럼 들리면서 음성 사기가 급증하고 있습니다. 우리는 음성메일과 SMS 피싱, 소셜 엔지니어링, 딥페이크, 점점 더 정교해지는 스팸 이메일 등을 통해 AI 기반 사기가 약 2,400% 증가한 것을 확인했습니다. 

준비하세요. AI 기반 사기가 훨씬 더 늘어납니다. 돈이 모이는 곳에 범죄자들도 몰리기 마련입니다. 

핵심 내용: AI가 사기를 급격히 강화하며, CAPTCHA 같은 전통적인 방어 수단은 효력을 잃고 있습니다. CISO는 음성, 문자, 소셜 미디어 채널을 통한 갈수록 정교해지는 AI 기반 사기에 대응하려면 직원 교육과 상황에 맞춘 AI 기반 보안 전략을 최우선으로 삼아야 합니다.

CISO에게는 이미 많은 책임이 있습니다. 데이터, 이메일, 애플리케이션, 경계, 에지, 네트워크, 디바이스를 보호하고 보안하는 역할을 맡고 있으며, 이제 추론 보안까지 책임져야 합니다. 

추론이 새로운 공격 지점이기 때문입니다. 추론은 이제 비즈니스, 재무, 규제 준수, 평판에 직접적인 영향을 미치는 의사결정과 연결되고, 공격자는 프롬프트 인젝션이나 모델 조작 같은 다양한 수단으로 추론 엔진을 노릴 수 있습니다. CISO들은 이제 AI 주변 인프라뿐 아니라 AI의 의사결정 과정 자체도 보호해야 합니다. 추론이 새로운 공격 경로이자 핵심 비즈니스 기능이기 때문입니다.

추론 조작의 새로운 방식 중 하나는 “에코 챔버” 공격입니다. 이는 허가되지 않은 생성을 직접 요청하지 않고 점진적으로 허가되지 않은 응답을 유도하는 일련의 프롬프트를 만드는 프롬프트 인젝션의 한 종류입니다. 여러 차례에 걸친 프롬프트를 통해 작은 암시를 사용해 대규모 언어 모델(LLM)을 조종하여 스스로 제약을 우회하거나 제어를 해제하도록 유도하는 것과 같습니다. 

이런 에코 챔버 공격은 약 80%에서 90%까지 높은 효과를 보입니다. 그렇다면 이제 추론 보안을 CISO가 책임져야 할까요? 그렇지 않다면, 조직 내에서 누가 그 역할을 맡을 것인가요?

핵심 요점: 추론은 새로운 핵심 공격 대상으로 떠오르고 있으며, CISO는 AI 의사결정 자체를 보호하는 역할을 확장해야 합니다. 제 생각에 직함에 '수석'과 '보안'이 포함되어 있다면, 지금 당장이 아니더라도 결국 당신의 책임이 될 것입니다. 지금 바로 시작하는 게 좋습니다.  

제가 보기에는 AI 분야에서 실제로 그들이 우위에 있을 수도 있지만, 무엇을 기준으로 판단하느냐에 달려 있습니다. 저는 아시아에서 많은 시간을 보내며 그곳에서 살고 일하는 여러 사람들과 이야기를 나누었습니다. 중국은 AI를 의미 있게 활용하는 데 있어 조기에 앞서 나가고 있다는 인상을 받았습니다. 중국이 가장 거대한 모델을 보유하고 있진 않을지라도, 실제로 공급망 문제 해결, 운송 경로 조정 등 실질적인 문제를 해결하는 데 그 모델들을 적극 활용하고 있습니다.

최고 200경 개의 매개변수를 가진 모델을 만드는 게 목표라면, 그렇게 해도 무방하다고 봅니다. 하지만 현재 미국과 유럽에서는, 드래그 레이싱 비유를 들자면, 막대한 성능을 구축하는 것과 그 힘을 제대로 활용하는 데 큰 차이가 존재합니다.

미국 AI 액션 플랜은 에너지 개발, AI 공장 및 데이터 센터 구축을 최우선으로 추진하고 있습니다. 이 분야 투자자들은 막대한 자금을 쏟아붓고 있지만, 실제 비즈니스 가치를 아직 충분히 창출하지 못하고 있습니다.  AI 도입 초기 단계에서 비즈니스 가치를 제공하는 AI 프로그램이 적다는 최근 주요 연구 결과가 밝혀졌습니다. 이는 신기술 도입 과정의 자연스러운 '환멸의 골짜기' 단계로 이어집니다.  

문제의 일부는 미국이 가장 크고 강력한 AI 모델을 가지고 있다고 해서 이를 통해 실질적인 비즈니스 성과를 이끌어내고 있다는 뜻이 아니라는 점입니다. AI 분야에는 견고한 진입 장벽도 거의 없습니다. 가장 큰 모델을 보유하는 것은 지속되지 않는 제한된 기간의 경쟁 우위를 줍니다.

핵심 요점: 중국은 가장 큰 모델을 만드는 대신, 실제 문제에 빠르게 적용해 AI 분야에서 우위를 점합니다. 반면 미국과 유럽은 규모 확대에 더 집중하며 실질적인 영향력에서 뒤처질 위험이 큽니다.  중국은 미국보다 훨씬 더 많은 전력 자원을 확보하고 있으며, 이것은 미국이 쉽게 해결할 수 있는 문제가 아닙니다. 우리는 어쩔 수 없이 자원을 계속 채굴해야 합니다. 모두 알지만 지속 가능하지 않다는 걸 인정하면서도, 이것이 세계적 경쟁 상황에서 불가피한 '논리'입니다. 

우리는 The Global CISO가 업계와 미래를 이끄는 위협과 트렌드를 가장 신속하게 알려드리는 신뢰할 수 있는 소식통이 되길 바랍니다. 다루었으면 하는 주제가 있다면 언제든 메모를 보내거나 LinkedIn에서 저와 연결해 주세요. 

지금 구독하셔서 The Global CISO의 모든 에피소드를 놓치지 마세요: 방어 전문가가 직접 전하는 내용을 선호하는 팟캐스트 플랫폼에서 들으시고, 팀원과 동료, 네트워크에도 공유하세요

첫 에피소드 "API 규율, AI 보안, 그리고 PQC"를 시청하세요. 

또한 제 두 번째 에피소드인 “먼저 자동화하기: API, 관찰성, 공급업체 책임에 대한 CTO 실행 가이드”를 꼭 청취해 보세요.