섀도우 AI: 기업 내 잠재된 조용한 보안 위협

섀도우 AI는 직원들이 승인되지 않은 소프트웨어, 클라우드 서비스 또는 시스템을 기업 내에 도입하는 오랜 문제인 섀도우 IT에서 빠르게 진화한 분파입니다. 섀도우 IT가 거버넌스와 보안에 부담을 주고 있지만, 섀도우 AI는 훨씬 더 위험한 복잡성을 추가합니다.

Shadow AI 사례 몇 가지:

• 소프트웨어 엔지니어가 개인용 ChatGPT, Gemini, Copilot 계정을 이용해 보일러플레이트 코드를 생성하거나 언어를 번역하고, 레거시 코드를 리팩토링하거나 테스트 케이스를 작성할 때 의도치 않게 독점 코드를 공개 모델에 붙여 넣는 경우가 있습니다. 그 코드는 저장, 기록되거나 노출될 위험이 있습니다. 더 심각한 문제는 AI가 생성한 결과물이 안전하지 않은 로직이나 허구의 API, 라이선스 조건을 위반하는 코드를 포함할 수 있다는 점입니다.
• 커뮤니케이션 전문가는 기밀 전략 메모를 AI 도구에 업로드해 고객 대상 메시지를 요약하거나 작성합니다. 해당 독점 정보는 IT 관리 권한 밖에 있는 제3자 서버에 저장됩니다.
• 영업 담당자가 이메일과 CRM 시스템과 연동되는 AI 기반 크롬 확장 프로그램을 설치해 잠재 고객에게 보낼 이메일을 자동으로 생성합니다. 어떤 위험이 있을까요? 데이터 유출, 내부 정책 위반, GDPR과 캘리포니아 소비자 개인정보 보호법 같은 규정 미준수 위험이 존재합니다.

이 사례들은 시작에 불과합니다. 산업 전반에서 섀도우 AI 관련 다양한 상황이 매일 벌어지고 있습니다. 문제의 규모가 방대해 Gartner®는 “2027년에는 직원의 75%가 IT 부서의 인지 범위 밖에서 기술을 습득, 수정 또는 생성할 것”이라고 예측했습니다. 이는 2022년 41%에서 크게 늘어난 수치입니다. 이로 인해 상명하달식의 고도 중앙집중형 사이버보안 운영 모델은 더 이상 성과를 거두기 어렵습니다. CISO들은 사이버보안을 기업 전반에 배치된 다양한 전문가 그룹과 융합팀을 지원하는 유연하고 중앙 집중적 기능으로 재구성해야 합니다. 이렇게 하면 사이버보드를 기업 경계 가까이, 기술과 리스크 결정이 이뤄지고 실행되는 현장에 더 가깝게 확장할 수 있습니다.” ¹

Shadow AI가 초래하는 정확한 재정 손실은 아직 집계 중이지만, 피해 가능성은 분명하며 계속 증가하고 있습니다. 지금 행동하지 않으면 심각한 사고, 법적 제재, 고객 신뢰 하락을 초래할 위험이 있습니다.

가장 심각한 보안 위협 중 하나는 프롬프트 인젝션입니다. 악의적인 사용자가 AI의 입력을 조작해 제한을 우회하거나 민감한 정보를 유출하고, 의도치 않은 명령을 실행하도록 만드는 공격입니다. AI 모델은 기본적으로 입력을 자동으로 신뢰해 이런 공격에 취약합니다. 프롬프트 인젝션이 성공하면 AI가 내부 정보를 노출하거나 자동화 시스템을 손상시키고, 의사결정 기능을 무력화할 수 있습니다.

가장 큰 걱정 중 하나는 개인 식별 정보(PII), 보호 건강 정보(PHI), 은행 및 재무 기록, 소스 코드와 독점 IP, 자격 증명과 접근 키, 고객 기록 등과 같은 데이터 유출입니다.

문제를 더욱 심각하게 만드는 것은 규제 위반 위험입니다. 무단 AI 사용은 GDPR, HIPAA, PCI DSS, Sarbanes-Oxley법 등 주요 기준을 쉽게 위반하며, 이로 인해 기업은 처벌과 명성 손실에 직면할 수 있습니다.

이러한 위험에 대응해 일부 조직은 직원이 승인받지 않은 생성 AI 도구 사용을 금지했습니다. 예를 들어, 삼성은 민감한 내부 정보 유출 우려로 2023년에 ChatGPT 등 AI 챗봇 사용을 금지한 최초 기업 중 하나입니다. 그 뒤로 여러 은행과 기업이 유사한 제한과 경고를 내놓았습니다.

그러나 업계 전문가들은 전면적인 금지보다는 신중한 접근을 권장합니다.

정당한 위험에도 불구하고, 업계 전문가들은 전면 금지보다는 예방적 정책과 거버넌스 체계를 권장합니다.

금지 조치는 오히려 역효과가 날 수 있습니다. 집행이 어렵고, 혁신과 사기를 저해하며, AI 사용을 은밀하게 만들어 감지하고 통제하기 더욱 힘들게 만듭니다.

한 IT 리더는 Gartner Peer Community 토론에서 AI 도구 금지에 대해 이렇게 말했습니다: "금지는 세상을 바꾸지 못합니다. 정책이 없더라도 이런 조치는 혁신에 해로우며 직원과 세상에 우리 조직에 대해 잘못된 메시지를 전달합니다."

지금 바로 조직에서 실행할 수 있는 실용적인 거버넌스 단계 몇 가지를 소개합니다:

1. 명확한 AI 사용 정책을 수립하세요
   승인된 도구, 데이터 관리 방식, 허용 가능한 사용 사례, 적용되는 안전장치를 분명히 정의합니다. 허용되는 내용과 그 이유를 명확히 알리세요.
2. 검증된 AI 도구 목록을 직접 관리하세요
   데이터 프라이버시, 보안, 규제 준수 측면에서 도구를 꼼꼼히 평가합니다. 직원들이 검증되지 않은 플랫폼 대신 이 도구들을 활용하도록 독려하세요. 예를 들어, 로깅과 데이터 손실 방지 기능이 포함된 ChatGPT 기업용 버전을 사용하고, 사내 시스템에 통합된 AI 비서를 도입하세요.
3. 직원을 교육하고 인식을 높이세요
   직원들이 데이터 유출, 허위 콘텐츠 생성, 규정 위반 위험을 명확히 이해할 수 있게 도와드립니다. 대부분의 오용은 의도하지 않은 경우가 많습니다.
4. 모니터링 후 적응하세요
   윤리적이고 합법적인 모니터링을 활용해 무단 사용을 감지하는 방안을 고려하세요. 처벌 대신 교육으로 대응합니다. AI 성능이 변할 때마다 정책도 지속해서 업데이트하세요.