최고의 AI 및 데이터 개인정보 보호 우려 사항

인공지능이 도입되었습니다: F5 2025 애플리케이션 전략 보고서에 따르면, 조사한 조직의 96%가 이미 AI 모델을 적용하고 있습니다.

AI는 조직이 더 스마트하고 빠르며 효율적으로 일할 수 있도록 돕지만, 동시에 우려와 위험도 함께 가져옵니다. 특히 머신러닝과 대규모 언어 모델(LLM)을 기반으로 하는 AI 시스템은 방대한 데이터로 구동되며, 이 데이터로 AI 모델을 학습하고 조정하며 엔진에 동력을 제공합니다. 여기에는 개인 식별 정보, 행동 패턴, 위치 데이터, 재무 및 건강 기록과 같은 민감한 정보가 포함될 수 있습니다. AI가 일상 업무에 점점 더 많이 통합됨에 따라 개인 데이터 노출이나 오용 위험도 커집니다. AI 데이터 개인정보 보호가 지금 가장 중요한 과제로 떠올랐습니다.

이 블로그 게시물에서는 AI 개인정보 보호의 개념을 살펴보고, AI가 어떻게 데이터 개인정보 위험과 문제를 발생시키는지 다룹니다. 또한 AI 개인정보 보호법을 검토하고 AI 애플리케이션에서 데이터 프라이버시를 안전하게 지키는 방법을 알려드립니다.

대중은 개인정보 보호에 대해 크게 우려하지만, 스스로를 지키는 방법은 잘 모릅니다. Pew Research에 따르면 미국인의 70%는 기업이 AI를 책임감 있게 사용한다고 믿지 않으며, 81%는 기관들이 개인 정보를 불편하게 느낄 방식으로 사용할 거라고 생각합니다. 조사에서는 응답자의 78%가 자신의 판단으로 개인 정보를 잘 보호할 수 있다고 믿는 반면, 56%는 온라인 개인정보 보호정책을 미리 읽지도 않고 항상 또는 자주 동의한다고 밝혔습니다.

개인 정보를 AI가 활용하는 것에 대해선 상황에 따라 대중의 반응이 크게 다릅니다. 동일한 Pew Research 보고서에 따르면, 응답자의 단 28%만이 AI가 공공 지원 자격을 판단하는 데 사용되는 것을 수용하는 반면, 42%는 스마트 스피커가 음성을 분석해 개별 이용자를 인식하는 데에 별다른 걱정을 하지 않습니다.

조직은 AI와 데이터 개인정보 보호에 관한 규제 요건뿐 아니라 개인 정보 활용에 대한 대중의 인식과 신뢰도 함께 고려해야 합니다.

AI 시스템은 전체 수명 주기에서 데이터 개인정보 위험에 노출되므로, 윤리적이고 안전한 데이터 활용을 위해 개발과 배포 각 단계에서 이 위험을 파악하고 대응해야 합니다.

• 데이터 수집.  AI 모델 학습에는 방대한 데이터 세트가 필요하고, 데이터 수집 단계에서 특히 의료 정보, 개인 금융 데이터, 생체 인식 등 민감한 정보가 포함될 때 개인 정보 보호 위험이 가장 큽니다. 개인 데이터는 적절한 동의 없이 수집됐거나, 개인에게 충분히 투명하지 않은 방식으로 수집되었을 수 있습니다.
• AI 모델 훈련. 훈련 과정에서 AI 모델은 입력된 데이터에서 패턴을 학습합니다.  개인 정보가 동의를 받아 수집되었더라도, AI 모델이 원래 목적을 넘어 해당 데이터를 사용할 수 있습니다. 훈련 과정은 신뢰와 투명성에 대한 문제를 일으킬 수 있으며, 특히 개인이 자신의 데이터가 AI 시스템에서 어떻게 활용되는지 제대로 알지 못하거나 오해한다면 더욱 그러합니다. 예를 들어, 개인은 조직이 계정 관리를 위해 자신의 데이터에 접근하는 것을 허용해도, 그 정보가 AI 모델 훈련에 쓰인다는 사실을 알면 동의하지 않을 수 있습니다.
• 추론 엔진. 추론 단계에서는 훈련된 AI 모델이 새로운 데이터에서 통찰이나 예측을 도출합니다. 개인정보 위험은 AI 시스템이 겉보기에는 무해하고 익명화된 입력을 기반으로 개인에 대해 매우 정확한 추론을 내리거나, 훈련 데이터에 내재한 편견을 드러내거나 확대할 때 발생합니다. 이러한 상황은 공개된 정보원에서 정보를 수집하는 OSINT(오픈소스 인텔리전스)와 유사합니다. OSINT는 공개 데이터를 전략적 통찰로 전환하여 사이버보안, 위협 탐지, 수사, 경쟁 분석에서 중요한 역할을 합니다. 단, OSINT는 무단 접근이나 해킹을 포함하지 않고, 합법적이고 공개된 데이터를 수집하는 것에 한정합니다.
• 애플리케이션 계층. AI 애플리케이션은 AI 시스템의 가장 눈에 잘 띄고 접근하기 쉬운 부분으로, 해커들이 첫걸음으로 삼기 쉽습니다. 공격자는 API나 웹 서비스를 이용해 민감한 데이터에 침투할 수 있습니다. 또한, 잘못된 접근 제어나 과한 오류 메시지, 지나치게 상세한 AI 응답을 통해 정상 사용자가 민감 정보를 노출받을 위험도 있습니다.

생성 AI 시스템은 텍스트, 이미지, 코드 또는 오디오를 만드는 데 사용되는 LLM과 같이 특히 높은 데이터 개인정보 위험을 동반합니다. 대다수 AI 모델은 공개 인터넷에서 무단으로 수집된 데이터 세트로 학습되며, 출처나 콘텐츠 작성자의 명확한 허가나 동의 없이 진행됩니다. 아울러, 수집된 데이터에 개인 식별 정보가 포함될 수 있어 생성 AI가 추론 시 이를 노출할 위험이 있습니다.

생성형 AI 애플리케이션, 특히 대중이 이용하는 글쓰기 도우미, 챗봇, 이미지 생성기는 대부분 웹을 통해 상호작용하고 접근할 수 있습니다. 이로 인해 공격자가 입력 내용을 조작해 모델의 동작을 왜곡하거나, 제어 장치를 우회하거나, AI가 제한되거나 부적절하거나 기밀인 내용을 생성하도록 속일 위험에 노출됩니다. 또한, 사용자가 개인 정보나 민감한 내용을 AI 도구에 붙여넣을 때, 그 내용이 AI 시스템에 저장되어 추후 AI 모델 학습이나 조정에 사용될 수 있다는 점을 인지하지 못하면, 정보가 실수로 유출될 가능성이 커집니다.

이 두 가지 요소가 만나면, 동의 없이 또는 민감한 내용으로 훈련된 LLM이 그러한 내용을 다시 생성해 개인 정보를 유출할 위험이 커집니다. 동시에 사용자가 민감한 데이터를 프롬프트에 실수로 입력하면 그 정보가 무단 접근이나 재사용에 노출될 수 있습니다.

AI 도입이 빨라지면서 정부들은 개인 정보나 민감한 데이터를 사용하거나 저장하는 AI 시스템과 관련된 데이터 프라이버시 위험을 해결하기 위해 법률을 새로 만들거나 개정하고 있습니다. 현재 144개국이 국가 차원의 데이터 프라이버시 법률을 제정했고, 미국 같은 나라는 지역별 프라이버시 법이 복합적으로 운영되고 있습니다. 이들 데이터 프라이버시 규제가 모두 AI에 특화된 것은 아니지만, 대부분의 AI 시스템은 해당 규정을 반드시 준수해야 합니다.

데이터 개인정보 보호법의 사례는 다음과 같습니다.

• 유럽연합 일반 데이터 보호 규정(GDPR)
  GDPR은 개인 데이터를 공정하고 투명하게 수집하며, 수집 시점에 명확하게 정해진 목적에 맞게 사용하도록 요구합니다. 조직은 의도된 목적에 필요한 최소한의 데이터만 수집하고, 필요한 기간 동안만 데이터를 보관하며, 데이터를 안전하고 기밀로 유지하는 엄격한 조치를 시행해야 합니다. GDPR이 인공지능을 명시적으로 언급하지는 않지만, 개인 데이터를 수집·처리·저장하는 모든 AI 시스템은 GDPR 원칙을 철저히 준수해 AI 전 생애주기 동안 책임감 있게 데이터를 관리해야 합니다.
• 유럽연합 인공지능법
  EU AI법은 주요 규제 기관이 도입한 세계 최초의 포괄적 인공지능 규제 체계입니다. 정부 주도의 사회 신용 평가나 CCTV 영상에서 얼굴 이미지를 무분별하게 수집하는 등 ‘용납할 수 없는 위험’을 초래하는 AI 애플리케이션을 금지합니다. 또한, 채용 시 이력서 선별 도구처럼 ‘고위험’으로 분류된 AI 시스템에는 엄격한 법적 책임을 부과합니다. 고위험 AI 시스템 개발자는 모든 학습, 검증, 테스트 데이터 세트가 정해진 품질 기준을 충족하도록 철저한 데이터 관리 체계를 구축해야 합니다.
• 미국 주 규제
  캘리포니아 소비자 개인정보 보호법(CCPA)과 텍사스 데이터 개인정보 보호 및 보안법은 개인이 자신의 개인정보를 더 강력하게 통제할 수 있도록 합니다. 이들 법률은 조직이 데이터를 수집, 사용, 공유하는 방식을 알 권리, 개인정보 삭제를 요청할 권리, 해당 데이터의 판매나 공유를 거부할 권리 등 핵심 권리를 보장합니다.
  
  유타 인공지능 및 정책법은 고위험 생성형 AI 애플리케이션을 집중적으로 규정합니다. AI 시스템은 사용자가 생성 AI와 상호작용할 때 명확한 안내를 제공해야 하며, AI 기반 경험에서 투명성과 충분한 정보를 바탕으로 참여할 수 있도록 합니다.

White & Case 법률사무소가 AI Watch를 발행합니다. Global regulatory tracker는 AI 개인정보 보호 규정을 신속하게 파악할 수 있는 훌륭한 자료입니다.

AI 시스템이 점점 복잡해지고 영향력이 커질수록 AI 전 과정에서 데이터 프라이버시를 보호하는 일이 필수적입니다. 아래 모범 사례를 따르면 규정 준수를 지키고, 사용자 신뢰를 확보하며, 위험을 줄이는 데 도움이 됩니다.

• 강력한 데이터 거버넌스 정책을 개발하세요. 포괄적인 지침이 필요합니다 데이터 분류, 역할 기반 액세스 제어, 암호화 및 가명화와 같은 데이터 보안 전략, 정기 감사, GDPR 및 CCPA와 같은 관련 데이터 개인 정보 보호 규정과의 일치가 포함됩니다.
• 데이터 수집을 최소화하세요. AI 시스템의 목적에 필요한 데이터만 수집해야 합니다. 데이터를 최소한으로 줄이면 노출 위험을 낮출 수 있으며, 이는 여러 개인정보 보호법에서 요구하는 사항입니다.
• 명확한 동의를 받으세요. 데이터가 어떻게 수집되고 사용되며 저장되는지 사용자에게 분명히 알리세요. 개인 정보를 수집하고 활용하기 전에 반드시 명확하고 충분한 동의를 먼저 받으세요. 이런 투명성은 많은 나라에서 법적 의무일 뿐 아니라 사용자 신뢰를 더욱 튼튼히 합니다.
• 훈련 데이터 공급망을 검증하십시오. AI 모델 훈련에 사용하는 타사 데이터 세트가 신뢰할 만하며 엄격한 데이터 개인정보 보호 절차를 준수하는지 반드시 확인하세요.
• 일반적인 애플리케이션 보안 모범 사례를 따르세요. 강력한 ID 및 접근 관리, 데이터 전송 및 저장 시 암호화, 개인정보 보호를 위한 데이터 익명화 등 검증된 데이터 보안 조치를 적용해 AI 시스템의 토대를 단단히 구축하세요.
• 지속적인 위험 평가를 실시하세요. 위험 관리는 한 번으로 끝나는 일이 아닙니다. 특히 빠르게 변화하는 AI 분야에서는 개인정보 위험을 정기적으로 재검토해야 합니다. 지속적 평가를 통해 새로운 위협을 파악하고, 규정 준수를 점검하며, 필요에 따라 거버넌스 정책을 업데이트하십시오.
• 소프트웨어를 활용해 데이터 보호를 강화하세요. 지능형 도구인 F5 애플리케이션 전달 및 보안 플랫폼을 사용해 관찰 능력을 높이고, 개인정보 보호 규정 준수를 강화하며, AI 애플리케이션을 통해 민감한 데이터 흐름을 실시간으로 모니터링할 수 있습니다.
• 공급업체와 파트너의 개인정보 보호 정책을 평가해 보세요. 모든 기술 파트너와 서비스 제공자가 강력한 데이터 프라이버시와 보안 체계를 갖추었는지 반드시 확인하세요. AI 데이터가 공유 생태계를 통해 흐르므로, 위험 최소화를 위해 제3자 관리가 필수적입니다. F5의 데이터 개인정보 보호 선언문을 참고하세요.

AI 전용 규정에서 공통적으로 요구하는 사항은 AI 애플리케이션을 위험 수준에 따라 분류하는 것입니다. 이 위험 기반 방법 덕분에 조직은 AI 시스템의 잠재적 영향을 고려해 적합한 보호 조치와 감시 체계를 적용할 수 있습니다.

고위험 AI 애플리케이션은 다음과 같은 사례를 포함할 수 있습니다:

• 안전이 필수적인 시스템은 AI 기능을 중요한 인프라, 교통 수단 또는 의료 기기에 적용하며, 실패 시 생명이나 재산에 피해를 초래할 수 있습니다.
• 고용 및 교육 시스템에서 AI 도구를 활용해 채용, 입학, 성과 평가, 교육 기회 접근을 관리할 때, 편향이나 오류가 개인의 권리와 기회에 중대한 영향을 미칩니다.
• 공공 안전 및 법 집행 분야에서는 얼굴 인식, 예측 경찰 활동, 감시, 위험 평가에 쓰이는 시스템이 시민 자유와 차별 문제를 불러일으킬 수 있습니다.
• 사용자가 직접 접근하는 생성형 AI는 텍스트, 이미지 또는 비디오를 생성하는 애플리케이션을 가리키며, 특히 그 결과물이 행동에 영향을 미치거나 잘못된 정보를 확산시키거나 민감한 정보를 실수로 노출할 수 있는 상황에서 중요합니다.

미국 미국 국립표준기술연구소(NIST)는 2023년 다양한 산업과 활용 분야를 위한 실용적인 지침을 제시하는 인공지능 위험 관리 프레임워크(AI RMF)를 발표했습니다. 위험이 높은 애플리케이션 범주를 단순히 광범위하게 구분하는 대신, 위험을 진단하고 완화하는 구체적인 방법을 제공하므로, AI 애플리케이션 개발자에게 특히 유용할 것입니다.

AI RMF 코어는 AI 위험 관리를 지속적이고 순환적으로 수행하는 네 가지 주요 기능으로 구성됩니다.

1. 관리. 책임감 있는 AI 개발을 지원하기 위해 조직의 정책, 절차, 프로세스와 관행을 세우고 감독하며, 투명성과 효율적인 실행을 확보합니다.
2. 지도 AI 시스템이 작동하는 환경을 파악하고, AI 개발 전 과정에서 발생할 수 있는 위험과 잠재적 영향을 평가하세요.
3. 측정 적합한 도구와 지표, 평가 기법을 활용해 AI 위험과 영향을 명확하게 평가하고 모니터링하며 수치화하세요.
4. 관리하세요. 위험의 우선순위를 정하고 신속히 대응하며 피해를 줄이고 결과를 최적으로 이끌 해결책과 통제를 적용합니다. AI 시스템 모니터링, 사고 대응과 복구, 그리고 관련 소통에 필요한 자원을 할당하세요.