블로그 | CTO 사무실

AI의 핵심 개념: 투명성과 설명 가능성

로리 맥비티 썸네일
로리 맥비티
2024년 7월 16일 게시

AI와 관련된 업계의 우려 사항을 파악하려는 거의 모든 설문 조사는 모든 것을 "보안"이라는 제목 아래에 넣습니다. 민감한 데이터 유출에 대한 우려부터 환각과 편견 , 신속한 주입을 통한 착취부터 투명성과 설명 가능성까지, AI에 관한 모든 것은 보안의 책임인 듯합니다.

이러한 우려 사항은 모두 타당하고 중요하지만, 모두 매우 다르며 대부분은 보안의 책임이 아닙니다.

오늘은 투명성과 설명 가능성에 대해 깊이 알아보겠습니다. 둘 다 비즈니스 내에서 AI를 사용할 때 이해하고 실제로 적용하는 데 중요한 개념입니다. 이는 시스템과 결과에 대한 신뢰를 구축하는 방법일 뿐만 아니라 둘 다 특히 개발 중에 시스템의 문제 해결 및 디버깅을 지원하기 때문입니다.

투명성과 설명 가능성

투명성과 설명 가능성은 일반적으로 중요한 개념이지만 대부분의 실무자(IT 분야 종사자 포함)가 AI 시스템이 어떻게 작동하는지 잘 모른다는 점에서 AI에 특히 적용 가능합니다. 두 개념 모두 윤리적 AI, 책임 있는 AI, AI 거버넌스의 맥락에서 자주 논의됩니다. 이들은 밀접한 관련이 있지만 의미는 다르고 AI 시스템을 이해하고 관리하는 데 있어서 각기 다른 목적을 갖습니다.

투명성은 이해관계자와 대중을 포함한 광범위한 대상에게 AI 시스템에 대한 일반 정보를 제공하는 데 초점을 맞춥니다. 설명 가능성은 더욱 구체적이며 사용자, 개발자 및 이해 관계자에게 개별적인 결정이나 결과를 명확히 설명하여 해당 동작을 이해하도록 합니다. 

투명성은 시스템에 대한 신뢰를 증진하는 데 초점을 두는 반면, 설명 가능성은 특정 결과에 대한 신뢰를 구축하는 데 관심을 둡니다. 이를 달성하기 위해 투명성과 설명 가능성은 다양한 요소에 초점을 맞춥니다.

투명성: 출처를 인용하세요

AI의 투명성이란 AI 시스템의 설계, 운영, 의사 결정 프로세스에 대한 정보가 이해관계자에게 공개되고, 접근 가능하며, 이해 가능한 정도를 말합니다. 이는 AI 시스템이 작동하는 방식에 대한 명확한 의사소통과 가시성을 강조하여 이해관계자가 시스템의 다양한 측면을 이해할 수 있도록 합니다.

AI 투명성의 핵심 요소는 다음과 같습니다.

  • 디자인 및 개발: 투명성에는 AI 시스템의 설계, 아키텍처, 훈련 프로세스에 대한 정보를 공유하는 것이 포함됩니다. 여기에는 사용된 데이터 유형, 알고리즘, 구현된 모델이 포함됩니다. 이러한 투명성은 금융 서비스 제공자가 모기지 또는 신용 보고 기관의 FICO 점수에 대한 자격을 결정하는 데 어떤 데이터와 가중치가 사용되는지 설명하는 금융 서비스 공개와 유사합니다.
  • 데이터 및 입력: 투명성은 AI 시스템을 훈련하고 운영하는 데 사용되는 데이터의 출처와 유형을 명확히 하는 것을 의미합니다. 여기에는 입력 데이터에 적용된 모든 데이터 전처리, 변환 또는 증강을 공개하는 것도 포함됩니다. 이러한 유형의 정보는 기업이 어떤 데이터를 수집하고, 저장하고, 누구와 공유할지 알려주는 데이터 수집 설명서와 유사합니다.
  • 거버넌스와 책임성: AI 시스템의 개발, 배포, 거버넌스를 담당하는 사람에 대한 정보를 제공합니다. 이는 이해관계자가 책임 구조를 이해하는 데 도움이 됩니다.

설명 가능성: 당신의 작업을 보여주세요

AI에서 설명 가능성은 시스템의 결정, 출력 또는 행동에 대한 이해할 수 있는 이유나 정당성을 제공하는 능력을 말합니다. 특정 결정이 내려진 이유를 설명하는 데 중점을 두고, AI 결과를 사용자와 이해관계자가 이해할 수 있도록 하는 데 중점을 둡니다.

AI 설명 가능성의 핵심 요소는 다음과 같습니다.

  • 결정의 정당성: 설명 가능성은 특정한 결정이나 결과를 가져온 요인과 논리를 자세히 설명하는 것을 포함합니다. 다음과 같은 질문에 답합니다: "AI는 왜 이런 결정을 내렸을까?" 그리고 "이 결과에 영향을 준 것은 무엇일까?" 이것은 기하학에서 증명을 하는 것과 비슷합니다. 출력 결과를 설명하기 위해 공리(공통성, 합동성, 평행선 등)에 의존해야 합니다. 다시 말해, AI가 2+2=5라고 결정했다면 대체 수학 시스템에 의존하거나 해당 방정식을 문학적 기법으로 사용하는 등 그 결정에 대한 타당한 이유를 입증 해야 합니다 .  
  • 모델 해석 가능성: 설명 가능성을 위해서는 이해관계자가 의사 결정이 이루어지는 근본적인 메커니즘을 이해할 수 있도록 AI 모델을 해석 가능하게 만들어야 합니다. 예를 들어, 모든 사람이 미적분을 이해하는 것은 아니므로 복잡한 방정식 형태로 설명하는 것은 충분하지 않습니다. 생성적 적대 신경망(GAN)과 합성곱 신경망(CNN)의 작동 방식에는 상당한 차이가 있으므로 어떤 구조적 접근 방식을 사용하는지 공개하는 것이 해석 가능성의 중요한 부분입니다.
  • 인간의 이해성: 설명은 전문가가 아닌 사람도 쉽게 이해할 수 있는 형식으로 작성되어야 합니다. 이를 위해서는 복잡한 AI 작업을 간단하고 명확한 방식으로 표현해야 합니다. 16진법이나 코드로 설명을 제시할 수 없습니다. 법률, 규정 준수, 엔지니어를 포함한 모든 이해 관계자가 읽을 수 있는 것을 사용해야 합니다.

AI에 대한 신뢰 구축

새로운 기술은 신뢰를 구축하는 데 시간이 필요합니다. 15년 전에는 아무도 중요한 애플리케이션의 자동 확장을 신뢰하지 않았지만 오늘날에는 기본 기능으로 기대됩니다. 복잡한 수학 문제를 풀든, 자동차를 운전하든, 청구서를 지불하든, 어떤 종류의 자동화든 사용자가 신뢰하려면 시간이 걸립니다. 프로세스에 대한 투명성과 시스템의 작동 방식에 대한 설명은 도입과 도입 사이의 격차를 줄이는 데 큰 도움이 될 수 있습니다.

투명성은 AI 시스템의 작동 방식에 대한 광범위한 관점을 제공하는 반면, 설명 가능성은 특정한 결정이나 결과의 이유를 깊이 있게 탐구합니다. 두 가지 모두 AI가 성공하고, 기업이 더 나은 고객 서비스, 생산성 향상, 더 빠른 의사 결정 등 AI의 이점을 실현하는 데 필수적입니다.

그리고 두 가지 모두 보안의 범위가 아닙니다.