AI의 핵심 개념: 투명성과 설명 가능성

AI의 투명성이란 AI 시스템의 설계, 운영, 의사 결정 프로세스에 대한 정보가 이해관계자에게 공개되고, 접근 가능하며, 이해 가능한 정도를 말합니다. 이는 AI 시스템이 작동하는 방식에 대한 명확한 의사소통과 가시성을 강조하여 이해관계자가 시스템의 다양한 측면을 이해할 수 있도록 합니다.

AI 투명성의 핵심 요소는 다음과 같습니다.

• 디자인 및 개발: 투명성에는 AI 시스템의 설계, 아키텍처, 훈련 프로세스에 대한 정보를 공유하는 것이 포함됩니다. 여기에는 사용된 데이터 유형, 알고리즘, 구현된 모델이 포함됩니다. 이러한 투명성은 금융 서비스 제공자가 모기지 또는 신용 보고 기관의 FICO 점수에 대한 자격을 결정하는 데 어떤 데이터와 가중치가 사용되는지 설명하는 금융 서비스 공개와 유사합니다.
• 데이터 및 입력: 투명성은 AI 시스템을 훈련하고 운영하는 데 사용되는 데이터의 출처와 유형을 명확히 하는 것을 의미합니다. 여기에는 입력 데이터에 적용된 모든 데이터 전처리, 변환 또는 증강을 공개하는 것도 포함됩니다. 이러한 유형의 정보는 기업이 어떤 데이터를 수집하고, 저장하고, 누구와 공유할지 알려주는 데이터 수집 설명서와 유사합니다.
• 거버넌스와 책임성: AI 시스템의 개발, 배포, 거버넌스를 담당하는 사람에 대한 정보를 제공합니다. 이는 이해관계자가 책임 구조를 이해하는 데 도움이 됩니다.

AI에서 설명 가능성은 시스템의 결정, 출력 또는 행동에 대한 이해할 수 있는 이유나 정당성을 제공하는 능력을 말합니다. 특정 결정이 내려진 이유를 설명하는 데 중점을 두고, AI 결과를 사용자와 이해관계자가 이해할 수 있도록 하는 데 중점을 둡니다.

AI 설명 가능성의 핵심 요소는 다음과 같습니다.

• 결정의 정당성: 설명 가능성은 특정한 결정이나 결과를 가져온 요인과 논리를 자세히 설명하는 것을 포함합니다. 다음과 같은 질문에 답합니다: "AI는 왜 이런 결정을 내렸을까?" 그리고 "이 결과에 영향을 준 것은 무엇일까?" 이것은 기하학에서 증명을 하는 것과 비슷합니다. 출력 결과를 설명하기 위해 공리(공통성, 합동성, 평행선 등)에 의존해야 합니다. 다시 말해, AI가 2+2=5라고 결정했다면 대체 수학 시스템에 의존하거나 해당 방정식을 문학적 기법으로 사용하는 등 그 결정에 대한 타당한 이유를 입증 해야 합니다 .  
• 모델 해석 가능성: 설명 가능성을 위해서는 이해관계자가 의사 결정이 이루어지는 근본적인 메커니즘을 이해할 수 있도록 AI 모델을 해석 가능하게 만들어야 합니다. 예를 들어, 모든 사람이 미적분을 이해하는 것은 아니므로 복잡한 방정식 형태로 설명하는 것은 충분하지 않습니다. 생성적 적대 신경망(GAN)과 합성곱 신경망(CNN)의 작동 방식에는 상당한 차이가 있으므로 어떤 구조적 접근 방식을 사용하는지 공개하는 것이 해석 가능성의 중요한 부분입니다.
• 인간의 이해성: 설명은 전문가가 아닌 사람도 쉽게 이해할 수 있는 형식으로 작성되어야 합니다. 이를 위해서는 복잡한 AI 작업을 간단하고 명확한 방식으로 표현해야 합니다. 16진법이나 코드로 설명을 제시할 수 없습니다. 법률, 규정 준수, 엔지니어를 포함한 모든 이해 관계자가 읽을 수 있는 것을 사용해야 합니다.