AIバイアスとは何か、それがITにとってなぜ重要なのか

どのようにしてAIにバイアスが生じるかを理解するには、AIモデルの学習方法の基本を理解する必要があります。

いくつの学習方法があるかは、尋ねる相手と、どの程度厳密かによって、答えが変わってくるでしょう。実際、今日使われている方法、アルゴリズム、モデルは多岐にわたり、多くの場合、この分野に精通していなければ理解できません。しかし、モデルがどのように学習するかをざっくりとでも理解する必要があります。なぜなら、最終的にはそれによってバイアスがどのように生じるかが変わるからです。そのことを念頭に置いて、AIモデルに学習させる基本的な方法を3つご紹介します。

1. 教師あり学習。入力データにはラベルが付けられています。システムは、学習に使用されたデータ セットとラベルに基づいて、出力がどうあるべきかを認識し、その知識を使って他の値を予測することができます。この学習法で使用されるアルゴリズムは大きく2種類に分かれます。1つは分類に基づくもので、データを色、サイズ、形状などの属性に基づいて分類します。通常、画像認識がこの学習法に該当しますが、他にはスパムの検知や電子メールのフィルタリングなどにもよく使われています。もう1つは、数学的回帰を使って、入力と出力の直線関係に基づくパターンを特定します。この方法では出力は、実際の気象の測定値などのモデルの外に分類されます。市場や天候の傾向を示す際にこの方法がよく使用されます。
   
2. 教師なし学習。「教師なし」という言葉どおり、データの性質についての指針がシステムに与えられません。つまり、ラベルが付けられていません。システムは自らパターンや関係を発見し、結果を予測することが期待されています。教師なし学習アルゴリズムでは、クラスタリングと関連付けという2つの手法を使用します。クラスタリングでは、システムは、あるグループと他のグループのデータの類似点がほとんどない、またはまったくないといった類似性に基づいてデータをグループ化します。クラスタリングは一般的に、顧客の購買行動などによく使用されます。関連付けでは、システムは、データ間の依存関係など、データ間の関係を探します。このアプローチで扱うのは完全に相関関係であり、因果関係ではありません。教師なし学習のシステムが明らかにするのは、単に「他の事象と連動する事象」であり、「他の事象が起こる原因となる事象」ではありません。関連付けは、Webの利用状況のマイニングによく使用されます。
   
3. 強化学習。強化学習は、教師あり学習と教師なし学習のそれぞれの欠点を最小限に抑えることを目的とした、折衷案です。強化学習では、システムが調べるデータにラベルはなく、その出力に対して正または負の報酬を与え、そこからシステムが「学習」して判断の精度を高めます。これは、教育課程の小テストや試験に見られるような、人間の学習方法に最も近いモデルです。強化学習は一般的に、ビデオ ゲーム、ロボット工学、テキスト マイニングなどに使用されています。

さて、ここからが本題です。バイアスはどのようにしてこうしたシステムに入り込むのでしょうか。

もうお分かりだと思いますが、その答えは、学習プロセスには通常、人間が関与しているという事実に基づいています。

教師あり学習にバイアスをかける最も簡単な方法は、データに誤ったラベルを付ける、いわばデータを汚染することです。例えば、動物を分類している場合、「犬」に誤って「猫」のラベルを付けると、十分に高いレベルで誤認が生じる可能性があります。ラベル付けのリスクは、出力を破損させる目的で意図的に間違ったラベルを付けることです。ヒョウが猫かどうか、猫の像を猫と見なすかどうかなど、人間の判断による誤認もあります。強化学習では、ゲームで「間違った」答えや動きに正の報酬を与えることで、システムが意図的に間違った答えを出したり、常に負けたりする可能性があります。

それを望む人がいるかもしれません。

これは明らかに、ChatGPTのような会話型（生成型AI）にも影響を与えます。ChatGPTは、そのサイトによると、「教師あり学習と強化学習」で微調整を行い、「人間のトレーナーがモデルのパフォーマンスを向上させた」とあります。人間が回答のランクを「上げる」または「下げる」ことでランク付けすると、そのデータを使用してモデルをさらに微調整することができます。読者の皆さんは人間だと思いますから、システムのバイアスをさらに高める可能性があるのです。現実には、ChatGPTの回答がまったく間違っていることもよくあります。システムが正しい答えをより多く出せるようにするには、システムにさらに学習させるためのフィードバックが必要です。

この点はとても興味深く、こうしたシステムをどのように操作し、どのような結果が得られるかについて話すのも面白いと思います。しかし私がこのトピックをお話ししたいと思った本当の理由は、バイアスの問題がテレメトリ、つまり運用データにまで及ぶからであり、デジタル サービスを提供して保護するシステムとサービスの自動化を進めるために誰もが使いたいと考えているのが、その運用データだからです。

ご記憶にあるかもしれませんが、私は以前、テレメトリに関連するデータ バイアスについてのトピックと、98％の組織が見逃しているインサイトについて書いたことがあります。

テレメトリ分析に関しては、ほとんどの場合、モデルの学習にはラベル付けされたデータが使用されます。そのシステムにバイアスが生じる原因として、(a)データのラベルが間違っていること、(b)特定のカテゴリのデータに多様性が不足していること、または(c)新しいデータを導入する方法に起因するものが考えられます。データのラベルが間違っていることが問題となる理由は明らかで、十分な量があれば、誤認につながる可能性があるからです。データの多様性が問題となるのは、学習セットが狭いと、そこから外れたデータが必然的に誤分類されるからです。

その典型的な例が、戦車と他の種類の輸送車両を認識するように学習したAIモデルです。戦車はすべて昼間に撮影されましたが、他の車両は昼間ではありませんでした。その結果、AIは戦車と戦車以外の車両を見分けることができましたが、実際には昼と夜を関連付けていました。入力セットに多様性がなかったために、偏った相関関係が生じてしまったのです。

たとえ運用を行うAIが強化学習を利用していても、データの多様性に欠けていれば、システムには「次の一手」を判断するために必要な「変数」が揃っていないことになり、問題となります。

AIが多様なデータ セットや必要な変数の一部を持っていない可能性がある原因は、ご想像のとおり、データ バイアスにあります。特に、「一部の」テレメトリのみを取り込んで分析する選択的モニタリングによって生じたデータ バイアスが原因です。例えば、DNSのパフォーマンスがユーザー エクスペリエンスに与える影響はよく知られています。しかし、DNSからのテレメトリなしでアプリケーションのパフォーマンスを分析するモデルを学習させた場合、そのモデルは、DNSに問題があってもパフォーマンスは良好だと答えるでしょう。そのモデルはDNSがアプリケーションのエンドツーエンドのパフォーマンスに何らかの形で関係していることを知らないからです。もし「次の一手」がパフォーマンスの低下を誰かに警告することであれば、データ選択のバイアスが原因でシステムは失敗することになります。

当社の年次調査で、半数以上の組織が、必要なインサイトを明らかにするうえでの最重要課題として「データの欠落」を挙げているのも当然のことです。

このように、組織がAIを活用して運用上の意思決定を行うことに全力を注いでいたとしても、課題は残ります。システムに学習させる多様なデータ セットがなければ、バイアスが入り込む可能性があるのです。

バイアスが生じる3つ目の原因は、データをモデルに導入する際の方法にあります。最も一般的な運用例は、合成テストの結果を使用してアプリケーションの平均的なパフォーマンスを決定し、得られたモデルを使用して実際のトラフィックを分析することです。合成テストのデータセットに含める地域、デバイス、ネットワークの混雑状況などの幅広さによって、実際のユーザーが完全に許容できるパフォーマンスであっても不足と識別される場合もあれば、その逆の場合もあります。