クレジットスコアリングアルゴリズムによる2つの民族／性別グループ間の予測結果の違いは、データ収集プロセスやアルゴリズム自体のバイアスに該当するか？
拙者は、クレジットスコアリングの結果の違いは、データの問題とアルゴリズムのバイアスの両方を構成していると主張するのだ。まず、データセットのバイアスを検証してみましょうなのだ。拙者は、モデルそのものを、ある目的を果たすために出力を生成するブラックボックスと考えますなのだ。クレジットスコアリングの場合、目的はデフォルトリスク予測の精度、再現性、正確さなのだ。このモデルは、外国人労働者、女性、若者を差別することはないのだ。しかし、モデルの学習対象となるデータセットには、社会的に構築されたバイアスが含まれているのだ。例えば、社会通念上、女性は能力がない、外国人労働者は信用できない、若者は経験が浅いとされ、これらのグループの失業率の上昇や生活環境の悪化を招いているのだ。その結果、ヒストリカル・デフォルトの可能性が高くなるのは、社会的ステレオタイプが生み出す悪循環よりも、人口統計学に関連した能力の差に起因する可能性が高いなのだ。ステレオタイプはデータセットに偏りを与え、その結果、アルゴリズムにも偏りが生じますなのだ。予測精度を最大化するという目標があれば、モデルはデータセットの「パターン」を学習し、予測アルゴリズムの一部として社会的に構築された差異を吸収していきますなのだ。アルゴリズムを責めることができるだろうか？- 結局のところ、モデルは「歴史」に制約され、歴史的に差別されてきた集団の可能性を想像する能力を持たないのなのだ。基本的には、データ入力の歴史的・表現的バイアスによって引き起こされる「ゴミが入り、ゴミが出る」シナリオがあるのだ。

一方、拙者は、結果の違いは依然としてアルゴリズムのバイアスを構成していると主張するのだ。モデルが果たさなければならない目的や制約を（そもそも人間が定めたものであるにもかかわらず）「責める」ことはできると思うのなのだ。上記のように、精度を評価指標とすると、過去のデータセットを基に構築された予測・予報アルゴリズム全体が、可能性を探したり社会規範を見極めたりすることなく、歴史を繰り返すことを意味するのだ。精度を最大化するという目的自体がバイアスになるのだろうかなのだ。- 社会的に作られた神話（弱い女性、無謀な若者、外国人嫌い）によって作られ、また再定義される悪循環を見分けることができれば、ある種の社会的ステレオタイプを積極的に学習し伝播するモデルは、確かにそのバイアスを指摘されるべきです！しかし、拙者たちは、これらの目標を最適化するためにモデルをハードワイヤーで接続するのだ。そして、測定基準に内在するバイアスに対処するために、拙者たち人間は、目標を修正し、適切な制約を加える責任があるのだ。例えば、プログラミングの課題では、ある決定境界内の予測を拒否する緩和テクニックに出会いるのだ。積極的に拒否するような手法の他に、恵まれないグループの成長を促進するような制約を目的として加えることはできないでしょうかなのだ。このような制約がないと、結果の違いも目的指定の部分におけるアルゴリズム的な偏りになってしまうと言えるでしょうなのだ。