信用評分演演算法中兩個族裔/性別群體的預測結果差異是否構成資料收集過程或演演算法本身的偏見？
我認為信用評分結果的差異既構成了資料問題，也構成了演算法偏差。讓我們首先檢查資料集中的偏差。我認為模型本身是一個黑匣子，它生成輸出來實現某些目標——在信用評分的情況下，目標是違約風險預測的準確性、召回率和精確度。該模型未經訓練的版本不會歧視外國工人、婦女或年輕人：事實上，它並沒有像人類那樣設想這些（社會構建的）標籤。然而，模型訓練所用的資料集充滿了社會建構的偏見。例如，社會規範認為女性無能力、外勞不值得信任、年輕人缺乏經驗，導致這些群體的失業率更高、生活條件更差。由此產生的較高的歷史違約可能性不太可能源於與人口統計相關的能力差異，而更可能源於社會刻板印象產生的惡性迴圈。刻板印象使資料集產生偏差，進而使演算法產生偏差：考慮到最大化預測準確性的目標，模型學習資料集中的“模式”，並吸收社會構建的差異作為其預測演算法的一部分。我們能責怪演算法嗎？ – 模型畢竟囿於「歷史」，對歷史上受歧視群體的潛力沒有想像能力。本質上，我們有一個“垃圾輸入，垃圾輸出”的情況，這是由資料輸入中的歷史和代表性偏差造成的。

另一方面，我認為結果差異仍然構成演算法偏差。我相信我們仍然可以將模型必須實現的目標和約束“歸咎於”模型（即使我們人類一開始就規定了它們）。如上所述，以準確性作為評估指標，建立在歷史資料集上的整個預測/預測演算法旨在重複歷史，而不尋找潛在的或有洞察力的社會規範。最大化準確性的目標本身是否構成偏見？ – 如果我們能夠辨別出由社會精心打造的神話（軟弱的女性、魯莽的年輕人和仇外心理）所造成並具體化的惡性迴圈，那麼積極學習和傳播某些社會刻板印象的模式肯定會因其偏見而受到譴責！然而，我們硬連線模型來最佳化這些目標，並解決指標中固有的偏差，我們人類有責任修改目標並新增適當的約束。例如，在程式設計作業中，我們遇到了拒絕特定決策邊界內的預測的緩解技術。除了主動拒絕等技巧之外，是否可以加上一些約束，比如以促進弱勢群體成長為目標？如果沒有這些限制，我想說結果差異也構成了客觀規範部分的演算法偏差。