هل الفرق في نتائج التنبؤ بين مجموعتين عرقيتين/جنسيتين من خوارزمية تقييم الائتمان يشكل تحيز في عملية جمع البيانات أو الخوارزمية نفسها؟
انا اقول ان الاختلافات في نتائج تقييم الائتمان تشكل قضية بيانات وتحيز خوارزمي. لنفحص اولا التحيز في المجموعة من البيانات. انا افكر في النموذج بحد ذاته كصندوق اسود يخلق مخرجات لتحقيق أهداف معينة <unk> في حالة تقييم الائتمان، الهدف هو دقة، استرجاع، ودقة تنبؤات مخاطر التخلف عن السداد. النموذج في نسخته غير المدربة لا يميز ضد العمال الأجانب، النساء، أو الشباب: في الواقع، لا يفكر في هذه التسميات (المبنية اجتماعيا) بالطريقة التي يفعلها البشر. ومع ذلك، المجموعة من البيانات التي تم تدريب النموذج عليها مليئة بالتحيزات التي تم بناؤها اجتماعيا. على سبيل المثال، القواعد الاجتماعية تعتبر النساء غير قادرات، العمال الأجانب غير جديرين بالثقة، والشباب غير ذوي الخبرة، مما يؤدي إلى ارتفاع معدل البطالة وأوضاع معيشة أسوأ لهذه المجموعات. نتيجة لذلك، احتمالات التخلف عن السداد في التاريخ العالي، لا تنبع من الاختلافات في القدرات المرتبطة بالتركيبة السكانية، بل من الدورات الشريرة الناتجة عن الصور النمطية الاجتماعية. النماذج النمطية تجعل مجموعات البيانات منحازة، والتي بدورها تحيز الخوارزميات: بالنظر إلى الهدف المتمثل في زيادة دقة التنبؤ، يتعلم النموذج "الأنماط" في مجموعة البيانات ويمتص الاختلافات المبنية اجتماعيا كجزء من خوارزمية التنبؤ. ممكن نلوم الخوارزمية؟ <unk> بعد كل شيء، النموذج مقيد بـ <unk> التاريخ<unk> ولا يملك قدرة تخيلية على إمكانات المجموعات المتميزة تاريخياً. أساساً عندنا سيناريو "القمامة تدخل، القمامة تخرج" بسبب التحيز التاريخي والتمثيلي في مدخلات البيانات.  من جهة اخرى، انا اقول ان الاختلافات في النتائج مازالت تشكل تحيز خوارزمي. اعتقد اننا مازلنا نستطيع ان نلوم النموذج على الأهداف والقيود التي يجب ان يفي بها (حتى لو كنا نحن البشر وضعناهم في المقام الاول). كما هو موضح فوق، مع الدقة كمقياس التقييم، فإن خوارزمية التنبؤ / التنبؤ بأكملها المبنية على مجموعات البيانات التاريخية تهدف إلى تكرار التاريخ دون البحث عن معايير اجتماعية محتملة أو متقدمة. هل الهدف المتمثل في زيادة الدقة يشكل تحيز بحد ذاته؟ <unk> اذا استطعنا ان نستشعر الدورة الشريرة التي خلقتها وأخرى تعزز الأساطير التي صممتها المجتمع (النساء الضعيفات، الشباب المتهورين، وكراهية الأجانب) ، فمن المؤكد ان النموذج الذي يتعلم بنشاط وينشر أنواع معينة من الصور النمطية المجتمعية يجب ان يُنادي عليه بسبب تحيزه! ومع ذلك، نحن نقوم بتعديل النماذج لتحسين هذه الأهداف، وللقيام بالتحيز المتأصل في المقاييس، نحن البشر مسؤولون عن تعديل الأهداف وإضافة القيود المناسبة. مثلًا، في مهمة البرمجة نلتقي بتقنية التخفيف التي ترفض التنبؤات داخل حدود قرار معين. بجانب تقنيات مثل الرفض النشط، ممكن نضيف قيود مثل تعزيز نمو الفئات المحرومة كهدف؟ بدون هذه القيود، انا اقول ان الاختلافات في النتائج تشكل ايضا تحيز خوارزمي في جزء المواصفات الموضوعية.