هل الفرق في نتائج التنبؤ بين مجموعتين عرقيتين/جنسين من خوارزمية تقييم الائتمان يشكل تحيز في عملية جمع البيانات أو الخوارزمية نفسها؟
اقول ان الاختلافات في نتائج تقييم الائتمان تشكل قضية بيانات وتحيز خوارزمي. خلينا نتفحص أولاً التحيز في مجموعة البيانات. افكر في النموذج نفسه كصندوق اسود الذي يولد مخرجات لتحقيق أهداف معينة <unk> في حالة تقييم الائتمان، الهدف هو دقة، استرجاع، ودقة التنبؤات بمخاطر التخلف عن السداد. النموذج في نسخته غير المدربة لا يميز بين العمال الأجانب أو النساء أو الشباب: في الواقع، لا يفكر في هذه العلامات (المبنية اجتماعيا) بالطريقة التي يفكر بها البشر. ومع ذلك، مجموعة البيانات التي تم تدريب النموذج عليها مليئة بالتحيزات المبنية اجتماعياً. على سبيل المثال، القواعد الاجتماعية تعتبر النساء غير قادرات، العمال الأجانب غير جديرين بالثقة، والشباب غير ذوي الخبرة، مما يؤدي إلى ارتفاع معدل البطالة وأسوأ ظروف المعيشة لهذه المجموعات. نتيجة لزيادة احتمالية التخلف عن السداد في التاريخ، هي أقل من احتمالية الاختلافات في القدرات المرتبطة بالتركيبة السكانية من الدوائر الشريرة التي تولدها الصور النمطية الاجتماعية. التصورات النمطية تجعل مجموعات البيانات متحيزة، والتي بدورها تحيز الخوارزميات: بالنظر إلى الهدف المتمثل في زيادة دقة التنبؤ، يتعلم النموذج "الأنماط" في مجموعة البيانات ويمتص الاختلافات المبنية اجتماعيا كجزء من خوارزمية التنبؤ. ممكن نلوم الخوارزمية؟ بعد كل شيء، النموذج مقيد بـ "التاريخ" وليس لديه قدرة تخيلية على إمكانات المجموعات المتميزة تاريخيا. أساساً، لدينا سيناريو "القمامة تدخل، القمامة تخرج" بسبب التحيز التاريخي والتمثيلي في مدخلات البيانات.  من ناحية أخرى، أنا أجادل بأن الاختلافات في النتائج لا تزال تشكل تحيز خوارزمي. اعتقد اننا ما زلنا نستطيع ان نلوم النموذج على الأهداف والقيود التي يجب أن يفي بها (حتى لو كنا نحن البشر وضعناها في المقام الأول). كما هو موضح أعلاه، مع الدقة كمقياس التقييم، فإن خوارزمية التنبؤ/التنبؤ بأكملها المبنية على مجموعات البيانات التاريخية تهدف إلى تكرار التاريخ دون البحث عن معايير اجتماعية محتملة أو متقدمة. هل الهدف من زيادة الدقة يشكل تحيز بحد ذاته؟ <unk> اذا استطعنا ان نستوعب الدورة الشريرة التي خلقتها وأخرى تعزز الأساطير التي صممتها المجتمع (النساء الضعيفة، الشباب المتهورين، وكراهية الأجانب) ، فإن النموذج الذي يتعلم بنشاط وينشر أنواع معينة من الصور النمطية المجتمعية يجب بالتأكيد أن يدعى لتحيزه! ومع ذلك، نقوم بتعديل النماذج لتحسين هذه الأهداف، وللقضاء على التحيز المتأصل في المقاييس، نحن البشر مسؤولون عن تعديل الأهداف وإضافة القيود المناسبة. على سبيل المثال، في مهمة البرمجة نلاقي تقنية التخفيف التي ترفض التنبؤات داخل حدود قرار معين. بالإضافة إلى تقنيات مثل الرفض النشط، هل يمكننا إضافة قيود مثل تعزيز نمو الفئات المحرومة كهدف؟ بدون هذه القيود، سأقول إن الاختلافات في النتائج تشكل أيضا تحيز خوارزمي في جزء المواصفات الموضوعية.