هل الاختلاف في نتائج التنبؤ بين مجموعتين عرقيتين/جنسين من خوارزمية تقييم الائتمان يشكل تحيز في عملية جمع البيانات او الخوارزمية نفسها؟
انا اقول ان الاختلافات في نتائج تقييم الائتمان تشكل كل من مشكلة بيانات وتحيز خوارزمي. لنتفحص أولاً التحيز في مجموعة البيانات. انا افكر بالنموذج بحد ذاته كصندوق اسود يخلق مخرجات للوفاء بأهداف معينة <unk> في حالة تقييم الائتمان، الهدف هو الدقة، التذكير، والدقة للتنبؤات بخطر التخلف عن السداد. النموذج في نسخته الغير مدربة لا يميز ضد العمال الاجانب او النساء او الشباب: في الحقيقة، هو لا يفكر في هذه التسميات (الاجتماعية) بالطريقة التي يفكر بها البشر. ومع ذلك، المجموعة من البيانات التي تم تدريب النموذج عليها مليئة بالانحيازات التي تم بناؤها اجتماعيا. على سبيل المثال، القواعد الاجتماعية تصف النساء كغير قادرين، العمال الأجانب كغير جديرين بالثقة، والشباب كغير ذوي الخبرة، مما يؤدي إلى ارتفاع معدل البطالة وأسوأ ظروف المعيشة لهذه المجموعات. نتيجة الاحتمال الاكبر لخسارة الائتمان في التاريخ لا ينبع من الاختلافات المتعلقة بالديموغرافيا في القدرات بل من الدوائر الشريرة التي تولدها الصور النمطية الاجتماعية. التصورات النمطية تجعل مجموعات البيانات منحازة، والتي بدورها تحيز الخوارزميات: بالنظر إلى الهدف من تعظيم دقة التنبؤ، يتعلم النموذج "الأنماط" في مجموعة البيانات ويمتص الاختلافات المبنيه اجتماعيا كجزء من خوارزمية التنبؤ. هَلْ نَقْدِرُ أَنْ نَلُومَ الخُطَّةَ؟ <unk> بعد كل شيء، النموذج مقيد بـ <unk> التاريخ<unk> ولا يملك قدرة تخييلية على امكانيات المجموعات المُتَمَيِّزَة تاريخيًا. في الأساس عِنْدَنَا سيناريو "القمامة داخل، القمامة خارجا" نَشَأ بسبب التحيز التاريخي والتمثيلي في مدخلات البيانات.  من جهة اخرى، انا اقول ان الاختلافات في النتائج لسه تشكل تحيز خوارزمي. اعتقد اننا مازلنا نستطيع ان "نلوم" النموذج على الأهداف والقيود التي عليه الوفاء بها (حتى لو كنا نحن البشر وضعناهم في المقام الاول). مثلما اتضح اعلاه، مع الدقة كمقياس التقييم، كل خوارزمية التنبؤ/التنبؤ المبنية على مجموعات البيانات التاريخية تهدف لتكرار التاريخ من غير البحث عن المعايير الاجتماعية المحتملة أو المتميزة. هَلْ الهَدَفُ مِنْ تَعْظِيمِ الدَّقِيقَةِ هُوَ حَيْزٌ بِنَفْسِهِ؟ <unk> انْ كُنَّا نَتَمَيَّزُ الدَّائِرَةَ الشِّرِّيرَةَ الْمَخْلُوقَةَ مِنْ الْأَخْبَارِ الْمَصْنُوعَةِ مِنْ قِبَلِ الْجَمَاعَةِ (النِّسَاءِ الضَّعِيفَاتِ، الشَّبَابِ الْمُتَهَوِّرِينَ، وَكُرْهِ الأَجَانِبِ) ، فَمُودِلٌ يَتَعَلَّمُ وَيُنَشِّرُ أَنْوَاعًا مِنَ الصِّفَاتِ الْمَجْمُوع وبالرغم من ذلك، نحن نضبط النماذج لتحسين هذه الأهداف، وللقيام بالتحيز المتأصل في المقاييس، نحن البشر مسؤولون عن تعديل الأهداف وإضافة القيود المناسبة. مثلًا، في مهمة البرمجة نلتقي بتقنية التخفيف التي ترفض التنبؤات داخل حدود قرار معين. بجانب التقنيات مثل الرفض النشط، هل يمكننا ان نضيف قيود مثل تعزيز نمو المجموعات المحرومة كهدف؟ بدون هذي القيود، انا اقول ان الاختلافات في النتائج تعتبر ايضا تحيز خوارزمي في جزء المواصفات الموضوعية.