فما فرق في نتائج التنبؤ بين مجموعتين إثنيين/جنسيين من خوارزمية تقييم الائتمان يشكلو تحيز في عملية جمع البيانات أو الخوارزمية نفسها؟
ن ن نجادل إنو الاختلافات في نتائج التقييم الائتماني هي في نفس الوقت قضية بيانات وتحيز خوارزمي. خلينا أولًا نتفحصو التحيز في مجموعة البيانات. نظرت في النموذج بحد ذاته كصندوق أسود يخلق نتائج لتحقيق أهداف معينة <unk> في حالة التقييم الائتماني، الهدف هو دقة، تذكير، ودقة التنبؤات لمخاطر التخلف عن السداد. النموذج في نسخة غير مدربة ما يفرقش بين العمال الأجانب أو النساء أو الشباب: في الحقيقة، ما يفكّرش في التسميات (اللي تُصمم اجتماعيا) هذه بالطريقة الي يفكّر فيها البشر. وبالرغم من هذا، المجموعة من البيانات الي اتدرب عليها النموذج مليانة بالتحيزات المخلوقة اجتماعيا. مْثَلْ، القِيَاسات الاجتماعية تْرُدْ النْسَاء كَإِنَّهُمْ مَا يْنَجّْمُوشْ يِخْدْمُوا، العُمَّال الأجانِب كَإِنَّهُمْ مَا يِتْصَدّْقُوشْ، والشَّبَاب كَإِنَّهُمْ مَا عِنْدْهُمْشْ الخِبْرْ، وْهَاذَا يْخَلِّي نَاسْ بَاشْ يْكُونُوا مَشْغُولِينْ وْيْكُونُوا حَيِّينْ أَخْيِرْ مِالنَّاسْ هَاذُومَا. إحتمالاتهم العالية في التخلف عن السداد في التاريخ، لا تنبعش من الاختلافات في القدرات المرتبطة بالديموغرافيا بل من الدوائر الشريرة المولدة من النماذج النمطية الاجتماعية. النماذج النمطية تعطي مجموعات البيانات منحازة، واللي بدورها تحيز الخوارزميات: مع إعطاء الهدف لتعظيم دقة التنبؤ، النموذج يتعلم "الأنماط" في مجموعة البيانات ويستوعب الاختلافات المكونة اجتماعيا كجزء من خوارزمية التنبؤ. نجموا نلوموا الخوارزمية؟ <unk> بعد كل شيء، النموذج مقيد ب <unk> التاريخ <unk> و ما عندهش قدرة تخيلية لخلاصة المجموعات المتميزة تاريخيا. أساسا، عندنا سيناريو "قمامة داخلة، قمامة خارجة" سبب من التاريخ والتمثيل في البيانات.  من ناحية أخرى، أنا نقاوم إن الاختلافات في النتائج مازالت تشكل تحيز خوارزمي. نظن إنو مازلنا نجموا "نحملوا اللوم" على الموديل في الأهداف والقيود اللي لازم يحققها (حتى لو كاننا نحن البشر حطناهم في المقام الأول). كيمَا وَرِّي الفيلم للفوق، مع الدقة كالمقياس التقييمي، الخوارزمية الكاملة للتنبؤ/التنبؤ المبنية على مجموعات البيانات التاريخية تهدف لتكرار التاريخ من غير البحث عن القواعد الاجتماعية المحتملة أو المميزة. ينجم الهدف من زيادة الدقة يشكّل تحيز في حد ذاته؟ <unk> إذا نجموا ندركوا الدوائرة المشؤومة التي تخلقها وأخرى تخلقها الأساطير التي صممتها المجتمع (النساء الضعيفات، الشباب المتهورين، وكراهية الأجانب) ، نموذج يتعلم بنشاط ويعزّز أنواع معينة من الصور النمطية المجتمعية يجب بالتأكيد أن يطالبوا بها بسبب تحيزها! وبالرغم من هذا، نحددوا النماذج لتعزيز الأهداف، ولتعالج التحيز الموروث في القياسات، نحن البشر مسؤولين عن تعديل الأهداف وإضافة القيود المناسبة. مثلًا، في مهمة البرمجة، نلقاو تقنية التخفيف التي ترفض التنبؤات في حدود قرار معين. بالاضافة للاستراتيجيات مثل الرفض النشط، نجموا نضيفوا القيود مثل تعزيز نمو المجموعات المحرومة كهدف؟ من غير القيود هاذم، نجم نقول إن الفروق في النتائج تعتبر بردو تحيز خوارزمي في الجزء المتعلق بالمواصفات الموضوعية.