بتكون الاختلاف في نتائج التنبؤ بين مجموعتين عرقيتين/جنسين من خوارزمية تسجيل الائتمان تحيز في عملية جمع البيانات أو في خوارزمية نفسها؟
بيقول إنو الاختلافات في نتائج التقييم الائتماني بتشكل مشكلة بيانات وتحيز خوارزمي. خلينا أولًا نتفحص التحيز في مجموعة البيانات. بعتقد النموذج بحد ذاته كصندوق أسود بيولد نتائج عشان يحقق أهداف معينة <unk> في حالة التقييم الائتماني، الهدف هو دقة وتذكير ودقة التنبؤات بمخاطر الإخفاق. النموذج في نسخته غير المدربة ما بتمييز ضد العمال الأجانب أو النساء أو الشباب: في الحقيقة، ما بيعتبر هالتسميات (المبنية اجتماعياً) بالطريقة اللي بيعملها البشر. ومع كدا، مجموعة البيانات اللي اتدرب عليها النموذج مليانة بالتحيزات اللي اتبنت اجتماعيا. مثلاً، الأعراف الاجتماعية بتصوّر المرأة كمعجزة، والعمال الأجانب كمش جديرين بالثقة، والشباب كمجرد عديمي الخبرة، واللي بيؤدي لمعدل البطالة الأعلى وظروف المعيشة الأسوأ لهذه المجموعات. احتمال الإخفاق التاريخي الأعلى الناتج عنهم أقل احتمال ينبع من الاختلافات في القدرات المرتبطة بالديموغرافيا من الدوائر الشريرة المولدة من النماذج النمطية الاجتماعية. النماذج النمطية بتجعل مجموعات البيانات منحازة، واللي بدورها بتحيز الخوارزميات: مع الهدف من زيادة دقة التنبؤ، النموذج بيتعلم "الأنماط" في مجموعة البيانات ويستوعب الاختلافات المبنية اجتماعياً كجزء من خوارزمية التنبؤ. فينا نحمل اللوم على الخوارزمية؟ <unk> بعد كل شي، النموذج مقيد بـ <unk>التاريخ<unk> وما بيحتوي على أي قدرة تخييلية لإمكانيات المجموعات المتميزة تاريخيًا. أساسا، عنا سيناريو "غبار بداخل، وغبار خارجا" بسبب التحيزات التاريخية والتمثيلية في مدخلات البيانات.  من ناحية تانية، أنا بيقول إن الاختلافات في النتائج لسة بتشكل تحيز خوارزمي. بعتئد إننا فيينا "نلوم" النموذج بالأهداف والقيود اللي لازم يحققها (بالرغم من إننا نحن البشر حطناهم بالأصل). زي ما مبين فوق، مع الدقة كمقياس للتقييم، كل خوارزمية التنبؤ/التنبؤ المبنية على مجموعات البيانات التاريخية مقصودة لتكرار التاريخ من دون البحث عن معايير اجتماعية محتملة أو متقدمة. هل الهدف من زيادة الدقة بتشكل تحيز بحد ذاته؟ <unk> اذا استطعنا ندرك الدورة الشريرة اللي بتخلقها وتعيد تكوينها الأساطير المصممة اجتماعيا (النساء الضعيفات، الشباب المتهورين، وكراهية الأجانب) ، فموديل بيدرس بنشاط ويروج أنواع معينة من الصور النمطية المجتمعية لازم بالتأكيد يطالب بتحيزه! وبالرغم من كدا، نحط النماذج عشان نضمن الأهداف، ولتحديد التحيز المتأصل بالقياسات، نحن البشر مسؤولين عن تعديل الأهداف وإضافة القيود المناسبة. مثلاً، في مهمة البرمجة، نلاقي تقنية التخفيف اللي بترفض التنبؤات داخل حدود قرار معين. بالإضافة لتقنيات زي الرفض النشط، ممكن نضيف قيود زي تعزيز نمو المجموعات المحرومة كهدف؟ من دون هالمقيود، رح نقول إن الاختلافات في النتائج بتشكل بردو تحيز خوارزمي في جزء المواصفات الموضوعية.