واش يشكّل الاختلاف في النتائج المتوقعة بين مجموعتين عرقيتين/جنسيتين من خوارزمية التقييم الائتماني تحيّز في عملية جمع البيانات أو الخوارزمية نفسها؟
أنا كنقول إن الاختلافات في نتائج التقييم الائتماني هي قضية بيانات وتحيز خوارزمي. دعونا أولا نتفحص التحيز في مجموعة البيانات. كنفكر في النموذج بحد ذاته على أنه صندوق أسود يخلق النتائج لتحقيق أهداف معينة <unk> في حالة التقييم الائتماني، الهدف هو الدقة، التذكير، والدقة في التنبؤات بخطر التخلف عن السداد. النموذج في نسخة غير مدربة لا يميز ضد العمال الأجانب، والنساء، أو الشباب: في الواقع، لا يفكر في هذه التسميات (المبنية اجتماعيا) بالطريقة التي يفعلها البشر. ومع ذلك، فإن مجموعة البيانات التي تم تدريب النموذج عليها مليئة بالتحيزات التي تم بناؤها اجتماعيا. على سبيل المثال، القواعد الاجتماعية تعتبر النساء غير قادرات، والعمال الأجانب غير جديرين بالثقة، والشباب غير عديمي الخبرة، مما يؤدي إلى ارتفاع معدل البطالة وأوضاع المعيشة الأسوأ لهذه المجموعات. ونتيجة لذلك، فإن احتمال الإخفاق التاريخي العالي لديهم لا ينبع على الأرجح من الاختلافات في القدرات المرتبطة بالتركيبة السكانية بل من الدوائر الشريرة التي تولدها الصور النمطية الاجتماعية. وتجعل الصور النمطية مجموعات البيانات منحازة، والتي بدورها تحيز الخوارزميات: بالنظر إلى الهدف المتمثل في زيادة دقة التنبؤ، يتعلم النموذج "الأنماط" في مجموعة البيانات ويمتص الاختلافات المبنية اجتماعيا كجزء من خوارزمية التنبؤ الخاصة به. واش يمكن لينا نحمل اللوم على الخوارزمية؟ <unk> بعد كل شيء، النموذج مقيد بـ <unk> التاريخ<unk> ولا يملك أي قدرة تخيلية على إمكانات المجموعات المتميزة تاريخيا. في الأساس، عندنا سيناريو "الخردة تدخل، والخردة تخرج" بسبب التحيز التاريخي والتمثيلي في مدخلات البيانات.  من ناحية أخرى، أنا نقول إن الاختلافات في النتائج مازالت تشكل تحيز خوارزمي. كنعتقد بلي مازال فينا "اللوم" على النموذج على الأهداف والقيود اللي خاص يتحقق منها (حتى لو كنا نحن البشر اللي حطناهم في المقام الأول). كما هو موضح أعلاه، مع الدقة كمقياس للتقييم، فإن خوارزمية التنبؤ / التنبؤ بأكملها التي بنيت على مجموعات البيانات التاريخية تهدف إلى تكرار التاريخ دون البحث عن المعايير الاجتماعية المحتملة أو المتميزة. واش الهدف من زيادة الدقة يشكّل تحيّز بحد ذاته؟ <unk> إذا كنا نقدر ندرك الدوائرة المفرغة التي تخلقها الأساطير التي صممتها المجتمع (النساء الضعيفات، الشباب الجامحين، وكراهية الأجانب) و التي تخلقها مرة أخرى، فإن النموذج الذي يتعلّم بنشاط و ينشر أنواع معينة من الصور النموذجية المجتمعية، لا بد له بالتأكيد أن يطالب بالتحيّز! وبالرغم من كدا، كَنْقَيّْدُو النماذج باش نْحَسّْنُو هَادْ الْغَايْزِين، وْبَاش نْعَامْلُو بْالتَّحَيُّزْ اللِّي كَايْنْ فْالْمَعَايِيرْ، حْنَا البَشَرْ هُمَ اللِّي كَنْتَبْرُو بْالتَّبْدِيلْ دْيَالْ الْغَايْزِين وْالتَّقْيِيدْ دْيَالْ الْقَيْدَاتْ. على سبيل المثال، في مهمة البرمجة، نجد تقنية التخفيف التي ترفض التنبؤات داخل حدود قرار معينة. علاوة على التقنيات مثل الرفض النشط، واش يمكن لنا نضيفوا القيود مثل تعزيز نمو المجموعات المحرومة كأهداف؟ من دون هذه القيود، يمكن لي نقول إن الاختلافات في النتائج تشكل أيضًا تحيزًا خوارزميًا في جزء المواصفات الموضوعية.