هل الفرق في نتائج التنبؤ بين مجموعتين عرقيتين/جنسيتين من خوارزمية تقييم الائتمان يشكل تحيز في عملية جمع البيانات أو الخوارزمية نفسها؟
أنا بيقول إن الاختلافات في نتائج تقييم الائتمان تشكل مشكلة بيانات وتحيز خوارزمي. خلينا نبحث أولاً في التحيز في مجموعة البيانات. أنا فاكر في النموذج نفسه كصندوق أسود بيولد نتائج لتحقيق أهداف معينة <unk> في حالة التقييم الائتماني، الهدف هو دقة، تذكر، ودقة التنبؤات بمخاطر التخلف عن السداد. النموذج في نسخته غير المدربة ما بتمييز ضد العمال الأجانب أو النساء أو الشباب: في الواقع، ما بيعتبر هذه التسميات (المبنية اجتماعياً) بالطريقة التي يفعلها البشر. ومع كده، مجموعة البيانات اللي اتدرب عليها النموذج مليئة بالتحيزات المكونة اجتماعياً. مثلًا، القواعد الاجتماعية بتعتبر المرأة غير قادرة، والعمال الأجانب غير جديرين بالثقة، والشباب عديمي الخبرة، واللي بيؤدي لمعدل البطالة الأعلى وظروف المعيشة الأسوأ لهذه المجموعات. نتيجة لزيادة احتمالات التخلف عن السداد في التاريخ، هي أقل احتمالاً ناتجة عن الاختلافات في القدرات المرتبطة بالتركيبة السكانية من الدوائر الشريرة الناتجة عن الصور النمطية الاجتماعية. النماذج النمطية بتجعل مجموعات البيانات منحازة، واللي بدورها تحيز الخوارزميات: بالنظر إلى الهدف المتمثل في زيادة دقة التنبؤ، يتعلم النموذج "الأنماط" في مجموعة البيانات ويمتص الاختلافات المبنية اجتماعيا كجزء من خوارزمية التنبؤ. ممكن نلوم الخوارزمية؟ <unk> بعد كل شيء، النموذج مقيد بـ <unk> التاريخ<unk> ولا يملك قدرة تخيلية على إمكانيات المجموعات المتميزة تاريخيًا. في الأساس، عندنا سيناريو "غبار في، غبار خارج" بسبب التحيز التاريخي والتمثيلي في مدخلات البيانات.  من ناحية تانية، أنا بيقول إن الاختلافات في النتائج لسه تشكل تحيز خوارزمي. برأيي اننا لسه نقدر "نلوم" النموذج على الأهداف والقيود اللي لازم يحققها (حتى لو نحن البشر وضعناها في المقام الأول). زي ما اتوضح فوق، مع الدقة كمقياس التقييم، كل خوارزمية التنبؤ/التنبؤ المبنية على مجموعات البيانات التاريخية تهدف لتكرار التاريخ من غير البحث عن المعايير الاجتماعية المحتملة أو المتميزة. هل الهدف المتمثل في زيادة الدقة يمثل تحيز بحد ذاته؟ <unk> اذا كنا نقدر نستنتج الدورة الشريرة التي خلقتها وأخرى تعززها الأساطير التي صممتها المجتمع (النساء الضعيفة، الشباب المتهورين، وكراهية الأجانب) ، فمن المؤكد ان النموذج الذي يتعلم بنشاط وينشر أنواع معينة من الصور النمطية المجتمعية يجب ان يدعى لتحيزه! وبالرغم من كدا، احنا نضبط النماذج عشان نضمن هذي الأهداف، و عشان نعالج التحيز المتأصل في المقاييس، نحن البشر مسؤولين عن تعديل الأهداف و إضافة القيود المناسبة. على سبيل المثال، في مهمة البرمجة، نلاقي تقنية التخفيف التي ترفض التنبؤات داخل حدود قرار معين. بالاضافة لتقنيات زي الرفض النشط، ممكن نضيف قيود زي تعزيز نمو الفئات المحرومة كموضوع؟ من دون القيود دي، أنا هقول إن الاختلافات في النتائج بتشكل أيضا تحيز خوارزمي في جزء المواصفات الموضوعية.