هو الفارق في نتائج التنبؤ بين مجموعتين عرقيتين/جنسين من خوارزمية تقييم الائتمان يشكل تحيز في عملية جمع البيانات أو الخوارزمية نفسها؟
أنا بيقول إن الاختلافات في نتائج تقييم الائتمان بتشكل مشكلة بيانات وتحيز خوارزمي. خلينا أولًا نتفحص التحيز في مجموعة البيانات. أنا فاكر في النموذج نفسه كصندوق أسود بيولد مخرجات لتحقيق أهداف معينة <unk> في حالة تقييم الائتمان، الهدف هو دقة وتذكير ودقة تنبؤات مخاطر التخلف عن السداد. النموذج في نسخته غير المدربة مش بتمييز ضد العمال الأجانب أو النساء أو الشباب: في الواقع، مش بيعتبر هذه التسميات (المبنية اجتماعياً) بالطريقة اللي بيعملها البشر. ومع كده، مجموعة البيانات اللي اتدرب عليها النموذج مليانة بالتحيزات اللي اتبنت اجتماعياً. على سبيل المثال، القواعد الاجتماعية بتعتبر المرأة غير قادرة، والعاملين الأجانب غير جديرين بالثقة، والشباب عديم الخبرة، واللي بيؤدي إلى ارتفاع معدل البطالة وظروف المعيشة الأسوأ لهذه المجموعات. نتيجة زيادة احتمالات التخلف عن السداد في التاريخ، مش من المرجح إنها تنبع من الاختلافات في القدرات المتعلقة بالديموغرافيا بل من الدورات الشريرة اللي بتولدها الصور النمطية الاجتماعية. بتجعل الصور النمطية مجموعات البيانات منحازة، واللي بدورها بتحيز الخوارزميات: بالنظر إلى الهدف المتمثل في زيادة دقة التنبؤ، فإن النموذج بيعلم "الأنماط" في مجموعة البيانات ويستوعب الاختلافات المبنية اجتماعياً كجزء من خوارزمية التنبؤ. ممكن نلوم الخوارزمية؟ <unk> بعد كل شيء، النموذج مقيد بـ <unk> التاريخ<unk> ولا يملك قدرة تخيلية على إمكانيات المجموعات المتميزة تاريخيًا. أساساً عندنا سيناريو "القمامة في، القمامة خارج" بسبب التحيزات التاريخية والتمثيلية في مدخلات البيانات.  من ناحية تانية، أنا بيقول إن الاختلافات في النتائج لسه بتشكل تحيز خوارزمي. أعتقد إننا ممكن لسه "نلوم" النموذج على الأهداف والقيود اللي لازم يحققها (بالرغم من أننا البشر وضعناها في المقام الأول). زي ما هو موضح فوق، مع الدقة زي مقياس التقييم، بيتم بناء خوارزمية التنبؤ / التنبؤ بأكملها على مجموعات البيانات التاريخية عشان تكرر التاريخ من غير البحث عن المعايير الاجتماعية المحتملة أو المتميزة. هل الهدف من زيادة الدقة يشكل تحيزًا بحد ذاته؟ <unk> إذا استطعنا تمييز الدورة الشريرة التي تم إنشاؤها من خلال إعادة تكوين الأساطير التي صممت اجتماعيًا (النساء الضعيفات والشباب المتهورين وكراهية الأجانب) ، فيجب بالتأكيد أن نستدعي النموذج الذي يتعلم بنشاط وينشر أنواع معينة من الصور النمطية المجتمعية بسبب تحيزه! ومع ذلك، نحن نربط النماذج بتحسين تلك الأهداف، ولمعالجة التحيز الكامن في المقاييس، نحن البشر مسؤولين عن تعديل الأهداف وإضافة القيود المناسبة. على سبيل المثال، في مهمة البرمجة بنواجه تقنية التخفيف اللي بترفض التنبؤات داخل حدود قرار معينة. جنب التقنيات زي الرفض النشط، ممكن نضيف قيود زي تعزيز نمو المجموعات المحرومة كهدف؟ من غير القيود دي، أنا هقول إن الاختلافات في النتائج بتشكل بردو تحيز خوارزمي في جزء المواصفات الموضوعية.