Une différence dans les résultats de prédiction entre deux groupes ethniques/sexuels à partir d'un algorithme d'évaluation du crédit constitue-t-elle un biais dans le processus de collecte des données ou dans l'algorithme lui-même ?
Does a difference in prediction outcomes between two ethnic/gender groups from a credit scoring algorithm constitute a bias in the data collection process or the algorithm itself?
I argue that differences in outcomes of credit scoring constitute both a data issue and an algorithmic bias. Let’s first examine the bias in the dataset. I think of the model itself as a black box that generates outputs to fulfill certain objectives – in the case of credit scoring, the objective is the accuracy, recall, and precision of default risk predictions. The model at its untrained version does not discriminate against foreign workers, women, or young people: in fact, it does not conceive of these (socially constructed) labels the way humans do. Yet, the dataset that the model is trained on is fraught with socially constructed biases. For example, social norms cast women as incapable, foreign workers as untrustworthy, and young people as inexperienced, leading to higher unemployment rate and worse living conditions for these groups. Their resulting higher historical default likelihood stems less likely from the demographics-related differences in capability than from the vicious cycles generated by social stereotypes. Stereotypes render datasets biased, which in turns bias the algorithms: given the goal to maximize prediction accuracy, the model learns the “patterns” in the dataset and absorbs the socially constructed differences as a part of its prediction algorithm. Can we blame the algorithm? – After all, the model is constrained to the “history” and has no imaginative capacity for the potential of the historically discriminated groups. Essentially we have a “garbage in, garbage out” scenario caused by the historical and representation biases in the data inputs.

On the other hand, I argue that the outcome differences still constitute an algorithmic bias. I believe that we could still “blame” the model for the objectives and constraints that it has to fulfill (even though we humans lay them down in the first place). As illustrated above, with accuracy as the evaluation metric, the entire prediction/forecast algorithm built on historical datasets is meant to repeat the history without looking for potential or discerning social norms. Does the objective of maximizing accuracy constitute a bias itself? – If we can discern the vicious cycle that is both created by and reifying the socially crafted myths (weak women, reckless youth, and xenophobia), a model that actively learns and propagates certain kinds of societal stereotype should certainly be called out for its bias! However, we hard-wire the models to optimize those goals, and to address the inherent bias in the metrics, we humans are responsible for modifying the objectives and adding appropriate constraints. For example, in the programming assignment we encounter the mitigation technique that rejects predictions within a certain decision boundary. Besides techniques like active rejection, can we add constraints such as promoting the growth of underprivileged groups as an objective? Without these constraints, I would say the outcome differences also constitute an algorithmic bias in the part of objective specification.
Je soutiens que les différences dans les résultats de l'évaluation du crédit constituent à la fois un problème de données et un biais algorithmique. Examinons d'abord le biais dans l'ensemble des données. Je considère le modèle lui-même comme une boîte noire qui génère des résultats pour atteindre certains objectifs - dans le cas de l'évaluation du crédit, l'objectif est l'exactitude, le rappel et la précision des prédictions de risque de défaillance. Dans sa version non entraînée, le modèle ne discrimine pas les travailleurs étrangers, les femmes ou les jeunes : en fait, il ne conçoit pas ces étiquettes (socialement construites) de la même manière que les humains. Pourtant, l'ensemble de données sur lequel le modèle est formé est truffé de biais socialement construits. Par exemple, les normes sociales considèrent les femmes comme incapables, les travailleurs étrangers comme indignes de confiance et les jeunes comme inexpérimentés, ce qui se traduit par un taux de chômage plus élevé et des conditions de vie plus difficiles pour ces groupes. La probabilité de défaillance historique plus élevée qui en résulte résulte moins des différences de capacité liées à la démographie que des cercles vicieux générés par les stéréotypes sociaux. Les stéréotypes rendent les ensembles de données biaisés, ce qui à son tour biaise les algorithmes : étant donné l'objectif de maximiser la précision de la prédiction, le modèle apprend les "modèles" dans l'ensemble de données et absorbe les différences socialement construites dans le cadre de son algorithme de prédiction. Peut-on blâmer l'algorithme ? - Après tout, le modèle est limité à l'"histoire" et n'a aucune capacité d'imagination pour le potentiel des groupes historiquement discriminés. Nous sommes essentiellement en présence d'un scénario de type "garbage in, garbage out" causé par les biais historiques et de représentation dans les données d'entrée.

D'un autre côté, je soutiens que les différences de résultats constituent toujours un biais algorithmique. Je pense que nous pouvons toujours "blâmer" le modèle pour les objectifs et les contraintes qu'il doit remplir (même si c'est nous, les humains, qui les avons définis en premier lieu). Comme illustré ci-dessus, avec la précision comme mesure d'évaluation, l'ensemble de l'algorithme de prédiction/prévision construit sur des ensembles de données historiques est destiné à répéter l'histoire sans rechercher le potentiel ou discerner les normes sociales. L'objectif de maximisation de la précision constitue-t-il un biais en soi ? - Si nous pouvons discerner le cercle vicieux qui est à la fois créé par et réifiant les mythes sociaux (femmes faibles, jeunes imprudents et xénophobie), un modèle qui apprend et propage activement certains types de stéréotypes sociétaux devrait certainement être dénoncé pour son parti pris ! Cependant, nous câblons les modèles pour qu'ils optimisent ces objectifs, et pour remédier aux biais inhérents aux mesures, nous, les humains, sommes responsables de la modification des objectifs et de l'ajout de contraintes appropriées. Par exemple, dans la mission de programmation, nous rencontrons la technique d'atténuation qui rejette les prédictions à l'intérieur d'une certaine limite de décision. Outre des techniques telles que le rejet actif, pouvons-nous ajouter des contraintes telles que la promotion de la croissance des groupes défavorisés en tant qu'objectif ? Sans ces contraintes, je dirais que les différences de résultats constituent également un biais algorithmique dans la spécification de l'objectif.
creative_writing
fr