¿Una diferencia en los resultados de predicción entre dos grupos étnicos/género a partir de un algoritmo de puntuación crediticia constituye un sesgo en el proceso de recopilación de datos o en el propio algoritmo?
Does a difference in prediction outcomes between two ethnic/gender groups from a credit scoring algorithm constitute a bias in the data collection process or the algorithm itself?
I argue that differences in outcomes of credit scoring constitute both a data issue and an algorithmic bias. Let’s first examine the bias in the dataset. I think of the model itself as a black box that generates outputs to fulfill certain objectives – in the case of credit scoring, the objective is the accuracy, recall, and precision of default risk predictions. The model at its untrained version does not discriminate against foreign workers, women, or young people: in fact, it does not conceive of these (socially constructed) labels the way humans do. Yet, the dataset that the model is trained on is fraught with socially constructed biases. For example, social norms cast women as incapable, foreign workers as untrustworthy, and young people as inexperienced, leading to higher unemployment rate and worse living conditions for these groups. Their resulting higher historical default likelihood stems less likely from the demographics-related differences in capability than from the vicious cycles generated by social stereotypes. Stereotypes render datasets biased, which in turns bias the algorithms: given the goal to maximize prediction accuracy, the model learns the “patterns” in the dataset and absorbs the socially constructed differences as a part of its prediction algorithm. Can we blame the algorithm? – After all, the model is constrained to the “history” and has no imaginative capacity for the potential of the historically discriminated groups. Essentially we have a “garbage in, garbage out” scenario caused by the historical and representation biases in the data inputs.

On the other hand, I argue that the outcome differences still constitute an algorithmic bias. I believe that we could still “blame” the model for the objectives and constraints that it has to fulfill (even though we humans lay them down in the first place). As illustrated above, with accuracy as the evaluation metric, the entire prediction/forecast algorithm built on historical datasets is meant to repeat the history without looking for potential or discerning social norms. Does the objective of maximizing accuracy constitute a bias itself? – If we can discern the vicious cycle that is both created by and reifying the socially crafted myths (weak women, reckless youth, and xenophobia), a model that actively learns and propagates certain kinds of societal stereotype should certainly be called out for its bias! However, we hard-wire the models to optimize those goals, and to address the inherent bias in the metrics, we humans are responsible for modifying the objectives and adding appropriate constraints. For example, in the programming assignment we encounter the mitigation technique that rejects predictions within a certain decision boundary. Besides techniques like active rejection, can we add constraints such as promoting the growth of underprivileged groups as an objective? Without these constraints, I would say the outcome differences also constitute an algorithmic bias in the part of objective specification.
Sostengo que las diferencias en los resultados de la calificación crediticia constituyen tanto un problema de datos como un sesgo algorítmico. Examinemos primero el sesgo en el conjunto de datos. Pienso en el propio modelo como una caja negra que genera resultados para cumplir determinados objetivos -en el caso de la calificación crediticia, el objetivo es la exactitud, la recuperación y la precisión de las predicciones del riesgo de impago-. El modelo en su versión no entrenada no discrimina a los trabajadores extranjeros, las mujeres o los jóvenes: de hecho, no concibe estas etiquetas (socialmente construidas) como lo hacen los humanos. Sin embargo, el conjunto de datos sobre el que se entrena el modelo está plagado de sesgos socialmente construidos. Por ejemplo, las normas sociales tachan a las mujeres de incapaces, a los trabajadores extranjeros de indignos de confianza y a los jóvenes de inexpertos, lo que conlleva una mayor tasa de desempleo y peores condiciones de vida para estos grupos. Es menos probable que su mayor probabilidad histórica de impago se deba a las diferencias de capacidad relacionadas con la demografía que a los círculos viciosos generados por los estereotipos sociales. Los estereotipos hacen que los conjuntos de datos estén sesgados, lo que a su vez sesga los algoritmos: dado el objetivo de maximizar la precisión de la predicción, el modelo aprende los "patrones" del conjunto de datos y absorbe las diferencias construidas socialmente como parte de su algoritmo de predicción. ¿Podemos culpar al algoritmo? - Al fin y al cabo, el modelo está limitado a la "historia" y no tiene capacidad imaginativa para el potencial de los grupos históricamente discriminados. Esencialmente, tenemos un escenario de "basura entrante, basura saliente" causado por los sesgos históricos y de representación en las entradas de datos.

Por otra parte, sostengo que las diferencias de resultados siguen constituyendo un sesgo algorítmico. Creo que aún podríamos "culpar" al modelo de los objetivos y limitaciones que tiene que cumplir (aunque los humanos los establezcamos en primer lugar). Como se ha ilustrado anteriormente, con la precisión como métrica de evaluación, todo el algoritmo de predicción/pronóstico construido sobre conjuntos de datos históricos tiene como objetivo repetir la historia sin buscar el potencial ni discernir las normas sociales. ¿Constituye el objetivo de maximizar la precisión un sesgo en sí mismo? - Si podemos discernir el círculo vicioso que crean y reifican los mitos creados socialmente (mujeres débiles, jóvenes imprudentes y xenofobia), ¡un modelo que aprende y propaga activamente ciertos tipos de estereotipos sociales debería ser denunciado por su sesgo! Sin embargo, cableamos los modelos para optimizar esos objetivos, y para abordar el sesgo inherente a las métricas, los humanos somos responsables de modificar los objetivos y añadir las restricciones apropiadas. Por ejemplo, en la tarea de programación nos encontramos con la técnica de mitigación que rechaza las predicciones dentro de un determinado límite de decisión. Además de técnicas como el rechazo activo, ¿podemos añadir restricciones como promover el crecimiento de los grupos desfavorecidos como objetivo? Sin estas restricciones, yo diría que las diferencias de resultados también constituyen un sesgo algorítmico por parte de la especificación de objetivos.
creative_writing
es