Stellt ein Unterschied in den Vorhersageergebnissen zwischen zwei ethnischen/geschlechtlichen Gruppen bei einem Kreditscoring-Algorithmus eine Verzerrung im Datenerhebungsprozess oder im Algorithmus selbst dar?
Does a difference in prediction outcomes between two ethnic/gender groups from a credit scoring algorithm constitute a bias in the data collection process or the algorithm itself?
I argue that differences in outcomes of credit scoring constitute both a data issue and an algorithmic bias. Let’s first examine the bias in the dataset. I think of the model itself as a black box that generates outputs to fulfill certain objectives – in the case of credit scoring, the objective is the accuracy, recall, and precision of default risk predictions. The model at its untrained version does not discriminate against foreign workers, women, or young people: in fact, it does not conceive of these (socially constructed) labels the way humans do. Yet, the dataset that the model is trained on is fraught with socially constructed biases. For example, social norms cast women as incapable, foreign workers as untrustworthy, and young people as inexperienced, leading to higher unemployment rate and worse living conditions for these groups. Their resulting higher historical default likelihood stems less likely from the demographics-related differences in capability than from the vicious cycles generated by social stereotypes. Stereotypes render datasets biased, which in turns bias the algorithms: given the goal to maximize prediction accuracy, the model learns the “patterns” in the dataset and absorbs the socially constructed differences as a part of its prediction algorithm. Can we blame the algorithm? – After all, the model is constrained to the “history” and has no imaginative capacity for the potential of the historically discriminated groups. Essentially we have a “garbage in, garbage out” scenario caused by the historical and representation biases in the data inputs.

On the other hand, I argue that the outcome differences still constitute an algorithmic bias. I believe that we could still “blame” the model for the objectives and constraints that it has to fulfill (even though we humans lay them down in the first place). As illustrated above, with accuracy as the evaluation metric, the entire prediction/forecast algorithm built on historical datasets is meant to repeat the history without looking for potential or discerning social norms. Does the objective of maximizing accuracy constitute a bias itself? – If we can discern the vicious cycle that is both created by and reifying the socially crafted myths (weak women, reckless youth, and xenophobia), a model that actively learns and propagates certain kinds of societal stereotype should certainly be called out for its bias! However, we hard-wire the models to optimize those goals, and to address the inherent bias in the metrics, we humans are responsible for modifying the objectives and adding appropriate constraints. For example, in the programming assignment we encounter the mitigation technique that rejects predictions within a certain decision boundary. Besides techniques like active rejection, can we add constraints such as promoting the growth of underprivileged groups as an objective? Without these constraints, I would say the outcome differences also constitute an algorithmic bias in the part of objective specification.
Ich behaupte, dass die Unterschiede in den Ergebnissen der Kreditwürdigkeitsprüfung sowohl ein Datenproblem als auch eine algorithmische Verzerrung darstellen. Untersuchen wir zunächst die Verzerrung im Datensatz. Ich betrachte das Modell selbst als eine Blackbox, die Ergebnisse erzeugt, um bestimmte Ziele zu erreichen - im Fall der Kreditwürdigkeitsprüfung ist das Ziel die Genauigkeit, die Erinnerung und die Präzision der Vorhersage des Ausfallrisikos. In seiner untrainierten Version diskriminiert das Modell keine ausländischen Arbeitnehmer/innen, Frauen oder junge Menschen: Es nimmt diese (sozial konstruierten) Bezeichnungen nicht so wahr wie Menschen. Der Datensatz, auf dem das Modell trainiert wird, ist jedoch voller sozialer Vorurteile. Zum Beispiel gelten Frauen aufgrund sozialer Normen als unfähig, ausländische Arbeitskräfte als unzuverlässig und junge Menschen als unerfahren, was zu einer höheren Arbeitslosenquote und schlechteren Lebensbedingungen für diese Gruppen führt. Die daraus resultierende höhere historische Ausfallwahrscheinlichkeit ist weniger auf demografisch bedingte Unterschiede in den Fähigkeiten zurückzuführen als auf die Teufelskreise, die durch soziale Stereotypen entstehen. Stereotypen machen die Datensätze verzerrt, was wiederum die Algorithmen verzerrt: Mit dem Ziel, die Vorhersagegenauigkeit zu maximieren, lernt das Modell die "Muster" im Datensatz und übernimmt die sozial konstruierten Unterschiede als Teil seines Vorhersagealgorithmus. Können wir dem Algorithmus die Schuld geben? - Schließlich ist das Modell auf die "Geschichte" beschränkt und hat kein Vorstellungsvermögen für das Potenzial der historisch diskriminierten Gruppen. Im Grunde genommen haben wir es mit einem "Garbage in, garbage out"-Szenario zu tun, das durch die historischen und repräsentativen Verzerrungen in den Daten verursacht wird.

Andererseits behaupte ich, dass die Ergebnisunterschiede immer noch eine algorithmische Verzerrung darstellen. Ich glaube, dass wir dem Modell immer noch die "Schuld" für die Ziele und Einschränkungen geben können, die es erfüllen muss (auch wenn wir Menschen sie in erster Linie vorgeben). Wie oben dargestellt, soll der gesamte Vorhersagealgorithmus, der auf historischen Datensätzen aufbaut, die Geschichte wiederholen, ohne nach Potenzialen zu suchen oder soziale Normen zu erkennen, wenn die Genauigkeit als Bewertungsmaßstab dient. Stellt das Ziel, die Genauigkeit zu maximieren, selbst eine Verzerrung dar? - Wenn wir den Teufelskreis erkennen können, der durch die von der Gesellschaft geschaffenen Mythen (schwache Frauen, rücksichtslose Jugendliche und Fremdenfeindlichkeit) entsteht und diese verfestigt, sollte ein Modell, das bestimmte gesellschaftliche Stereotype aktiv erlernt und verbreitet, auf jeden Fall auf seine Voreingenommenheit hingewiesen werden! Wir haben die Modelle jedoch so verdrahtet, dass sie diese Ziele optimieren, und um die inhärenten Verzerrungen in den Messwerten auszugleichen, sind wir Menschen dafür verantwortlich, die Ziele zu ändern und entsprechende Einschränkungen hinzuzufügen. In der Programmieraufgabe stoßen wir zum Beispiel auf eine Technik, die Vorhersagen innerhalb einer bestimmten Entscheidungsgrenze ablehnt. Können wir neben Techniken wie der aktiven Ablehnung auch Einschränkungen wie die Förderung des Wachstums unterprivilegierter Gruppen als Ziel hinzufügen? Ohne diese Einschränkungen würde ich sagen, dass die Ergebnisunterschiede auch eine algorithmische Voreingenommenheit auf Seiten der Zielvorgabe darstellen.
creative_writing
de