Nenne anhand dieser Zusammenfassung drei Arten, in denen Systeme der künstlichen Intelligenz ein Verhalten zeigen, das nicht mit den menschlichen Werten übereinstimmt, die Brian Christian in den drei Kapiteln seines Buches "The Alignment Problem" behandelt?
From this summary, list three ways in which artificial intelligence systems show behavior misaligned human values, covered by Brian Christian in the three sections of his book "The Alignment Problem"?
In the first section, Prophecy, the author talks about predictive models making decisions that are difficult to examine and may become discriminative or unfair.

In the second section, Agency, about reinforcement learning systems, despite some remarkable achievements, are guided nearly exclusively by their objective function, not so much by curiosity to discover the world.

In the third section, Normativity, inverse reinforcement learning techniques face the challenge of figuring out the objective function of humans.
Im ersten Abschnitt, Prophezeiung, spricht der Autor über Vorhersagemodelle, die Entscheidungen treffen, die schwer zu überprüfen sind und diskriminierend oder ungerecht werden können.

Im zweiten Abschnitt, Agency, geht es darum, dass sich Systeme mit Verstärkungslernen trotz einiger bemerkenswerter Leistungen fast ausschließlich von ihrer Zielfunktion leiten lassen und nicht so sehr von der Neugier, die Welt zu entdecken.

Im dritten Abschnitt, Normativität, stellen sich die Techniken des inversen Verstärkungslernens der Herausforderung, die Zielfunktion des Menschen herauszufinden.
summarization
Das Buch ist in drei Abschnitte unterteilt: Prophezeiung, Agency und Normativität. Jeder Abschnitt befasst sich mit Forschern und Ingenieuren, die an verschiedenen Herausforderungen bei der Anpassung von künstlicher Intelligenz an menschliche Werte arbeiten.

Prophezeiung
Im ersten Abschnitt verwebt Christian Diskussionen über die Geschichte der Forschung im Bereich der künstlichen Intelligenz, insbesondere über den Ansatz des maschinellen Lernens mit künstlichen neuronalen Netzen wie Perceptron und AlexNet, mit Beispielen dafür, wie KI-Systeme unbeabsichtigtes Verhalten zeigen können. Er erzählt die Geschichte von Julia Angwin, einer Journalistin, deren ProPublica-Untersuchung des COMPAS-Algorithmus, eines Tools zur Vorhersage der Rückfälligkeit von Straftätern, zu weit verbreiteter Kritik an seiner Genauigkeit und Voreingenommenheit gegenüber bestimmten Bevölkerungsgruppen führte. Eine der größten Herausforderungen bei der Anpassung von KI ist ihre Blackbox-Natur (Input und Output sind identifizierbar, aber der Transformationsprozess dazwischen ist unbestimmt). Die mangelnde Transparenz macht es schwierig zu erkennen, wo das System richtig und wo es falsch läuft.

Agentur
Im zweiten Abschnitt verwebt Christian die Geschichte der psychologischen Belohnungsforschung, wie Behaviorismus und Dopamin, mit der Informatik des Verstärkungslernens, bei dem KI-Systeme angesichts einer Wertfunktion ("welche Belohnungen oder Bestrafungen zu erwarten sind") eine Strategie entwickeln müssen ("was zu tun ist"). Er bezeichnet die DeepMind-Systeme AlphaGo und AlphaZero als "die vielleicht beeindruckendste Errungenschaft in der automatischen Lehrplangestaltung". Er hebt auch die Bedeutung der Neugier hervor, bei der die Lernenden durch die Verstärkung intrinsisch motiviert sind, ihre Umgebung zu erforschen, anstatt ausschließlich die externe Belohnung zu suchen.

Normativität
Der dritte Abschnitt befasst sich mit dem Training von KI durch die Nachahmung von menschlichem oder maschinellem Verhalten sowie mit philosophischen Debatten, z. B. zwischen Possibilismus und Aktualismus, die ein unterschiedliches Idealverhalten für KI-Systeme implizieren. Von besonderer Bedeutung ist das inverse Reinforcement Learning, ein breiter Ansatz, mit dem Maschinen die Zielfunktion eines Menschen oder eines anderen Agenten lernen können. Christian erörtert die normativen Herausforderungen, die mit effektivem Altruismus und existenziellem Risiko verbunden sind. Dazu gehört auch die Arbeit der Philosophen Toby Ord und William MacAskill, die versuchen, menschliche und maschinelle Strategien zu entwickeln, um das Abstimmungsproblem so effektiv wie möglich zu meistern.
de