À partir de ce résumé, citez trois façons dont les systèmes d'intelligence artificielle font preuve d'un comportement qui ne correspond pas aux valeurs humaines, abordées par Brian Christian dans les trois sections de son livre "The Alignment Problem" (Le problème de l'alignement).
From this summary, list three ways in which artificial intelligence systems show behavior misaligned human values, covered by Brian Christian in the three sections of his book "The Alignment Problem"?
In the first section, Prophecy, the author talks about predictive models making decisions that are difficult to examine and may become discriminative or unfair.

In the second section, Agency, about reinforcement learning systems, despite some remarkable achievements, are guided nearly exclusively by their objective function, not so much by curiosity to discover the world.

In the third section, Normativity, inverse reinforcement learning techniques face the challenge of figuring out the objective function of humans.
Dans la première partie, intitulée "Prophétie", l'auteur parle des modèles prédictifs qui prennent des décisions difficiles à examiner et qui peuvent devenir discriminatoires ou injustes.

Dans la deuxième section, Agence, l'auteur parle des systèmes d'apprentissage par renforcement qui, malgré quelques réalisations remarquables, sont guidés presque exclusivement par leur fonction objective, et pas tellement par la curiosité de découvrir le monde.

Dans la troisième section, Normativité, les techniques d'apprentissage par renforcement inverse sont confrontées au défi de comprendre la fonction objective des humains.
summarization
Le livre est divisé en trois sections : Prophétie, Agence et Normativité. Chaque section présente des chercheurs et des ingénieurs qui travaillent sur différents défis liés à l'alignement de l'intelligence artificielle sur les valeurs humaines.

La prophétie
Dans la première partie, Christian entrelace des discussions sur l'histoire de la recherche en intelligence artificielle, en particulier l'approche de l'apprentissage automatique des réseaux neuronaux artificiels tels que le Perceptron et l'AlexNet, avec des exemples de la façon dont les systèmes d'intelligence artificielle peuvent avoir un comportement involontaire. Il raconte l'histoire de Julia Angwin, une journaliste dont l'enquête de ProPublica sur l'algorithme COMPAS, un outil de prédiction de la récidive chez les accusés criminels, a suscité de nombreuses critiques quant à sa précision et à sa partialité à l'égard de certains groupes démographiques. L'un des principaux problèmes d'alignement de l'IA est sa nature de boîte noire (les entrées et les sorties sont identifiables, mais le processus de transformation entre les deux est indéterminé). Le manque de transparence fait qu'il est difficile de savoir où le système va bien et où il va mal.

L'Agence
Dans la deuxième section, Christian entrelace de manière similaire l'histoire de l'étude psychologique de la récompense, comme le behaviorisme et la dopamine, avec la science informatique de l'apprentissage par renforcement, dans laquelle les systèmes d'IA doivent développer une politique ("quoi faire") face à une fonction de valeur ("quelles récompenses ou punitions attendre"). Il qualifie les systèmes AlphaGo et AlphaZero de DeepMind de "peut-être la réalisation la plus impressionnante en matière de conception automatisée de programmes d'études". Il souligne également l'importance de la curiosité, dans laquelle les apprenants par renforcement sont intrinsèquement motivés pour explorer leur environnement, plutôt que de rechercher exclusivement la récompense externe.

Normativité
La troisième section traite de l'apprentissage de l'IA par l'imitation du comportement humain ou de la machine, ainsi que des débats philosophiques tels que le possibilisme et l'actualisme, qui impliquent des comportements idéaux différents pour les systèmes d'IA. L'apprentissage par renforcement inverse, une approche générale permettant aux machines d'apprendre la fonction objective d'un humain ou d'un autre agent, revêt une importance particulière. Christian aborde les défis normatifs associés à l'altruisme efficace et au risque existentiel, y compris le travail des philosophes Toby Ord et William MacAskill qui tentent de concevoir des stratégies humaines et mécaniques pour naviguer le plus efficacement possible dans le problème de l'alignement.
fr