Introduction à l'intelligence artificielle - Parlons sciences
L'IA peut aider à améliorer la santé humaine dans une foule d'autres domaines. Elle peut analyser les messages publiés dans les médias sociaux ...
l'explicabilité de l'IA
Il est très important de comprendre comment fonctionnent les systèmes d’IA. C’est ce qu’on appelle <anchor>l'explicabilité de l'IA</anchor>, qui consiste à comprendre comment un système d’IA fonctionne pour aboutir à ses résultats. Les entreprises qui créent des systèmes d’IA veulent protéger leur propriété intellectuelle. Et les algorithmes d’IA sont parfois si complexes qu’il est presque impossible de comprendre les processus impliqués. C’est un problème quand les gens veulent comprendre le processus menant à la prise de décision ou la façon dont les discriminations apparaissent. C’est ce qu’on appelle l’« effet boîte noire ». Des scientifiques de partout dans le monde l'étudient pour trouver des solutions.
L'intelligence artificielle à l'heure de la transparence algorithmique | Les Echos
Recherche

Se connecter

Sciences & Prospectives

Publicité

# L'intelligence artificielle à l'heure de la transparence algorithmique

L'IA ne sera un succès que si elle inspire confiance aux consommateurs et aux citoyens. Rendre ses décisions explicables et transparentes est un défi que tentent de relever des experts de la psychologie et de la pédagogie.

Ajouter à mes articles

Commenter

Partager

Partager

0602898220356_web_tete.jpg

(iStock)

Publié le 9 mars 2020 à 16:22

Le 5 février dernier, le tribunal de La Haye a interdit au gouvernement hollandais d'utiliser SyRI, un logiciel de détection de fraude aux aides sociales. L'administration batave avait refusé de dévoiler le code informatique de ce système automatique qui croisait différentes données (déclarations fiscales, montants des aides perçues…) et ciblait les populations les plus pauvres. « Nous espérons que ce précédent va encourager les Etats à publier le code des algorithmes qu'ils utilisent, commente Amos Toh, qui a suivi ce procès pour HRW (Human Rights Watch), une ONG américaine où il est chercheur, en charge de l'IA et des droits de l'homme. Cela permettrait à des organismes tiers de vérifier le bon fonctionnement de ces programmes et aux citoyens de comprendre comment ont été motivées les décisions les concernant. »

### « Boîtes noires »

Les systèmes de prise de décision automatique, qu'ils soient fondés sur des modèles logiques (systèmes experts…) ou des statistiques (machine learning, deep learning…), commencent à avoir un impact sur la vie de millions de citoyens, de consommateurs ou de salariés : traque à la fraude fiscale, recrutement, reconnaissance faciale, sélection pour l'enseignement supérieur, surveillance de la productivité des ouvriers ou des manutentionnaires, octroi de prêts bancaires, chatbots…

### Lire aussi :

Publicité

A chaque avancée, des experts rappellent que ces logiciels ne sont que des « boîtes noires ». « On consacre trop d'énergie et de temps à essayer de comprendre comment certains algorithmes fonctionnent et prennent leurs décisions », soupire Marie David, diplômée de l'X et de l'Ensae (Ecole nationale de la statistique et de l'administration économique), qui a dirigé des équipes données et IA dans la banque-assurance, et coécrit « Intelligence artificielle, la nouvelle barbarie » (Editions du Rocher).

Les enjeux de cette transparence algorithmique sont légaux, économiques et sociétaux. Légaux ? « Les lois européennes, comme le RGPD, et françaises imposent une forme de transparence sur la logique sous-jacente à un traitement automatisé des données à caractère personnel», rappelle Grégory Flandin, directeur de programme Intelligence artificielle pour les systèmes critiques à l'IRT Saint-Exupéry, un institut de recherche technologique toulousain. « Le RGPD a un fort impact, confirme Jean-Philippe Desbiolles, vice-président mondial IA et données pour le secteur financier, chez IBM. Les audits internes consacrés à l'absence de biais, à la transparence et à l'explicabilité de l'IA sont en forte augmentation depuis quelques mois chez nos clients. La question de la confiance en ces systèmes est primordiale pour son adoption» Tous les éditeurs de plateformes d'IA proposent d'ailleurs à leurs utilisateurs des outils détaillant - un peu (voir ci-dessous) - le fonctionnement de leurs logiciels. Et les grandes firmes d'audit et de conseil embauchent des spécialistes. « Depuis sept mois, je suis responsable monde de l'éthique de l'IA pour le cabinet EY », explique Ansgar Koene, par ailleurs chercheur en informatique à l'université de Nottingham (Angleterre) et auteur, en avril 2019, d'un guide sur la transparence algorithmique pour la Commission européenne.

### Problèmes éthiques

Les enjeux économiques ? « G eorge Akerlof, le Nobel d'économie 2001, a montré que si un marché devenait opaque pour certains de ses acteurs, il risquait de s'effondrer, rappelle Patrick Waelbroeck, professeur d'économie à Telecom ParisTech, cofondateur de la chaire Valeurs et politiques des informations personnelles. C'est ce qui pourrait arriver à l'IA si on ne parvient pas à lui injecter plus de transparence. »

### Lire aussi :

Les enjeux sociétaux ? « Le risque est de voir des consommateurs ou des citoyens non seulement rejeter des décisions qu'ils ne comprennent pas, mais aussi rejeter les entreprises ou les Etats utilisant ces logiciels », estime Anne Bouverot, présidente de Technicolor et de la fondation Abeona (« la science des données pour l'équité et l'égalité »). « Tous les problèmes éthiques que soulève l'IA ont déjà été traités, estime Teemu Roos, qui enseigne l'IA et la donnée à l'université d'Helsinki (Finlande). Sauf, la transparence et la responsabilité algorithmiques. C'est pourquoi il faut faire un effort particulier de pédagogie sur ces deux aspects. » Les initiatives se multiplient. Elles sont de deux ordres : tenter de former le plus de citoyens possible aux grands enjeux de ces algorithmes ; et trouver des solutions pour expliquer simplement à un non-spécialiste le processus de décision de l'IA.

### Impact sur la vie privée

A partir de début avril, tous les Français vont pouvoir s'initier à l'IA, grâce à deux Mooc. L'un, déjà disponible en six langues européennes, vient d'Helsinki : « Lancé en mai 2018, Elements of AI a été suivi par 362.000 personnes, dont seulement un tiers de Finlandais », précise Megan Schaible, chef des opérations chez Reaktor, un cabinet de conseil en technologies d'Helsinki qui a conçu ce Mooc avec Teemu Roos. L'autre cours, Objectif IA, est issu de la collaboration entre un groupe de réflexion de l'Institut Montaigne, le spécialiste de la pédagogie en ligne OpenClassrooms et la fondation Abeona.

« Transparency by Design », psychologie de l'explication, impact sur la vie privée… les initiatives se multiplient sur la meilleure façon d'expliquer au grand public le résultat d'un logiciel. « Nous voulons que la transparence vis-à-vis des candidats soit intégrée à nos prochaines plateformes d'intelligence artificielle dès leur conception », lance, mais sans donner plus de détails, Steve O'Brien, responsable des opérations chez Job.com, un site de recrutement en ligne américain qui se réorganise autour de l'IA. « Qu'est-ce qu'une bonne explication ? Comment évaluer son utilité ? Toutes ces questions, d'ordre psychologique, font aussi partie de notre programme », révèle Matt Turek, responsable du projet XAI (Explainable Artificial Intelligence) à la Darpa, l'agence chargée de la recherche au sein du département de la Défense américain. Beaucoup d'universitaires planchent, eux, sur des méthodes tentant de montrer le poids relatif de tel ou tel paramètre dans la prise de décision d'un système d'IA (Quantitative Input Influence). Yair Zick, qui enseigne l'informatique à l'université nationale de Singapour, en fait partie. Il attire cependant l'attention sur l'impact sur la vie privée de ces systèmes explicatifs. « Plus vous donnez d'information sur un algorithme, plus vous donnez la possibilité à d'autres utilisateurs de l'appliquer à d'autres personnes et ainsi d'en savoir plus sur ces dernières ! » prévient-il. La transparence a aussi ses revers.

Jacques Henno

@jhennoparis

De quoi parle-t-on ?

· machine learning : technologie d'intelligence artificielle permettant aux ordinateurs d'apprendre à partir de jeux de données

· biais : 'défaut' dans le jeu de données qui a servi à l'apprentissage et qui reflète les a priori racistes, sexistes, sociaux… de ceux qui ont élaboré cet échantillon.

· explicabilité : une décision prise par un algorithme d'IA doit pouvoir être expliquée à des experts ou des non-spécialistes

· transparence : le consommateur ou le citoyen doit être tenu au courant qu'il fait l'objet d'un traitement automatisé, doit recevoir des explications sur les décisions prises à son égard et doit pouvoir contester cette décision

· répétabilité : le même algorithme avec les mêmes données engendre les mêmes résultats

· robustesse : un algorithme est robuste si de légères modifications dans les données en entrée ne modifient pas le résultat

· certificabilité : possibilité de certifier, à l'issue de tests, qu'une IA respecte certains critères (répétabilité, robustesse…) et qu'elle ne représente donc pas un risque pour les utilisateurs et les consommateurs.

Publicité

### Les utilisateurs d'IA sont-ils bien informés ?

Les principaux éditeurs de programme d'IA (IBM, Google, Microsoft…), proposent des suites logicielles (AI OpenScale chez IBM, Google AI Explanations…) qui permettent à leurs utilisateurs de comprendre comment ces programmes d'IA sont parvenus à prendre telle ou telle décision. Ces outils restent pour l'instant limités, puisqu'ils se contentent de mettre l'accent sur certaines données ayant permis à l'algorithme de prendre sa décision sans toutefois dévoiler de relations explicatives. Ils permettent aux ingénieurs non spécialistes en explicabilité de faire une première analyse de ces logiciels. « Il faut bien se rendre compte qu'aujourd'hui encore, personne ne comprend pourquoi le deep learning marche aussi bien », met en garde Guillaume Gaudron, directeur général de l'antenne de Montréal de l'Institut de Recherche Technologique Saint Exupéry (Toulouse), spécialisé dans l'aérospatial et les systèmes embarqués. Cet IRT pilote, avec son partenaire toulousain ANITI et deux instituts québécois, IVADO et CRIAQ, le projet transatlantique DEEL (DEpendable & Explainable Learning) : « nous promouvons des recherches permettant d'élaborer des outils attestant de la robustesse et de la certificabilité d'algorithmes d'IA », détaille Guillaume Gaudron. » Ce qui permettra d'embarquer ces programmes sur des véhicules autonomes, en toute sécurité.

J. H.

Jacques Henno

Entreprise - Solo.png

### Nouveau : découvrez nos offres Premium !

Vos responsabilités exigent une attention fine aux événements et rapports de force qui régissent notre monde. Vous avez besoin d’anticiper les grandes tendances pour reconnaitre, au bon moment, les opportunités à saisir et les risques à prévenir.C’est précisément la promesse de nos offres PREMIUM : vous fournir des analyses exclusives et des outils de veille sectorielle pour prendre des décisions éclairées, identifier les signaux faibles et appuyer vos partis pris. N'attendez plus, les décisions les plus déterminantes pour vos succès 2024 se prennent maintenant !

## Nos Vidéos

xs3zxzk-O.jpg

### Portugal, Espagne, Grèce : la revanche des « pays du Club Med »

x3rpxxz-O.jpg

### Les jeunes ont-ils vraiment un problème avec le travail ?

xx0urmq-O.jpg

### SNCF : la concurrence peut-elle faire baisser les prix des billets de train ?

Publicité

## Les plus lus

Publicité

## À la Une

Publicité

## Sciences & Prospective

Publicité

Pratique

Pratique

Services

Services

Le Groupe

Le Groupe

Tous droits réservés - Les Echos 2024

Se connecter