Recherche scientifique : le faux miracle italien
Les chercheurs transalpins saucissonnent leurs résultats pour multiplier artificiellement leurs publications et duper le système qui les évalue sur des critères quantitatifs.
L’Italie a t-elle une recherche scientifique en plein essor ? Emploie t-elle de plus plus de chercheurs ? Dépense t-elle de plus en plus d’argent public et privé pour ses activités de recherche et développement ? Non, non et non. On parle plutôt dans la presse de ses chercheurs qui s’expatrient et de ses doctorants mal payés. Il suffit de considérer une statistique sans pitié, la part du PIB consacrée à la recherche pour se faire une idée juste de la situation Ainsi, la France affiche une part du PIB consacrée à la recherche de 2,25% en 2017 (contre 2,02 en 2007) soit 50 milliards €, tandis que l’Italie n’en consacre que 1,35% (contre 1,13% en 2007) soit 23 milliards €. Et pourtant, l’Italie talonne la France en nombre d’articles publiés (ici en 2018 dans le classement Scimago) : voire la dépasse en 2016 (ici dans un autre classement fait par l’Observatoire des sciences et des techniques) en nombre d’articles scientifiques comme le montre le dernier rapport de l’OST : Y a t-il un miracle ? Permettant de faire plus (de recherches) avec moins (de chercheurs et d’argent) ? C’est le rêve de nombre de dirigeants politiques, qui n’ont toujours pas compris que la recherche est une affaire de cerveaux et d’équipements de pointe et qu’il faut la considérer comme un investissement – très – productif et non comme une dépense courante. Erreur de débutant Mais, du coup, ces mêmes dirigeants ont commis une faute de débutant : faire d’une mesure quantitative de l’apparence de recherche (le nombre d’articles publiés) et de sa qualité (le nombre de citations que ces articles obtiennent dans la littérature scientifique ultérieure et le facteur d’impact du journal où ils sont publiés) des indicateurs utilisés pour évaluer le travail des chercheurs et éventuellement les récompenser. Cette erreur de débutant énerve de plus en plus les chercheurs, qui savent, eux, que c’est une ânerie. C’est pourquoi ils proclament avec de plus en plus de force que l’évaluation des chercheurs et des laboratoires ne doit pas se fonder sur ces chiffres élémentaires mais sur une appréciation de la valeur (cognitive ou pour leurs applications possibles) des recherches par les spécialistes. Mais pourquoi est-ce une erreur de débutant ? Tout simplement parce qu’un indicateur, dès lors qu’il devient un objectif (en l’occurrence des chercheurs et laboratoires puisqu’ils sont évalués ainsi) peut cesser d’indiquer quoi que ce soit. Un adage niveau première année d’université. Et c’est pourquoi l’énorme quantité d’encre, de salive, de réunions, de chiffres et d’études fondées sur cet indicateur pour piloter la recherche, évaluer les chercheurs et les laboratoires et allouer les crédits de recherche se retourne contre les débutants. Exemple frappant : l’Italie. Stratégie de dupes Depuis que la loi votée en 2010 met sous pression le système de recherche et les chercheurs pour une évaluation strictement fondée sur ces critères, le dérapage est là. L’augmentation considérable du nombre d’articles et de leurs citations est en grande partie le fruit de stratégies destinées à duper le système d’évaluation en faisant grimper artificiellement ces chiffres. Pour publier plus, on saucissonne plus des résultats. Pour être plus cités, on s’arrange entre collègues pour multiplier les citations croisées. Ainsi, dans les chiffres de Scimago, le nombre d’autocitations pour l’Italie dépasse les 39 000 contre moins de 28 000 pour la France, alors que les chercheurs des deux pays publient un nombre quasi identique d’articles. C’est ce dernier point – les « autocitations » à l’échelle d’un pays – qui met la puce à l’oreille et font faire la moue à des observateurs. Et provoqué la parution de deux articles sur le sujet dans Nature et Science. Une équipe… italienne (A. Baccine et al, de l’Université de Sienne et de Pavie) en avait fait la démonstration dans un article publié dans la revue Plos One (1) où elle montre que les chercheurs Italiens sont devenus des champions pour l’autocitation parmi les pays dominant la science (2), dépassant même les Japonais alors qu’ils étaient à un niveau « normal » avant la loi de 2010. Même s’il faut noter que toutes les communautés scientifiques nationales ont tendance à augmenter leurs autocitations dans leur recherche désespérée visant à atteindre l’objectif que leurs gouvernements leurs assignent via cet indicateur devenu, dès lors, stupide. L’équipe de Alberto Baccini a considéré un deuxième élément d’évaluation de la qualité d’un système de recherche, sa capacité à tisser des coopérations internationales. Elle se lit par les articles co-signés par des auteurs d’au moins un autre pays. Ce phénomène, positif, contribue mécaniquement à l’augmentation des autocitations nationales pour tous les pays concernés. Mais, si tous les pays européens augmentent la part de leurs recherches menées en coopérations internationales, c’est l’Italie qui est à la traîne, cela devrait donc diminuer ses autocitations. Si elles augmentent encore plus que pour les autres pays, c’est un signe clair de ce que les « bons » chiffres en nombre d’articles et de citations sont le résultat d’une duperie collective provoquée par l’ânerie gouvernementale. Sylvestre Huet (1) Voici le résumé de l’article : It is several years since national research evaluation systems around the globe started making use of quantitative indicators to measure the performance of researchers. Nevertheless, the effects on these systems on the behavior of the evaluated researchers are still largely unknown. For investigating this topic, we propose a new inwardness indicator able to gauge the degree of scientific self-referentiality of a country. Inwardness is defined as the proportion of citations coming from the country over the total number of citations gathered by the country. A comparative analysis of the trends for the G10 countries in the years 2000-2016 reveals a net increase of the Italian inwardness. Italy became, both globally and for a large majority of the research fields, the country with the highest inwardness and the lowest rate of international collaborations. The change in the Italian trend occurs in the years following the introduction in 2011 of national regulations in which key passages of professional careers are governed by bibliometric indicators. A most likely explanation of the peculiar Italian trend is a generalized strategic use of citations in the Italian scientific community, both in the form of strategic author self-citations and of citation clubs. We argue that the Italian case offers crucial insights on the constitutive effects of evaluation systems. As such, it could become a paradigmatic case in the debate about the use of indicators in science-policy contexts. (2) Il faut extraire les Etats-Unis de la comparaison car le nombre de leurs chercheurs et leur capacité à couvrir tous les champs scientifiques fait qu’ils peuvent très souvent monter une collaboration entre laboratoires sans avoir besoin d’aller chercher à l’étranger des compétences qui leur manqueraient. Du coup, ils sont les vice-champions du monde des autocitations. Quant au champion… il s’agit de la Chine, et l’un des facteurs expliquant cette position est le même que pour l’Italie, l’autre étant… celui qui oeuvre aux Etats-Unis.