La bibliométrie et les SHS
L’instrument privilégié de l’étude de la production scientifique, la bibliométrie, consiste à mesurer cette production à partir des articles publiés dans les revues et à l’évaluer à partir des citations de ces articles dans les autres revues. À l’origine il ne s’agissait pas de classer les revues et les chercheurs (et par extension, les laboratoires de recherche, les universités, etc.). Dans les années 1920 et 1930, à la suite de l’explosion du nombre de revues scientifiques, et parfois de leur prix, les bibliothécaires ont cherché des méthodes de sélection plus objectives que les demandes des chercheurs pour choisir les abonnements utiles à ces derniers. La bibliométrie s’est affirmée alors comme un outil permettant de repérer les revues les plus citées, la progression dans le temps du nombre de ces citations et en conséquence de choisir celles qui pouvaient intéresser les chercheurs dans un domaine particulier. Longtemps artisanale, la bibliométrie est devenue, à partir des années 1950, avec l’informatisation de ses outils, un remarquable moyen d’analyse de la production scientifique : « La bibliométrie est essentielle pour cartographier de façon globale l’état des recherches à un moment et en un lieu donné, et ainsi dépasser les perceptions locales et anecdotiques. Elle permet également d’identifier des tendances à différentes échelles : régionale, nationale et mondiale, qu’il serait impossible de faire émerger autrement » [1]. Ces informations sont obtenues grâce à un traitement à grande échelle des données fournies par les notices bibliographiques des articles (auteur, date de publication, titre de la revue, unité de rattachement, domaine de l’article, etc.) des grandes bases de données. Ce n’est qu’après son utilisation comme moyen d’évaluation des revues et des chercheurs que la bibliométrie a été remise en cause par nombre de ces derniers.
En tant qu’outil d’évaluation (incluant l’analyse des citations), et non plus seulement de mesure, de l’activité scientifique, la bibliométrie s’est d’abord appliquée aux STM. Destinée à pallier la subjectivité et l’étroitesse de l’évaluation par les pairs, elle participe de l’introduction dans le domaine de la recherche scientifique des techniques de gestion de la qualité (benchmarking) des entreprises privées. L’évaluation des revues est fonction de leur facteur d’impact, chiffre qui désigne leur rang dans la hiérarchie des revues grâce au nombre de citations qu’elles ont obtenu dans les autres revues. Les revues qui ont le facteur d’impact le plus élevé seront les plus convoitées par les chercheurs pour y publier leurs articles. Parmi les nombreuses critiques qui ont été adressées à ce facteur d’impact comme nous l’avons déjà signalé dans un article sur les STM, certaines concernent plus particulièrement son application aux SHS.
Alors que les revues sont le mode de communication de loin le plus usité dans les STM (plus de 80% de la production) ce n’est pas du tout le cas des SHS dont la production se partage à peu près également entre les revues et les livres [2]. En admettant, pour simplifier, qu’un livre égale un article, ce qui n’est pas, a priori, à l’avantage du livre, c’est dès lors une bonne moitié de la production scientifique des SHS qui se trouve ainsi marginalisée par l’approche bibliométrique transposée sans adaptation des STM aux SHS. Ce qui fait dire à Grégoire Chamayou : « pour vos publications, oubliez les monographies - dans notre nouveau régime de production du savoir, ça vaut peanuts. Si vous êtes chercheur en sciences humaines et sociales surtout, renoncez à écrire des livres. À quoi bon, puisqu’ils ne seront pas directement recensés par les bases de données bibliométriques ? C’est bien simple : aujourd’hui, leur monnaie n’a plus cours » [3].
En outre, sur ce terrain limité aux seules revues, la bibliométrie ignore certaines spécificités des publications de SHS. Par exemple, la durée de deux ans établie pour mesurer le facteur d’impact d’une revue, si elle est pertinente pour les STM, est très insuffisante en matière de SHS où plusieurs années sont souvent nécessaires pour qu’une contribution atteigne son lectorat et soit citée par d’autres chercheurs. Par ailleurs, les sujets traités dans les revues de SHS sont moins « universels » que ceux traités en STM, et, de ce fait, moins cités par les autres revues. D’où une sous-estimation chronique de l’impact des revues de SHS, avec les conséquences que l’on peut imaginer sur leur financement et la carrière des chercheurs qui les alimentent.
Par ailleurs, bien que l’ISI (Institut for Scientific Information) de Thomson Reuters ait constitué, depuis 1973 pour les sciences sociales et depuis 1978 pour les sciences humaines, un facteur d’impact propre aux revues de SHS, ces dernières sont relativement peu nombreuses dans sa base de données (2864 en 2010). Concurrent de l’ISI depuis 2004, Scopus, initié par Elsevier [4] en recense 3453 (en 2010), soit à peu près un tiers de l’ensemble évalué à 9551 revues (avec comité de lecture, contrôle par les pairs). Mais surtout, les revues répertoriées par ces organismes sont très majoritairement anglo-saxonnes. Les revues d’autres bassins linguistiques y sont manifestement sous-représentées : par exemple, on trouve dans la base de données de l’ISI 90 revues françaises de SHS et 36 espagnoles et, dans Scopus, 47 revues françaises et 28 espagnoles [5]. D’où une impossibilité pour la plus grande partie des revues de ces pays de connaître leur facteur d’impact, c’est-à-dire leur reconnaissance internationale, sauf à se fier à Google Scholar, le troisième fournisseur de facteur d’impact dont le recouvrement est beaucoup plus large mais peu sélectif et en variation constante, donc peu reconnu par la communauté scientifique.
Les classements et l’AERES
En réaction à ce quasi monopole linguistique de l’anglais, au niveau européen, l’European Science Fondation a créé sa propre base multilingue de recension de revues SHS, limitée pour l’instant aux sciences humaines (à l’exclusion des sciences sociales). L’ERIH (European reference index for the humanities) répertorie, pour ce seul secteur et à l’échelle mondiale, 5179 revues, tandis qu’en France, une politique nationale d’évaluation des revues scientifiques a été mise en œuvre avec la création en 2006 d’un organisme public, l’AERES (Agence d’évaluation de la recherche et de l’enseignement supérieur), qui recense de son côté, en s’appuyant beaucoup sur les listes de l’ERIH, 6300 revues de SHS (toujours à l’échelle mondiale).
Les revues de SHS ont ensuite fait l’objet d’un classement par l’ERIH et l’AERES en trois catégories : A, B et C, par des petits comités ad hoc, nommés par l’administration et non élus par leurs pairs, comme c’est l’usage en la matière, sans que les critères de ces classements soient publics. Ces catégories sont devenues, surtout avec l’AERES, des indicateurs de la qualité des revues, avec les conséquences que l’on peut facilement deviner : les chercheurs qui publiaient des articles dans les revues classées A reçurent de l’AERES le titre de « publiant » et furent classés en fonction du nombre de ces publications [6], tandis que les laboratoires furent classés et financés en fonction du nombre de leurs « publiants ». Les revues classées A furent très demandées, notamment par les jeunes chercheurs. Inversement, le classement d’une revue en catégorie C peut être catastrophique pour elle puisque, bien évidemment, les chercheurs ne vont pas se bousculer pour y publier des articles, ni les lecteurs pour s’y abonner. « En France comme dans d’autres pays […], nombreux sont ceux qui dénoncent les immenses dangers de ces machines pour la qualité des évaluations, mais aussi pour la survie du tissu si fragile des revues : une fois liée la notation des « publiants » à celle des revues, l’engrenage est en route qui fera bientôt disparaître les revues moins bien en cour, qu’elles soient trop hétérodoxes, trop jeunes, trop pointues, trop interdisciplinaires ou trop innovantes. » [7].
Face à la multiplication des protestations des revues et des chercheurs contre l’arbitraire de ses classements, l’AERES a dû y renoncer, et, dans la foulée, a même disparu, supprimée par la loi Fioraso sur l’enseignement supérieur et la recherche du 22 juillet 2013 (ce qu’avait expressément demandé l’Académie des sciences) pour être remplacée par un « Haut conseil à l’évaluation de la recherche et de l’enseignement supérieur » (HCERES). Le classement des revues n’est plus dans ses attributions. Mais on voit mal comment la concurrence néolibérale généralisée entre les chercheurs, les unités de recherche, les universités, les revues, mise en œuvre à l ‘échelle européenne depuis 1999 (processus de Lisbonne), poursuivie en 2010 avec le programme « Europe 2020 » [8] et traduite en France par la loi LRU pourrait se traduire autrement que par la promotion et la disqualification de nombre de ces instances.
Pour une autre politique de la recherche scientifique
Peu rentables sur le plan économique, mais requinquées par leur mise en ligne, les revues de SHS se trouvent désormais confrontées à des questions relevant des politiques scientifiques.
La promotion du libre accès par les instances européennes pour les seuls motifs de concurrence internationale risquerait de mettre en péril, si elle s’imposait avec la brutalité inscrite dans la recommandation européenne, le fragile équilibre économique des revues privées et leurs rapports jusque là positifs avec le secteur public. Si une promotion publique du libre accès semble souhaitable et légitime, elle ne devrait intervenir que progressivement et en coopération avec les divers acteurs qui ont su maintenir et même développer le « tissu fragile » des revues de SHS. Déjà financé en amont et en aval et par diverses subventions par l’argent public, le libre accès aux articles des revues de SHS devrait, à terme, être assuré ouvertement par la puissance publique, comme c’est déjà le cas pour les portails Persée et Gallica.
Quant à la politique d’évaluation de la recherche et des chercheurs, elle avait notamment pour objectif de réduire la subjectivité plus ou moins intentionnelle des évaluations par les pairs, voire les pratiques de favoritisme, copinage, cooptations et autres échanges de bons services. Sur ce terrain, à supposer que l’objectif soit atteint, ce qui est loin d’être assuré, on ne peut que constater que le remède est pire que le mal. Et surtout qu’il a consisté à retirer aux scientifiques eux-mêmes la maîtrise de leurs domaines de compétence. Les critères « objectifs » de la bibliométrie, dont on a vu les limites, sont en effet utilisables par tout un chacun, et notamment par les administrateurs et les politiques, sans qu’ils aient besoin d’une quelconque compétence dans les domaines considérés. Sous couvert d’une approche scientifique (la bibliométrie), il s’agit en fait d’une tentative de contrôle politique de l’activité scientifique, en sciences humaines et sociales, comme en STM. « Les tentatives pour imposer une évaluation bibliométrique ne s’expliquent que par le souci de remplacer des spécialistes reconnus par leur communauté pour leurs compétences par des instances désignées par l’autorité politique du moment, appréciées pour leur suivisme. Ici comme ailleurs, la frénésie évaluatrice aboutit à dessaisir les chercheurs et leurs représentants légitimes et à gonfler un personnel bureaucratique qui se pérennise en acceptant d’asphyxier progressivement la vie scientifique » [9].
Contre cette perspective, on ne peut que souscrire à la proposition de Christian Topalov : « L’enseignement supérieur et la recherche ont besoin d’évaluations élaborées de façon collective, contradictoire et publique, au sein d’instances mandatées pour cette tâche par la communauté au nom de laquelle elles portent des jugements, jugements dont elles ont à répondre » [10].
Jean Pérès
