Contexte de l’étude

Mesurer la Science Ouverte à l’Université de Lorraine

2La Direction de la Documentation et de l’Edition (DDE) de l’Université de Lorraine, un des moteurs de ce mouvement, mène dans ce contexte de nombreuses missions d’accompagnement de la recherche, afin d’impulser et de maintenir les efforts nécessaires à une ouverture toujours plus grande de la production scientifique des chercheurs de l’Université.

Etablir la bibliographie complète d’un établissement d’enseignement supérieur : une gageure ?

13La définition d’un corpus français a donc représenté une difficulté non négligeable pour le Baromètre national. Aucune solution simple ne permettait de restreindre ce corpus à un établissement. En effet, les affiliations des auteurs sont trop variables et trop peu fiables dans la plupart des bases de données pour constituer un critère sur lequel s’appuyer pour identifier de manière univoque la production scientifique d’une université ou d’un organisme de recherche.

14La restriction des données de publications au corpus de l’Université de Lorraine a donc constitué la première et difficile étape du projet. Plusieurs possibilités ont été évaluées, de la plus simple (à savoir, s’en tenir aux publications dans le Web of Science) à la plus complexe (extraire les publications de toutes les bases de données auxquelles l’établissement a accès). L’Université étant pluridisciplinaire, il était nécessaire de prendre en compte un large spectre de domaines scientifiques. Or l’application Unpaywall, utilisée dans le Baromètre français et indispensable pour connaître le statut d’open access d’une publication, ne fonctionne que sur la base du DOI. Cela a eu pour conséquence d’exclure du périmètre les bases ne fournissant pas de DOI. D’autre part, la question des affiliations est elle aussi cruciale : si la base CAIRN, par exemple, dispose (de manière aléatoire) de DOI pour les articles, les affiliations sont rarement renseignées. Pour une Université de 3 900 chercheurs, il n’était pas pensable d’identifier les publications sur la base des noms d’auteurs. Le pragmatisme et la faisabilité technique ont donc prévalu au choix des sources de données.

16On peut ainsi souligner le fait que le dépôt dans HAL-UL, qui a pour conséquence un contrôle rigoureux des affiliations, est un argument supplémentaire en faveur de cet outil, pour accroître la visibilité des publications d’un établissement.

17Les données issues de ces différentes bases ont été extraites en format .csv ou .txt, en fonction des possibilités des modules d’extraction de chaque base.

19Nous ne pouvons donc nous contenter, pour le moment, que d’un corpus partiel ; mais c’est un défaut dont souffre également le Baromètre national, pour les mêmes raisons. La comparaison entre l’établissement et le niveau national reste donc pertinente.

20Avec cette liste de publications, les graphiques pouvaient ensuite être générés. Le premier d’entre eux, qui détermine la proportion de publications en accès ouvert pour une année donnée, permet de placer l’Université de Lorraine dans la dynamique nationale. Au printemps 2020, le Baromètre lorrain de la Science Ouverte était né ; il sera mis à jour chaque année.

Description des données

22Le Baromètre lorrain de la Science Ouverte est composé de différents éléments, dont 6 doivent être explicités (les éléments restants étant des fichiers obligatoires pour le bon fonctionnement du code, qui ne doivent pas être retirés et ne nécessitent pas de traitement de la part du réutilisateur) :

1. Le dossier « Data » comprend deux sous-dossiers. Le dossier « Raw » contient les extractions des différentes bases de données ayant servi à établir le corpus de l’établissement ; ces extractions n’ont pas d’intérêt pour les autres établissements, qui doivent les remplacer par les leurs. Le dossier « Outputs » contient les fichiers « nettoyés » (listes de DOI en .csv et .xls) et les graphiques obtenus (en .png) suite à l’application du code à ces extractions.

2. Le fichier « License » détermine les termes de réutilisation du code : c’est la licence Apache qui est ici appliquée, qui permet la réutilisation tant que les auteurs sont mentionnés.

3. Le fichier « Readme » détaille l’ensemble des instructions à suivre pour générer son propre Baromètre.

4. • 27 Voir point 2.1.

   Les trois fichiers se terminant par « .ipynb » sont des notebooks Jupyter27, et constituent le cœur du Baromètre. Ils contiennent le code à exécuter pour générer les graphiques. Le code est en langage Python, les commentaires sont en langage Markdown.

5. Le fichier « requetes_bdd » liste les opérations à réaliser pour faire les extractions dans les différentes bases de données.

6. Les deux fichiers se terminant par « .py » sont des scripts Python, c’est-à-dire des microprogrammes permettant respectivement de connaître le statut d’open access des publications et d’ajouter l’information de la discipline à ces publications. Ces deux fichiers ont été directement copiés du Baromètre national.

Des outils ouverts pour favoriser la reproductibilité

23L’open data est un premier pas essentiel vers la reproductibilité scientifique. En effet, les résultats de la recherche ne peuvent être reproduits sans accès aux données. Mais la question de leur véritable réutilisabilité reste ouverte. En effet, donner accès à des données (en l’occurrence dans notre cas, à un code informatique) sans en fournir la provenance, sans détailler la manière de les utiliser, revient à fournir des médicaments sans notice explicative.

25Contraction de Julia, Python et R, les notebooks permettent de disposer d’un environnement interactif utilisable en ligne, au sein duquel ces trois langages de programmation peuvent être mêlés à du texte. Le choix de cet outil permet de répondre à trois critères : l’utilisation du langage Python, pratiqué par la data librarian en charge de cette mission ; la possibilité de commenter de manière visuelle le code, pour des explications pas à pas ; l’ouverture du code source de la solution utilisée.

27Le deuxième notebook génère les graphiques permettant de visualiser les indicateurs d’ouverture de la science : globale, par année, par discipline, par éditeur... Le Baromètre national propose ses graphiques en JavaScript, langage que ne maîtrise pas la data librarian : ils ont donc été écrits en Python, grâce à la librairie Matplotlib. Les graphiques lorrains en Python s’approchent le plus possible des graphiques réalisés par le Ministère, afin de faciliter les comparaisons.

30Enfin, pour favoriser au maximum la réutilisation du Baromètre lorrain, un fichier « Readme » a été rédigé. Il détaille toutes les étapes à suivre pour qu’un établissement puisse réutiliser le Baromètre lorrain avec ses propres extractions de bases de données.

Le mirage d’une reproductibilité instantanée

32Les notebooks comprennent l’intégralité du code ainsi que des instructions très précises à chaque étape ; le fichier « Readme » ajoute des précisions supplémentaires. Or, en dépit de ces précautions, la réutilisation du code n’est pas forcément aisée.

33Un établissement a ainsi pris contact avec l’Université de Lorraine pour adapter le Baromètre. De taille bien moindre, ses besoins diffèrent : par exemple, un graphique des proportions d’accès ouvert classé par discipline, affiché en pourcentages pour l’Université de Lorraine, n’avait pas de sens pour cet établissement qui ne produit qu’une centaine de publications par an.

34L’adaptation du Baromètre lorrain à d’autres établissements nécessite donc certains ajustements, qui ne peuvent être réalisés sans une maîtrise minimale du langage Python. Si la data librarian a pu répondre à cette demande, cela ne saurait constituer une solution pérenne si de nombreux autres établissements souhaitent faire de même.

35Il est donc primordial d’organiser les conditions de la reproductibilité : utilisation de logiciels et de langages en open source, soin particulier apporté aux commentaires dans le code pour expliciter chaque opération, suivi de bonnes pratiques (règles de nommage explicitées, réalisation d’un fichier « Readme »…).

36Mais en dépit de cela, il est impossible de présager des compétences dont disposent ses interlocuteurs, dont la maîtrise technique des outils proposés n’est pas forcément acquise. La mise en œuvre d’un tel projet nécessite donc de la disponibilité, afin de pouvoir répondre, au moins d’une façon minimale, aux interrogations des réutilisateurs ; sans quoi la reproductibilité n’est pas vraiment garantie.

Préférer Python à Excel : une complexité justifiée ?

38Ce projet, mené sur plusieurs mois, aboutit à la réalisation de graphiques, dont certains pourraient être générés de manière bien plus simple sur un tableur de type Excel. Mais l’utilisation de Python apporte des possibilités bien plus intéressantes : mise à jour chaque année en quelques opérations seulement ; pérennité du code, qui n’est pas dépendant d’une éventuelle mise à jour logicielle qui en changerait l’aspect ; possibilités quasi infinies de visualisations ; ouverture permettant à chaque établissement de réutiliser le code pour générer ses propres graphiques.

39L’utilisation de Python est ainsi justifiée lorsque l’objectif de la démarche est analysé : il s’agit bien ici d’un projet orienté vers la reproductibilité, non seulement parce que l’Université de Lorraine est engagée en faveur de la Science Ouverte, mais aussi parce que la force de ce type d’indicateurs est la comparaison. En effet, plus nombreux seront les établissements à s’emparer de l’outil, plus il sera enrichi de nouvelles fonctionnalités.

40Par exemple, le premier établissement ayant souhaité générer son propre Baromètre a demandé l’ajout d’un affichage en valeurs absolues et pas relatives pour certains graphiques : l’Université de Lorraine a pu mettre son propre Baromètre à jour suite au travail mené pour l’accompagnement de cet établissement. Le deuxième établissement à demander un accompagnement à la réutilisation du Baromètre n’est pas abonné au Web of Science, mais à Scopus : un enrichissement du code permettant le traitement des données issues de cette base de données a donc été ajouté.

Les données obtenues

Liens vers les graphiques et le code

41Les graphiques obtenus suite au traitement des données bibliographiques extraites des différentes bases ont été publiés sur le site web Science Ouverte de l’Université de Lorraine, dans une rubrique spécifique. Les graphiques seront mis à jour une fois par an.

42Lien vers le Baromètre lorrain de la Science Ouverte : http://scienceouverte.univ-lorraine.fr/​barometre-lorrain-de-la-science-ouverte/​

43Le code a été déposé dans Gitlab, afin de permettre une mise à jour simple du code. Dans ce dépôt Gitlab, se trouvent toutes les informations nécessaires à la reproduction du Baromètre pour son propre établissement : le fichier « Readme » en page d’accueil qui liste les différentes étapes à suivre, les extractions à faire dans les différentes bases, les notebooks permettant le nettoyage des fichiers et la génération des graphiques ainsi que les scripts d’Unpaywall et du Ministère sont à disposition. Le réutilisateur n’a donc qu’à télécharger l’ensemble du dossier Gitlab et à suivre les instructions du fichier « Readme ».

44Pour assurer la pérennité de ce code, il a également fait l’objet d’une sauvegarde via Software Heritage.

45Lien vers le dépôt Gitlab (mis à jour régulièrement) : https://gitlab.com/​Cthulhus_Queen/​barometre_scienceouverte_universitedelorraine

46Lien vers le dépôt Zenodo :

47Bracco, Laetitia. (2021, February 1). Le Baromètre lorrain de la Science Ouverte (Version 1). Zenodo. http://0-doi-org.catalogue.libraries.london.ac.uk/​10.5281/​zenodo.4485766

Comment interpréter ces données ?

Évolution de l’accès ouvert par an

48Ce graphique permet d’observer une hausse rapide du taux global d’accès ouvert entre les publications de 2016 et celles de 2017, ce qui est le résultat du lancement du portail HAL-UL.

49Le taux mesuré en 2021 pour les publications de 2020 va très probablement augmenter au fil des mois et sera visible lors de la prochaine mise à jour. Il en va de même pour les autres années, puisque des publications d’années antérieures vont continuer à être déposées dans des archives ouvertes. En effet, il est nécessaire de prendre en compte les délais d’embargo devant être respectés pour se conformer à la loi pour une République numérique ainsi que la barrière mobile de certaines revues (en SHS et médecine notamment). C’est pourquoi les autres graphiques portent sur les publications de l’année 2019, afin d’avoir une vue plus juste de la réelle ouverture de la science.

Quelles pratiques d’ouverture par discipline ?

50Contrairement au Baromètre national, qui propose des graphiques d’accès ouvert par discipline ou par éditeur en valeur absolue, le Baromètre lorrain présente ces données en valeur relative, afin de montrer la progression de la Science Ouverte de manière contextualisée.

52Une deuxième représentation par discipline permet de visualiser plus encore ces disparités, tout en soulignant le manque de représentativité des bases de données. En effet, les sciences humaines y sont peu référencées. Cette deuxième représentation, qui a été également réalisée pour les éditeurs/plateformes, n’était pas présente dans le Baromètre national. Elle apporte une vision plus immédiate des importantes différences qui peuvent exister entre communautés scientifiques en matière de Science Ouverte ; et souligne le manque de visibilité de certaines disciplines dans les bases de données les plus utilisées (les Sciences Humaines notamment).

Quelles pratiques d’ouverture par éditeur ?

53Le graphique par éditeur/plateforme permet de mettre en évidence les fortes différences de politiques éditoriales au sein du paysage de l’information scientifique et technique. Seuls les éditeurs/plateformes les plus représentés dans le corpus sont repris ici, pour plus de visibilité. Ils sont classés par taux d’ouverture.

54Comme pour le graphique par disciplines, ce graphique par éditeur/plateforme a été enrichi d’une deuxième visualisation qui permet de souligner l’écrasante domination d’Elsevier au sein de la production scientifique lorraine, puisqu’il représente à lui seul un tiers des publications de l’année. A noter également la présence importante de Springer Science (qu’il ne faut pas confondre avec l’éditeur américain Springer International Publishing, également présent dans le graphique et qui ne concerne que des ouvrages ou chapitres d’ouvrages).

55Outre la comparaison entre éditeurs, ce graphique permet de savoir auprès de qui les chercheurs de l’Université de Lorraine publient le plus (de droite à gauche). Ce graphique peut ainsi être considéré comme un outil d’aide à la décision en matière de désabonnement : mettre fin à un abonnement à Elsevier, par exemple, ne serait pas neutre de conséquences en termes d’accès à notre propre production scientifique. L’intérêt du dépôt dans HAL du texte intégral des publications n’en n’est que plus flagrant.

Quelles pratiques d’ouverture par type de publication ?

56L’approche par type de publication démontre avec force l’omniprésence de l’article de revue au sein des bases de données, au détriment d’autres types de produits de recherche, comme les ouvrages, les chapitres d’ouvrages ou les jeux de données.

Quelle répartition des publications au sein des archives ouvertes ?

57Une dernière visualisation permet d’identifier les plateformes d’auto-archivages plébiscitées par les chercheurs de l’Université de Lorraine. Comme au niveau national, on constate une prédominance de HAL, mais aussi une pratique de dépôt multiplateformes.

Quelles conclusions au sujet de l’accès ouvert ?

58A partir de ces graphiques, quelques pistes de travail peuvent être esquissées pour l’avenir.

1. • 35 CNRS, Science Ouverte au CNRS, [En ligne]. CNRS [Page consultée le 08 juillet 2020]. Disponibilité (...)

   L’augmentation continue du taux d’accès ouvert aux publications est le produit d’un effort constant qui doit être maintenu : la sensibilisation et la formation des chercheurs à la Science Ouverte nécessitent un effort soutenu et des moyens humains en constante évolution. L’ouverture est encore loin d’être un automatisme au sein de la production scientifique. Elle le deviendra probablement peu à peu, par le biais des injonctions, puis des obligations, émises par les financeurs et organismes de recherche tels que le CNRS35. Plus les publications seront facilement accessibles, mieux elles seront référencées ; et plus le Baromètre pourra représenter un outil de pilotage exhaustif de la Science Ouverte.

2. Certaines disciplines pourraient faire l’objet d’une attention particulière, notamment par le biais de sensibilisations plus récurrentes : si certaines communautés scientifiques, comme celle des mathématiques, ont une longue pratique de publication en accès ouvert, d’autres y sont encore extrêmement réticentes. Une attention particulière pourrait donc être portée à des disciplines jusqu’à présent peu réceptives à la Science Ouverte, comme c’est le cas de la chimie, par exemple. Outre la formation, l’évolution des pratiques d’évaluation sera probablement le levier le plus efficace.

3. • 36 Appel de Jussieu pour la Science ouverte et la bibliodiversité [En ligne]. JussieuCall [Page consul (...)
   • 37 Université de Lorraine, Science Ouverte, [En ligne]. Université de Lorraine [Page consultée le 08 j (...)

   Les éditeurs majoritaires au sein de l’Université de Lorraine sont cohérents avec une tendance mondiale de concentration éditoriale, qui doit être diversifiée : un tiers des articles publiés par les chercheurs de l’Université de Lorraine le sont chez Elsevier. La concentration de la production scientifique auprès d’un nombre très restreint d’éditeurs en position de monopole ne fait donc pas exception ici et renforce la conviction d’une nécessaire bibliodiversité, en conformité avec l’Appel de Jussieu36, et qui se reflète dans l’établissement par les travaux du Comité opérationnel des publications ouvertes37.

4. Les désabonnements auprès de ces éditeurs peuvent avoir pour conséquence la fin de l’accès aux publications de nos propres chercheurs : l’Université de Lorraine, comme de nombreuses autres universités, a fait le choix de se désabonner de Springer et d’IEEE. Or ces éditeurs font partie de ceux auprès de qui publient le plus ses chercheurs. La visibilité acquise dans ce domaine grâce au Baromètre peut constituer un élément d’aide au pilotage pour les abonnements ; ou les désabonnements. Mais cela peut également constituer un argument de choix à avancer auprès des laboratoires les plus réticents à l’utilisation de HAL : en cas de désabonnement, le dépôt du texte intégral selon les délais prévus par la loi pour une République numérique sera bien la seule option légale pour permettre à la communauté scientifique de l’Université de Lorraine d’accéder aux travaux de leurs collègues.

5. Les publications autres que les revues doivent être davantage référencées, par l’utilisation systématique d’un DOI : Unpaywall ne fonctionne que sur les DOI. L’attribution de cet identifiant pérenne à toute publication scientifique doit donc être fortement encouragée, pour donner davantage de visibilité aux productions autres que les articles. Cela peut faire l’objet d’une sensibilisation particulière auprès des chercheurs qui éditent des revues à l’Université de Lorraine.

6. • 38 Go FAIR, FAIR Principles, [En ligne]. Go FAIR [Page consultée le 06 janvier 2021]. Disponibilité et (...)

   De nouvelles sources de données devraient pouvoir être traitées par le Baromètre : certaines disciplines sont sous-représentées, comme c’est le cas des sciences humaines ou encore des sciences juridiques. Or les bases de données existent : mais elles ne permettent pas l’export de références par DOI ou, tout simplement, n’attribuent pas de DOI. Elles restent donc hermétiquement fermées à tout traitement automatisé, ce qui constitue la force du Baromètre. D’autres sources de données, telles que Zenodo, pourraient être utilisées pour alimenter le Baromètre et donner de la visibilité aux jeux de données produits par l’établissement. Mais cette fois, c’est la question de l’affiliation qui pose problème, dans la mesure où, en l’absence de champ contrôlé, il n’est pas possible d’extraire de la base l’ensemble des DOI rattachés à l’Université de Lorraine. L’ouverture prochaine d’un entrepôt institutionnel de données pourra répondre en partie à cette question et donnera une meilleure visibilité aux jeux de données des chercheurs de l’Université de Lorraine, grâce à une intégration des DOI dans le Baromètre. Mais cela ne doit pas être l’unique réponse : afin que les jeux de données produits par les universités et organismes de recherche soient plus visibles, où qu’ils soient publiés, il est plus que jamais nécessaire de promouvoir et d’appliquer les principes FAIR38 (Findable, Accessible, Interoperable, Reusable), synonymes de bonnes pratiques en matière de données. Pour la problématique qui nous occupe, c’est bien le premier adjectif qu’il faut souligner : les jeux de données doivent être Faciles à trouver (selon la traduction française de FAIR), c’est-à-dire disposer de DOI, être décrits par des métadonnées claires et détaillées, être déposés dans des entrepôts de référence reconnus par la communauté scientifique.

60Pour autant, ce Baromètre n’a pas vocation à reproduire les biais de l’évaluation actuelle de la recherche. Il est un outil de suivi : son objectif est de déterminer les domaines dans lesquels l’Université doit mettre ses forces pour progresser. C’est au Comité de pilotage Science Ouverte de l’établissement que revient cette mission.

61Enfin, une partie des publications scientifiques étant encore dépourvue de DOI, ce Baromètre ne saurait être utilisé pour évaluer la production d’une Université, encore moins à l’échelle d’un laboratoire.

Comment réutiliser ces données ?

62Ce projet a été conçu dès le départ pour permettre la réutilisation du code par d’autres établissements. Aussi, l’intérêt du projet ne réside pas dans les données bibliographiques des publications de l’Université de Lorraine, qui n’ont d’utilité que pour l’établissement, mais bien dans le code qui permet d’enrichir ces données et de générer les graphiques. C’est le code qui permet aux autres établissements de réaliser leur propre Baromètre sans nécessiter de compétences poussées en programmation.

63Au-delà de la simple comparaison avec le Baromètre national, la mise à disposition du code permet en outre d’autres traitements et la production d’autres résultats. En effet, la Direction de la Documentation et de l’Edition de l’Université de Lorraine a également utilisé ce code pour lister les publications présentes en open access sur des plateformes éditeurs, mais non déposées dans le portail HAL-UL, afin de les déposer et d’enrichir son archive ouverte. Une autre utilité de ce code a été de déterminer la part de publications de l’établissement non référencées dans le Web of Science : cette proportion s’élève à environ 20 % des publications disposant d’un DOI (et donc bien plus sur la totalité du corpus considéré).

64D’autres usages sont sans doute encore à déterminer et à instruire ; c’est tout l’intérêt du partage de ce code, qui permettra certainement, grâce à son utilisation par d’autres, de susciter d’autres pistes de travail.

Conclusion

65Le Baromètre lorrain de la Science Ouverte est un outil de pilotage permettant à l’Université de mesurer la progression de l’accès ouvert au sein de sa production scientifique. En cela, il constitue un ensemble d’indicateurs originaux, complémentaires à la bibliométrie traditionnelle. Conçu dès l’origine comme un outil réutilisable par d’autres établissements, il devrait s’enrichir au fur et à mesure de ses réutilisations.

66Il n’a pas vocation à évaluer la recherche, mais à devenir un outil permettant d’aider un établissement à établir un plan d’actions efficace pour faire progresser la Science Ouverte à son niveau.

67L’intégration de graphiques spécifiques à l’ouverture des jeux de données de la recherche, au suivi des dépenses d’APC et à la formation des chercheurs à la Science Ouverte constituent les principales pistes d’évolution du Baromètre lorrain, au-delà de sa mise à jour annuelle.