\section{Recommandations sur la procédure de choix d'un outil}
\label{choix}

%*******************************************
\subsection{Besoins}

\subsubsection{Recueillir les souhaits des différents acteurs}

L’objectif étant de répondre aux besoins des agents souhaitant une  solution électronique adaptée aux pratiques de la recherche, l'une des  premières phases est l’établissement, de façon macroscopique, des  exigences fonctionnelles. Celui-ci repose sur une étude permettant de  recueillir les besoins des utilisateurs et définir les spécifications  techniques découlant des contributions des différentes parties prenantes  (direction, scientifiques, juridique, systèmes d’information, sécurité,  etc.). Afin d’assurer la traçabilité et l’intégrité scientifique des résultats de la recherche, la réflexion doit porter sur le fait d’offrir toute la sécurité, la confidentialité et la traçabilité nécessaires à la protection des résultats et du patrimoine scientifique de l’établissement et aussi de ses partenaires de recherche. Aussi, la collaboration entre établissements partenaires et le plus souvent co-tutelles d’unités est essentielle afin d’émettre des recommandations partagées facilitant l’accès aux outils pour la cible première que sont les utilisateurs. \\

La direction se doit d’apporter les lignes directrices du ou des objectifs attendus, du périmètre sur lequel porte l’étude ou le besoin et de l’organisation globale à mettre en œuvre en réponse à l’atteinte de ce ou ces objectifs selon des indicateurs qui seront fixés en amont. Y seront définies les étapes d’arbitrage et de validation permettant l’avancement cohérent de l’étude au regard des résultats intermédiaires et permettant une certaine agilité pour adapter les jalons au cours du temps si besoin.


\subsubsection{Prendre en compte la discipline et les modalités de pratique de la recherche}

Habituellement utilisé dans le cadre d’expérimentations à la paillasse ou sur le terrain, le cahier de laboratoire voit ses applications démultipliées dans sa version électronique, comme montré dans la section « usages » (\ref{usages}) du présent rapport. Il existe un socle commun de fonctionnalités propres à la plupart des outils (création d’expériences, recherche avancée, modèles d’expérience, etc.), complété par des fonctionnalités métier parfois très spécifiques à une discipline donnée. \\

La sélection d’un outil peut ainsi s’avérer délicate en fonction des contraintes métier dues aux domaines et sous-domaines de recherche. Dans une même discipline, les attentes peuvent être très différentes : un-e chimiste de synthèse n’aura pas la même utilisation de l’ELN qu’un-e chimiste qui fait de l’analytique avec du code. Or ces deux profils peuvent très bien se rencontrer au sein du même laboratoire. L’angle de choix doit donc plutôt s’effectuer au niveau des pratiques de recherche plus qu’au niveau de la discipline. \\

En restant sur l’exemple de la chimie et plus particulièrement de la chimie de synthèse, la plus-value de l’ELN réside dans des fonctionnalités telles qu’une table stœchiométrique réalisant les calculs de masses et de quantités automatiquement, une recherche par structure et sous-structure chimique efficace, un éditeur de molécule et un dispositif de gestion des stocks de réactifs et de produits utilisés durant les manipulations. C’est cet ensemble cohérent d’outils disciplinaires qui peut faire de l’ELN un atout dans le quotidien du chercheur. \\

La gestion des stocks citée précédemment est une fonctionnalité se rapportant plus à des outils de type LIMS (\textit{Laboratory Information Management System}). Cependant, on trouve aujourd’hui dans la plupart des solutions de cahier de laboratoire électronique une partie gestion des stocks, plus ou moins aboutie. Dans le cas où le laboratoire est amené à gérer quotidiennement des produits, des équipements ou des appareils comme peuvent l’être des laboratoires de chimie ou de biologie, le choix de l’ELN peut être en partie déterminé par cette fonctionnalité. \\

Pour les chercheuses et chercheurs issus de l’analytique et du développement logiciel, les outils répondant à la définition stricte du cahier électronique sont peu adaptés : calcul avancé, édition et exécution de code, gestion de version, etc., sont des fonctionnalités indispensables inexistantes à l’heure actuelle. De plus, de nombreux outils très performants réalisant la plupart de ces fonctions existent et sont déjà utilisés par les différentes communautés. On peut par exemple citer Git pour la gestion des versions, Gitlab pour le développement collaboratif, Emacs pour l’édition de code et Jupyter Notebook pour la mise en forme de code et l’exécution de celui-ci. L’ELN ne peut pas se substituer à ces outils, mais peut intervenir en complément. Certains éditeurs d’ELN mettent à disposition une API, permettant d’interconnecter l’outil avec d’autres logiciels. Il peut être intéressant pour les chercheuses et chercheurs en analytique de voir s’il est possible de « greffer » leurs outils à l’ELN grâce à l’API. \\

Ainsi, l’importance à accorder à telle ou telle fonctionnalité variera-t-elle selon la discipline visée et les modalités de recherche prépondérantes auprès du public cible.

\subsubsection{Réfléchir au niveau de sécurité attendu}

L’une des problématiques les plus importantes à prendre en compte au moment du choix concerne le niveau de sécurité attendu pour la conservation, le traitement et la mise à disposition des données. Selon le contexte technique, scientifique, et humain propre à chaque étude il sera nécessaire de définir l’échelle des besoins en la matière. Il est recommandé de s’appuyer pour cela sur une démarche d’étude de risques comme la méthodologie EBIOS\footnote{https://www.ssi.gouv.fr/administration/management-du-risque/la-methode-ebios-risk-manager/}  de l’Agence Nationale de la Sécurité des Systèmes d’Information (ANSSI), en se référant à des critères normés comme par exemple ceux de la norme ISO/CEI 27001\footnote{https://www.iso.org/fr/isoiec-27001-information-security.html}. Le contexte éventuel de laboratoire classé en ZRR (zone à régime restrictif) devra également être pris en compte lors du choix. Le périmètre des ELN les associe généralement à un besoin fort en matière de sécurité, notamment selon les quatre critères d’évaluation communément admis :
\begin{itemize}
    \item[•] La \textbf{confidentialité} des données traitées doit être assurée par le biais d’un système d’\textbf{autorisation} : seules les personnes autorisées peuvent avoir accès aux informations qui leur sont destinées (notions de droits ou permissions) et tout accès indésirable doit être empêché.
    \item[•] L’\textbf{authenticité} doit être assurée \textit{via} un système d’\textbf{authentification} : les utilisatrices et utilisateurs doivent prouver leur identité par l'usage de code d'accès. Cela permet de gérer les droits d'accès aux ressources concernées et maintenir la confiance dans les relations d'échange.
    \item[•] L’\textbf{intégrité} : les données doivent être celles que l'on attend, et ne doivent pas être altérées de façon fortuite, illicite ou malveillante. En clair, les éléments considérés doivent être exacts et complets. Cet objectif utilise généralement des méthodes de calculs de \textit{checksum} ou de hachage.
    \item[•] La \textbf{disponibilité} : l'accès aux ressources du système d'information doit être permanent et sans faille durant les plages d'utilisation prévues. Les services et ressources sont accessibles rapidement et régulièrement.
\end{itemize}

Ces besoins peuvent également être majorés selon la nature des données traitées, notamment pour les données concernées par le secret professionnel, les secrets industriels et commerciaux, les données personnelles et la protection du potentiel scientifique. Le pays et les conditions d’hébergement des données de ce cahier devront faire l’objet de la plus grande vigilance, ainsi que les conditions de leur préservation et de l’accès par des tiers. \\

Au-delà de ces quatre critères principaux, d'autres aspects doivent aussi être considérés dans l’étude de choix d’un ELN, notamment :
\begin{itemize}
    \item[•] La \textbf{traçabilité} (ou « preuve ») : garantie que les accès et tentatives d'accès aux éléments considérés sont tracés et que ces traces sont conservées et exploitables.
    \item[•] La \textbf{non-répudiation} et l'\textbf{imputation} : aucune utilisatrice ou utilisateur ne doit pouvoir contester les opérations qu'elle/il a réalisées dans le cadre des actions auxquelles il est autorisé et aucun tiers ne doit pouvoir s'attribuer les actions d'un autre utilisateur.
\end{itemize}



\subsubsection{Réfléchir au niveau d'implémentation de l’outil}

Il faut distinguer le niveau de déploiement de l'ELN et celui de son hébergement :
\begin{itemize}
    \item[•] On peut créer un ELN par contributeur d'un projet de recherche ou, plus généralement, par équipe de recherche ; plus rarement pour une structure de recherche multi-équipes, voire pour tout un centre de recherche.
    \item[•] Ces cahiers peuvent être hébergés sur le poste de la chercheuse ou du chercheur, dans le bâtiment abritant la structure de recherche ou dans un centre de données régional ou national, voire dans un cloud. \\
\end{itemize}

L’implantation de l’ELN au niveau du poste de travail peut conférer à son possesseur de l'autonomie en matière de sauvegarde et de mise en qualité des données (horodatage des actions) ; en revanche, elle rend difficile le partage de celles-ci. Or, l'un des intérêts de l'ELN par rapport à sa version papier est la possibilité de partager l'information au sein d'une équipe de recherche. Un avantage de l'implantation au niveau du poste de travail est la possibilité de travailler en mode hors ligne ou lors d'une panne de réseau.
L'implantation des ELN sur un serveur central facilite le partage mais rend dépendant de la qualité du réseau entre les postes de travail et le serveur.
Les différentes combinaisons étant possibles, il conviendra de les étudier notamment sous les angles suivants :
\begin{itemize}
    \item[•] Partage de l'information
    \item[•] Sécurité des données
    \item[•] Possibilité d'interconnexion avec les autres outils numériques
    \item[•] Performance, continuité de service
\end{itemize}



\subsubsection{Identifier les systèmes qui seront en interaction avec l’ELN}

Selon le contexte de recherche, les modalités principales et les disciplines considérées, l’ELN choisi devra être en mesure d’interagir avec différents systèmes tiers. Ce sera notamment le cas pour les outils connexes décrits en section \ref{outilsconnexes}. Les recommandations relatives à l’interopérabilité de la solution, décrits en section \ref{interop}, devront donc s’appliquer pleinement.

%*******************************************
\subsection{Établir les critères de choix}

\subsubsection{Caractéristiques techniques et fonctionnelles}

Le choix d’un ELN passe d’abord par l’élaboration de la liste des fonctionnalités souhaitées, ainsi que des contraintes et caractéristiques techniques nécessaires. Concernant les fonctionnalités, la liste suivante a été établie par le groupe de travail :


\begin{longtable}[h]{|p{\textwidth}|}

 \caption{liste des fonctionnalités retenues.\label{fonctionnalites}}\\

 \hline

 \hline
 \textbf{Fonctionnalité}\\
 \hline
 \endfirsthead

 \hline
 \textbf{Fonctionnalité (suite)}\\
 \hline
 \endhead

 \hline
 \endfoot

 \hline
 \endlastfoot

Description des expériences et résultats \\
 \hline
Possibilité de dupliquer des expériences (sans les résultats de recherche), comme un modèle/template pour une nouvelle expérience\\
 \hline
Description des protocoles \\
 \hline
Possibilité de dupliquer des protocoles, comme un modèle/template pour un nouveau protocole \\
 \hline
Gestion de pièces jointes : bureautiques (PDF, audios, vidéos, etc.) ou scientifiques et techniques (git, chromatogrammes, spectres, images, etc.) \\
 \hline
Possibilité d'exporter des éléments de l'ELN à un format imprimable \\
 \hline
Accès à des données externes (c'est-à-dire non stockées dans l'ELN), brutes ou non, pour lecture et référencement \\
 \hline
Structuration avec moteur et filtre de recherche interne ; intégration de mots-clés (tags) \\
 \hline
Contenu accessible (pour fouille/mining) \\
 \hline
Possibilité d'associer des métadonnées aux jeux de données manipulés, qu'il s'agisse de métadonnées génériques (dates, auteurs, etc.) ou spécifiques (ontologies, taxonomies, etc.) \\
 \hline
Utilisation et maintenance des équipements (y compris remontées d'alertes) \\
 \hline
Gestion des stocks (réactifs, lignées biologiques, etc.)  \\
 \hline
Outils pour des calculs simples (fonctions mathématiques de base, conversion d'unité, etc.) \\
 \hline
Outils pour des calculs complexes (statistiques ou analyses nécessitant un langage de programmation) \\
 \hline
Outil de construction/dessin de molécules \\
 \hline
Notes sur les expériences ou le protocole (pendant l'expérimentation), comptes rendus, etc. \\
 \hline
Possibilité de citer des contenus issus de bibliographies (type labtex.bib Text) \\
 \hline
Accès aux outils bureautiques du poste de travail \\
 \hline
Gestion des outils logiciels et de codes informatiques (intégration continue, déploiement continu, gestion des versions, etc.) \\
 \hline
Gestion du partage par les utilisatrices et utilisateurs \\
 \hline
Agenda partagé \\
 \hline
Edition partagée de documents (en ligne et en simultané par plusieurs utilisatrices ou utilisateurs) \\
 \hline
Annotation de contenu et ajout de commentaires \\
 \hline
 \end{longtable}


Sur le plan des caractéristiques techniques, les travaux du groupe ont mené à la liste suivante :



\begin{longtable}[h]{|p{0.25\textwidth}|p{0.7\textwidth}|}

 \caption{liste des caractéristiques techniques retenues.\label{caractéristiques}}\\

 \hline

 \hline
 \textbf{Catégorie} & \textbf{Caractéristique}\\
 \hline
 \endfirsthead

 \hline
 \endfoot

 \hline
 \endlastfoot
 
 \multirow{ 3}{0.25\textwidth}{Protection des données} 
& Respecter le RGPD pour les données personnelles des utilisatrices et utilisateurs \\ \cline{2-2} 
& Respecter le RGPD pour les données de recherche : données personnelles des participant-e-s à la recherche si elles sont contenues dans les ELN \\ \cline{2-2} 
& Avoir un stockage maîtrisé, redondant et sauvegardé (sites distants) \\ 
\hline

\multirow{ 6}{0.25\textwidth}{Intégrité} 
& Respecter des contraintes réglementaires ou législatives concernant la localisation de l'hébergement des données de recherche\\ \cline{2-2} 
& Permettre la signature des documents (hachage)\\ \cline{2-2} 
& Permettre l'horodatage des actions et des documents\\ \cline{2-2} 
& Identifier de manière unique les entrées (protocole, expérience, note, etc.) - UUID\\ \cline{2-2} 
& Assurer un versionnement/suivi des modifications\\ \cline{2-2} 
& Permettre d'implémenter des workflows prédéfinis (par exemple, suite d'actions obligatoires dans la description d'une expérience ou d'un résultat) \\
\hline


\multirow{ 3}{0.25\textwidth}{Authentification, sécurité} 
& Permettre une signature électronique des actrices et acteurs\\ \cline{2-2}
& Utiliser un système d'authentification sécurisé\\ \cline{2-2}
& Permettre de définir les règles de gestion des utilisatrices et utilisateurs : niveau d'autorisation d'accès selon rôles et projets et cycle de vie (départ/arrivée agent, ouverture/fermeture projet, etc.)\\


\hline
\multirow{ 4}{0.25\textwidth}{Sauvegarde des données} 
& Chiffrer le transport des données (TLS, algorithmes conformes RGS)\\ \cline{2-2}
& Chiffrer les données\\ \cline{2-2}
& Intégrer des sauvegardes régulières et des restaurations \\ \cline{2-2}
& Définir les durées de conservation et modalités d’archivage ou destruction des données \\



\hline
\multirow{ 3}{0.25\textwidth}{Confidentialité} 
& Assurer la confidentialité des données exportées pour sauvegarde ou archivage.\\ \cline{2-2}
& Préserver la confidentialité des informations pouvant constituer un savoir-faire valorisable ou relever du secret des affaires (préserver la nouveauté en cas d’invention brevetable)\\ \cline{2-2}
& Préserver la confidentialité des informations échangées avec un-e partenaire dans le cadre d’une collaboration \\

\hline
\multirow{ 6}{0.25\textwidth}{Compatibilité, interopérabilité} 
& Être compatible avec les différents systèmes informatiques (Windows, Linux, etc.) pour la partie serveur \\ \cline{2-2}
& Permettre la gestion (\textit{Import/Export}) des données sous un format structuré (par exemple en cas de changement de logiciel ou d'évolution administrative) \\ \cline{2-2}
& Permettre l'intégration avec un système d'information local (bases de données, annuaires, etc.) \\ \cline{2-2}
& Permettre les liens avec des entrepôts de données \\ \cline{2-2}
& Utiliser, quand ils existent, les standards ouverts des données en entrée ou en sortie pour permettre la ré-exploitation des informations de façon pérenne \\ \cline{2-2}
& Permettre les échanges de données en proposant des services d'intégration et d'exposition, si possible via des \textit{WebService} ou API REST \\


\hline
\multirow{ 10}{0.25\textwidth}{Usage, utilisation} 
& Pouvoir installer facilement les mises à jour et évolutions, en garantissant l'accessibilité, dans le cas de l'utilisation à partir d’un navigateur Web \\ \cline{2-2}
& Être ergonomique et intuitif  \\ \cline{2-2}
& Permettre la modularité/personnalisation/flexibilité \\ \cline{2-2}
& Disposer des références documentaires (guide, tutoriels, consignes d'utilisation, etc.) \\ \cline{2-2}
& Avoir un code source accessible pour contrôler, si nécessaire, l'évolution de l'outil, sa maintenance et surtout les données qu'il contient \\ \cline{2-2}
& S'appuyer sur une communauté d'utilisatrices et d’utilisateurs \\ \cline{2-2}
& Proposer l'aspect multilingue (a minima l'anglais) \\ \cline{2-2}
& Permettre une utilisation hors-ligne avec synchronisation a posteriori \\ \cline{2-2}
& Être utilisable en mobilité (sur tablette et smartphone) \\ \cline{2-2}
& Prendre en compte l'empreinte environnementale : consommation électrique des serveurs, etc. \\



\hline
\end{longtable}

Bien entendu, les différentes fonctionnalités et caractéristiques techniques listées n’interviendront pas avec le même niveau d’importance dans le choix final. Elles doivent principalement servir de point d’entrée pour l’établissement d’une grille d’évaluation, dont le principe est présenté plus loin.
Des explications sur certaines de ces fonctionnalités et caractéristiques sont présentées en annexe.


\subsubsection{Autres critères}

Les fonctionnalités et contraintes techniques ne sont pas les seuls critères à prendre en compte. Pour une étude complète, il convient aussi de considérer :
\begin{itemize}
    \item[•] Le \textbf{coût global de la solution}, qu’il s’agisse de coûts financiers ou de ressources nécessaires, notamment en termes de ressources humaines. Ce coût est à estimer pour l’acquisition, le déploiement et l’opération sur le long terme de la solution retenue. Outre les éventuels coûts de licence d’une solution propriétaire, l’étude doit également inclure les coûts de maintenance liés à l’hébergement, à l’environnement technique nécessaire, à l’accompagnement et la conduite du changement.
    \item[•] La \textbf{facilité d’adoption et l’aide disponible}. Ceci peut concerner la qualité du support éditeur le cas échéant, la présence de documentation, mais aussi la taille et le dynamisme de la communauté d’utilisatrices et d’utilisateurs.
    \item[•] Les \textbf{critères subjectifs d’adéquation avec le public cible}. Bien que difficile à quantifier, il s’agit pourtant d’un élément clé dans le succès du choix d’un outil. Pour certaines communautés, cela peut se traduire par la capacité de l’ELN à correspondre au mode de travail habituel des utilisatrices et utilisateurs, qui conduira à faciliter le lien entre leur cheminement mental de recherche et la saisie d’informations dans l’ELN. L’étude de cet aspect peut difficilement reposer sur des critères objectifs et doit souvent faire l’objet d’une étude de cas d’utilisation auprès d’utilisatrices et utilisateurs pilotes, suivi d’un retour d’expérience et recueil d’avis. 
\end{itemize}


%*******************************************	
\subsection{Identifier les offres du marché}

Le marché des ELN est en pleine expansion. Entre 2014 et 2020, le volume de revenus générés a plus que doublé passant de 222 millions à 576 millions de dollars aux États-Unis\footnote{https://www.grandviewresearch.com/industry-analysis/electronic-lab-notebook-eln-market}. Ce dynamisme a été largement porté par la conversion technologique du secteur de l’industrie pharmaceutique, qui a très tôt perçu le potentiel des ELN en tant que levier d’amélioration du processus qualité, d’innovation et de compétitivité. Certains géants du secteur, comme BMS, Astra Zeneca, Johnson \& Johnson, GSK, Eli Lilly and Company ou encore Roche ont ainsi opté pour la dématérialisation des cahiers de laboratoire dès le début des années 2000. \\

Cette volonté de transformation s’est traduite par une explosion des solutions disponibles. En 2006, un rapport américain recensait moins de 30 fournisseurs de cahiers de laboratoire électroniques\footnote{https://journals.sagepub.com/doi/10.1016/j.jala.2009.01.002}. En 2017, une étude conduite par l’Université de Southampton dénombre 103 solutions différentes\footnote{https://jcheminf.biomedcentral.com/articles/10.1186/s13321-017-0221-3}. \\

L’atomicité de l’offre, qui peut complexifier le processus décisionnel quant à la solution à retenir, se reflète dans les différentes tentatives d'analyses comparatives (= \textit{benchmarking}) existantes. Entre 2018 et 2021, la Faculté de médecine de Harvard et le campus médical de Boston ont mené un travail de \textit{benchmarking} portant sur 33 solutions afin « d’aider les chercheuses et chercheurs […] à identifier concrètement les outils de type ELN répondant aux besoins spécifiques de leur recherche.~»\footnote{https://zenodo.org/record/4723753\#.YORvu0lLiUk} La matrice, toujours disponible en ligne\footnote{Le groupe de travail porteur du document a décidé de cesser toute mise à jour au-delà d’avril 2021 : https://docs.google.com/spreadsheets/d/1ar8fgwagOh30E31EAPL-Gorwn\_g6XNf81g3VDQnQ\_I8/}, a été réalisée grâce à l’envoi de questionnaires auprès des éditeurs concernés. D’autres initiatives sont accessibles librement, à l’instar du recensement, plus synthétique, proposé par l’Université de Cambridge\footnote{https://www.data.cam.ac.uk/data-management-guide/electronic-research-notebooks/electronic-research-notebook-products}, assorti de courtes études de cas centrées sur quatre solutions (Onenote, Hivebench, Benchling et LabArchives\footnote{https://www.data.cam.ac.uk/data-management-guide/electronic-research-notebooks/electronic-notebook-case-studies}). Cette dernière application, déployée notamment par l’Université de Monash à Melbourne (Australie), est largement décrite sur le site de la bibliothèque universitaire de l’établissement\footnote{https://www.monash.edu/library/researchers/researchdata/eln/about/who-is-using}. De manière analogue, les bibliothèques universitaires de Lyon 1 et de Grenoble Alpes ont élaboré une typologie détaillée de huit solutions de cahiers de laboratoire électroniques, dont certaines se démarquent par leurs fonctions adaptées à la chimie\footnote{https://www.datacc.org/bonnes-pratiques/utiliser-un-cahier-de-laboratoire-numerique/typologie-de-8-cahiers-de-laboratoire-a-destination-des-chimistes/}. \\

Une première appréhension des offres disponibles peut consister à distinguer les différents ELN selon le modèle d’usage, le modèle économique et le modèle d’hébergement : \\

\begin{tabular}{|c|c|}
    \hline
    \multirow{3}{*}{\textbf{Modèle d'usage}}  & Générique\\
    \cline{2-2}
     & Disciplinaire  \\
     \cline{2-2}
     & Fonctions LIMS intégrées \\
     \hline
    \multirow{2}{*}{\textbf{Modèle économique}}  & Open Source\\
    \cline{2-2}
     & Propriétaire  \\
     \hline
    \multirow{3}{*}{\textbf{Modèle d'hébergement}}  & Cloud du fournisseur exclusif\\
    \cline{2-2}
     & In-house exclusif  \\
     \cline{2-2}
     & Cloud ou in-house au choix \\
     \hline 

\end{tabular} \\

Cette grille sommaire permet ainsi d’opérer un premier tri en fonction des offres actuellement disponibles et des priorités des établissements, selon un modèle proposé ci-dessous à partir de 4 exemples emblématiques de la diversité du paysage des ELN : \\

\begin{tabular}{|p{0.15\textwidth}|p{0.15\textwidth}|c|c|c|c|}
    \hline
    \multicolumn{2}{|c|}{ \textbf{critère / solution}} & \textbf{Chemotion} & \textbf{elabFTW} & \textbf{Mbook} & \textbf{Labstep} \\
    \hline
    \multirow{3}{0.15\textwidth}{\textbf{Modèle d'usage}}  & Générique & & X & & X\\
    \cline{2-6}
     & Disciplinaire & X & & X & \\
     \cline{2-6}
     & Fonctions LIMS intégrées & & & X & X\\
     \hline
    \multirow{2}{0.15\textwidth}{\textbf{Modèle économique}}  & Open Source & X & X &  & \\
    \cline{2-6}
     & Propriétaire & & & X & X \\
     \hline
    \multirow{3}{0.15\textwidth}{\textbf{Modèle d'hébergement}}  & Cloud du fournisseur exclusif & & & & X\\
    \cline{2-6}
     & In-house exclusif & X & & & \\
     \cline{2-6}
     & Cloud ou in-house au choix & & X & X & \\
     \hline 

\end{tabular} \\

Les déploiements opérés ces dernières années dans le secteur de la recherche et de l'enseignement supérieur ne permettent pas de dégager une tendance de fond au profit d’un outil, tant l’hétérogénéité des choix prédomine. Certains établissements ont privilégié des solutions \textit{open source} (elabFTW à l’Inria, Institut Curie, Institut Jacques Monod, Université de Düsseldorf, Université de technologie de Graz, etc.), quand d’autres optent pour des solutions propriétaires (Labguru à l’Inserm, eLabJournal à l’Institut Pasteur et à l’Université de Genève, où Rspace a également été retenu\footnote{https://www.unige.ch/researchdata/fr/collecter-organiser/eln/}, etc). Parmi les logiciels ayant volontairement une approche disciplinaire, l’offre se concentre essentiellement sur les besoins de la communauté des biologistes et des chimistes. \\


Le marché des ELN est également marqué par une incursion des grands groupes éditoriaux, dont certains rachètent des solutions initialement développées par des start-up. En témoignent l’acquisition de Hivebench par Elsevier en 2016, ou encore l’achat de parts au sein de Biodata (éditeur de Labguru) par Digital Science, dont la maison-mère est Holtzbrinck. Ils font par ailleurs partie des stratégies Commerciales de groupes d’envergure mondiale à l’image de Dassault (Biovia), PerkinElmer (Signals) ou encore Agilent (Slims). \\

Ces solutions contrastent avec les stratégies portées par le secteur académique, qui tendent à se développer ces dernières années : elabFTW (Institut Curie), Chemotion (Institut de Karlsruhe) ou encore OpenBIS (Université de Zurich).  


%*******************************************
\subsection{Évaluer les offres selon les critères établis}

Dans la mesure du possible, la comparaison d’outils sur le plan technique (fonctionnalités et caractéristiques) doit s’appuyer sur une liste de critères objectifs permettant de différencier les solutions selon l’importance accordée, dans le contexte de l’étude, à tel ou tel critère. \\
Cela nécessite une réflexion à deux niveaux, d’une part sur l’échelle et la granularité souhaitée pour évaluer ces critères (notation), et d’autre part sur l’importance relative d’un critère par rapport à un autre (pondération).

\subsubsection{Notation}

Le niveau minimum pour la notation d’un outil selon les critères établis est binaire : l’outil évalué propose la fonctionnalité ou il ne la propose pas ; il remplit la contrainte ou ne la remplit pas. Les différentes solutions peuvent ainsi être évaluées fonctionnalité par fonctionnalité sur une évaluation objective qui n’inclut pas de jugement de valeur. \\

Pour autant, selon le contexte de l’étude, le profil de l’évaluatrice ou évaluateur, ou encore la finesse nécessaire, différentes échelles de notation peuvent être utilisées. Le modèle de grille fourni par le groupe de travail propose une notation à 4 niveaux : \\

\begin{itemize}
    \item[•] \textbf{0} = ne fait pas ou information non disponible
    \item[•] \textbf{1} = répond partiellement au besoin
    \item[•] \textbf{2} = répond au besoin
    \item[•] \textbf{3} = fait au-delà de l’attente, ou dispose d’atouts particuliers \\
\end{itemize}

Si l’étude menée fait appel à de nombreuses évaluatrices ou évaluateurs, on peut imaginer une échelle bornée continue (de 0 à 10 par exemple) permettant d’obtenir, pour chaque fonctionnalité, la moyenne des notes attribuées par les différentes évaluatrices ou évaluateurs. \\

Dans tous les cas, le choix de l’échelle de notation doit être fait et expliqué aux évaluatrices ou évaluateurs afin d’éviter toute confusion et mauvaise interprétation.

\subsubsection{Pondération}

Si la notation permet de comparer différents outils sur un critère donné, il est nécessaire de différencier dans le choix final les critères d’importance de ceux plus optionnels. En guise d’exemple, il semble logique dans le cas d’un ELN d’accorder plus d’importance à la fonctionnalité « permet de décrire les expériences » (qui est l’une des fonctions de bases sans laquelle un ELN n’est pas un ELN) qu’à la fonctionnalité d’exporter le texte en version imprimable. \\

Il convient donc, pour obtenir une vision équilibrée de la qualité d’une solution, de pondérer les différentes notes de manière à considérer les résultats de l’évaluation dans leur ensemble. \\

Deux échelles de pondération ont été proposées par le groupe. Dans un premier temps, selon une échelle à 4 niveaux : \\
\begin{itemize}
    \item[•] \textbf{1} = inutile
    \item[•] \textbf{2} = secondaire
    \item[•] \textbf{3} = important
    \item[•] \textbf{4} = indispensable \\
\end{itemize}

Puis, dans un second temps et pour arriver à une analyse plus fine, une échelle non linéaire a été proposée. Son principe est d’arriver à une somme des valeurs de pondérations égale à 100, et répartir les valeurs selon leur importance respective. C’est cette échelle qui est appliquée dans la grille présentée au paragraphe suivant.

\subsubsection{Présentation des résultats}

L’utilisation de la grille à bon escient doit permettre de présenter les résultats de l’étude comparative technique. Cette représentation peut, selon le besoin et le contexte, prendre plusieurs formes : \\

\begin{itemize}
    \item[•] Un tableau binaire « fait/ne fait pas » : cette représentation peut s’avérer efficace et utile pour effectuer un premier tri dans une large liste d’outils (voir section \ref{liste})
    \item[•] Une notation globale par outil, obtenue en multipliant pour chaque critère la note obtenue par la valeur de pondération, puis en ajoutant les résultats.
   \item[•] Une représentation graphique, pour chaque outil, des points forts et points faibles. Cette représentation peut prendre la forme d’un diagramme de Kiviat. \\
\end{itemize}

Les figures \ref{fig:exemple_notation1} et \ref{fig:exemple_notation2} montrent un exemple de grille de notation, pris parmi les outils analysés dans la section \ref{liste}. \\

\begin{figure*}[!t]
\centering
\includegraphics[width=\textwidth]{figures/tab_eval1.png}
\caption{Exemple de notation des fonctionnalités}
\label{fig:exemple_notation1}
\end{figure*}

\begin{figure*}[!t]
\centering
\includegraphics[width=\textwidth]{figures/tab_eval2.png}
\caption{Exemple de notation des caractéristiques techniques}
\label{fig:exemple_notation2}
\end{figure*}


La représentation graphique sous la forme d'un diagramme de Kiviat peut être créé ainsi : pour chaque approche, les sous-totaux pour l’ensemble des fonctionnalités d’une part et pour chaque catégorie de caractéristiques d’autre part sont comparés à la note maximale de 2 par critère (le 3 permettant de dépasser les 100\% d’adéquation de la solution évaluée par rapport au besoin) puis rapportés à 5. Les 8 valeurs obtenues sont représentées sur un graphique en toile d’araignée, qui s’avère pertinent pour comparer plusieurs solutions entre elles. 
On se méfiera du biais que représente le fait que l’importance des groupes de caractéristiques les uns par rapport aux autres n’a pas été pris en compte. Un exemple de diagramme et de la table de valeurs permettant sa génération est présenté sur les figures \ref{fig:exemple_notation3} et \ref{fig:exemple_notation4}.

\begin{figure*}[!t]
\centering
\includegraphics[width=\textwidth]{figures/tab_eval3.png}
\caption{Exemple de calculs en vue d'une représentation graphique}
\label{fig:exemple_notation3}
\end{figure*}

\begin{figure*}[!t]
\centering
\includegraphics[width=\textwidth]{figures/tab_eval4.png}
\caption{Exemple de représentation graphique par diagramme de Kiviat}
\label{fig:exemple_notation4}
\end{figure*}

\textbf{Commentaires} :

\begin{itemize}
    \item[•] Dans l’exemple donné ci-dessus (Figure \ref{fig:exemple_notation1}), on voit apparaître, pour l’outil considéré, une potentielle meilleure adéquation des fonctionnalités à l’approche expérimentale alors que les caractéristiques techniques ne démontrent aucune différence significative.
    \item[•] On remarque quelques items avec une note à 0 (Figure \ref{fig:exemple_notation2}). –	En effet, cet ELN est uniquement accessible en mode hébergé (SaaS) aux  Etats-Unis, son éditeur étant américain. Bien que les conditions  d’utilisation indiquent que l’éditeur est conforme au RGPD sur les  données personnelles des utilisatrices et utilisateurs, il ne fait  aucune mention concernant la protection des données de recherches  contenues dans l’ELN. Nous pouvons donc raisonnablement penser que des données de recherche à caractère personnel ne sont pas protégées. Par contre, ni la documentation, ni le site de l’éditeur n’indiquent si le contenu est chiffré ou pas. L’information est donc manquante.
    \item[•] Dans les notes à 1, si on considère la fonctionnalité « utilisation et maintenance des équipements », cet ELN permet effectivement d’accéder à l’inventaire des équipements du laboratoire, de déterminer s’ils sont libres ou utilisés, cependant, nous ne sommes pas informés si un équipement a dépassé sa date de contrôle ou pas.
    \item[•] Pour les cas où les notes sont à 3, c’est-à-dire que l’ELN va au-delà des attentes sur une fonctionnalité ou une caractéristique, si nous prenons en exemple la fonctionnalité « outil de dessin/construction de molécules », cet ELN va beaucoup plus loin que le simple dessin ou construction puisqu’il permet également de vérifier/valider les liaisons atomiques, calculer les masses molaires, etc.
\end{itemize}


\subsubsection{Importance relative des différents critères}

Si une grille d’évaluation permet d’objectiver au maximum les critères fonctionnels et techniques, rappelons qu’elle ne doit pas constituer la seule base de choix d’un ELN, mais être mise en regard des autres critères évoqués (coût, facilité d’adoption, etc.) L’importance relative de ces différents aspects ne peut être définie qu’avec la connaissance précise du contexte politique et économique du projet d’implantation.