L’évaluation de la recherche technologique publique

Avis de l’Académie des technologies – voté en séance plénière du 12 février 2013

L’Académie des technologies a focalisé sa contribution aux assises de l’Enseignement Supérieur et de la Recherche sur le développement de la recherche technologique. A la suite de cette réflexion générale, le travail présenté dans ce document se concentre sur un des points mentionnés dans cette contribution, à savoir l’évaluation de la recherche technologique publique.

Cette recherche est largement réalisée par des organismes dits de « recherche finalisée » présentant un large spectre avec des missions en grande partie centrées sur des objectifs socio-économiques et d’innovation: INRA et agriculture, INSERM et santé, CEA et énergie etc…, centres techniques, départements d’ingénierie d’universités, d’écoles d’ingénieurs ou encore du CNRS. Elle peut être financée en partie par diverses agences publiques nationales (ANR, ADEME, CNES …) ou régionales, par des fonds européens ou sur contrat avec des entreprises.

Elle concerne aussi bien le développement de connaissances, largement dans le domaine des disciplines techniques, que la réalisation d’objets techniques réels ou virtuels qui seront en usage dans la société. Elle doit, en particulier, avoir un questionnement « externe », c’est-à-dire s’alimenter à partir des interrogations et des attentes de la société dans laquelle elle s’insère. Elle se nourrit également des connaissances développées par la recherche fondamentale académique avec qui elle doit rester en interaction permanente.

Dans cet avis, l’Académie ne traite que de l’évaluation des entités (organismes, laboratoires, équipes de recherches etc.) et n’aborde pas directement le sujet de l’évaluation des personnes qui doit être partie intégrante de la gestion des compétences de l’entité. Cet avis est articulé autour de trois préoccupations principales :

1 . Pour qui est effectuée la recherche technologique publique ?

Pour une évaluation correcte de la recherche technologique, il est nécessaire de savoir pour qui cette recherche est effectuée, qui est le partenaire ou le cofinanceur qui mettra en œuvre les résultats (les organismes payeurs, les utilisateurs potentiels actuels ou futurs, identifiés ou non, les agences d’objectifs de l’État…) et comment on s’assurera de la satisfaction de ses besoins. La réponse est claire dans le cadre de contrats avec un opérateur privé qui finance la recherche. Elle l’est moins lorsque l’État est le payeur mais pas l’utilisateur potentiel futur des produits de la recherche. Il est cependant souhaitable que l’utilisateur potentiel participe de façon directe ou indirecte à l’évaluation.

2. Pourquoi et pour qui évaluer ?

L’évaluation n’est pas une fin en soi, elle doit d’abord être est un outil de progrès, dans une compétition mondiale de plus en plus ouverte. Elle implique de savoir pourquoi et pour qui on évalue, en partant des missions, du périmètre et des objectifs de l’entité évaluée. Outil de progrès, elle peut être lancée par la direction des organismes ou demandée par les tutelles. Les contrats de plan quadriennaux constituent des points de repères essentiels car ils ont pour fonction de préciser les missions et les objectifs de ces organismes. Toutefois, ils ne sont pas toujours clairs ni toujours perçus dans les différentes entités de l’organisme. Il manque souvent un projet collectif porté par les chercheurs qui perçoivent trop rarement ce qu’est la recherche technologique.

3. Que doit on évaluer et avec quels critères ?

Les évaluations sont trop souvent faites suivant les seuls critères d’excellence scientifique issus de la recherche fondamentale académique. Elles portent essentiellement sur les compétences, les ressources et les produits de la recherche. Or l’expérience prouve que la qualité scientifique est rarement insuffisante. Il manque le plus souvent une analyse de la pertinence des actions et des processus mis en œuvre par l’entité pour accomplir ses missions. Il importe donc de considérer séparément, dans l’évaluation, l’examen de la qualité scientifique des travaux et celui de la pertinence des projets et produits de la recherche technologique. Les conseils scientifiques mis en place par les organismes sont souvent très focalisés sur la qualité scientifique des travaux et mal utilisés pour juger de leur pertinence.

Pour mieux appréhender les deux aspects qualité scientifique et pertinence, l’Académie recommande une démarche de progrès de type boucle d’amélioration continue et propose, pour ce faire, une description des processus inspirée de la démarche assurance qualité de la norme ISO 9001. Ce type de démarche est voisine des préconisations de L’ENQA (European Association for Quality Assurance in Higher Education) créée en 2000 pour les missions d’enseignement avec laquelle il serait bon de se rapprocher pour mieux partager les expériences au niveau européen.

Cette démarche d’évaluation de la qualité des processus peut s’appliquer à tous les types d’activités de recherche, en particulier, lorsque l’évaluation directe des impacts pose des difficultés méthodologiques si le recul temporel ne permet pas de rétroagir efficacement et lorsqu’il est difficile de mesurer « l’effet propre » de l’entité évaluée sur un processus d’impact à l’évidence multi-acteurs. Elle s’inscrit dans la démarche dynamique d’amélioration en permettant de mesurer les progrès réalisés par rapport à des objectifs. Ses résultats ne peuvent être figés dans une note unique évidemment réductrice ou dans des avis publics sur Internet. Il faut privilégier un avis commenté par mission et par processus pour en tirer des axes de progrès.

Recommandations

– L’Académie recommande de conduire les évaluations suivant un protocole en cinq étapes pour s’assurer que:

1. les stratégies de l’entité sont clairement définies en fonction de ses missions et en cohérence avec l’entité supérieure à laquelle elle appartient

2. l’entité a décrit ses processus et dégagé les processus majeurs

3. le profil des évaluateurs est adapté à la nature de la recherche et à ses objectifs

4. l’efficacité de chaque processus est évaluée avec des indicateurs adaptés

5. un plan d’amélioration est défini avec ses priorités

– Des exemples de processus constituant la boucle d’amélioration à examiner sont :

· Le pilotage stratégique (préciser les missions – élaborer la stratégie à partir des missions – définir les clients réels et virtuels) ; les processus de définition des contrats d’objectifs et du mode de relation avec les tutelles doivent faire partie de l’évaluation.

· La construction des programmes à partir des stratégies et en interaction avec les acteurs pertinents.

· La gestion des projets (définition des résultats attendus et du « chemin vers l’impact », délais et délivrables avec le client ou son représentant)

· La gestion prévisionnelle des compétences (analyse des compétences de l’entité -évaluation des besoins futurs – réseaux externes – transfert vers l’utilisateur des compétences issues de la recherche)

· La gestion des équipements (pertinence en fonction des besoins aval – accès aux équipements industriels – ouverture aux entreprises extérieures)

· Le transfert des produits de la recherche (rôle des CRITT, agences de valorisation, compétences, Instituts Carnot, etc…)

· La mesure de la satisfaction du client réel ou virtuel (évaluation ex post par l’impact des projets, pérennisation de la relation avec des opérateurs privés, etc.)

Ils doivent être adaptés à la nature des missions et des activités des entités

– La spécificité de la recherche technologique par rapport à celle de la recherche fondamentale requiert des profils d’évaluation et d’évaluateurs adaptés. Une évaluation externe doit être réalisée par un panel associant des experts ayant une expérience de la recherche et de l’innovation industrielle, des démarches d’assurance qualité et de l’analyse des processus.

– Les évaluations externes des organismes sont sans aucun doute utiles et nécessaires et doivent être précédées d’une autoévaluation. Les évaluations externes des entités de ces organismes sont plus problématiques car elles mobilisent beaucoup d’énergie, de moyens et d’experts dont le nombre, pour ces derniers, est nécessairement limité. Aussi, l’Académie recommande-t-elle d’y développer la pratique des autoévaluations, faites régulièrement par l’entité suivant un protocole élaboré par l’organisme en concertation avec une agence au service des opérateurs publics de recherche. Ce protocole doit être validé par cette agence et son utilisation vérifiée.

– Les missions d’un organisme national en charge de l’évaluation, devraient être focalisé sur:

• l’évaluation externe des organismes publics de recherche technologique, en renforçant ses capacités d’analyse critique et d’évaluation stratégique ;
• une mission d’accréditation des procédures ou protocoles utilisés par ces organismes pour assurer l’évaluation de leurs entités opérationnelles
• l’aide au développement des pratiques d’autoévaluation par l’établissement d’un protocole validé
• Le cas échéant, à la demande d’un organisme, l’évaluation externe de certaines de ses entités

– Par ailleurs, il est recommandé, afin d’éviter un usage caricatural des résultats des évaluations :

• de proscrire la pratique de la note unique et de privilégier un avis littéral par type de mission sur les axes de progrès identifiés
• de ne publier qu’un résumé du rapport d’évaluation