Quelle marge de progrès pour l’évaluation des politiques publiques ?

---

• L’évaluation des politiques publiques est une notion nébuleuse, facilement acceptable, mais difficile à décrire et appliquer. Si la création de politiques publiques est souvent une affaire de décisions complexes, comment définir l’allocation de ressources limitées et faire des choix parmi plusieurs problèmes difficiles tout aussi prioritaires ?
• La présence des EPP au sein de l’ensemble des pays « développés » (mais pas que) témoigne de la pertinence de sa mise en œuvre. Dans ces travaux, nous cherchons à comparer la maturité du cadre d’évaluation proposé au sein de différents pays et notamment en France.
• La préoccupation pour l’évaluation est apparue relativement tardivement en France par rapport à d’autres pays et ne fait pas encore l’objet de méthodologies formalisées et diffusées. Néanmoins, la France a visiblement une volonté de s’améliorer en la matière et aura donc l’avantage de pouvoir s’appuyer sur les travaux des autres pays.

Analyse comparative et premiers éléments méthodologiques

Depuis 2008, l’Evaluation des Politiques Publiques (EPP) est inscrite dans la constitution française comme une mission revenant au Parlement. Bien que relativement récente, l’activité d’EPP est menée depuis bien avant cette date (en France depuis les années 1970/1980). Néanmoins, son inscription dans un texte fondateur démontre l’intérêt qu’on lui accorde depuis ces toutes dernières années. Si elle mérite cette importance, c’est que le caractère « utile » de sa sollicitation au cours de la prise de décision et de la conception des projets menés n’est plus à démontrer. Son efficience (elle-même dépendante des critères convoqués) reste en revanche davantage à prouver.

La présence des EPP au sein de l’ensemble des pays « développés » (mais pas que) témoigne de la pertinence de sa mise en œuvre. En 2018, une note de synthèse produite par France Stratégie présente un classement des pays ayant produit le plus d’évaluation d’impact jusqu’en 2016. La France se positionne en 14ème position [1]. Face à ce constat, nous essayons de comprendre ce qui pourrait être un facteur de frein et d’”immaturité” dans la réalisation des EPP.

Dans ces travaux, nous cherchons à comparer la maturité du cadre d’évaluation proposé au sein de différents pays et notamment en France.

Dans une première partie nous présentons un court état des lieux des différents acteurs et pratiques existants en France. Puis, nous nous intéressons à ce qui existe aujourd’hui dans certains des pays présentant un niveau de maturité plus élevé en termes d’EPP. Cela aboutit à dégager des premiers éléments méthodologiques fondés et ayant semble-t-il fait leurs preuves.

L’EPP en France : état des lieux

En France, l’évaluation des politiques publiques est définie par le décret n° 90-82 du 22 janvier 1990 qui indique que cette dernière « a pour objet de rechercher si les moyens juridiques, administratifs ou financiers mis en œuvre permettent de produire les effets attendus de cette politique et d’atteindre les objectifs qui lui sont assignés » [2].

Dans notre pays, l’évaluation des politiques publiques est aujourd’hui conduite par des acteurs divers (Parlement, Cour des comptes, Conseil économique, social et environnemental, France Stratégie, universités, chercheurs, cabinets privés, etc.) sans processus global, méthodologie ni cadre précis définis. Il ressort de différents travaux menés sur le sujet que les EPP sont :

• Inégales selon les territoires et le type d’administration/de collectivité (et a fortiori probablement insuffisamment adaptées aux spécificités afférentes) ;
• Insuffisamment sollicitées dans le cadre des prises de décision ;
• Insuffisamment dévoilées (et donc utilisées), dû au fait que certaines de leurs données sont parfois jugées trop confidentielles [3].

En 2018, les députés avaient pourtant fortement souhaité franchir un cap en évoquant l’idée de créer une Agence parlementaire d’évaluation. La même année, l’idée était déjà enterrée malgré une pression populaire assez forte au regard des dépenses croissantes de l’Assemblée. Le sujet de l’évaluation des politiques publiques est devenu critique [4].

Les analyses récentes font état du fait que la France serait en cours de « rattrapage » de son retard dans ce domaine. C’est ce que nous souhaitons vérifier dans la suite de cet article [5].

Dans son article L’évaluation des politiques publiques, publié en 2016, Bernard Perret met en avant certaines notions qui nous semblent importantes de rappeler avant d’envisager notre analyse comparative de l’EPP à travers le monde :

• Une « démarche d’intelligence collective » : l’évaluation des politiques ne peut s’envisager autrement que comme une approche « systémique » à la fois dans le cadre de la mise en œuvre de sa méthodologie et de sa mesure. En effet, si l’ensemble des acteurs impactés ne s’engagent pas dans la démarche, comment parvenir à une mise en œuvre généralisée et fiable ? Les dimensions à évaluer dans le cadre d’une politique publique sont multiples.
• L’évaluation comme « mesure et jugement » : l’évaluation se doit de ne pas uniquement se concrétiser en termes d’éléments objectivables. Elle s’inscrit dans un contexte où potentiellement d’autres hypothèses de politique publique ont été écartées et doit se justifier au-delà d’un simple rapport « coûts-bénéfices ». La mise à l’épreuve de la politique publique au jugement permet également de responsabiliser les acteurs sur les choix réalisés en amont et dans le cadre de la mise en œuvre [6].

Garder à l’esprit ces éléments nous semble primordial afin de ne pas tomber dans une approche simpliste de l’évaluation des politiques publiques, notamment lorsque l’on s’attache à comparer les travaux et l’hétérogénéité des avancées à travers le monde.

Une augmentation de l’utilisation des évaluations ex-ante

L’analyse de France Stratégie a mis en évidence que de plus en plus, les propositions et projets de loi, ainsi que les lois de finances, utilisent des travaux à portée évaluative ex ante avec un nombre de citations moyen passant de 8 travaux d’évaluations cités en 2008 par loi à 25 en 2020. Cependant, cette évolution n’étant pas linéaire, il est difficile de justifier d’une tendance sur le long terme. Également, l’écho médiatique d’une loi semble être corrélé au nombre d’évaluations considérées pour cette même loi. Il est à noter qu’aucun lien de causalité n’a été étudié.

Un lien entre évaluation ex-ante et évaluation ex-post pour une même loi

De plus, il est montré que plus une loi utilise de travaux d’évaluation ex ante, plus elle inclut de clauses d’évaluation ex post (24% des lois citant entre 1 et 10 évaluations ex ante prévoie une évaluation ex post, alors que cela représente 83% des lois citant plus de 50 évaluations). Cet état de fait dépend de différents facteurs comme la possibilité d’objectivation, la disponibilité de données et leur accessibilité, etc. Le même constat peut être fait pour les clauses expérimentales (c’est-à-dire s’appuyant sur la méthodologie scientifique) avec une corrélation entre évaluations ex ante/ex post.

L’importance des clauses évaluatives pour la mise en œuvre effective des évaluation ex-post

Concernant ces évaluations ex post, le rapport quantifie la couverture évaluative des projets ayant une clause évaluative ou expérimentale à 62%, alors que ce taux tombe à 25-33% lorsque ces clauses sont absentes. Le champ d’évaluation est très variable avec seulement 15% des projets évalués s’intéressant à la fois à la mise en œuvre et aux coûts, et 40% des projets ayant une évaluation d’impact.

Les recommandations élaborées dans le cadre des évaluations fréquemment source d’amendements

L’utilisation de ces évaluations a également été évaluée sous l’angle de l’amendement des lois en question. Le rapport de France Stratégie note qu’en moyenne 61% des lois évaluées ont été amendées par la suite en suivant une recommandation. Cependant, les conditions de suivi des mesures ne sont pas claires. En effet, le rapport pose la question des approches de cherry picking* où seules les recommandations validant les attentes sont suivies au détriment d’autres présentes dans un même rapport, et de la fidélité de retranscription des recommandations en amendements. D’autres éléments peuvent venir compléter ce questionnement en mettant en rapport la faisabilité, la légitimité et la pertinence des recommandations et le potentiel différentiel entre l’évaluation et l’opérationnalisation. Cette question est d’autant plus importante que le rapport met en avant que le plus faible taux de suivi des recommandations est associé aux travaux menés par des chercheurs (42%). Également un aspect de proximité entre en compte puisque les travaux produits directement par les administrations sont plus facilement visibles par les décideurs, tout comme ceux des comités d’experts (personnalités présumées qualifiées et indépendantes).

*le « cherry picking » consiste à ne sélectionner qu’une partie des éléments qui vont dans le sens de l’opinion initiale

Analyse comparative

Historique et mise en contexte

Au sein de l’OCDE, le Royaume Uni fait figure de précurseur, leader et modèle en termes d’évaluation des politiques publiques. Dès les années 60, une réflexion sur des premiers indicateurs de suivi est enclenchée et se verra renforcée par la mise en place du « Nouveau Management Public (NMP) » sous le gouvernement Thatcher dans les années 80. C’est à la fin des années 90 que l’EPP prend un tournant majeur (sous le gouvernement Blair) et se voit fortement solidifiée avec la création du réseau des « What Works Centres » en 2013 [7].

Si le Royaume Uni semble parvenir à évaluer ses politiques publiques aussi aisément c’est avant tout grâce à sa forte centralisation, qui permet une démultiplication des méthodes et des résultats sur l’ensemble du territoire.

Cela n’est pas le cas en Espagne qui, malgré une apparition précoce (dès les années 50) du concept d’évaluation et la création de l’Agence nationale d’évaluation des politiques publiques (AEVAL) en 2006, connaît des difficultés pour développer une approche collaborative et systématique au sein de son territoire parsemé de multiples acteurs et composantes.

Aux Etats-Unis, la mise en place de l’EPP est corrélée au développement des grands programmes sociaux des années 60 sous l’administration Johnson. Elle a pour but initial d’expliquer l’augmentation importante des dépenses publiques, et s’inscrit plus récemment dans une approche de gestion « par les résultats » (MFR : Managing For Results). La préoccupation est similaire au Canada, où l’objectif de l’évaluation est de rendre des comptes vis-à-vis de l’utilisation des finances publiques, ou encore en Suède où la culture de l’évaluation s’est accrue en parallèle du projet « Strong Society » dès les années 50.

En Allemagne, c’est davantage la recherche indépendante qui impulse la dynamique de mise en œuvre des processus d’évaluation. Le gouvernement tente d’imposer une règlementation sans y parvenir réellement mais cela n’empêche pas certaines institutions dédiées comme la Société allemande pour l’évaluation (DeGEval) de s’inscrire dans une recherche constante de professionnalisation de la pratique.

En Corée du Sud, ce sont les crises financières, d’abord de 1997 puis de 2008, qui constituent les éléments déclencheurs de l’introduction d’outils d’évaluation et notamment de mise en œuvre des analyses d’impact et de la performance. Force est de constater que l’implication et la détermination du gouvernement coréen, accompagnées d’un souci méthodologique et de transparence, se traduisent par des résultats probants que nous découvrirons par la suite.

Nous terminons ce rapide tour d’horizon en évoquant la Suède. Ce petit pays à l’échelle de l’OCDE a néanmoins une culture de l’évaluation assez mature (notamment du fait de l’existence de comités d’enquête depuis le 16ème siècle). Comme en France, elle constitue une obligation constitutionnelle encadrée par certains textes juridiques. La transparence y est également un principe fort facilitant la diffusion, sous impulsion gouvernementale, de la pratique au sein du territoire.

Ainsi, au regard de ce qui est fait à l’international, la France ne fait pas figure de modèle en matière d’EPP. En effet, la préoccupation pour l’évaluation est apparue relativement tardivement en France par rapport à d’autres pays et ne fait pas encore l’objet de méthodologies formalisées et diffusées. Néanmoins, la France a visiblement une volonté de s’améliorer en la matière et aura donc l’avantage de pouvoir s’appuyer sur les travaux des autres pays.

Enfin, il semble nécessaire de mentionner que de nombreux travaux d’EPP sont menés à l’échelle européenne. En effet, la Commission européenne utilise les critères d’efficacité, d’efficience, de pertinence, de cohérence et de valeur ajoutée pour évaluer une législation. Ces évaluations font l’objet d’une planification et sont accessibles de manière publique (les résultats sont publiés sur le site EUR-Lex). Elles sont également ouvertes à la contribution [9]. A noter également que la Commission européenne met à disposition des lignes directrices et une boîte à outils sur l’évaluation. Au regard de l’importance des règlementations décidées à l’échelle européenne (par exemple, la politique agricole commune -PAC-), ces éléments contribuent à faire de l’EPP une pratique appliquée pour de nombreuses lois d’importance majeure.

L’évaluation des politiques publiques, une perspective mondiale

Sur la base des données communiquées par l’OCDE, nous avons réalisé une analyse comparative de la politique d’évaluation des politiques publiques à travers le monde. Cette description méthodique et informée des stratégies d’évaluation de différents pays permet d’avoir une vue plus détaillée de l’existant en termes d’EPP dans un certain nombre de pays, et peut éclairer les intentions et démarches d’évaluation des différentes administrations.

Découvrez notre analyse comparative de l’évaluation des politiques publiques à travers le monde >

Comment améliorer l’évaluation des politiques publiques ?

Les éléments exposés permettent de constater que l’évaluation est une préoccupation importante dans chacun des pays de l’OCDE tout comme dans d’autres pays du monde. Néanmoins, malgré son inscription dans de nombreux textes juridiques (voire constitutionnels), il est également remarqué que la mise en pratique, le degré d’homogénéisation des méthodologies et la diffusion des travaux d’évaluation restent très hétérogènes selon les pays, au sein des territoires, selon les administrations ou encore les acteurs concernés.

De notre analyse comparative, nous retenons trois leviers qui pourraient permettre de contribuer à améliorer la mise en œuvre de l’évaluation des politiques publiques :

HOMOGENEISATION	Pour permettre la comparaison à l’échelle du territoire (voire à l’international) et améliorer les pratiques.
GENERALISATION	Pour optimiser les prises de décision et limiter le risque de mise en œuvre de politiques publiques ne conduisant pas aux résultats attendus. A noter que la généralisation ne peut être mise en œuvre que par la garantie d’une formation des acteurs concernés à certaines pratiques méthodologiques.
TRANSPARENCE	Pour garantir la crédibilité des travaux menés et permettre aux experts et au grand public d’apporter leurs contributions et avis (et leur rendre des comptes vis-à-vis de l’utilisation des finances publiques).

Discussion : quels critères, étapes et méthodologies retenir pour l’EPP ?

Le prérequis à la mise en œuvre de ces leviers est de définir un cadre méthodologique. Cette troisième partie ouvre ainsi la discussion sur la nature des éléments qui doivent être diffusés (et appliqués) pour garantir une évaluation homogène, généralisable et transparente. Nous présentons certains éléments issus de l’existant dans les pays étudiés et se basant notamment sur une approche du processus d’évaluation exposée dans le Magenta Book, publié par le gouvernement britannique.

Une première approche du processus d’évaluation

Finalement, lorsque l’on parle d’évaluation d’une politique publique, de quoi parle-t-on exactement ?

Afin de donner une valeur et d’apprécier les effets d’une politique publique, il est nécessaire d’en poser les critères. Certaines dimensions d’évaluation sont fréquemment invoquées pour tout type d’évaluation et repris en partie par Annie Fouquet dans L’Evaluation des politiques publiques. Concepts et enjeux. [Les dimensions présentées par Annie Fouquet sont la pertinence, l’efficacité, l’efficience et la cohérence]

Nous choisissons de retenir les trois dimensions suivantes :

Les dimensions de l’évaluation des politiques publiques

01 PERTINENCE	02 LEGITIMITE	03 FAISABILITE
Dans quelle mesure la politique publique répond à un besoin « prioritaire » et cohérent dans un contexte donné ? Il s’agit notamment de s’interroger sur l’inscription de la politique publique dans l’évolution et les prospectives d’une société donnée.	Dans quelle mesure la politique publique est-elle consentie par la population de la ou des sociétés impactées par cette politique ?	Dans quelle mesure la politique publique est-elle applicable dans la réalité ? Cela implique une réflexion sur les coûts, les moyens d’application, de déploiement, etc. Nous ne parlons pas ici d’une faisabilité réduite à son caractère économique mais bien dans une approche systémique.

Ces trois dimensions semblent ressortir pour caractériser des projets et permettent d’envisager le principe d’évaluation des politiques publiques dans une continuité temporelle. En effet, que ce soit ex ante, lors du déploiement ou ex post, les dimensions de pertinence, légitimité et faisabilité sont intéressantes à évaluer.

• Ex ante, elles permettent de mieux définir les besoins et attentes associés à la mise en œuvre d’une politique publique.
• En cours de déploiement, elles permettent de réajuster de manière itérative les besoins et attentes en fonction de facteurs non pris en compte.
• Ex post, elles permettent de considérer si le projet a atteint ses objectifs au travers, notamment, d’une analyse comparative de la pertinence et de la légitimité perçue du projet.

Un exemple : on peut considérer qu’une politique jugée légitime et pertinente dans sa présentation mais n’ayant pas été évaluée dans sa faisabilité systémique puisse perdre de sa substance, ou même produire des externalités négatives, résultant en une perte de légitimité et de pertinence au cours du temps.

Nous retrouvons les trois temps exposés dans les étapes structurant le processus évaluatif.

Les étapes de l’évaluation

Le « Magenta book : Guidance for Evaluation » britannique, publié en 2011, précise les différentes étapes d’un processus évaluatif :

Et concrètement, quels critères retenir pour chaque dimension lors de la mise en œuvre du processus évaluatif ?

Une fois les critères d’évaluation et le processus défini, certains éléments de mise en pratique recensés dans le Magenta Book permettent d’apprécier les différentes dimensions, et notamment de mettre en regard les dimensions de l’évaluation retenues avec les questions à se poser, considérées comme des critères d’évaluation.

Ainsi, sur les trois dimensions retenues :

• Pertinence : Si l’on se réfère au Magenta Book, la pertinence peut être mise en lien avec les questions relatives à l’impact réel de la politique publique sur les populations concernées. Il s’agit là de chercher à comprendre dans quelle mesure la politique publique a effectivement contribué à ce qui peut être observé dans un domaine donné.
  • La mise en œuvre a-t-elle conduit à l’atteinte des résultats attendus ? Et dans quelle mesure ?
  • La mise en œuvre a-t-elle eu un impact ?
    • Dans quelle mesure les résultats constatés peuvent être attribués à la mise en œuvre de la politique publique ? ie. dans quelle mesure peut-on être certain que les impacts observés résultent de la mise en œuvre ?
    • Dans quelle mesure les résultats peuvent être attribués à des facteurs externes ?
    • Que ce serait-il passé « dans tous les cas » ?
  • Comment le contexte a-t-il impacté les résultats ?
    • La mise en œuvre a-t-elle entraîné des impacts non prévus ?
    • Est-ce que les résultats observés ont été influencés par d’autres facteurs externes ?
  • Dans quelle mesure les populations ont été impactées par différents moyens, comment et pourquoi ?
  • Est-ce que la mise en œuvre peut être reproduite ?
  • Quelles conclusions ont été tirées et dans quelle mesure peuvent-elles être généralisées ?

• Légitimité : La légitimité est à mettre au regard du contexte et de l’acceptation de la politique publique par la population. Concrètement elle se réfère fréquemment à l’analyse coûts-bénéfices.
  • Est-ce que les objectifs définis initialement ont été atteints ?
    • Coût unitaire (participant, etc.)
    • Quels ont été les coûts relatifs à la mise en œuvre de la politique publique ?
    • Est-ce que la mise en œuvre a été efficiente (par comparaison avec d’autres scenarios ou avec le fait de ne rien faire) ?
    • Quelle est l’option la plus efficiente ?
  • Quelle a été le rapport “qualité-prix” de la mise en œuvre ?
    • Quels sont les bénéfices ?
    • Quels sont les coûts ?
    • Est-ce que les bénéfices dépassent les coûts ?
    • Quel est le ratio coûts/bénéfices ?
  • Est-ce que la mise en œuvre est la meilleure manière d’allouer les ressources ?
    • Comment se situe le ratio coûts/bénéfices par comparaison avec la mise en œuvre d’une politique publique alternative ?

• Faisabilité La faisabilité se réfère au processus de mise en œuvre. Il s’agit d’évaluer dans quelle mesure il a été effectivement possible de déployer la politique publique pour atteindre les objectifs fixés.
  • Est-ce que les objectifs définis ont été atteints ?
    • Y avait-il suffisamment de ressources prévues ?
    • Est-ce qu’il est constaté des externalités inattendues dans le cadre de la mise en œuvre ?
    • Dans quelle mesure la mise en œuvre de la politique publique a impacté l’ensemble des populations attendues ?
  • Qu’est ce qui a bien fonctionné ? ou moins bien ? avec quels acteurs en présence et pourquoi ?
  • Qu’est ce qui pourrait être amélioré ?
  • Quels sont les apprentissages à retenir concernant la méthode de mise en œuvre ?
  • Comment le contexte (les facteurs externes) a contribué à influencer la mise en œuvre ?

La recherche des réponses à ces interrogations permet d’obtenir une analyse relativement riche d’une politique publique. S’il s’agit là d’une première grille d’analyse, elle constitue néanmoins une base solide qui reste à généraliser auprès des acteurs concernés.

En effet, les éléments exposés (les leviers d’homogénéisation, de généralité et de transparence, le suivi des étapes de l’évaluation ainsi que l’analyse des trois dimensions que sont la légitimité, la pertinence et la faisabilité) sont fréquemment constatés dans les pays considérés comme « avancés » dans l’approche de l’évaluation des politiques publiques.

---

Nos recherches nous ont amené à confirmer une de nos intuitions de départ : l’évaluation des politiques publiques est systémique. L’amplitude des dimensions et critères qu’elle doit adresser oblige à une analyse large qui ne peut s’envisager autrement qu’en sollicitant une multitude d’acteurs et de données. Ainsi, elle s’organise autour d’un réseau d’acteurs publics et privés ; c’est ce qui en fait sa richesse et est un véritable facteur clé de succès dans les pays qui sont les mieux notés par l’OCDE dans le domaine.

De manière moins évidente, les pays qui réussissent dans le domaine ne sont pas les plus « bureaucratiques » même si les approches en termes d’évaluation des politiques publiques sont diverses et qu’il apparaît difficile d’en dégager une meilleure. Les critères d’évaluation sont et doivent être multiples pour la rendre légitime.

Ce point nous amène à nous interroger sur ce que serait une évaluation réussie. Il apparaît que, dans la mesure où l’argent public est engagé, l’appréciation du citoyen est primordiale. La diffusion et la transparence des éléments de politique publique sont ainsi à la fois nécessaires au déploiement de la démarche mais également à sa réussite comme action publique en tant que telle. La réussite d’une évaluation des politiques publiques allierait-elle structure et méthodologie mais également prise en compte du feedback et implication des citoyens ? Comment parvenir à disposer d’un cadre structuré puis à le mettre en application tout en prenant en compte le caractère mouvant et extrêmement complexe du contexte dans lequel s’inscrivent les politiques publiques d’aujourd’hui ?

Comme toujours, si vous souhaitez en savoir plus, n’hésitez pas à nous contacter, nous serons ravis d’échanger et de développer des sujets scientifiques et de recherches avec vous.

---

Références

1. https://www.casd.eu/wp/wp-content/uploads/note_de_synthese_politique_publique_web.pdf
2. https://www.legifrance.gouv.fr/loda/id/JORFTEXT000000524121/#:~:text=L’%C3%A9valuation%20d’une%20politique,objectifs%20qui%20lui%20sont%20assign%C3%A9s
3. https://www.vie-publique.fr/en-bref/276082-ameliorer-levaluation-des-politiques-publiques#:~:text=Les%20acteurs%20de%20l’%C3%A9valuation,organisation%20de%20la%20communaut%C3%A9%20%C3%A9valuative
4. https://www.challenges.fr/politique/les-deputes-peinent-toujours-a-evaluer-l-impact-des-lois_656782
5. https://www.strategie.gouv.fr/publications/evaluations-politiques-publiques-utilisations
6. PERRET Bernard, « 3. L’évaluation des politiques publiques », Regards croisés sur l’économie, 2016/1 (n° 18), p. 45-57. DOI : 10.3917/rce.018.0045
7. https://www.economie.gouv.fr/files/files/directions_services/igpde-editions-publications/revuesGestionPublique/IGPDE_Reactive_Royaume-Uni_mars_2017.pdf
8. https://eur-lex.europa.eu/homepage.html?locale=fr
9. https://commission.europa.eu/law/law-making-process/evaluating-and-improving-existing-laws/evaluating-laws_fr
10. https://assets.publishing.service.gov.uk/government/uploads/system/uploads/attachment_data/file/879438/HMT_Magenta_Book.pdf

---