Efficacity livre un outil de référence pour évaluer les projets urbains innovants

Comment évaluer le caractère innovant, les performances, la pérennité et la réplicabilité d’une grande diversité de projets urbains ? Une question complexe à laquelle travaille Efficacity depuis 3 ans et qui a conduit à élaborer une nouvelle méthodologie d’évaluation du programme d’Investissements d’Avenir « Ville de demain » (PIA VDD), avec la Banque des Territoires, le Secrétariat Général pour l’Investissement (SGPI), le ministère de la Transition Ecologique et Solidaire et le ministère de la Cohésion des Territoires. Céline Lains, directrice de programme « Urbanisme et cohésion sociale » au SGPI, Philippe Pradier, responsable du PIA VDD à la Banque des Territoires, Adèle Chagué, ingénieure et Lionel Cauchard, sociologue, retracent le chemin parcouru et dessinent les perspectives de développement de cette méthodologie.

Avant de rentrer dans le cœur du dispositif, pouvez-vous nous éclairer sur les motivations du SGPI et de la Banque des Territoires qui ont conduit à lancer un tel chantier sur l’évaluation du Programme d’Investissements d’Avenir « Ville de demain » (PIA) ?

Céline Lains : Notre mission est aussi l’évaluation des actions du PIA. « Ville de demain » est l’un des tout premiers programmes d’investissements d’avenir à pouvoir être évalué, les engagements se clôturant, pour ce qui est des subventions, le 31 décembre prochain. C’est aussi un programme de grande ampleur, avec près de 450 actions couvrant tous les domaines de la ville et de l’aménagement durable. Il constitue donc, pour le SGPI, une opportunité de pouvoir réfléchir de manière approfondie à la méthodologie d’évaluation de tels programmes d’investissement publics et surtout de capitaliser pour les autres programmes. Cet objectif a été complètement partagé avec le ministère de la Transition Ecologique et Solidaire et le ministère de la Cohésion des Territoires qui a mis à disposition sa plateforme Explorateur ÉcoCités pour accueillir le module d’évaluation du PIA « Ville de demain ».

Philippe Pradier : « Ville de demain », dont la Banque des Territoires assure la mise en œuvre pour le compte de l’Etat dans le cadre du PIA, est financé à hauteur de 668 millions d’euros. Il concerne environ 450 projets innovants répartis sur 31 territoires en France appelés ÉcoCités. Ce niveau important de financements apportés par l’Etat appelait nécessairement à mettre en place un dispositif d’évaluation ambitieux de cette politique publique. Il a fallu inventer une méthode, car, à notre connaissance, il n’y en avait pas qui convienne à un programme aussi foisonnant. Dès l’origine, en 2010, un dispositif d’indicateurs avait été prévu, sous la forme de 10 indicateurs génériques que les ÉcoCités devaient renseigner annuellement. Toutefois, ce dispositif ne permettait pas d’évaluer de manière satisfaisante l’ensemble des retombées des actions. C’est pour faire évoluer ce premier cadre d’évaluation que nous avons lancé en 2015 un appel d’offres qui a abouti à la désignation d’Efficacity pour mener à bien cette mission.

Quels étaient les défis à relever ?

Adèle Chagué : L’un des premiers défis de cette mission consistait à évaluer avec le même cadre méthodologique une très grande diversité de projets : en termes d’échelle (du bâtiment à la ville), de secteur technique (énergie, mobilité, numérique, etc.), de nature (études d’ingénierie, subventions d’investissements ou prises de participation), ou encore de porteurs de projet (collectivité, aménageur, gestionnaire, industriel, start-up …). Un autre défi a été de concevoir une méthode à la fois rigoureuse et riche en informations, mais qui soit aussi pragmatique et à la portée de tous les porteurs de projet. Enfin, nous avons dû faire preuve de pédagogie pour donner envie aux acteurs de terrain de se lancer dans une démarche d’évaluation, souvent vue comme non prioritaire voire facteur de risque si le projet échoue (« évaluation-sanction »), alors qu’elle peut être un formidable facteur de réussite et de capitalisation comme on le constate dans d’autres pays.

Céline Lains : Afin de réunir les savoirs et les énergies face à de tels défis, un comité de pilotage a été mis en place, réunissant non seulement les représentants de l’Etat et de la Banque des Territoires en charge du programme, mais également deux personnalités qualifiées, Christian Lévy du Conseil Général de l’Environnement et du Développement Durable et Pierre Radanne, ancien Président de l’ADEME et acteur majeur de la préparation de la COP 21, qui assurait la présidence du comité. Cette instance de pilotage s’est réunie autant que de besoin et a été, je pense, un élément clef pour la réussite de la démarche.

Comment a été développée cette méthodologie par Efficacity ?

Lionel Cauchard : Nous avons mis en place dès le début de la mission, en accord avec les membres du comité de pilotage, une démarche de co-construction qui impliquait directement les ÉcoCités dans l’élaboration de cette nouvelle méthodologie. Nous avons ainsi réalisé un important travail en immersion, avec de très nombreux entretiens réalisés auprès de collectivités et porteurs de projets (à Nantes, Bordeaux, Grenoble, Nice, Montpellier, Est Ensemble et Saclay).

L’objectif de la démarche de co-construction était notamment de dépasser les a priori contre « l’évaluation sanction » précédemment mentionnés. Ces immersions nous ont par exemple permis de préciser ce que les acteurs de terrain souhaitaient le plus partager avec d’autres porteurs de projet ou d’autres territoires. Ce partage ou benchmark est aujourd’hui une des fonctionnalités fortes de l’Explorateur EcoCités, qui permet de renforcer les échanges au sein d’un véritable réseau des ÉcoCités.

Par ailleurs, la co-construction de la méthodologie a permis d’assurer que les indicateurs et autres éléments qualitatifs à renseigner soient à la portée des acteurs locaux et de leur système de gestion des données locales.

Un autre fil rouge dans l’élaboration de la méthodologie a été la recherche constante d’une cohérence avec les principaux cadres d’évaluation de référence français et internationaux. Pour cela, le comité de pilotage nous a encouragé à travailler à partir de la norme internationale ISO 37101 sur les systèmes de management du développement durable des collectivités territoriales. Cette norme ISO, publiée en 2016, a été développée avec une forte implication de la France, en particulier avec l’appui technique d’Efficacity et du Cerema et sous le pilotage de la DHUP ; elle pourrait progressivement servir de cadre à de nombreux programmes et appels à projet en France et à l’international. Pour les besoins du programme « Ville de demain », nous avons prolongé ce cadre de référence ISO en proposant des critères d’évaluation des aspects innovants et des facteurs de succès et de réplicabilité des projets.

Figure 1 - Recherche de cohérence avec les cadres d'évaluation internationaux pré-existants (source : Efficacity)

Justement, comment mesurez-vous le degré d’innovation, au vu de la variété des projets, des enjeux et des approches ?

Adèle Chagué : Dans la méthodologie nous évaluons l’innovation des projets sous deux aspects principaux :

• La nature de l’innovation (avec 6 dimensions, par exemple l’innovation en termes technique, de gouvernance ou de modèle économique )
• Le degré d’innovation (selon 3 niveaux, de la première nationale à la réplication d’une innovation répandue, mais dans un contexte différent)

Il s’agit d’une auto-évaluation réalisée par les porteurs de chaque projet. Ces auto-évaluations sont ensuite harmonisées par un tiers, « l’évaluateur accompagnateur » du programme d’Investissements d’Avenir « Ville de demain ».

Quels sont les principes clés de l’outil Explorateur ÉcoCités ?

Adèle Chagué : Il y a 5 grands principes dans la méthode d’évaluation et l’outil Explorateur ÉcoCités associé.

• 1. L’auto-évaluation avec l’aide d’un évaluateur-accompagnateur national, qui permet d’impliquer de manière continue les porteurs de projet ;
• 2. L’étiquetage de chaque projet selon les thématiques qui lui sont propres. Cette étape est fondamentale pour pouvoir ensuite réaliser facilement des recherches, des benchmarks, des statistiques, etc. ;
• 3. Une bibliothèque d’indicateurs quantitatifs dans laquelle les porteurs du projet peuvent piocher ;
• 4. Un questionnaire qualitatif sur le projet, dans lequel les porteurs détaillent la démarche, les facteurs de succès, de pérennité, de réplicabilité, les freins rencontrés, etc. ;
• 5. Une plateforme web ergonomique pour l’évaluation, la collecte des données et la valorisation des projets , à laquelle les collectivités peuvent se connecter.

Figure 2 – L’Explorateur ÉcoCité, l’outil web d’évaluation et de valorisation des projets ÉcoCité - Ville de demain (source : explorateur.ecocites.logement.gouv.fr)

Où en est l’outil aujourd’hui ?

Adèle Chagué : L’Explorateur ÉcoCités est en ligne depuis le début du mois de juillet 2018 et les porteurs de projet sont très actifs pour remplir leurs auto-évaluations. Les porteurs ont été formés en amont par le groupement Technopolis-I Care mandaté par la Banque des Territoires pour maîtriser pleinement l’outil. Cette première phase d’évaluation durera jusqu’à l’automne 2018 et sera renouvelée chaque année pour mesurer les évolutions de chaque projet.

Quels enseignements pourra-t-on tirer à partir des nombreuses données remontées ?

Lionel Cauchard : En appui à l’évaluation des projets ÉcoCités qui durera plusieurs années, la Banque des Territoires et Efficacity ont engagé un partenariat de recherche visant à assurer un suivi et une analyse scientifique des résultats de l’évaluation. Pour cela trois premiers axes de recherche ont été choisis :

• Modes de gouvernance et dispositifs locaux d’évaluation : modalités de portage et d’animation dans la durée d’une évaluation multi-acteurs sur un large territoire ;
• Analyse de l’efficience des actions : mise en rapport des bénéfices des projets au regard des moyens et financements mobilisés ;
• Facteurs de réplicabilité : identification de ce qui rend un projet réplicable et analyse des verrous potentiels.

Philippe Pradier : Notre premier objectif, c’est de livrer à l’Etat, dans les délais prévus, des éléments pertinents pour l’évaluation du PIA VDD. La collecte et la consolidation de ces informations vont, à elles seules, s’étaler sur plusieurs années, le temps que tous les projets financés par ce programme puissent être achevés, mis en service et que les performances ou les impacts puissent en être mesurés. En parallèle, nous comptons beaucoup sur le partenariat de R&D signé avec Efficacity pour exploiter cette masse de données de manière scientifique et pour en tirer le maximum d’enseignements. Mieux comprendre les processus de l’innovation urbaine, enrichir le savoir-faire français en matière d’évaluation des politiques publiques et le faire savoir par des publications, voilà nos objectifs à terme, ambitieux certes mais pas irréalistes !

Cette méthodologie est-elle transposable pour évaluer d’autres types de programmes d’innovation urbaine ?

Lionel Cauchard : C’est bien dans cet esprit que nous avons été missionnés et l’on nous demande dès aujourd’hui de tester cette possible transposition à d’autres programmes. Celle-ci devrait être facilitée par le fait que l’outil actuel est déjà adapté à la très  grande diversité des projets financés par le PIA VDD. L’intérêt majeur d’une telle transposition est que les collectivités auraient un même cadre et potentiellement un même outil pour évaluer des projets qui certes bénéficient de financements différents mais qui sont localisés sur un même territoire, pilotés par une même collectivité et souvent en interaction les uns avec les autres.  Cela aidera certainement à diffuser la culture de l’évaluation de l’innovation urbaine en France, car nous avons constaté, lors de nos immersions dans les EcoCités, que la multiplicité des cadres et outils d’évaluation pouvait poser des difficultés aux acteurs de terrain.  Enfin, un tel cadre de référence ne pourra que donner de la visibilité à l’export au réalisations françaises dans le domaine de la ville durable.

Céline Lains : Nous avonseffectivement encouragé Efficacity en ce sens, car nous sommes convaincus de la pertinence de la méthodologie qui vient d’être créée et de l’intérêt qu’il y aurait de l’étendre à d’autres programmes.

Retrouvez l’ensemble des projets ÉcoCités sur : https://explorateur.ecocites.logement.gouv.fr/

A propos de la Banque des Territoires

Créée en 2018, la Banque des Territoires est un des cinq métiers de la Caisse des Dépôts. Elle rassemble dans une même structure les expertises internes à destination des territoires. Porte d’entrée client unique, elle propose des solutions sur mesure de conseil et de financement en prêts et en investissement pour répondre aux besoins des collectivités locales, des organismes de logement social, des entreprises publiques locales et des professions juridiques. Elle s’adresse à tous les territoires, depuis les zones rurales jusqu’aux métropoles, avec l’ambition de lutter contre les inégalités sociales et les fractures territoriales. La Banque des Territoires est également une marque déployée dans les 16 directions régionales et les 35 implantations territoriales de la Caisse des Dépôts afin d’être mieux identifiée auprès de ses clients et au plus près d’eux.

Pour des territoires plus attractifs, inclusifs, durables et connectés.

www.banquedesterritoires.fr

 @BanqueDesTerr

A propos du Grand Plan d’Investissement

Le gouvernement s'est engagé dans un Grand Plan d'Investissement de 57 milliards d'euros, mené tout au long du quinquennat, afin d'accompagner les réformes structurelles et répondre à quatre défis majeurs de la France : la neutralité carbone, l'accès à l'emploi, la compétitivité par l'innovation et l’État numérique. D'autre part, le Programme d’investissements d’avenir (PIA) se poursuit au service de la compétitivité, de la croissance et de l’emploi en France. Le troisième volet du PIA, le PIA3, s’inscrit dans le cadre du Grand Plan d'Investissement (GPI) présenté par le Premier ministre le 25 septembre 2017.

http://www.gouvernement.fr/secretariat-general-pour-l-investissement-sgpi -@SGPI_avenir