title: Évaluer les programmes socio-économiques : volume 2, Choix et utilisation des indicateurs pour le suivi et l'évaluation.

eurovoc_concepts:
EU programme
Structural Funds
economic and social cohesion
economic development
project evaluation
social development
structural policy

formats: pdf print

text: Fonds structurels communautaires Évaluer les programmes socio-économiques Choix et utilisation des indicateurs pour le suivi et l'évaluation ■ommission européenne Fonds structurels communautaires Évaluer les programmes socio-économiques Choix et utilisation des indicateurs pour le suivi et l'évaluation Volume 2 Commission européenne MEANS est un programme de la Commission européenne. Il vise à améliorer les Méthodes d'Evaluation des Actions de Nature Structurelle. Le programme et la Collection MEANS ont été lancés et supervisés par MM Philippe Goybet et Miguel Angel Benito Alonso DG XVI/G2, Unité de Coordination de l'Evaluation Coordination-evaluation@fmb. dg 16. cec. be Sa réalisation a été confiée au Centre Européen d'Expertise en Evaluation (C3E) sous la direction d'Eric Monnier et de Jacques Toulemonde. Les opinions exprimées dans cet ouvrage n'engagent que les auteurs du texte : C3E - 13bis Place Jules Ferry - F-69006 Lyon - France - c3e@c3e. fr De nombreuses autres in-'ormations sur l'Union européenne sont dispo nibles sur Internet via le serveur Europa (http://europa. eu. int), et sur le site Inforegio (http://inforegio. cec. eu. int). Une fiche bibliographique figure à la fin de l'ouvrage. Luxembourg: Office des publications officielles des Communautés européennes, 1999 ISBN 92-828-6627-0 © Communautés européennes, 1999 Reproduction autorisée, sauf à des fins commerciales, moyennant men tion de la source. IMPRIMÉ SUR PAPIER BLANCHI SANS CHLORE Printed in Italy Préface and (Sound Développer des pratiques appropriées en matière d'évaluation est devenue l'une des actions prioritaires de la Commission afin de contribuer à la bonne utilisation des financements communautaires. En effet, le respect des principes de bonne gestion financière qu'elle cherche à promouvoir dans son programme SEM2000 Efficient Management) repose notamment sur la l'évaluation nécessité de procéder à régulière des actions communautaires. Les Directions Générales en charge des politiques structurelles possèdent dans ce domaine une certaine expérience, car elles ont dû intégrer la démarche d'évaluation dès 1988, tout au long du cycle des interventions structurelles communautaires : lors de leur conception sous la forme d'une évaluation prospective, lors de leur mise en œuvre en tant que renforcement du sys tème de suivi et, enfin, à l'issue de celles-ci afin de tirer les enseignements des impacts obtenus. Cependant, la capacité de l'évaluation à contribuer à l'efficacité et à la transparence de ces actions doit s'appuyer sur la crédibilité des méthodes qu'elle emploie afin qu'elles puissent garantir la validité des résultats. C'est pourquoi, il y a quatre ans, à l'initiative de la Direction Générale de la Politique Régionale et de la Cohésion (DG XVI), le programme MEANS a été conçu comme une réponse à ce souci de développer des méthodologies et des pratiques d'évaluation conciliant la rigueur scientifique et les spécifici tés propres aux interventions communautaires, tout en demeurant volon tairement accessibles au plus grand nombre. L'un des résultats les plus tangibles du programme MEANS est la publica tion de cette collection de six ouvrages rédigés par un groupe d'experts indépendants qui traitent des grands aspects de l'évaluation des pro grammes socio-économiques dont un bref aperçu est donné au début de ce volume. Cette collection capitalise des expériences, des échanges et des innovations méthodologiques dans le contexte des Fonds Structurels. leurs Elle permettra aux responsables de l'évaluation de développer pratiques de manière autonome et aux commanditaires de mieux maîtriser cette démarche. Témoin direct lors des grandes rencontres européennes entre spécialistes et utilisateurs de l'évaluation (Bruxelles 1995, Berlin 1996, Seville 1998) de l'engouement que suscitent ces nouvelles techniques, il m'appartient d'in sister sur le fait que le développement de l'évaluation doit aller de pair avec la recherche d'une véritable insertion de ses résultats dans les processus décisionnels afin de savoir si les politiques menées sont équitables, effi caces et adaptées aux besoins. En répondant à ces exigences, l'évaluation apparaît comme un moyen pri vilégié offrant tant aux autorités nationales que communautaires, les garan ties nécessaires pour que les fonds communautaires soient utilisés au mieux des intérêts des citoyens de l'Union. Les enjeux de la Cohésion Economique et Sociale ainsi que les défis que représente le futur élargisse ment de l'Union européenne sont à ce prix. (E), Président de Je me dois enfin de remercier le Comité des Personnalités Indépendantes constitué dès le lancement du programme qui par leur compétence et leur renom ont grandement contribué à asseoir la qualité et la pertinence méthodologique du programme MEANS. Il s'agit de : E. Chelimsky (USA), ex-Présidente de l'«American Evaluation Association» ; K. Kennedy (IRL), Directeur de l'«Economic and Social Research Institute» (ESRI) ; J. R. Cuadrado Roura l'«European Regional Science Association» ; C. Seibel (F), Directeur des Statistiques démographiques et sociales de l'Institut National de la Statistique et des Etudes Economiques (INSEE) ; L. Senn (I), Directeur du Département d'Economie Régionale de l'Université Bocconi ; E. Stern (UK), Directeur de l'unité d'évaluation du Tavistock Institute ; A. Sorber (f) (NL), Chef du «Policy Analysis Department Institut för of the Ministery of Finance» ; L. I. Strom (SV), Statens Regionalforsking (SIR) ; L. Tsoukalis (GR), professeur à l'Université d'Athènes ; H. Wollmann (D), professeur à l'Université de Humboldt à Berlin et membre fondateur de la «European Evaluation Society». E. Landaburu La Collection MEANS : « Evaluer les programmes socio-économiques » La démarche d'évaluation des interventions structurelles de l'Union européenne est entrée dans une phase de maturité ainsi qu'en atteste l'extension prise par les travaux réalisés tant par les Etats membres que par la Commission. Les obligations réglementaires issues des décisions du Conseil ont largement contribué à répandre la pratique de l'évaluation et ont également stimulé le développement méthodologique. Pendant ces dix dernières années, la Commission s'est employée à promouvoir et améliorer les méthodes d'évaluation des interventions des Fonds structurels. Les principaux enseignements méthodologiques ont été débattus et diffusés dans le cadre du programme MEANS initié par la Commission dès 1991. Les acquis sont maintenant suffisamment substantiels pour nourrir une publication complète et accessible pour un public plus large : une Collection de six ouvrages traitant tous les aspects de l'évaluation des programmes socio- économiques. Ces ouvrages sont rédigés dans une perspective plus large que celle du strict cadre administratif actuel. En effet, celui-ci est amené à évoluer périodiquement alors que les standards professionnels ont une plus grande stabilité. à indispensables De manière générale, la Collection s'adresse à des lecteurs non-spécialistes désireux de disposer des des informations programmes de développement socio-économiques. Ces programmes ont une multiplicité d'objectifs, une dimension de partenariat et un contenu multisectoriel, plusieurs caractéristiques qui appellent des méthodes d'évaluations adaptées et des solutions que n'offre pas internationale. La encore l'évaluation technique littérature la Indicateurs pour le suivi et l'évaluation Collection complète comprend 6 Volumes conçus pour être complémentaires et fournir les éléments indispensables au professionnel qui souhaite développer de façon autonome ses pratiques d'évaluation. Chaque Volume a été construit de telle manière qu'il puisse être lu et compris indépendamment des autres. Le premier Volume de la Collection MEANS s'intitule « Conception et conduite d'une évaluation ». Il a une fonction de porte d'entrée dans la Collection, ainsi que dans le domaine de l'évaluation des programmes socio économiques. Il permet au lecteur de comprendre les enjeux de l'évaluation et de savoir ce qu'il peut ou ne peut pas attendre d'une évaluation à un moment et dans un contexte donnés. Il apporte les éléments nécessaires pour piloter une évaluation de A à Ζ : répartir les responsabilités de l'évaluation, définir sa finalité et les grandes lignes de sa méthode, fixer son calendrier et son budget, apprécier la qualité des travaux et enfin gérer l'utilisation de ses conclusions. Le second Volume porte sur <> le choix et l'utilisation des indicateurs pour le suivi et l'évaluation ». Il traite des indicateurs utilisés pour le suivi et l'évaluation. Il montre comment les indicateurs peuvent être utilisés pour appuyer des décisions politiques, pour renforcer la gestion et pour mesurer la performance globale des programmes. L'ouvrage propose un cadre méthodologique et un guide pratique d'utilisation des indicateurs dans ces différentes situations. Le troisième Volume présente une sélection des « Principales techniques et outils d'évaluation » applicables à l'évaluation des programmes socio économiques. Ces outils sont issus des disciplines scientifiques pertinentes : économie, sociologie, management, géographie, etc. Chacun des 23 outils présentés est décrit sous forme d'une fiche comprenant sa description générale, les principes de sa mise en œuvre, une liste de ses points forts et faibles pour La collection MEANS l'évaluation des Fonds structurels, un exemple d'application et une bibliographie des ouvrages de référence. font l'évaluation des Plusieurs méthodes adaptées à programmes socio-économiques l'objet d'une description plus complète dans le quatrième Volume intitulé « Solutions techniques pour évaluer dans un cadre de partenariat ». Plusieurs évaluations pilotes du programme MEANS ont permis de concevoir et de tester des techniques nouvelles dont le mode d'emploi est décrit en détail : cartographie conceptuelle d'impact, matrice d'impacts croisés, échelles de notation et analyse multicritère. Le cinquième Volume traite de « l'évaluation transversale des impacts sur l'environnement, l'emploi et les autres priorités d'intervention » de l'Union Européenne et des Etats membres. Il aborde entre autres la question des impacts en termes d'égalité des chances hommes- femmes ou de compétitivité des PME. Le Volume offre les éléments nécessaires à l'analyse de ces impacts qui ne figurent pas nécessairement parmi les objectifs explicites de toutes les actions évaluées. Enfin, le dernier Volume est constitué d'un « glossaire des concepts et termes techniques ». La mise au point de la Collection a en effet imposé un travail rigoureux d'homogénéisation et de définition des termes employés. Chacun des cinq premiers volumes est suivi d'un les centaines de définitions rassemblées dans le glossaire. les termes sont repris parmi index dont Table des matières Introduction 9 I Terminologie 15 La notion d'indicateur et ses déclinaisons 17 Le système d'indicateurs d'un programme 23 Applications à différents types d'interventions structurelles 41 II Champs d'application 49 Quelques repères pour la lecture des fiches 51 Indicateurs pour sept domaines 53 ■ Infrastructures de transport 53 ■ Infrastructures d'énergie 65 ■ Formation 73 ■ Tourisme 81 ■ Pêche 89 ■ Recherche et Développement Technologique 99 ■ Agriculture et développement rural 111 Indicateurs pour cinq priorités 121 ■ Egalité des chances 121 ■ Environnement 125 ■ Société de l'information 135 ■ Compétitivité des PME et des entreprises en général 147 ■ Développement urbain 159 Indicateurs pour trois objectifs majeurs 169 ■ Développement économique 169 ■ Emploi 179 ■ Qualité de la vie 187 III Modes de production et d'utilisation des indicateurs 195 Conclusion 227 Annexes Annexe 1 : Bibliographie générale Annexe 2 : Leçons de l'expérience internationale Annexe 3 : Indicateurs des programmes de la période 1994-99 : un état de l'art Annexe 4 : Grille d'appréciation de la qualité d'un système d'indicateurs Annexe 5 : Liste des exemples Index 229 231 235 245 249 253 257 Introduction Introduction • L'expérience internationale le succès des grands L'expérience internationale en matière d'indicateurs est vaste et ancienne. Elle prend son origine dans indicateurs macroéconomiques qui jouent à présent un rôle majeur dans les décisions politiques aussi bien que dans les médias. Il suffit de rappeler le rôle qu'a récemment joué la mesure des déficits publics des pays candidats à l'euro pour se rendre compte de l'importance que peut revêtir un indicateur. Dès les années 70, le succès des indicateurs économiques a suscité de l'heure nombreux efforts de développement d'indicateurs sociaux. A actuelle, il n'est pas un domaine politique qui ne fasse l'objet de travaux internationaux visant à créer et à quantifier des indicateurs. Cette dynamique touche notamment des domaines comme l'éducation* la science, la technologie, l'environnement, la santé, la qualité de vie ou la société de l'information. Les indicateurs ont longtemps été associés aux travaux statistiques, leur vocation étant alors de décrire le contexte d'une politique par référence au contexte d'autres régions ou à d'autres pays. Dans cette perspective, l'OCDE ou EUROSTAT produisent d'intéressantes séries d'annuaires touchant à de multiples domaines. Depuis quelques années, l'effort de construction des indicateurs s'est également orienté vers la mesure et la gestion de la performance des actions publiques. Le Royaume-Uni est le pays européen qui s'est le plus avancé dans cette direction, allant jusqu'à établir des liens directs entre les performances mesurées et l'attribution des ressources publiques. La France, elle aussi, a fait des efforts importants ces dernières années. Outre le célèbre exemple des critères de convergence macroéconomiques, l'Union européenne utilise des indicateurs dans un grand nombre de domaines, la plupart de ces données quantifiées étant accessibles au public par l'intermédiaire d'Eurostat. C'est notamment dans le domaine de la science et de la technologie que les efforts sont les plus importants. Ils mobilisent une équipe de plusieurs personnes à Bruxelles ainsi qu'un réseau d'organisations dans les Etats membres. Le recueil des indicateurs de la science et de la technologie est publié tous les deux ans sous forme d'un rapport (Rapport européen sur les indicateurs scientifiques et technologiques, Luxembourg : Office des publications officielles des Communautés européennes). Indicateurs pour le suivi et l'évaluation Indicateurs et pratiques communautaires Dans le domaine des Fonds structurels, les indicateurs sont employés dans deux types de situations : Un certain nombre d'indicateurs globaux sont utilisés à l'échelle européenne et ont généralement reçu des définitions rigoureuses et harmonisées (ex : PIB pártete, emploi, taux d'activité, taux de chômage). Ces indicateurs de type statistique ont fait l'objet d'importants efforts de régionalisation depuis de nombreuses années. Ils interviennent dans les décisions politiques majeures telles que la répartition des enveloppes budgétaires et la définition des zones éligibles. Ils sont également employés pour rendre compte de l'usage des Fonds structurels dans le cadre de rapports destinés aux institutions européennes (ex : le « rapport de cohésion » triennal). Depuis la réforme de 1988, la Commission a incité les autorités nationales et régionales à développer des indicateurs pour quantifier les objectifs des programmes, pour suivre la mise en œuvre et pour estimer les effets obtenus. Des listes d'indicateurs ont été proposées à certains pays par les services de la CE, mais les autorités gestionnaires ont généralement construit par ellesmêmes des systèmes d'information adaptés à leurs programmes, de façon décentralisée. Cette liberté de choix, associée à la multiplicité et à l'hétérogénéité des programmes, a donné naissance à une multitude d'indicateurs, dont beaucoup sont spécifiques à un domaine d'intervention (ex : nombre de visites touristiques, nombre d'heures χ stagiaires, nombre de logements desservis par les systèmes d'assainissement des eaux usées). Il apparaît que l'utilisation des indicateurs dans la gestion des programmes doit encore faire des progrès sensibles. Dans le cadre du suivi et de l'évaluation, l'effort de quantification doit être poursuivi, notamment pour les indicateurs relatifs aux impacts des programmes. Pour la troisième période de programmation des Fonds structurels (20002006), il est attendu que la Commission assure un encadrement méthodologique plus rigoureux des systèmes d'indicateurs par champ d'intervention. Ce deuxième Volume de la Collection MEANS propose ainsi des pistes de réflexion et un guide pratique pour l'utilisation des indicateurs. Comme les cinq autres Volumes, il est destiné aux professionnels impliqués dans l'évaluation des Fonds structurels européens : concepteurs et Introduction gestionnaires des programmes socio-économiques, équipes d'évaluation. Son ambition est de montrer qu'il est possible de définir, de choisir et de quantifier des indicateurs utiles, tout en restant pragmatique. Les propositions contenues dans ce Volume sont en continuité avec l'approche décentralisée qui a été suivie jusqu'à ce jour par la Commission, c'est-à- dire qu'il s'agit plus d'éclairer les choix possibles que de vouloir imposer un système contraignant. Cependant, l'autonomie reconnue aux autorités responsables des programmes ne devrait pas conduire à de trop grandes les démarches, ni empêcher disparités dans les concepts et dans l'harmonisation des principaux indicateurs. Bien qu'il ne prétende pas fournir des systèmes d'indicateurs clé-en-main, cet ouvrage n'en a pas moins une vocation à créer un cadre méthodologique rigoureux, partagé faciliter les gestionnaires de programmes et capable de par tous l'interaction entre tous les acteurs de la politique européenne de cohésion économique et sociale. Ses intentions sont donc de : • proposer un cadre conceptuel cohérent et rigoureux ; • montrer l'opérationnalité de ce cadre pour le suivi et l'évaluation des programmes ; • proposer des critères pour apprécier la qualité les systèmes d'indicateurs ; • montrer l'intérêt de la comparability et faire des propositions dans ce sens ; • suggérer des façons d'employer les indicateurs pour gérer la performance des programmes ; • et enfin, suggérer des liens possibles entre le niveau micro (les réalisations, les résultats et les impacts spécifiques aux mesures) et le niveau macro (les impacts globaux en termes de cohésion et de priorités communautaires). Une place particulièrement importante a été consacrée à des exemples d'indicateurs appliqués à différents champs d'intervention des programmes socio-économiques. Ces exemples sont à la disposition des concepteurs et des gestionnaires de programme. Ils ont été développés par des experts qualifiés dans les champs concernés. indicateurs pragmatiques et utiles pour suivre les réalisations et les résultats ainsi que pour évaluer les impacts. Ils suggèrent également des voies nouvelles pour mieux relier les systèmes d'information à l'objectif global de cohésion économique et sociale. Ils proposent des Indicateurs pour le suivi et l'évaluation La dernière partie du Volume est entièrement consacrée à la mesure de la performance des programmes. Elle contient de nombreuses propositions pour développer l'emploi des indicateurs dans cette perspective. En particulier, elle propose une liste d'indicateurs clés pour développer des comparaisons et la communication à l'échelle européenne. Encadré 1 - C o m m e nt utiliser ce guide le non-spécialiste qui souhaite avoir une vue d'ensemble des Pour indicateurs La section I (Terminologie) fournit des informations sur les différents types d'indicateurs et leur utilisation dans le cadre des Fonds structurels. Elle définit également un cadre standard de définitions destiné à réduire le risque d'erreur d'interprétation. La section II (Champs d'application) présente des exemples concrets sur l'utilisation des indicateurs. Une lecture rapide permettra par exemple de se concentrer sur certains champs d'application uniquement, tels que : infrastructure de transport, égalité des chances et développement économique. La section III (modes de production et d'utilisation des indicateurs) et les annexes seront lues par le lecteur qui souhaite approfondir l'information obtenue dans les sections I et II. Pour le spécialiste et le non-spécialiste qui souhaitent approfondir certains champs d'application Ces lecteurs se dirigeront d'abord vers les fiches spécifiques de la section II. Les nombreux exemples collectés pour chaque champ d'application, en collaboration avec des spécialistes, illustrent concrètement l'utilisation des indicateurs dans ce champ. La consultation de la section I permettra alors au lecteur d'élargir sa connaissance des indicateurs et d'établir une terminologie standard. La section III et les annexes seront lues par le lecteur qui souhaite approfondir l'information obtenue dans les sections I et II. Pour les décideurs, gestionnaires de programme, etc. III constitue un point de départ essentiel pour ceux qui sont La section directement concernés par la commande la gestion des programmes, d'évaluations, etc. Dans le cas d'évaluations thématiques, il est également essentiel de lire la fiche correspondante dans la section II. Des annexes, ainsi qu'une bibliographie, permettent d'approfondir encore le sujet. La section I sert ici à faciliter la communication en fournissant une terminologie standardisée. I Terminologie La notion d'indicateur et ses déclinaisons La notion d'indicateur Un indicateur peut se définir comme la mesure d'un objectif à atteindre, d'une ressource mobilisée, d'un effet obtenu, d'un élément de qualité ou d'une variable de contexte. Un indicateur produit une information quantifiée en vue d'aider les acteurs de l'intervention publique à communiquer, à négocier ou à décider. Dans le cadre de l'évaluation, les indicateurs les plus importants sont reliés aux critères de réussite de l'intervention publique. Un indicateur peut mesurer un fait ou une opinion, la mesure donnée étant le plus souvent approximative. Un indicateur peut être construit spécifiquement pour une évaluation (indicateur ad hoc) mais il peut aussi être tiré d'un système de suivi ou de données statistiques. Qu'est ce qu'un bon indicateur ? Un indicateur fournit une information chiffrée sur un élément considéré comme pertinent pour suivre ou évaluer un programme. Par exemple : « 1200 chômeurs de longue durée ont reçu une formation financée par le programme » ou « 75% des participants aux stages se déclarent satisfaits ou très satisfaits ». Les qualités nécessaires (mais en aucun cas suffisantes) d'un bon indicateur sont qu'il donne une facilement communicable et comprise de la même façon par le fournisseur et l'utilisateur de indicateurs qui se comprennent spontanément sont, par exemple : le taux de consommation budgétaire, le pourcentage des entreprises régionales qui ont été aidées, le nombre d'emplois nets créés, le nombre de chômeurs dans la zone eligible. information simple, l'information. Des Un indicateur peut prendre plusieurs valeurs selon l'état de la variable quantitative qu'il s'agit de mesurer. Ainsi l'indicateur de taux de chômage peut avoir une valeur initiale, une valeur d'objectif à atteindre à moyen terme, une valeur constatée à mi-parcours, etc. • Indicateurs et données quantitatives Toute donnée statistique ou autre information quantitative n'est pas automatiquement un indicateur. Dans ce Volume, on considère que le terme Indicateurs pour le suivi et l'évaluation information que « indicateur » s'applique seulement à une les responsables du programme considèrent comme pertinente et nécessaire pour les aider dans leurs décisions, dans leurs négociations ou dans leur communication. Dans le cadre du suivi et de l'évaluation, les indicateurs les plus importants sont reliés aux critères de réussite du programme, par exemple : état d'avancement des projets, objectif à atteindre, effet bénéfique à obtenir, élément de qualité, progrès à réaliser, etc. La mesure donnée par un indicateur peut être complète ou partielle. Ainsi l'indicateur « taux de consommation budgétaire » mesure toutes les ressources financières utilisées par le programme (cet indicateur peut se calculer aussi bien pour les dépenses publiques aux niveaux communautaire, national et local que privées). Au contraire, l'indicateur « nombre de kilomètres d'autoroute achevés » est une mesure partielle des réalisations. Pour obtenir une mesure complète, il faudrait tenir compte non seulement de la longueur de la section construite, mais aussi d'autres éléments importants comme le nombre de voies de l'autoroute ou sa vitesse de référence. Certains indicateurs mesurent une variable bien définie comme, par exemple, le « nombre de P. M. E. aidées par le programme ». Par contre, d'autres indicateurs s'appliquent à des concepts abstraits et contribuent à les définir en même temps qu'ils les mesurent. C'est le cas, par exemple, de l'indicateur « proportion des entreprises aidées qui ont développé de nouvelles activités dans des secteurs où la demande s'accroît ». Cet indicateur mesure l'impact du programme sur le redéploiement sectoriel et il fournit en même temps une définition du redéploiement sectoriel. Les indicateurs constituent une partie essentielle du système d'information d'un programme à côté d'autres formes d'information plus qualitatives. Le système d'information d'un programme produit notamment des tableaux de bord, des bilans, des rapports d'activité et des rapports d'évaluation. Indicateurs et données qualitatives Ce Volume est uniquement dédié aux indicateurs, c'est-à-dire à des mesures quantitatives. Pour ce qui ressort des mesures qualitatives, on utilisera plutôt le terme « descripteur ». Comme exemples de descripteurs, on peut citer les énoncés suivants : « les autorités régionales ont transformé leur mode de gestion à l'occasion de la mise en œuvre du programme » ou « l'autoroute n'a pas détérioré le paysage ». Ce Volume La notion d'indicateur ne traite pas non plus de la notation. C o m me exemples de note, on peut citer l'énoncé suivant « l'impact du projet sur l'environnement se situe au niveau 2 sur une échelle graduée de 3 à +3 et représentant tous les niveaux d'impact possible depuis le plus négatif jusqu'au plus positif ». Dans ce Volume, on considère qu'une note n'est pas un indicateur. La notation et les descripteurs sont présentés dans le Volume 4 de la Collection MEANS. Ces techniques se combinent souvent avec l'usage des indicateurs. Par exemple, la Banque Mondiale réalise le suivi et l'évaluation de ses projets à l'aide d'un système de notation qui fonctionne en parallèle avec des indicateurs. L'administration britannique assure la gestion de ses subventions de recherche à l'aide de panels d'experts qui utilisent à la fois des systèmes de notation et des indicateurs. Ce volume présente plusieurs typologies d'indicateurs résumées dans l'encadré cidessous. Ces typologies sont cohérentes avec le document « Orientations C o m m u n es pour le Suivi et l'Evaluation » (Commission Européenne, 1995, Luxembourg : OPOCE). Elles ont fait l'objet d'une discussion et d'un affinement avec l'aide d'une trentaine d'experts, notamment au cours d'un séminaire organisé à Bruxelles le 23 janvier 1997. Encadré 2  Principales typologies d'indicateurs >· en fonction du traitement de l'information : Indicateurs élémentaires, dérivés, composés (voir cidessous) > en fonction de la comparability de l'information : Indicateurs spécifiques ou génériques, indicateurs clés (voir ρ 21) >■ en fonction de la portée de l'information : Indicateurs de contexte, de programme (voir ρ 24) > en fonction des stades d'aboutissement du programme : Indicateurs de ressources, de réalisations, de résultats, d'impacts (voir ρ 29) > en fonction des critères d'évaluation : Indicateurs de pertinence, d'efficience, d'efficacité, de performance (voir ρ 35) > en fonction du mode de quantification et de l'usage de l'information : Indicateurs de suivi et d'évaluation (voir ρ 36) Indicateurs pour le suivi et l'évaluation Indicateurs élémentaires, dérivés et c o m p o s és Cette première distinction sépare les indicateurs en fonction du traitement plus ou moins élaboré de l'information fournie. Un indicateur élémentaire est une information de base à partir de laquelle peuvent se construire d'autres indicateurs plus complexes. Par exemple, le nombre de chômeurs est un indicateur élémentaire à partir duquel on peut calculer un taux de chômage (nombre de chômeurs / population active) puis un pourcentage d'augmentation du taux de chômage, etc. Comme autres exemples d'indicateurs élémentaires, on citera le nombre de kilomètre de routes construites, le nombre d'entreprises aidées, le nombre de plages respectant les normes de baignade. Un indicateur dérivé (ratio ou taux) se construit par le calcul du rapport entre deux indicateurs élémentaires. Par exemple, un indicateur d'efficacité peut être obtenu en divisant deux valeurs du même indicateur d'impact (impact estimé / impact attendu). Un indicateur d'efficience peut être obtenu en divisant les valeurs de deux indicateurs élémentaires (résultat constaté / consommation budgétaire). Un indicateur composé est une somme pondérée de plusieurs indicateurs élémentaires ou dérivés. Une pondération est attribuée à chaque indicateur pour refléter son importance par rapport à un ensemble d'indicateurs. L'indicateur jugé le plus important a donc le plus grand poids et celui jugé le moins important a le moindre poids. La valeur de l'indicateur composé est la somme de toutes les valeurs ajustées de ces indicateurs. Par exemple, l'index de qualité de vie des Nations Unies combine trois indicateurs élémentaires : revenu (PIB), espérance de vie et taux de scolarisation. Un index de dotation globale d'équipement a été calculé par la DG XVI pour toutes les régions européennes en 1986. Cet index est la somme pondérée de 41 ratios de dotation régionale d'équipement. Les équipements considérés vont des routes (dotation exprimée en km / km2) aux parcs naturels (dotation exprimée en ha / hab. ). Chaque ratio rapporte la dotation régionale d'un équipement donné à celui de la région européenne la mieux dotée. La décomposition d'un indicateur Inversement tout indicateur, qu'il soit élémentaire dérivé ou composite, peut être décomposé selon différentes dimensions de la variable mesurée La notion d'indicateur les exemples qui suivent : consommation budgétaire comme dans annuelle décomposée par catégories d'intervention, chiffre d'affaires des entreprises aidées décomposé par secteur d'activité, nombre de chômeurs décomposé par tranches d'âge. On emploie le terme « décomposition » lorsque l'indicateur est réparti en catégories différentes, par exemple : agriculture - industrie - service, employés - chômeurs ; hommes - femmes. Au contraire, on emploie le terme « désagrégation » lorsque l'indicateur est réparti en catégories similaires, par exemple : répartition des budgets entre zones au sein d'une région aidée, répartition du nombre de stagiaires entre organismes de formation. La quantification d'un indicateur procède souvent par comptage au niveau inférieur puis par addition pour produire un indicateur agrégé. Indicateurs spécifiques et génériques, indicateurs clés Une caractéristique des programmes socio-économiques est la diversité des interventions dont ils sont composés. Un même programme comprend souvent plusieurs dizaines d'interventions différentes et deux programmes comprennent rarement la même combinaison d'interventions. Cette diversité a tendance à multiplier les indicateurs utilisés et à les rendre non comparables. Il est donc particulièrement utile de distinguer les indicateurs selon la comparabilité de l'information. Un indicateur spécifique sert dans le cas d'une intervention et n'a pas vocation à permettre des comparaisons. Par exemple, la proportion de stagiaires appartenant à la minorité catholique est un bon indicateur pour un programme de formation en Irlande du Nord, mais cet indicateur n'a aucune utilité dans une autre région, ni pour une autre intervention. Un indicateur générique permet d'effectuer des mesures comparables sur plusieurs interventions de nature différente au sein d'un même programme. La comparaison est interne et permet l'agrégation des données au sein du programme sous forme de somme ou de moyenne. On citera comme exemples d'indicateurs génériques qui s'appliquent à tout le programme le taux de consommation budgétaire et le taux de réalisation. Certains indicateurs génériques ne s'appliquent qu'à une partie du programme : nombre d'innovations (pour toutes les composantes qui favorisent le développement les les composantes qui bénéficient à des destinataires entreprises), coût par emploi créé (pour toutes les composantes qui créent technologique), proportion des P. M. E. parmi toutes (pour Indicateurs pour le suivi et l'évaluation directement ou indirectement des emplois), pourcentage de la surface des zones protégées dans la superficie totale des zones qui méritent protection (indicateur générique pour les actions liées à la biodiversité, aux ressources en eau et à la qualité des sols). Les indicateurs génériques sont relativement difficiles à définir et à quantifier lorsque les composantes d'un programme sont hétérogènes. Des méthodes existent pour faciliter cette tâche. Elles sont exposées dans le dernier chapitre de ce Volume. Les indicateurs clés sont ceux qui se prêtent à la fois à des comparaisons internes entre interventions différentes et à des comparaisons externes avec d'autres programmes. Ils peuvent permettre d'établir des références telles qu'une performance moyenne européenne ou des cas d'excellentes performances à imiter. Le principal enjeu des indicateurs clés est de faire en sorte qu'ils soient quantifiés dans plusieurs programmes en respectant des définitions harmonisées de façon à ce que l'information produite puisse être mise en commun. Les indicateurs clés peuvent alors servir à des agrégations à l'échelle européenne. Parmi les exemples d'indicateurs clés proposés dans cet ouvrage, on mentionnera le taux de consommation budgétaire, le taux d'avancement des réalisations, le coût par emploi créé, etc. Les indicateurs clés font l'objet d'un développement spécial dans le dernier chapitre de ce Volume. Le système d'indicateurs d'un programme Programmes d'interventions structurelles Les indicateurs sont utilisés dès le début du cycle de programmation pour aider à la délimitation des territoires éligibles aux aides européennes, à l'analyse du contexte régional, au diagnostic des problèmes économiques et sociaux à résoudre, à l'appréciation des besoins que le programme doit satisfaire. A ce stade, des indicateurs tels que le taux de chômage ou les disparités d'équipements jouent un rôle déterminant. Le choix et la validation de la stratégie d'intervention constituent une seconde étape du cycle de programmation. A ce stade les concepteurs du programme doivent définir précisément les objectifs et les quantifier. Les indicateurs sont inséparables de la quantification et ils sont également très utiles pour clarifier les objectifs. Par exemple, les stratégies de soutien à la compétitivité des PME comportent souvent des mesures de conseil dont les objectifs sont fixés en nombre d'entreprises devant recevoir tel ou tel type de conseil. L'indicateur sert non seulement à quantifier l'objectif, mais également à définir la prestation de conseil qui est attendue. Par exemple, le nombre de PME à aider ne doit prendre en compte que les missions de conseil significatives (5 jours de conseil par exemple). Une fois définie et adoptée, le programme est mis en œuvre et fait l'objet d'un suivi ainsi que d'une évaluation à mi-parcours. Ici encore, les indicateurs sont indispensables pour faire circuler, de façon simple et condensée, les informations dont les autorités gestionnaires ont besoin. le rythme de Par exemple, des consommation des budgets, le taux de respect des délais de réalisation, la part de la population eligible atteinte, le taux de satisfaction des destinataires, le nombre d'emplois créés, etc. indicateurs permettront de suivre Le cycle de programmation se termine par une évaluation ex post dont une des principales fonctions est de rendre des comptes sur les résultats du programme et sur le niveau d'atteinte de ses objectifs. A ce stade, l'usage la mesure des où il permet de communiquer des informations simples et immédiatement indicateurs est particulièrement recommandé dans Indicateurs pour le suivi et l'évaluation comprises par un emploi créé ou le taux de placement des chômeurs aidés. large public, comme par exemple le coût par La plupart des programmes socio-économiques adoptent des stratégies intégrées, c'est-à-dire qu'ils cherchent à résoudre l'ensemble des problèmes qui affectent un territoire donné et qu'ils utilisent tous les instruments disponibles pour territoire. Cette caractéristique entraîne nécessairement une multiplication des besoins en matière d'indicateurs, multiplication qui tournerait à la confusion si les programmes n'étaient pas fortement structurés. En ce qui concerne les programmes financés par les Fonds structurels européens, la structuration qui a été adoptée comporte normalement trois niveaux : intervenir sur ce • le niveau d'ensemble du programme auquel est associé son objectif global, par exemple le développement économique ou l'emploi. Ce niveau comprend les axes prioritaires, dont le nombre est réduit (moins d'une dizaine) et qui décline l'objectif global dans ses principales dimensions stratégiques ; • le niveau des mesures (une à plusieurs dizaines), qui correspond à l'unité de base de la gestion du programme, chaque mesure faisant l'objet d'un dispositif de gestion particulier (le niveau des actions, qui correspond à la plus petite composante homogène du programme, chaque action regroupant des projets similaires, est confondu avec le niveau des mesures) ; • le niveau des projets (souvent plusieurs centaines), qui est l'unité de mise en œuvre du programme, chaque projet étant le point d'articulation entre le programme et ses destinataires. Indicateurs de contexte et de programme Les indicateurs de contexte s'appliquent à l'ensemble d'un territoire, d'une population ou d'une catégorie de population. Un exemple d'indicateur de contexte est le taux de raccordement au téléphone numérique du territoire eligible. Dans le cadre d'une évaluation ex ante, l'intervention du programme peut être justifiée par un retard de la région en termes de taux de raccordement. Le même indicateur peut ensuite montrer, dans le cadre d'une évaluation à mi-parcours, que le retard a été comblé et que l'intervention a perdu sa raison d'être. Dans ce cas, l'indicateur de contexte n'informe pas sur l'efficacité du programme car le retard régional a pu être Le système d'indicateurs comblé spontanément par le jeu du marché. Un indicateur de contexte ne s'applique pas à la mise en œuvre du programme et à ses effets. Il s'applique toujours à l'ensemble du territoire eligible ou du public visé sans faire de distinction entre ceux qui ont été atteints par le programme et ceux qui ne l'ont pas été. A l'inverse, les indicateurs de programme concernent seulement la partie ou la catégorie du public ou la partie d'un territoire qui a été effectivement atteinte. Les indicateurs de programme cherchent à suivre à la trace les effets du programme, directs et indirects, aussi loin que possible. Par exemple, ils mesurent l'atteinte d'un public prioritaire ou l'obtention d'un avantage durable par les destinataires directs. Dans le cadre du suivi et de l'évaluation, un indicateur de programme peut montrer que telle intervention est un succès ou que telle autre est un échec. A l'inverse, un indicateur de contexte peut montrer que telle intervention reste pertinente ou que telle autre a perdu sa raison d'être. Il existe toujours une relation entre les indicateurs de programme et les indicateurs de contexte et cette relation s'exprime de la façon suivante : Etat initial du contexte + Ensemble des effets du programme + Changement du contexte dû à d'autres facteurs = Etat final du contexte l'articulation entre des Cette relation est plus facile à décrire en théorie qu'à utiliser en pratique. En effet, un programme a toujours de nombreuses conséquences, positives et négatives, directes et indirectes, immédiates et lointaines. Les indicateurs de programme peuvent rarement mesurer la totalité de ces conséquences. Par ailleurs, indicateurs de contexte et de programme est également problématique par le fait qu'une partie des facteurs évolutions constatées dans concurrents techniques (aussi appelés «facteurs exogènes»). Les d'analyse de causalité tentent de départager les effets du programme et ceux des facteurs concurrents. En se reportant au Volume 3 de la Collection MEANS qui présente ces techniques, on constatera qu'elles peuvent fournir une estimation mais jamais une mesure complète des impacts. le contexte s'explique par des L'Encadré 3 montre la relation théorique entre indicateurs de contexte et de programme, et les difficultés qui apparaissent dans la mise en pratique de cette relation. Indicateurs pour le suivi et l'évaluation Encadré 3  L'articulation théorique entre indicateurs de contexte et de p r o g r a m me Facteurs concurrents ou exogènes ». Evolution globale du contexte (situation présente  point zéro) V Indicateurs de contexte —. "   " /■ Effets indirects du proqramme ¿ / ,' ' '' /' / Effets directs du programme | ,·' 1 / Mise en oeuvre du programme 'x ' Indicateurs de programme. Difficultés de rencontre entre VV les indicateurs de contexte et ^ de programme L'évolution globale du contexte est mesurée, par des indicateurs de contexte. L'information fournie par un indicateur de contexte comporte normalement une valeur à l'année de base aussi appelée état initial ou point zéro et une valeur courante. On citera comme exemples d'indicateurs de contexte : nombre d'habitants de la région raccordés à l'assainissement des eaux usées (dotation d'équipement), taux régional de raccordement à Internet, en pourcentage de la moyenne européenne (disparité), pourcentage des chefs d'entreprise qui considèrent que l'accessibilité par avion pose un problème majeur (besoin). Les changements qui affectent le territoire ou la population eligible peuvent s'expliquer par le programme, mais aussi par d'autres facteurs concurrents. Les indicateurs qui mesurent l'évolution de ces facteurs permettent d'interpréter ou de nuancer l'information donnée par les indicateurs de contexte lorsque ceuxci montrent un succès ou un échec qui peut être plus apparent que réel. Les exemples qui suivent illustrent des indicateurs de facteur concurrent et leur utilisation : l'accroissement naturel de la Le système d'indicateurs population active peut expliquer une augmentation du chômage régional alors même que le programme a pourtant créé des emplois ; la baisse des cours mondiaux peut expliquer le déclin d'une production traditionnelle locale alors que le programme a pourtant favorisé sa commercialisation. les premiers facile de construire Même si l'articulation entre les indicateurs de programme et de contexte est problématique, il est souvent utile de les mettre en relation comme l'illustre l'exemple de l'encadré suivant. Dans le cadre d'une intervention de conseil aux entreprises pour les aider à développer leurs exportations, indicateurs de il est relativement l'intervention. On définira les informations relatives à ses effets directs et immédiats : nombre d'entreprises ayant obtenu un conseil, nombre d'heures de conseil obtenues, nombre de projets d'exportation concernés les effets par intermédiaires comme : nombre de nouveaux contacts internationaux générés par les conseils, pourcentage de ces contacts qui se sont concrétisés commercialement. Les effets suivants peuvent encore être estimés, bien que difficilement, par enquête auprès des chefs d'entreprises, par exemple : chiffre d'affaires annuel réalisé avec les clients contactés grâce au conseil (après deux ans). Il est un peu plus difficile d'estimer les conseils. Au-delà d'une certaine limite, il n'est plus crédible de vouloir suivre les effets par des indicateurs de programme. Par exemple, il serait vain de demander aux chefs d'entreprise combien d'emplois ont été créés grâce au conseil reçu. C'est à ce stade qu'il devient indispensable d'utiliser les indicateurs de contexte. Par exemple, on peut connaître le chiffre d'affaires et l'emploi de l'ensemble des entreprises industrielles de la région. Ces indicateurs peuvent servir à calculer un ratio de chiffre d'affaires moyen par emploi et, par extrapolation, l'estimation du nombre d'emplois générés par le fait que les les nouvelles exportations. Cet exemple illustre bien indicateurs de programme sont les plus utiles lorsqu'on s'intéresse à la mise en œuvre du programme et à ses premiers effets, et que la priorité est donnée aux indicateurs de contexte au fur et à mesure que l'on s'intéresse à des effets de plus en plus lointains. La distinction entre indicateurs de contexte et de programme sera rappelée et appliquée systématiquement à l'aide d'une cinquantaine d'exemples, tout au long de cet ouvrage (voir liste des exemples page 253). Comme le suggère l'encadré suivant, les deux types d'indicateurs s'articulent à tous les stades du programme, depuis sa mise en œuvre jusqu'à ses effets les Indicateurs pour le suivi et l'évaluation plus lointains. Cette distinction croise donc la typologie présentée plus loin et ses catégories de réalisation, résultats et impacts. Par exemple, il existe un point d'articulation entre l'indicateur de capacité des stations d'épuration construites grâce au financement communautaire (indicateur de programme / catégorie des réalisations) et l'indicateur de dotation régionale d'équipement "(indicateur de contexte / catégorie des réalisations). Lorsque l'on hésite à classer un indicateur selon la typologie « contexte / programme », il suffit de se rappeler qu'un indicateur de programme concerne de façon limitative les personnes ou les organisations qui ont participé au programme ou qui ont été touchées par le programme. A l'inverse, un indicateur de contexte concerne l'ensemble du public visé, l'ensemble de l'économie régionale, l'ensemble de l'environnement naturel, y compris les personnes ou les unités économiques qui ne sont pas atteintes par le programme. Encadré 4  Exemple d'articulation entre indicateurs de contexte et de p r o g r a m me Indicateurs de programme Indicateurs de contexte (relatifs à l'intervention (relatifs à l'ensemble et à ses effets) de la zone eligible) Nombre d'entreprises ayant obtenu un conseil pour l'exportation Nombre d'entreprises dans la zone eligible 1 r Nombre de nouveaux contacts internationaux % d'entreprises exportatrices τ Exportations générées Exportations totales 1 r 1 Emplois résultant des exportations générées Emplois Chiffre d'affaires par emploi Le système d'indicateurs ■ Les indicateurs de ressources, de réalisations, de résultats et d'impacts Un programme met en place des ressources (moyens budgétaires, humains et techniques) en vue d'atteindre un objectif global (cohésion socio- économique). Pour suivre et évaluer le programme, on est obligé de décomposer cette logique très globale et de distinguer une succession d'objectifs qui s'articulent entre eux comme le montre l'encadré suivant. Cette typologie est inspirée de la technique du cadre logique qui est employée depuis plusieurs décennies dans le champ de l'aide au développement. Les indicateurs sont classés en cinq catégories : ressources, réalisations, résultats, impacts spécifiques et impacts globaux. Cette typologie sera la plus utilisée par la suite. Encadré 5 - Déf inition des indica teurs par niveaux c 'objectifs Niveau d'objectif Type d'indicateur Ressource Objectif opérationnel Objectif spécifique immédiat Objectif spécifique durable Objectif stratégique Finalité Réalisation Résultat Impact spécifique Impact global Définition Acteurs-clés Financeurs et opérateurs Opérateurs Destinataires directs Destinataires directs Destinataires directs et indirects Moyen mis à disposition par les financeurs et utilisé par les opérateurs pour leurs activités Produit de l'activité des opérateurs Effet immédiat pour les destinataires directs Effet durable pour les destinataires directs Effet global pour l'ensemble de la population concernée (destinataires directs et indirects) Cet encadré montre qu'aux différents niveaux d'objectif sont associées différentes catégories de personnes (ou d'organisations) concernées par le programme. Il est important de définir clairement ces catégories. Indicateurs pour le suivi et l'évaluation Les financeurs du programme sont les personnes ou les organisations qui décident de sa mise en œuvre et qui attribuent les ressources nécessaires. Les opérateurs sont ceux qui utilisent les ressources au plus près du terrain. Ils sont les derniers maillons dans la chaîne de la mise en œuvre du programme. Ils sont à la source de l'information qui alimente le système de suivi. On citera comme exemples d'opérateurs : une administration locale qui distribue des aides directes aux entreprises, un groupement d'entreprises qui répartit les aides entre ses membres, une société privée qui construit et qui gère un réseau téléphonique, une société privée qui construit une route pour le compte d'une autorité régionale, un institut de formation qui accueille des stagiaires financés par le programme. L'ensemble des financeurs et des opérateurs constitue la catégorie des acteurs du programme. Quel que soit le niveau où ils interviennent, les acteurs du programme doivent rendre compte de leur activité de façon régulière et complète sous forme de rapports d'activité. Les destinataires du programme comprennent, de façon large, toutes les personnes ou organisations qui reçoivent des avantages ou subissent des inconvénients du programme de façon directe ou indirecte. La raison d'être d'une action est de produire un changement positif pour ses destinataires1. Certains individus ou organisations sont destinataires directs en ce sens qu'ils reçoivent ou utilisent personnellement les prestations ou des aides du programme. On citera comme exemples de destinataires directs : l'automobiliste qui emprunte une route construite grâce au programme, la famille qui utilise un réseau téléphonique amélioré grâce au programme, l'entreprise qui a reçu une subvention d'investissement, le stagiaire qui a bénéficié d'une formation aidée. Parce que les destinataires d'un programme ne tirent pas toujours un avantage de ce programme, le terme « bénéficiaires » n'a pas été utilisé. D'ailleurs, la Commission a choisi d'utiliser le terme « bénéficiaire » dans un autre sens : Le terme « bénéficiaire final » est employé dans les textes réglementaires (et les dispositions d'exécution financière) des Fonds structurels pour désigner les opérateurs publics ou privés responsables de la commande de travaux ou de la distribution des aides publiques (voir article 9§1-J de la proposition de règlement portant dispositions générales sur les Fonds structurels, Journal Officiel du 9/6/1998). Le bénéficiaire final est tenu à faire des comptes-rendus réguliers et systématiques. Il est donc opérateur du programme au sens défini dans cet ouvrage. Au contraire, certains manuels consacrés à l'évaluation définissent les bénéficiaires comme les individus, les groupes ou les organisations qui reçoivent les services ou les aides du programme, c'est-à-dire les destinataires directs au sens du présent ouvrage. Le système d'indicateurs Les destinataires indirects sont des individus ou organisations qui sont touchés par le programme sans avoir participé directement à ses activités. Les destinataires indirects peuvent être atteints par l'intermédiaire d'un destinataire direct, par exemple l'entreprise qui a embauché un stagiaire formé par le programme. Les destinataires indirects peuvent aussi être les habitants d'un quartier atteints sans intermédiaire, par exemple avoisinant une friche urbaine restaurée grâce au programme, ou les citoyens sensibles à la détérioration de l'environnement naturel aux abords d'une autoroute. L'objectif stratégique d'un programme est d'apporter un avantage global à ses destinataires directs et indirects mais il peut arriver que certaines personnes ou organisations soient perdantes. Les inconvénients que ces destinataires subissent sont le plus souvent non désirés (ex : faillite d'une entreprise locale due à une distorsion de concurrence en faveur d'une entreprise aidée). Les inconvénients peuvent aussi être liés aux objectifs mêmes du programme (ex : substitution d'un chômeur de longue durée à un autre demandeur d'emploi). Encadré 6 - La mise en œuvre du programme et ses effets Mise en oeuvre du programme Environnement économique social et naturel Acteurs Destinataires Parmi les personnes et organismes concernés par le programme, il y a une différence fondamentale entre les acteurs et les destinataires. Les acteurs Indicateurs pour le suivi et l'évaluation les destinataires, dans sont à l'intérieur du système opérationnel de la mise en œuvre alors que les destinataires sont à l'extérieur de ce système (toutefois, il peut arriver que les opérateurs soient aussi le cas des investissements routiers par exemple). Comme le montre l'encadré 6, la frontière est celle qui sépare le programme de son environnement économique, social et naturel. Cette frontière sépare les opérateurs des destinataires directs (il peut cependant arriver parfois que les opérateurs soient en même temps des destinataires, dans le cas des investissements liés au réseau routier par exemple). Ces deux catégories qui jouent un rôle déterminant dans la définition des indicateurs de ressources, réalisations, résultats et impacts. informent sur Les indicateurs de ressources les moyens financiers, humains, matériels, organisationnels ou réglementaires utilisés par les opérateurs pour la mise en œuvre du programme. Les ressources sont sous la responsabilité conjointe des financeurs qui les attribuent et des opérateurs qui les mettent en œuvre. La plupart des indicateurs de ressources sont quantifiés de façon permanente par le système de suivi. On citera comme exemples d'indicateurs de ressources : budget total (quantité des ressources), consommations budgétaires programmé annuelles ressources), pourcentage de dépassements du coût prévu, pourcentage du financement européen dans le financement public total, nombre de personnes travaillant à la mise en œuvre, nombre d'organismes intervenant dans la mise en œuvre. (taux d'absorption des Les indicateurs de réalisations représentent le produit de l'activité des opérateurs. Plus précisément, on considère comme une réalisation tout ce qui est obtenu en contrepartie de la dépense publique. Citons deux exemples dans le domaine des services de conseils aux PME qui démontrent le principe d'une réalisation et aident à distinguer une réalisation d'un résultat. D'un côté, un opérateur peut recevoir une aide financière déterminée pour financer la création d'un service de conseils aux PME. Dans ce cas, la dépense a « acheté » la mise en place d'un service de conseils qui est considéré comme la réalisation. D'un autre côté, un opérateur peut se voir allouer un budget de 400 000 euros pour un projet qui prévoit de délivrer 5 000 heures de conseil aux PME. Cependant, si le projet ne devait finalement délivrer que la moitié des heures de conseil prévues, l'opérateur ne recevrait que 200 000 euros. En d'autres termes, si une réalisation n'aboutit pas, l'aide n'est pas versée. Dans ce cas, la réalisation serait les 2 500 heures de conseil effectivement délivrées. Les réalisations Le système d'indicateurs sont sous l'entière responsabilité des opérateurs qui doivent en rendre compte de façon permanente par l'intermédiaire du système de suivi. On citera comme exemples d'indicateurs de réalisations : kilomètres de routes construites, taux d'avancement des travaux de construction d'une route, hectares de friches urbaines réhabilitées, capacité des stations d'épuration construites, nombre de stagiaires dont la formation a été payée par le programme, pourcentage de ces formations dont la qualité est certifiée. Les indicateurs de résultats représentent les avantages immédiats du programme (ou exceptionnellement les inconvénients immédiats) pour les destinataires directs. Un avantage est immédiat s'il apparaît pendant que le destinataire est directement en contact avec le programme. Les résultats peuvent être constatés en totalité au moment où l'opérateur termine son action et solde la dépense. Etant facilement connus des opérateurs, les indicateurs de résultats sont généralement quantifiés de façon exhaustive dans le cadre du suivi. Les indicateurs de résultats informent sur les changements qui interviennent pour les destinataires directs, par exemple : gain de temps des usagers d'une route, diminution du prix des communications téléphoniques, qualification acquises par des stagiaires, nouvelle activité touristique créée par un agriculteur, nouvelle capacité de production installée par un industriel, satisfaction des entreprises qui ont reçu un conseil. C'est au moment où les destinataires reçoivent l'aide ou les prestations du programme que l'on peut quantifier les résultats. On procède alors par mesure directe (par exemple, par comptage du nombre de stagiaires étant embauché en cours de formation) ou en demandant aux destinataires directs de déclarer les avantages qu'ils ont obtenus (par exemple, au moyen d'un questionnaire de satisfaction à la fin d'une mission de conseil). Les indicateurs d'impacts représentent les conséquences du programme au-delà de son interaction directe et immédiate avec les destinataires. Une première catégorie d'impacts est donc constituée des conséquences qui apparaissent ou qui perdurent à moyen terme chez les destinataires directs du programme (impacts spécifiques) Par exemple, la circulation sur une route un an après son ouverture, le placement des stagiaires au bout de douze mois, les emplois durablement créés dans un établissement industriel construit avec l'aide du programme, la survie des entreprises créées avec l'aide du programme. Certains impacts peuvent être inattendus (retombées) mais on développe rarement des indicateurs pour les impacts inattendus. Indicateurs pour le suivi et l'évaluation les Une seconde catégorie d'impacts est constituée de conséquences qui affectent, à court ou à moyen terme, des personnes ou organismes qui ne sont pas destinataires directs. Ces impacts peuvent être proches (par exemple : l'amélioration de la qualité de vie pour le voisinage d'une friche industrielle réhabilitée, l'amélioration de la qualité des plages au voisinage d'une nouvelle station d'épuration). Ils peuvent au contraire s'étendre à des personnes ou à des organisations très éloignées, comme dans le cas des impacts macroéconomiques. toutes Les mécanismes de propagation des impacts sont souvent distingués en deux catégories : les effets marchands (par exemple l'impact sur les fournisseurs ou sur les sous-traitants des entreprises aidées) et les effets non-marchands (par exemple l'impact positif d'une amélioration de l'image de la région ou l'impact négatif d'une détérioration de l'environnement). Les effets non-marchands, ou externalités n'étant pas reflétés dans le système de prix sur lequel les acteurs socio-économiques individuels se basent pour prendre leurs décisions privées, et parce que ces décisions il est ont des conséquences économiques sur d'autres auteurs, particulièrement utile de tenir compte de ces effets dans le contexte d'un programme public. En raison de leur décalage dans le temps ou de leur caractère indirect, les impacts ne peuvent pas être facilement connus des opérateurs dans le cadre de leur gestion quotidienne. Les indicateurs d'impacts sont donc seulement quantifiés de temps en temps, le plus souvent à l'occasion des travaux d'évaluation. Une des façons de connaître les impacts est de réaliser une enquête auprès des destinataires directs, par exemple un an après leur sortie du programme. Les questions posées concernent alors des faits (ex : quelle a été l'augmentation du nombre d'emplois depuis l'obtention de l'aide ?) ou des opinions (ex : combien d'emplois auraient été perdus en l'absence de l'aide obtenue ?). Dans ce Volume, on appellera « effet » tout changement provoqué par la mise en œuvre du programme, que ce changement soit direct ou indirect, immédiat ou à terme. Les effets regroupent donc les résultats et les impacts. Dans tous les cas, les enquêtes permettent d'observer des effets apparents (effets bruts) et non pas les effets réels du programme (effets nets). L'effet brut est presque toujours surestimé, soit parce que les faits constatés sont en partie dus à des facteurs concurrents soit parce que les opinions recueillies sont trop optimistes. En particulier, les personnes qui répondent à une enquête ont tendance à oublier ou à négliger ce qu'elles auraient fait Le système d'indicateurs si elles n'avaient pas reçu l'appui du programme. Il arrive qu'un destinataire ait déjà pris une décision définitive (ex : investir, se former, créer une entreprise) au moment où il apprend que le programme va l'aider. Dans ce cas, le destinataire profite de l'aide (effet d'aubaine), mais l'effet réel du programme est nul. Les effets d'aubaine doivent être, si possible, estimés et décomptés des effets bruts Pour obtenir une estimation des effets nets, il importe aussi que les effets de substitution (dans le cas d'interventions visant les individus ou groupes d'Individus) ou de déplacement (dans le cas d'interventions visant les zones géographiques) soient pris en compte. L'effet de substitution apparaît lorsqu'un résultat est obtenu en faveur d'un destinataire direct au détriment d'une personne ou d'une organisation qui ne sont pas éligibles à l'intervention publique. Quand cet effet n'est pas désiré, il est considéré comme négatif et soustrait des effets bruts. L'effet de déplacement se produit lorsqu'un résultat obtenu en faveur de destinataires est accompagné d'effets sur des nondestinataires qui se trouvent dans la zone du programme. En général, l'effet de déplacement n'est pas désiré et doit être soustrait des effets bruts. ■ Indicateurs de pertinence, d'efficacité, d'efficience et de performance Les indicateurs les plus intéressants pour l'évaluation sont ceux qui sont associés à un critère de jugement tel que la pertinence, l'efficacité ou l'efficience. Les indicateurs de pertinence mettent en rapport les objectifs du programme avec les besoins à satisfaire. Par exemple, le nombre de places de stage que le programme va pourvoir, rapporté au nombre de chômeurs de longue durée dans la région, ou encore, l'objectif d'une mesure de conseil dans le domaine de l'exportation, exprimé en nombre de missions prévues, rapporté au nombre d'entreprises régionales qui n'ont jamais exporté. Les indicateurs d'efficacité mettent en rapport ce qui est obtenu et ce qui était attendu. Un indicateur d'efficacité peut donc se calculer en divisant deux valeurs d'un même indicateur de réalisation, de résultat ou d'impact, c'estàdire la valeur constatée à une date donnée et l'objectif initialement fixé. Lorsque l'on parle d'efficacité, il est préférable, pour plus de clarté, de préciser s'il s'agit de l'efficacité des réalisations, de l'efficacité des résultats Indicateurs pour le suivi et l'évaluation ou de l'efficacité des impacts. On citera comme exemples d'indicateurs d'efficacité : les réalisations sont en avance de 5% sur l'objectif, le nombre d'entreprises créées est égal à 85% de l'objectif, le taux de placement des stagiaires après un an est de 10% plus élevé que celui qui était escompté. Les indicateurs d'efficience mettent en rapport ce qui a été obtenu et les ressources qui ont été mobilisées. Un indicateur d'efficience est donc le ratio de deux indicateurs : mesure de ce qui a été obtenu / mesure des ressources mobilisées pour l'obtenir. L'efficience peut se calculer à partir d'un indicateur de réalisation, de résultat ou d'impact. Lorsque l'on parle d'efficience, il est préférable, pour plus de clarté, de préciser s'il s'agit de l'efficience des réalisations, de l'efficience des résultats ou de l'efficience des impacts. L'efficience des réalisations est souvent appelée coût unitaire. L'efficience des Impacts est souvent appelée rapport coût / efficacité. On citera comme exemples d'indicateurs d'efficience : le coût moyen d'un kilomètre d'autoroute construit a été de 6 millions d'euros, le coût moyen de formation d'un chômeur de longue durée a été de 2 000 euros, le coût moyen d'un emploi net créé a été de 30 000 euros. l'efficacité et Les indicateurs de performance, selon la définition proposée dans cette collection, englobent l'efficience des réalisations, des résultats et des impacts. En effet, il existe de très nombreux emplois différents du mot « performance ». Dans ce contexte, il y a un certain la notion d'Indicateur de programme et celle rapprochement entre d'indicateur de performance. Dans certains contextes, terme le cadre d'une « réorientation de performance est utilisé dans l'administration vers les résultats, la qualité des services et la satisfaction des usagers » (USA - Government Performance and Resuit Act). Dans d'autres contextes, le terme performance s'applique surtout à la gestion des ressources et des réalisations. C'est le cas par exemple à la Banque Mondiale (World Bank, 1997 Operation Evaluation Department, Lessons and Practices, 1997 / 10). Ici encore, le vocabulaire n'étant pas stabilisé, il est bon de redéfinir ce qu'est la performance chaque fois que l'on parle d'indicateur de performance. le Indicateurs de suivi et d'évaluation La quantification des indicateurs de suivi est réalisée par les opérateurs au moment où ils mettent le programme en œuvre et où ils sont en contact technologies avec les destinataires. Avec l'aide des nouvelles Le système d'indicateurs informatiques, il est maintenant possible de construire un système de suivi donnant une information sur la c o n s o m m a t i on des ressources, les taux de réalisation et le nombre de destinataires (stagiaires, entreprises aidées. ). Il est même souvent possible de conserver une base de données avec l'identité des destinataires directs (nom des stagiaires, n° de téléphone de la personne-contact dans les entreprises aidées). On peut aussi connaître facilement ce q ue les destinataires déclarent au m o m e nt où ils sont en c o n t a ct avec le p r o g r a m me (ex : i n v e s t i s s e m e n ts réalisés par les entreprises aidées, satisfaction des stagiaires à la fin de leur formation). On peut aussi demander aux opérateurs de quantifier des indicateurs d'impact dans le cadre du suivi, en particulier pour ce qui concerne les impacts durables sur les destinataires directs. En effet, il est techniquement p o s s i b le de t é l é p h o n er ou d'écrire s y s t é m a t i q u e m e nt à t o us les destinataires directs, par exemple un an après leur participation au programme. En pratique, il arrive qu'un suivi renforcé à ce point suscite une réaction de rejet de la part des destinataires qui le jugent bureaucratique et de la part des opérateurs qui ressentent une telle charge c o m me anormale dans l'exercice de leur activité. A vouloir obtenir t r op d'information au moyen du système de suivi, on court le risque que cette information perde en qualité et en fiabilité. L'exemple de l'encadré suivant montre les limites d'une collecte d'information exhaustive auprès des destinataires. Encadré 7 - Collecte d'information auprès des destinataires : suivi ou évaluation ? Irlande - Programme Opérationnel Ressources Humaines Objectif 1, 1994-99 Un Programme Opérationnel de Ressources Humaines a été mis en œuvre en République d'Irlande pour la période 1994 - 1999. De nombreux organismes de formation publics et privés ont participé à ce programme. Dans un premier temps, il a été exigé que chaque organisme indique le nombre de personnes ayant trouvé un emploi après le stage. Pour respecter cette obligation d'information, les organismes ont réalisé des enquêtes exhaustives par courrier ou par téléphone auprès de leurs stagiaires. Après quelque temps de fonctionnement de ce système, l'unité d'évaluation du programme a constaté que les données n'étaient pas homogènes ni fiables. En particulier, l'emploi était mesuré selon les cas entre 8 et 18 mois après le stage. Par ailleurs, les organismes de formation se sont plaints du caractère lourd et bureaucratique de ce système. Il a été décidé d'abandonner la collecte l'indicateur de taux de placement au moyen exhaustive et de quantifier d'enquêtes par sondage organisées à l'échelle du programme. Indicateurs pour le suivi et l'évaluation Les indicateurs d'impacts sont plutôt des indicateurs d'évaluation. L'évaluation produit des informations sur les impacts à l'aide d'enquêtes ou d'études approfondies. Les font appel à l'échantillonnage, ce qui permet de limiter le nombre de personnes interrogées et d'éviter l'impression de bureaucratie. Par ailleurs, l'évaluation n'est pas normalement' réalisée par l'opérateur et n'alourdit pas excessivement son travail. techniques de collecte Les indicateurs de suivi et d'évaluation se distinguent également par leurs Implications en termes de partage des responsabilités. Les indicateurs de suivi, et en particulier les indicateurs de ressources et de réalisations permettent aux opérateurs de rendre compte de l'utilisation des moyens qui leur sont alloués ainsi que des activités dont ils sont pleinement responsables, par exemple : construire un équipement sans retard ni dépassement de coût. Les indicateurs de résultats relèvent tantôt du suivi ou tantôt de l'évaluation selon le degré de décentralisation adopté dans la gestion du programme. Si le programme est très décentralisé (gestion par les résultats), les opérateurs ont la possibilité et la responsabilité d'adapter continuellement et rapidement leur activité en fonction des résultats obtenus. Par exemple, ils peuvent être amenés à constater que les conseils apportés aux entreprises ne donnent pas satisfaction, et décider de modifier fortement le système d'aide au conseil. Dans ce cas, les opérateurs suivent attentivement les indicateurs de résultats pour être réactifs et pour exercer leurs responsabilités de gestion du programme. Au contraire, si les opérateurs n'ont pas la liberté d'adapter les règles de mise en œuvre, ils n'ont pas un intérêt personnel à suivre les indicateurs de résultats, et ceux- ci relèveront plutôt de l'évaluation. En pratique, toutes sortes de situations intermédiaires co-existent entre ces deux modèles. L'information apportée par les indicateurs d'évaluation correspond à des éléments dont les opérateurs ne sont pas pleinement responsables. Par exemple, on ne peut pas demander aux opérateurs de réagir en temps réel par rapport à des indicateurs d'impacts. Les indicateurs d'évaluation sont destinés à une audience élargie incluant les financeurs et les opérateurs. Ils sont utilisés de façon relativement peu fréquente pour prendre des décisions qui conduisent, soit à changer le programme pour mieux atteindre les objectifs, soit à réviser les objectifs pour tenir compte de l'expérience. L'encadré suivant précise le rôle des différents types d'indicateurs du point de vue de l'exercice de la responsabilité des opérateurs. Le système d'indicateurs Encadré 8 - Les indicateurs et la responsabilité des opérateurs Ressources —► Réalisations 1» Résultats ►■ Impacts Les opérateurs. sont directement responsables de leurs réalisations (suivi). sont indirectement responsables des résultats car ils en ont facilement connaissance ne contrôlent pas les impacts (évaluation) Applications à différents types d'interventions structurelles Applications à des é q u i p e m e n t s, à des services et à d es subventions Lorsque le programme produit des réalisations physiques, par exemple des équipements, la typologie en quatre catégories s'applique facilement. Ainsi, dans le premier exemple de l'Encadré 9, l'opérateur aménage un site industriel et les entreprises qui viennent s'y installer sont les destinataires. On comprend facilement que les réalisations se limitent à ce qui est sous la responsabilité de résultats le point de vue des représentent destinataires (l'attractivité du site industriel par rapport à d'autres sites concurrents). Les impacts apparaîtront en même temps que la demande des destinataires (l'occupation progressive du site par des entreprises). l'intérêt de l'aménagement, selon (la surface aménagée). Les l'opérateur Dans le second exemple, l'opérateur qui a construit une route (réalisation) peut connaître immédiatement le gain de temps et d'accessibilité pour les destinataires (résultat). Il lui faudra attendre une ou plusieurs années pour constater le nombre de véhicules qui circulent sur la route et il lui faudra lancer une enquête onéreuse pour connaître le nombre de passagers dans ces véhicules, l'origine et la destination de leur voyage, les changements provoqués par l'usage de la route (impacts). Le troisième exemple de l'encadré montre le cas d'une municipalité qui a été aidée à réhabiliter une friche industrielle (réalisation). Cet exemple est difficile à traiter parce qu'il n'y a pas de destinataires directs. Les habitants de la ville sont des destinataires indirects et l'opérateur n'a aucun contact personnel avec ceux qui profitent du projet (habitants du voisinage, passants). Il est donc difficile de construire des indicateurs de résultat. Par convention, on a proposé ci-dessous de retenir comme destinataires directs, les habitants situés dans un rayon de 1 km Au-delà, le projet améliore globalement la qualité de vie des habitants de la ville qui seront plus satisfaits d'y habiter et auront moins envie de déménager (impacts). La distinction en quatre catégories devient moins facile quand le programme offre des services (ex : formation, conseil). Non seulement le terme « réalisation physique » devient inapproprié puisque le service est immatériel mais en outre, la notion même de réalisation pose problème. En Indicateurs pour le suivi et l'évaluation effet, il n'est pas possible de celui qui le reçoit. produire » le service indépendamment de Encadré 9  Exemples d'indicateurs dans le c as d'équipements Site industriel Route entre A et Β Coût d'aménagement Coût de construction Réhabilitation d'une friche urbaine Coût du projet Longueur construite Surface traitée Surface aménagée Attractivité du site par rapport à des sites voisins Gain d'accessibilité Ressources Réalisations Résultats Impacts Evolution du nombre d'habitants (et leur composition socio professionnelle), dans un rayon de 1 km Pourcentage des habitants de la ville qui souhaitent continuer d'y habiter (contexte) Surface achetée par les entreprises clientes après 1 an Evolution de l'emploi dans les entreprises clientes Nombre de véhicules circulant sur la route après 1 an Pourcentage des entreprises régionales satisfaites de leur accessibilité (contexte) La production du service (réalisation ou offre) devient donc pratiquement synonyme du fait que le destinataire en profite (résultat ou demande). Dans le cas d'un programme qui offre des services, la logique voudrait donc que les réalisations et les résultats soient confondus. Cependant, on a conservé la distinction en admettant la convention de langage suivante : le service financé par l'opérateur est considéré comme une réalisation. La catégorie des « résultats » est limitée aux autres avantages immédiats retirés par le destinataire. Cette définition s'applique comme indiqué dans l'Encadré 10. Applications à des interventions structurelles Encadré 10 ■ Exemples d'indicateurs dans le cas de services Ressources Réalisations Résultats Impacts Formation de chômeurs de longue durée Budget consommé pour la formation Nombre de journées de formation financées Nombre de stagiaires ayant acquis une qualification Nombre de stagiaires ayant trouvé un emploi après un an Création d'une filière de formation dans une industrie émergeante Budget consommé Nombre de places de stage offertes dans la nouvelle filière Pourcentage des places de formation offertes dans les secteurs en croissance Nombre de stagiaires recrutés dans la nouvelle filière après un an Conseil aux P. M. E. Budget consommé pour l'action de conseil Nombre d'heures de conseil financées Taux de satisfaction des PME ayant reçu le conseil Pourcentage des P. M. E. qui déclarent avoir augmenté leur activité grâce au conseil après un an La typologie en quatre catégories devient encore plus difficilement applicable quand le programme alloue des subventions. On ne parle pas ici d'une subvention attribuée à un opérateur du programme (ex : subvention à une autorité locale pour créer une station d'épuration ou subvention à un organisme de formation pour offrir des stages), mais bien des subventions attribuées aux destinataires directs. Dans ce cas, il y a simultanéité complète entre la ressource (le programme absorbe le montant de la subvention), la réalisation (l'opérateur accorde la subvention) et le résultat (en contrepartie de la subvention, le destinataire investit dans son projet et en obtient des avantages immédiats). Dans le cas d'un programme qui offre des subventions, la logique voudrait donc que les ressources, les réalisations et les résultats soient confondus. Dans cet ouvrage, on a adopté la convention de langage suivante : les ressources sont les subventions accordées ; les réalisations représentent les éléments clés du projet subventionné (ceux qui doivent absolument être obtenus sous peine de nonpaiement de la subvention, par exemple la création effective de Indicateurs pour le suivi et l'évaluation l'entreprise ou le maintien d'une entreprise existante) ; les résultats sont tous les autres effets immédiats sur le destinataire. Ces conventions s'appliquent comme dans l'Encadré 11. Encadré 11 - E x e m p l es d'indicateurs dans le c as de subventions Installation d'un agriculteur Désarmement d'un bateau de pêche Création d'entreprises Ressources Montant de subvention Montant de subvention Montant de subvention Réalisations Résultats Impacts Montant d'investissement des agriculteurs installés Pourcentage des agriculteurs installés qui travaillent avec un label régional de qualité Nombre d'emplois générés après un an dans les exploitations créées Valeur ajoutée brute (VAB) créée après un an dans les exploitations créées Tonnage de bateaux désarmés Nombre d'entreprises créées Pourcentage des travailleurs des bateaux désarmés qui sont demandeurs d'emploi Pourcentage des entreprises créées dans les secteurs de haute technologie Diminution de la capture d'espèces halieutiques menacées (T / an) dans la zone de pêche concernée Nombre d'emplois dans les entreprises créées après un an Valeur ajoutée brute (VAB) dans les entreprises créées après un an Application à des d o m a i n e s, à d es priorités et à d es finalités La section II présente une série de systèmes d'indicateurs dans quinze « champs d'application » couverts par les Fonds structurels communautaires. Les quinze champs ne correspondent pas à la classification des interventions des Fonds structurels qui a été réalisée par la Commission2. Si cette classification était suivie, l'ouvrage aurait la structure suivante : 2 Cette typologie provient d'une note de travail interne de la Commission portant sur un projet de codification des domaines d'intervention des Fonds structurels. Applications à des interventions structurelles Environnement productif Agriculture, sylviculture et développement rural Pêche Aides aux grandes entreprises Aides aux PME et à l'artisanat Tourisme Recherche et développement technologique (RTD) Ressources humaines Assistance aux personnes Assistance aux structures et systèmes Infrastructures de base Infrastructures de transport Infrastructures de télécommunications et société de l'information Infrastructures dans le domaine des énergies Infrastructures environnementales Aménagements et réhabilitations Infrastructures de santé la Commission européenne crée des secteurs La classification de d'interventions exclusifs l'un de l'autre. Au contraire, les champs étudiés dans cet ouvrage comportent des zones de recouvrement ; la notion de champ utilisée ici se rapprochant de celle du « thème » dans le cinquième Volume de la Collection MEANS. Certains champs correspondent à des secteurs d'interventions proches des catégories de la Commission, d'autres correspondent au contraire aux finalités des Fonds structurels. D'autres enfin ont un statut intermédiaire, certains rejoignant les priorités politiques de la Commission. l'agriculture et la pêche, la recherche et La première série de champs est centrée sur les réalisations des interventions structurelles dans sept domaines : les transports, l'énergie, la formation, le tourisme, le développement le développement rural. Les domaines technologique, d'activité sont situés en amont de la chaîne de causalité des impacts socio- économiques qu'ils doivent produire. Les indicateurs pertinents dans cette catégorie tendent donc à se centrer sur les résultats et les réalisations des interventions. Quant aux indicateurs sectoriels au niveau des impacts, ils se concentrent sur des impacts spécifiques, c'est-à-dire sur les impacts qui se Indicateurs pour le suivi et l'évaluation produisent en amont de la chaîne de causalité et qui peuvent être attribués aux résultats des interventions. La deuxième série de champs est consacrée à cinq thèmes qui sont pour la plupart des priorités communautaires : l'environnement, la société de l'information, la compétitivité des entreprises et des PME, l'égalité des chances et le développement urbain. Les thèmes ont tendance à se placer plus en aval de la chaîne de causalité que les secteurs. Dans bien des cas, un thème est associé à un mélange d'interventions, qui sont pour certaines en rapport avec le thème au stade des réalisations (par exemple, les réseaux de télécommunications sont associés au thème «société de l'information»), tandis que d'autres sont associées au thème à une étape ultérieure de la chaîne de causalité (par exemple l'aide aux entreprises de haute technologie). Encadré 1 2- Structure en quatorze champs : domaines, priorités et finalités transport, énergie, formation, tourisme, pêche, Recherche et développement technologique agriculture et développement rural environnement, compétitivité des entreprises et des PME, Égalité des chances, développement urbain, l'information société de développement économique, emploi, qualité de la vie F réalisations résultats impacts spécifiques impacts globaux Trois champs enfin reflètent la raison d'être générale des interventions structurelles, à savoir la promotion du développement économique, de l'emploi et de la qualité de la vie. Les indicateurs dans cette catégorie informent donc sur les impacts globaux. Comme le montre l'encadré 12, le présent Volume tente d'établir des liens rétrospectifs entre les indicateurs Applications à des interventions structurelles d'impacts globaux, les indicateurs d'impacts spécifiques, les indicateurs de résultats et de réalisations et les indicateurs de ressources. Ces tentatives constituent une nouvelle façon d'aborder le problème de passage entre le niveau micro et le niveau macro, en reliant la gestion quotidienne des opérations à l'objectif global de la politique. Il Champs d'application Quelques repères pour la lecture des fiches Chaque fiche présentée dans ce chapitre est construite selon un format standard. Introduction Une introduction présente brièvement le champ couvert par la fiche dans le cadre des Fonds structurels. Interventions dans le champ La présentation des indicateurs pour les interventions qui se situent dans le champ étudié suit les indicateurs de la chaîne de causalité depuis ressources jusqu'au indicateurs d'impacts. Une série d'exemples concrets d'interventions présente des indicateurs de réalisation, de résultat et d'impact. Les indicateurs de programme sont systématiquement proposés à tous les niveaux. Au niveau de l'impact, ils couvrent à la fois les impacts liés directement aux résultats des interventions et les impacts intermédiaires qui lient les interventions aux impacts globaux apparaissant au niveau macro et reflétés par les indicateurs de contexte appropriés. Tandis que les indicateurs de programme se rapportent à toutes les étapes de la chaîne de causalité, le rôle clé des indicateurs de contexte est de fournir des informations sur l'évolution de la situation macroéconomique globale. Cependant, étant donnée l'utilité des informations fournies par les indicateurs de contexte, ceux-ci ont été inclus au niveau des réalisations et des résultats à chaque fois que cela était pertinent. Autres interventions ayant un impact dans le champ Une intervention peut avoir un impact dans plusieurs champs. Cette section examine les interactions possibles entre les champs et fournit le cas échéant des exemples significatifs. Disponibilité et collecte des données Cette section traite des questions portant sur la collecte des données dans le contexte spécifique du champ étudié. Indicateurs pour le suivi et l'évaluation Indicateurs clés Cette section mentionne un certain nombre d'indicateurs clés qui se prêtent à la comparaison et à l'agrégation. Pour en savoir plus. ; Bibliographie destinée au connaissances dans le champ. lecteur qui souhaite approfondir ses Indicateurs pour sept domaines ■ Infrastructures de transport Dans le domaine des infrastructures de transport, les interventions englobent les routes, ponts et autoroutes, les lignes et les gares ferroviaires (grandes lignes ou banlieue), les métros, aéroports, ports, platesformes intermodales, etc. Les interventions concernent aussi bien la construction que l'amélioration. Les projets éligibles sont essentiellement limités à l'infrastructure et ne comprennent généralement pas les équipements mobiles tels que trains, ferries et avions. L'essentiel du financement des infrastructures de transport est canalisé via le FEDER vers les zones d'Objectif 1, souvent en parallèle avec des prêts de la BEI. Les interventions prennent diverses formes : grands projets, programmes opérationnels (spécifiques au transport) ou mesures de transport dans le cadre de programmes régionaux. Les infrastructures de transport possèdent un certain nombre de caractéristiques spécifiques qui déterminent les systèmes d'indicateurs utilisés pour évaluer les interventions dans le champ. Les projets sont souvent importants, relativement peu nombreux et mis en œuvre sur plusieurs années. Certains projets sont utilisés directement par les destinataires (routes), tandis que d'autres (lignes de chemin de fer) nécessitent un opérateur et des investissements complémentaires avant d'atteindre les usagers. Enfin, un projet d'infrastructure de transport fait partie d'un réseau : c'est le réseau qui fournit des avantages aux utilisateurs, et non pas le projet en luimême. Interventions dans le champ Indicateurs de ressources Si la nécessité de suivre le coût d'un programme et la mise en œuvre d'un projet est commune à tous les projets, le risque de dépassement en termes de budget et de planning inhérent aux grands projets d'infrastructures confère une importance particulière au suivi de leur exécution. Au niveau du programme, les ressources peuvent être efficacement suivies avec un seul indicateur : la « conformité au coût du projet », qui peut être défini comme la « dernière estimation du coût total du projet par rapport au coût Indicateurs pour le suivi et l'évaluation apparaissant dans le document de programmation ». L'avancement du projet peut être suivi en comparant la durée réelle du projet par rapport à celle qui a été planifiée, et les coûts réels par rapport à ceux planifiés (Voir Encadré 13). Indicateurs de réalisation Sans préjudice de l'information détaillée requise aux niveaux de gestion inférieurs, l'information nécessaire pour le suivi du programme doit simplement intégrer le « taux de réalisation ». Afin de calculer le « taux de réalisation », les grands projets doivent être décomposés en de nombreuses tâches, chaque tâche étant pondérée avec son coût prévu. Le « taux de réalisation » est le pourcentage pondéré des tâches achevées. Il est facile de calculer un taux de réalisation moyen pondéré de tous les projets d'infrastructures au sein d'un programme. L'inconvénient du taux de réalisation est que sa signification est très proche de celle d'un indicateur de consommation budgétaire, du moins quand il n'y a pas de dépassement de coût. Encadré 13  Suivi de l'exécution d'un projet Calendrier prévu Calendrier réel Coûts en cours Dépense prévue -Λ_ ' Λ Ψ Τ  m s  ρ.  m = Ρ ■— I 5 10 LJ fJ si \J -v u u \S 20 30 40 50 60 % de réalisation D Début de l'année D Maintenant Dans cet exemple, le projet, qui était très en retard sur le planning prévu en début d'année, a pratiquement rattrapé le pourcentage de réalisation planifié (les deux histogrammes du haut). Le dépassement de coût observé au début de l'année a également été légèrement réduit au fur et à mesure que le projet avançait au cours de l'année (les deux histogrammes du bas). Infrastructures de transport Afin de mieux refléter les réalisations, il est intéressant de calculer un indicateur de « conformité avec le calendrier prévu » ou taux de respect des délais. Pour faciliter le jugement et les comparaisons, il est essentiel que le calendrier du projet soit présenté avec ses deux valeurs : initiale et en cours. Il est également très important que les données temporelles et financières soient présentées en parallèle, dans la mesure où un projet peut à la fois présenter des dépassements de budget en raison de surcoûts et une sous-utilisation due à des retards, auquel cas le solde financier est pratiquement nul. Dans ce cas, la prise en compte de la seule dimension financière pourrait suggérer, à tort, que tout va bien (Voir Encadré 13). Les indicateurs de réalisations peuvent être utilement associés au stock d'infrastructures régionales. Les nouvelles routes et les nouvelles voies ferrées sont susceptibles d'augmenter la dotation régionale mesurée en termes de km/km2 ou km/habitant. Indicateurs de résultat la qualité et de Sur la route, la plupart des voyageurs utilisent l'infrastructure avec leur propre équipement (automobile). Pour les autres modes de transport, les destinataires utilisent les services d'opérateurs de transport, et sont donc dépendants non seulement de la capacité de l'infrastructure, mais également de la gamme de services mis à leur disposition par ces opérateurs et de l'adéquation de ces services à leurs besoins. Cette différence fondamentale a des conséquences non seulement sur le choix des indicateurs qui doivent être sélectionnés pour l'évaluation des investissements dans les différents modes de transport, mais également pour rayonnement géographique des avantages de chaque projet. Cela s'explique parce que les infrastructures routières sont disponibles dès le premier jour de mise en service et s'intègrent facilement dans le reste du réseau routier, alors que, par contre, les autres modes de transport requièrent souvent des investissements complémentaires de la part des opérateurs qui peuvent avoir à acheter des équipements supplémentaires et améliorés, à réorganiser leurs services et à les commercialiser. la rapidité de diffusion et le Indicateurs d'impact Les impacts spécifiques des infrastructures de transport sont associés à la circulation sur le nouvel équipement. Les utilisateurs réels de la nouvelle infrastructure peuvent être comptabilisés au plus tôt un an après Indicateurs pour le suivi et l'évaluation l'ouverture. A cette date, les utilisateurs finals peuvent également faire l'objet d'enquêtes sur la destination des trajets, le gain de temps sur la durée du trajet, le coût de transport, etc. Le deuxième type d'impacts devant être pris en compte est associé à l'équilibre de la concurrence intermodale. L'ouverture d'une nouvelle infrastructure de transport est susceptible de modifier les parts de marché des différents modes de transport. Mais cas de complémentarité, où la circulation supplémentaire concernant un mode sur une partie du réseau sera transférée sur un autre mode pour couvrir une autre partie du trajet dans la même chaîne logistique. il existe également de nombreux C'est toujours l'amélioration du dynamisme et de la compétitivité d'une région qui justifie l'existence et l'ampleur des projets d'infrastructures de transport des Fonds structurels. De nombreuses études ont révélé que ces impacts sont toujours très difficiles à évaluer. Il est quelquefois pertinent d'appliquer les indicateurs d'impact économique au système de transport dans sa globalité. Souvent, à l'inverse, l'utilisation d'indicateur d'impact économique à un seul projet n'a pas de sens. La sophistication croissante de certains types d'infrastructures de transport a provoqué une hausse des coûts d'investissement qui a tendance à créer des discontinuités dans les réseaux de transport et des inégalités en termes d'accessibilité. L'évaluation doit donc tenir compte non seulement des gains associés à l'utilisation des services améliorés, mais également des questions de distribution associées aux personnes et aux régions non bénéficiaires. Des impacts externes significatifs des investissements dans les transports sont également observés dans l'environnement. Malheureusement, on accorde beaucoup d'attention aux impacts de la construction d'infrastructures mais beaucoup moins aux impacts du fonctionnement des systèmes et des décisions politiques (ou de l'inaction) qui peuvent également avoir un très fort impact sur l'environnement. le secteur de Les emplois à court terme liés à la construction posent un problème spécifique de comptabilisation. Dans la mesure où ils font partie des ressources humaines investies dans la mise en œuvre du programme, ils devraient théoriquement être comptabilisés au niveau des ressources. Cependant, en pratique, la création d'emploi liée à la construction est considérée comme un impact par la plupart des équipes d'évaluation. Infrastructures de transport Exemple 1  Nouvelle section d'autoroute assurant la connexion entre A et Β Indicateurs de programme Indicateurs de contexte (en lien avec l'intervention et ses effets) (en lien avec la zone aidée) I n d i c a t e u rs de r é a l i s a t i on Avancement Quantité I n d i c a t e u rs de résulte t Vitesse I n d i c a t e u rs d ' i m p a ct Circulation Gain de temps ,3' Conformité avec la durée du projet Taux de réalisation km de nouvelle autoroute km de nouvelles voies km d'autoroute par million d'habitants dans la zone (dotation) E. S. S. 1" entre A et B tous les centres urbains E. S. S. moyenne de et vers concernés de la zone Circulation12' des véhicules utilisant la nouvelle infrastructure après un an Circulation dans la zone (véhicule χ km / an / habitant) Gain de temps de trajet total des utilisateurs (heures χ véhicules χ nombre moyen de passagers par véhicules) après un an Sécurité Nombre d'accidents141 sur l'autoroute après un an d'utilisation Accidents de la route dans la zone (nombre / an / million d'habitants) Système de transport % de la circulation entre A et Β utilisant la nouvelle infrastructure Effet économique indirect Environnement Nombre de logements subissant le bruit de la circulation16' Hectares de sites naturels touchés % de chefs d'entreprises de la zone déclarant que l'accessibilité routière est une contrainte majeure pour leur entreprise·5' Nombre de logements dans la zone Hectares de sites naturels dans la zone (1) E. S. S. (Equivalent Straight Line Speed) signifie Vitesse Equivalente à vol d'oiseau et mesure la facilité d'accès d'un point à un autre, quels que soient la distance entre ces points et le chemin emprunté. Elle est calculée en divisant la distance en ligne droite entre deux points par la durée du trajet le plus rapide entre ces deux points. (2) Le trafic est exprimé en nombre moyen de véhicules par jour. Dans la mesure du possible, un camion est compté comme deux voitures. (3) Le gain de temps doit être mesuré à la fols pour les trajets interurbains et intraurbains. (4) Les accidents sont exprimés en nombre d'accidents avec blessés par an. Si possible, les accidents provoquant des morts sont comptés double. (5) La contrainte d'accessibilité est quantifiée au moyen d'une enquête auprès des chefs d'entreprises de la zone. Elle est exprimée en pourcentage de personnes Interrogées exprimant leur accord avec la phrase suivante : « l'accessibilité par voie routière (ferroviaire, aérienne, maritime. ) est une contrainte majeure pour le développement de mon entreprise ». (6) Les maisons touchées par les nuisances sonores doivent être comptabilisées en fonction des niveaux de bruit acceptable dans chaque pays. L'indicateur s'applique aux riverains de l'autoroute et des autres axes routiers joignant A et B. Indicateurs pour le suivi et l'évaluation Exemple 2  Amélioration d'une ligne de B, permettant la circulation chemin de fer entre A et de trains à grande vitesse Indicateurs de programme (en lien avec l'intervention et ses effets) Indicateurs de contexte (en lien avec la zone aidée) Indicateurs de réalisation Avancement Quantité Voir Exemple 1 Km de voie ferrée grande vitesse Indicateurs de résultat Vitesse E. I. S. S. 1" entre A et Β km de voie ferrée grande vitesse par million d'habitants E. I. S. S. moyenne entre les centres urbains concernés de la zone Indicateurs d'impact Trafic Gain de temps Système de transport Effet économique indirect Trafic121 de passagers entre A et Β après un an Trafic de et vers la zone (passagers χ km/an) Temps de trajet total gagné par les utilisateurs (heures χ passagers) après un an % du trafic total entre A et Β représenté par les trains à grande vitesse % de chefs d'entreprises de la zone déclarant que l'accessibilité ferroviaire est une contrainte majeure Environnement Voir Exemple 1 Voir Exemple 1 (1) E. I. S. S. (Equivalent Interval Straight line Speed) est la Vitesse Equivalente à Vol d'oiseau par Intervalles. C'est un Indicateur facile à comparer. Il est conçu pour mesurer la facilité d'accès d'un point à un autre, pour un service discontinu, quels que soient la distance entre ces deux points et le chemin emprunté. Elle est calculée en divisant la journée en intervalles jugés adéquats pour la distance en question (par ex. des intervalles de 2 heures), puis en calculant la meilleure E. I. S. S. pour les départs de chaque intervalle et en calculant une moyenne de ces résultats sur la période de la journée pertinente (par ex. de 7h00 à 22h00. S'il n'y a pas de départ pendant un intervalle donné, l'E. I. S. S. correspondante est égale à zéro et saisie comme telle dans le calcul. Le calcul des valeurs d'E. I. S. S. doit tenir compte non seulement des heures de départ réelles, mais également des possibilités de correspondance et des horaires, quand il n'y a pas de liaison directe entre les deux points (avec un départ au moins dans l'intervalle considéré). (2) Le trafic est exprimé en passagers / an. Infrastructures de transport Exemple 3 - Extension d'un aéroport régional Indicateurs de programme (en lien avec l'Intervention et ses effets) Indicateurs de contexte (en lien avec la zone aidée) Indicateurs de réalisation Avancement Capacité Indicateurs de resulti It Destinations Vitesse Coût pour les utilisateurs Indicateurs d'impact Trafic Effet économique indirect Voir Exemple 1 Nombre maximum de passagers paran Nombre maximum de passagers par an par millions d'habitants Nombre de destinations avec au moins dix vols directs par semaine1" E. I. S. S. par voie aérienne entre le centre urbain le plus proche et les destinations les plus pertinentes (liaisons directes + indirectes) Modifications des taxes d'aéroport E. I. S. S. moyenne par tout mode de transport entre tous les centres urbains de la zone et les destinations les plus pertinentes (liaisons directes + indirectes) Trafic aérien12'de l'aéroport zoneal après un an Trafic aérien de et vers la zone % de chefs d'entreprises de la zone déclarant que l'accessibilité aérienne est une contrainte majeure Environnement Voir Exemple 1 Voir Exemple 1 (1) Le nombre de destinations desservies par un service régulier d'au moins deux vols quotidiens en semaine. (2) Le trafic aérien est exprimé en nombre de passagers et en tonnes de fret par an. Indicateurs pour le suivi et l'évaluation Exemple 4 - Amélioration d'un terminal de conteneurs de port maritime Indicateurs de programme (en lien avec l'intervention et ses effets) Indicateurs de contexte (en lien avec la zone aidée) I n d i c a t e u rs de r é a l i s a t i on Avancement Capacité Voir Exemple 1 Nombre maximum de conteneurs soulevés par des grues par heure et par an I n d i c a t e u rs de résulte It Temps d'attente et de déchargement Ponctualité Destinations Temps de manutention I n d i c a t e u rs d ' i m p a ct Trafic Effet économique indirect Temps d'attente des navires avant miseá quai (en heures) Temps de déchargement des navires % des services programmés arrivant à temps Nombre de compagnies maritimes utilisant le port Temps de séjour moyen des importations1" Temps de chargement/déchargement des véhicules routiers Trafic du terminal de conteneurs (TEUl2' / an) après un an Trafic de et vers la zone (TEU / an) % de chefs d'entreprises de la zone déclarant que l'accessibilité maritime est une contrainte majeure (1) Temps moyen que les unités importées passent dans le port. (2) TEU - Twenty-foot Equivalent Units. Infrastructures de transport Exemple 5 - Amélioration d'une ligne ferroviaire pour des activités de fret Indicateurs de programme (en lien avec l'intervention et ses effets) Indicateurs de contexte (en lien avec la zone aidée) Indicateurs de réalisation Avancement Voir Exemple 1 Quantité Qualité Nombre de km améliorés % de la ligne permettant des vitesses au moins égales à une valeur de seuil souhaitée (100 km/h) % de longueur de ligne permettant le transport des charges standard les plus lourdes Indicateur de résultai Vitesse Indicateurs d'impact Trafic Système de transport Effet économique indirect Vitesse commerciale type des trains de marchandise sur cette ligne Vitesse moyenne sur les lignes régionales Trafic de marchandises sur cette ligne (Tonnes / an) après un an Trafic de et vers la zone (Tonnes / an) Tralie du fret qui aurait été transporté par la route s'il n'y avait pas eu la nouvelle infrastructure {Tonnes / an) % de chefs d'entreprises de la zone déclarant que l'accessibilité au fret ferroviaire constitue une contrainte majeure Exemple 6 - Construction d'une plate-forme intermodale (rail / route) Indicateurs de programme (En lien avec l'intervention et ses effets) Indicateurs de contexte (En lien avec l'ensemble du public visé) Indicateurs de réalisation Avancement Voir Exemple 1 Indicateurs de résultat Vitesse Indicateurs d'impact Trafic Vitesse commerciale type des marchandises transitant par le centre Trafic de fret dans le centre (en tonnes / an) Trafic de et vers la zone (en tonnes / an) Système de transport Voir Exemple 5 Indicateurs pour le suivi et l'évaluation Les autres interventions ayant un impact dans le domaine Alors que les interventions dans le domaine des infrastructures de transport ont des impacts externes importants et de grande portée dans de nombreux autres champs, l'inverse est moins vrai. Les impacts provoqués sur les infrastructures de transport par des interventions hors du champ des transports sont généralement très indirects. Lorsque ces impacts se produisent, ils sont le plus souvent générés par des interventions qui ont pour but d'aider le développement économique et les entreprises. Les interventions dans ces domaines sont susceptibles d'affecter les indicateurs d'impacts du système de transport à travers une augmentation de l'activité économique. De même, les interventions ciblées sur l'environnement ou le tourisme peuvent avoir un impact sur le système de transport (réduction ou augmentation de l'utilisation des véhicules particuliers). Disponibilité et collecte des données Les gestionnaires des chantiers sont tenus de fournir des données de réalisation synthétiques (taux de réalisation et taux de respect des délais) tous les six mois. Les opérateurs, dans le cadre de leur activité de gestion normale doivent quantifier des indicateurs de résultat et d'impact spécifiques (trafic, vitesse moyenne). En principe, les indicateurs de résultats sont quantifiés une fois par an. indicateurs d'impact complexes La quantification des (composante régionale du trafic, par ex. ) exige en général la mise en place d'une étude ou d'une enquête ad hoc. Par exemple, ces études peuvent impliquer des enquêtes auprès d'entreprises ou auprès d'individus utilisant le système d'infrastructures amélioré. Ces études sont coûteuses et ne peuvent pas être répétées chaque année. Une bonne méthode consiste à réaliser une première étude juste avant l'achèvement des travaux et une deuxième trois ans après. Les indicateurs de contexte sont associés au système de transports et à la région dans son ensemble et beaucoup d'entre eux peuvent dériver de sources statistiques. Certaines statistiques européennes sont disponibles au niveau régional comme l'indique l'Encadré 14. D'autres données peuvent être disponibles pour différents types d'impacts (environnement, parts de marché par modes de transport, productivité Infrastructures de transport industrielle) si une collecte régulière est effectuée pour des séries temporelles par les offices statistiques nationaux ou par des organismes régionaux. Encadré 14 - Eurostat : Infrastructures de transport et sécurité routière - Statistiques régionales (NUTS II) Routes : total (en km) Dont autoroutes (en km) Rail : total (en km) Dont double voie ou plus (en km) Dont lignes électrifiées (en km) R o u t es : densité du réseau (en k m / k m2) Rail : densité du réseau (en k m / k m2) Décès p r o v o q u és par des a c c i d e n ts de la route (nb/million d'hab. /an) Indicateurs clés Les indicateurs clés présentés ci-dessous se prêtent à la fois à des comparaisons entre différentes interventions et avec d'autres programmes, Ils peuvent donc faire l'objet d'agrégation à l'échelle européenne. Niveau Ressources Réalisations·2' Résultats Impact Indicateur clé Taux de consommation budgétaire (% des fonds alloués) % de budget consacré à des mesures d'atténuation pour l'environnement<1) Taux de réalisation du projet (% de l'objectif) Taux de respect des délais Vitesse moyenne entre principaux centres économiques*31 la zone déclarant que % de chefs d'entreprises de l'accessibilité constitue une contrainte majeure pour leur entreprise (1) Les mesures d'atténuation réduisent ou éliminent l'impact environnemental des projets aidés. (2) Afin de mesurer les réalisations avec précision et de refléter la dimension du projet, ils doivent être affinés par des détails complémentaires. Ces détails ne doivent toutefois pas être distingués des indicateurs clés. (3) Ceci donne une indication de l'accessibilité globale offerte par les investissements dans des infrastructures de transport. La base de calcul est l'E. S. S. (Equivalent-Straight-line Speed) entre les dix principaux centres économiques de la zone en utilisant le mode de transport le plus efficace. Indicateurs pour le suivi et l'évaluation Pour en savoir plus. Burmeister, Α. , Colletis-Wahl, Κ. (1996), 'T. G. V. et fonctions tertiaires : grande vitesse et entreprises de services à Lille et à Valenciennes' in : Revue Transports Urbains, Volume 93. Button, Κ. (1995), 'Whatcan Meta-Analysis tell us about the implications of Transport' in : Regional Studies, Volume 29(6), 507-517. European Commission (1997), EU transportin figures. Luxembourg : Office for Officiai Publications of the European Communities. Rephann, T. J. (1993), 'Highway Investment and Regional Economic Development : Decision Methods and Empirical Foundations' in : Urban Studies, Volume 30(2), 437-450. Infrastructures d ' é n e r g ie la production d'énergie (centrales électriques), soit sur Les interventions structurelles dans le domaine de l'énergie sont ciblées soit sur la distribution de l'énergie (réseaux de distribution d'électricité, gazoducs pour le méthane ou d'autres gaz). Elles impliquent la construction de nouvelles infrastructures ou l'agrandissement et le renforcement de celles existantes. Les interventions structurelles peuvent également avoir les économies d'énergie pour objectif. On citera par exemple la mise en service de systèmes permettant la récupération de la chaleur générée par différents processus de production, ou la production d'électricité à partir de sources d'énergies renouvelables ou de la biomasse. l'industrie. La fourniture d'énergie destinée à L'objectif spécifique des Interventions est la fourniture d'énergie à la population et à la consommation finale par des particuliers constitue une contribution à l'amélioration des conditions de vie. La fourniture d'énergie aux industriels et aux institutions publiques doit être concurrentielle en termes de quantité, de qualité et de coûts. Deux autres objectifs cruciaux, étroitement associés au développement économique et à la qualité de la vie, sont également concernés : (1) la réduction de la dépendance énergétique vis-à-vis de l'étranger par l'exploitation de sources d'énergie nationales et locales et (2) la réduction de l'impact de la production et de la distribution de l'énergie sur l'environnement par l'exploitation de ressources alternatives et, si possible, renouvelables. Dans le domaine de l'énergie, il est particulièrement pertinent de distinguer les interventions au niveau national et au niveau local. Dans le premier cas, les interventions consistent généralement en de grands projets d'infrastructures assurant la fourniture d'énergie aux destinataires via des réseaux de distribution complexes. En d'autres termes, les destinataires bénéficient des projets, non pas directement, mais par l'intermédiaire des réseaux de distribution auxquels ils sont raccordés. Les interventions locales, par contre, sont de taille plus réduite, plus nombreuses et ont souvent pour objectif de produire ou d'économiser l'énergie dans l'intérêt du producteur l'énergie exigent généralement plusieurs années de mise en œuvre. Ils bénéficient souvent de prêts de la B. E. I. et de banques nationales en complément de l'aide des Fonds structurels. lui-même. Les projets relatifs à Indicateurs pour le suivi et l'évaluation Interventions dans le champ Indicateurs de ressources Au niveau du programme, les ressources peuvent être suivies en utilisant des indicateurs de « conformité avec le coût du projet » : c'est-à-dire les informations les plus récentes disponibles sur le coût total des projets par rapport au coût figurant dans le document de programmation. Indicateurs de réalisation L'avancement des travaux est souvent vérifié par un simple suivi des états de dépenses. Dans les cas des grands projets (tels que la construction ou l'amélioration de centrales électriques), l'état d'avancement peut être estimée par rapport à la date d'achèvement prévue (date des derniers essais). Pour les projets de plus faible envergure (tels que la construction ou l'augmentation de la capacité de réseaux de distribution d'électricité), il est également possible de quantifier la progression physique des travaux en termes de <· pourcentage de km de réseau achevés à une date donnée par rapport au nombre total de km de réseau à réaliser ». la vérification de En ce qui concerne la réalisation finale de l'intervention, le principal indicateur est la puissance des unités de production (kW ou MW pour l'électricité). La puissance installée en kW/MW est une mesure applicable à pratiquement toutes les infrastructures d'énergie, mais la règle est de fournir une ventilation par source d'énergie (centrales au charbon, au gaz ou au fuel, centrales hydroélectriques ou éoliennes, etc. ). Indicateurs de résultat Les principaux résultats des interventions structurelles dans le domaine de l'énergie concernent principalement le coût et la qualité du nouveau service fourni ainsi que les économies types générées pour les utilisateurs finals. Indicateurs d'impact Les impacts spécifiques sont en rapport avec la consommation d'énergie (électricité, gaz) Ils sont quantifiés après au moins un an. Les indicateurs de programme sont les suivants : quantité d'électricité et de gaz consommée suite aux interventions, nombre d'utilisateurs raccordés aux réseaux achevés, et degré de satisfaction des consommateurs (à suivre et à évaluer essentiellement à travers des enquêtes spécifiques auprès des Infrastructures d'énergie utilisateurs ; ces données peuvent également être obtenues à partir des informations dont disposent les opérateurs à propos de la qualité du service fourni). D'autre part, des emplois temporaires sont également créés pendant la phase d'investissement (mesurés en emploi χ ans). Les impacts dont il faut tenir compte sont : la valeur ajoutée générée par le fonctionnement de la nouvelle infrastructure (production et distribution d'électricité et de gaz), l'emploi créé pour l'exploitation de l'infrastructure et la réduction de la dépendance énergétique. Dans la mesure où la production énergétique et l'environnement sont étroitement associés, les indicateurs fournissant des informations sur l'appauvrissement des sources d'énergie non renouvelables (par exemple la quantité d'énergie renouvelable produite) ou sur la pollution de l'air (par exemple la quantité de combustibles fossiles utilisée et les émissions produites) doivent être utilisés autant que possible. La plupart de ces impacts peuvent être positifs ou négatifs, en fonction de la finalité des projets (production d'énergie ou économie d'énergie). Indicateurs pour le suivi et l'évaluation Exemple 7 - Nouvelle usine électrique utilisant les gaz fossiles Indicateurs de programme (en relation avec l'intervention Indicateurs de contexte (en relation avec la zone aidée) et ses effets) I n d i c a t e u rs de r é a l i s a t i on Avancement Conformité avec la durée du projet Taux de réalisation Capacité Puissance installée en kW Rendement de l'investissement Coût unitaire d'investissement par kW de puissance installée I n d i c a t e u rs de r e s u l ts t Population servie Qualité du service Coût pour les utilisateurs finals I n d i c a t e u rs d ' i m p a ct Valeur ajoutée Nombre estimé d'utilisateurs sur la base des coefficients moyens de consommation énergétique pour un usage domestique et de la production annuelle de la centrale (en kWh) Nombre et durée des coupures d'électricité pour l'utilisateur moyen raccordé au réseau alimenté par la nouvelle centrale Réduction estimée en coût unitaire d'achat de l'énergie, exprimée en euro/kWh Capacité de production d'électricitéglobale au niveau national (en MW), ventilée par source d'énergie Coût unitaire par kW de puissance installée pour des investissements similaires Consommation énergétique moyenne par habitant et par an Nombre et durée des coupures d'électricité pour l'utilisateur moyen au niveau national Coût unitaire moyen de l'énergie au niveau national exprimé en euro/kWh Valeur ajoutée générée par la centrale (en euro/an) Valeur ajoutée annuelle du secteur de la production et de la distribution ( ') au niveau national Emploi permanent Emploi permanent créé par le fonctionnement de l'usine achevée (ETP) Effet économique indirect Appauvrissement des ressources de combustibles fossiles naturels Moyenne annuelle de la quantité de combustible fossile nécessaire pour faire fonctionner la centrale (en Tonnes Equivalent Pétrole) % des chefs d'entreprises de la zone déclarant que le coût ou la disponibilité de l'énergie est un problème majeui pour leur activité (1) classe 40. 10 de la NACE (Nomenclature statistique des Activités économiques dans la Communauté Européenne). Infrastructures d'énergie Exemple 8  Construction ou amélioration d'un réseau de distribution d'électricité Indicateurs de programme Indicateurs de contexte (En lien avec l'intervention et (En lien avec la zone assistée) ses effets) Indicateurs de réalisation Avancement Quantité Voir Exemple ι km de lignes nouvelles / améliorées, ventilées par catégories de puissance Efficience de l'investissement Coût unitaire de l'investissement par km de nouvelles lignes Indicateurs de résulta t Population desservie Qualité du service Nombre d'utilisateurs raccordés au nouveau réseau (ou à la nouvelle portion du réseau), ventilés par unités domestiques / économiques Nombre et durée des coupures d'électricité pour l'utilisateur moyen raccordé au nouveau réseau ou à la nouvelle partie du réseau Longueur globale du réseau du secteur, ventilée par catégories de puissance Coût unitaire par km de nouvelle ligne pour des investissements similaires Nombre et durée des coupures d'électricité pour l'utilisateur national moyen Indicateurs d'impact Valeur ajoutée Voir Exemple 7 Emploi permanent Voir Exemple 7 Voir Exemple 7 Voir Exemple 7 Consommation Consommation annuelle globale d'électricité par des utilisateurs raccordés au nouveau réseau (en kWh) apres un an Consommation d'électricité annuelle moyenne au niveau national (en kWh /résident raccordé, kWh /emploi raccordé). Effet économique indirect Voir Exemple 7 Indicateurs pour le suivi et l'évaluation Exemple 9 - Amélioration d'un réseau de distribution de gaz Indicateurs de programme (En lien avec l'intervention et ses effets) Indicateurs de contexte (En lien avec la zone aidée) I n d i c a t e u rs de r é a l i s a t i on Avancement Quantité Voir Exemple 7 Km de canalisations créées / améliorées, ventilées par catégories de diamètres Rendement de l'investissement Coût unitaire de l'investissement par km de nouvelle canalisation I n d i c a t e u rs de r é s u l t at Population desservie Voir Exemple 7 Consommation Consommation annuelle globale Qualité du service de gaz par des utilisateurs raccordés au nouveau réseau (m3) Nombre et durée des interruptions de fourniture de gaz pour l'utilisateur pour l'utilisateur moyen raccordé au nouveau réseau I n d i c a t e u rs d ' i m p a ct Valeur ajoutée Voir Exemple 7 Emploi permanent Voir Exemple 7 Effet économique indirect (1) classe 40. 20 de la NACE. Longueur globale du réseau dans la zone, ventilé par catégories de diamètres Coût unitaire par km de canalisation neuve pour des investissements similaires Consommation annuelle moyenne de gaz au niveau national (m3 / résident raccordé, m3 / emploi raccordé). Nombre et durée des interruptions de fourniture de gaz pour l'utilisateur moyen au niveau national Valeur ajoutée moyenne dans le secteur de la production et de la distribution de g a zl" au niveau national Voir Exemple 7 Voir Exemple 7 Infrastructures d'énergie Les a u t r es interventions qui ont un i m p a ct d a ns le c h a mp Toutes les interventions structurelles ont pour finalité d'augmenter l'activité é c o n o m i q u e, d i r e c t e m e nt ou i n d i r e c t e m e n t. Par c o n s é q u e n t, elles contribuent à l'augmentation de la d e m a n de en énergie (particulièrement en électricité) et d o nc à l'expansion du secteur de l'énergie. Toutefois, d a ns la mesure où aucune de ces conséquences ne constitue un effet voulu des Fonds structurels, elles ne nécessitent pas de suivi ou d'évaluation par des indicateurs spécifiques. Disponibilité et c o l l e c te d es d o n n é es Encadré 15 - Principales données statistiques fournies par Eurostat au niveau régional ( N U TS II) • Capacité de production d'électricité totale • Capacité de production d'électricité par source • Capacité installée brute totale • Capacité installée brute par source • Production d'énergie par source • Production d'électricité par source • Production de gaz • Production de coke, de lignite, de pétrole • Consommation totale d'électricité • Consommation d'électricité par secteur • Comptes des sociétés dans le secteur de l'énergie • Statistiques CORINAIR au niveau national et, dans certains pays, à un niveau inférieur. Les opérateurs de la nouvelle infrastructure sont les premiers fournisseurs d'information permettant de quantifier les indicateurs (pendant la période de c o n s t r u c t i o n, au m o m e nt de l'achèvement du projet, pendant la gestion de la nouvelle infrastructure). Les enquêtes spécifiques auprès des destinataires ne sont pas fréquentes dans le secteur de l'énergie dans la mesure où il est difficile de déterminer quels sont les c o n s o m m a t e u rs bénéficiant des nouveaux investissements lorsqu'il s'agit de réseaux interconnectés c o m p l e x e s. Indicateurs pour le suivi et l'évaluation Des statistiques intéressantes peuvent être fournies par les organismes nationaux et régionaux gérant les centrales électriques et des réseaux de distribution de gaz et d'électricité, en plus de celles des instituts spécialisés. Comme l'indique l'encadré 15, les statistiques disponibles fournissent des données permettant de calculer la plupart des indicateurs de contexte précédemment identifiés. Indicateurs clés Les indicateurs clés, présentés ci-dessous, se prêtent à la fois à des comparaisons entre interventions différentes et à des comparaisons avec d'autres programmes. Ils peuvent donc facilement faire l'objet d'agrégation à l'échelle européenne. Niveau Ressources Réalisations Résultats Impacts Indicateur clé Taux de consommation budgétaire (% des fonds alloués) % du budget consacré à des mesures d'atténuation pour l'environnement Taux de réalisation du projet (% de l'objectif) Taux de respect des délais Nombre Infrastructures, économiques d'utilisateurs raccordés aux ventilés en unités nouvelles domestiques % de chefs d'entreprises déclarant que le coût ou la disponibilité de l'énergie constitue un problème majeur pour leur activité Emplois nets créés ou maintenus (ETP) Pour en savoir plus. EPA (1996), Joint EMEP I CORINAIR Atmospheric Emission Inventory Guidebook. Copenhagen : EPA. Eurostat (différentes années), Energy - yearly statistics. Luxembourg : Eurostat. Eurostat, Renewable energy sources statistics 1989-94. Luxembourg : Eurostat. Eurostat, Energy balance sheets 1993-94. Luxembourg : Eurostat. F o r m a t i on Les interventions structurelles dans ce champ visent à promouvoir l'employabilité des individus dans toute l'Union européenne, en adaptant et modernisant les systèmes d'éducation, de formation et d'emploi des Etats membres. On constate en effet que les travailleurs qui sont restés longtemps dans un secteur d'emploi particulier ont du mal à s'adapter au nouveau marché du travail du fait de l'obsolescence de leurs qualifications. Les restructurations industrielles et, plus généralement, les licenciements massifs ont laissé de côté beaucoup de chômeurs de longue durée. La nécessité d'associer la formation et la recherche d'un nouvel emploi est ainsi rendue très claire. Les jeunes sortis de formation initiale connaissent aussi des difficultés, surtout ceux qui sortent avec peu de compétences ou de qualifications reconnues. Ils affichent un taux de chômage très supérieur à la moyenne des adultes. La formation peut prendre de multiples formes. Elle peut être initiale ou continue, académique ou professionnelle, en alternance ou non. Elle peut aussi être dispensée dans le cadre de dispositifs d'aide à l'insertion sociale et professionnelle des jeunes ou des chômeurs. Dans tous les cas, elle vise à donner des compétences, des qualifications, des savoir ou des savoir- faire aux individus pour qu'ils puissent les négocier sur le marché du travail. Quelle que soit leur nature et leur public, toutes les actions de formation peuvent faire l'objet du calcul des mêmes indicateurs. En revanche, la finalité du programme crée des différences dans les indicateurs à retenir. Interventions dans le champ de la formation Indicateurs de ressources Les indicateurs de ressources doivent faire très clairement apparaître la répartition des cofinancements publics européens, nationaux, régionaux et locaux. Les programmes de formation sont très souvent à cheval sur deux années civiles, ce qui nécessite un décompte financier précis. Indicateurs de réalisation Les indicateurs de réalisation sont spécifiques aux types de formations délivrées : surface des centres de formation, nombre de formateurs, Indicateurs pour le suivi et l'évaluation nombre de stages offerts, nombre de stagiaires entrés en formation (permettant de suivre le taux de remplissage des programmes ouverts), volume de formations fournies (si le financement de l'intervention porte directement sur le nombre d'heures de formation et le nombre de participants). Ces indicateurs sont relativement faciles à quantifier en tant qu'indicateurs de programme. Le nombre de participants peut être exprimé en proportion des personnes éligibles (taux d'atteinte du public eligible). Les indicateurs de contexte sont difficiles à obtenir parce que l'offre de formation n'est pas toujours transparente. Elle peut en effet provenir d'opérateurs peu visibles comme des petites entreprises, des associations ou des institutions qui ne recourent pas à des fonds publics et ne déclarent pas systématiquement toutes leurs actions de formation contrairement à ceux dépendant directement des grands acteurs publics qui occupent largement le terrain en matière d'affichage de leurs actions. Indicateurs de résultat Les destinataires des aides à la formation sont les individus qui suivent la formation et qui augmentent leur qualification, leurs compétences et leur employabilité immédiate. L'indicateur le plus adapté est le « nombre de participants aux formations sortis avec le niveau requis ». Pourtant, peu d'études s'intéressent à l'achèvement des périodes de formation. Néanmoins, le taux de sortie permet d'avoir un indicateur robuste du nombre de personnes qui ont suivi le stage de formation jusqu'au bout ; quoiqu'un abandon en cours de route puisse correspondre à une embauche. Enfin, on peut encore aller au-delà et proposer de tenir compte du « taux de participation pendant formation » pour évaluer l'absentéisme. la L'employabilité serait un bon indicateur de résultat s'il était possible de la quantifier. En théorie, l'employabilité est la capacité à trouver un emploi ou la capacité d'insertion professionnelle. Elle dépend des aptitudes personnelles, et notamment de celles qui ont été acquises ou renforcées au cours de la formation. Elle dépend aussi de la probabilité d'existence d'une offre d'emploi correspondant aux capacités acquises. Cette seconde dimension de l'employabilité est très difficile à définir et à mesurer. A ce jour, il n'existe aucune méthode reconnue pour le faire, ni même aucune définition harmonisée de l'employabilité. Formation Indicateurs d'impact L'indicateur qui a reçu le plus d'attention dans bon nombre de pays est le « taux d'emploi après une période de formation », « taux de placement », ou « durée moyenne du chômage après la formation ». Toutefois ces indicateurs ne suffissent pas à eux seul pour évaluer l'impact en terme de retour vers l'emploi puisque les meilleurs éléments entrent souvent dans les formations les plus efficaces (effet d'écrémage). On peut donc difficilement dire si le passage vers l'emploi à l'issue d'une formation est réellement un impact de la formation elle-même. Cela peut tout aussi bien être un simple effet de la qualité intrinsèque du stagiaire qui sort de formation. La quantification du taux d'insertion en emploi doit être effectuée à un horizon suffisamment éloigné (6, 12 ou 18 mois après la fin de la formation) et doit tenir compte de la durabilité de l'emploi. En toute hypothèse, on ne peut jamais garantir que la formation a été la cause directe et unique de l'insertion professionnelle. Inversement, dans une situation de pénurie d'emplois, le fait de ne pas trouver un emploi suite à une formation ne doit pas être interprété comme un échec du programme. Une formation qui a un faible taux de placement peut cependant avoir un Impact intermédiaire significatif en terme d'insertion des stagiaires dans des formations plus qualifiantes. Cet impact peut être suivi par un indicateur de « taux de transition » qui recense tous les stagiaires qui ont connu une amélioration de leur situation (insertion en termes de travail ou d'éducation) à l'issu de la formation. Beaucoup de travaux ne s'intéressent qu'à l'effet sur l'insertion mais il existe d'autres champs à considérer comme la socialisation au travail ou l'acquisition de rythmes et d'attitudes de travail. Certains effets sont parfois éloignés des objectifs initiaux. On cherche par exemple à insérer des chômeurs et on obtient que de nombreux inactifs se portent sur Il en résulte un accroissement du taux de chômage, mais l'effet sur l'emploi peut, en fait, se révéler positif. le marché du travail (effet d'appel). impact important intervient pour les entreprises ou les autres Un organisations (destinataires indirects) qui embauchent les individus formés et échappent ainsi à tout ou partie des coûts de formation internes inhérents au recrutement d'une personne non formée. Les impacts ultimes pour les entreprises sont difficiles à mesurer. On peut les concevoir de manière théorique : meilleure recherche et développement, meilleures démarches Indicateurs pour le suivi et l'évaluation de qualité, meilleure performance, croissance de la valeur ajoutée, etc. mais il est impossible de suivre aussi loin la trace des effets d'une formation. Dans le contexte de la formation, un bon indicateur peut être analysé par des graphiques et des rapprochements. Une répartition des individus dans les programmes  par sexe, par diplôme ou par situation professionnelle en dit très long sur le succès d'une formation et l'intérêt qu'elle suscite auprès des différentes catégories de publics. L'évolution de la « proportion des chômeurs dans la cohorte des stagiaires sortants » est un bon indicateur trop souvent oublié au profit d'indicateurs plus rapidement disponibles. Exemple 10 Financement de l'apprentissage d'un nouveau métier pour des chômeurs de longue durée Indicateurs de programme Indicateurs de contexte (en lien avec l'intervention (en lien avec l'ensemble du et ses effets) public visé) Indicateurs de réalisation Offre Volume de formation Nombre de Nombre de places de stage offertes (dont destinées aux femmes) Nombre de formations (métiers) offertes Nombre d'heures de stage délivrées (heures χ stagiaires) Nombre de stagiaires entrés Nombre de chômeurs de stagiaires entrés (dont femmes)  longue durée Taux de couverture Nombre de stagiaires entrés en pourcentage du nombre de chômeurs de longue durée dans la zone Indicateurs de results t Taux de succès Pourcentage de stagiaires sortis avec la capacité requise (dont femmes) Taux de placement immédiat Taux d'embauché en cours de formation (dont femmes) I n d i c a t e u rs d ' i m p a ct Taux de transition Taux de placement Taux de placement durable % de stagiaires qui ont accédé à une formation d'un niveau plus élevé, après 12 mois % de stagiaires employés après 12 mois % de stagiaires employés après 12 mois et qui sont toujours dans leur emploi après 24 mois (dont femmes) (1) Le chômage est de longue durée s'il a duré plus de 18 mois. Taux annuel de sortie du chômage de longue durée '" Formation Exemple 11 -Programme de certification pour des jeunes de faible niveau de qualification'1 ' Indicateurs de programme (en lien avec l'intervention et ses effets) Indicateurs de contexte (en lien avec l'ensemble du public visé) Indicateurs de réalisation Offre Nombre de places de formation proposées par le programme Indicateurs de résultat Adaptation de la formation Taux de réussite Indicateurs d'impact Pourcentage des places offertes qui correspondent à des secteurs en croissance Pourcentage des jeunes qui sont formés pour des secteurs en croissance Nombre de diplômés 1 nombre de stagiaires entrés (dont femmes) Nombre de stagiaires Nombre de stagiaires formés Nombre de jeunes ayant un formés (dont femmes) faible niveau de qualification Salaire des stagiaires embauchés Salaire mensuel moyen des stagiaires employés après 12 mois, (moyenne femmes / hommes) Salaire mensuel moyen des jeunes (1) Une personne - jeune » a moins de 25 ans. Elle a un niveau de qualification " faible » si elle n'a aucune des diplômes qui peuvent normalement s'obtenir à l'âge de 18 ans. On peut aussi se référer à la classification internationale des qualifications utilisée dans les enquêtes « force de travail ». Indicateurs pour le suivi et l'évaluation Exemple 12 -Aide aux entreprises pour l'adaptation des compétences de leurs salariés Indicateurs de programme (en lien avec l'intervention et ses effets) Indicateurs de contexte (en lien avec la zone aidée) Indicateurs de réalisation Activité de l'opérateur Nombre de projets préparés avec des entreprises candidates Nombre d'entreprises ayant un plan de formation dans la zone aidée Nombre d'entreprises aidées Nombre d'entreprises ayant reçu une aide à la formation Nombre de formations financées Nombre de salariés ayant reçu une formation de plus de 10 jours I n d i c a t e u rs de r é s u l t at Qualifications acquises Indicateurs d'impact Maintien de l'emploi Progression professionnelle Nombre de salariés ayant acquis une qualification dans des métiers en croissance Nombre ou % d'individus non-licenciés après 12 mois parmi ceux qui ont suivi la formation (dont % de femmes) Nombre ou % d'individus promus après 12 mois parmi ceux qui ont suivi la formation (dont % de femmes) Pourcentage annuel des salariés qui bénéficient d'une formation interne dans la zone aidée Nombre de licenciements dans la zone / an Les autres interventions qui ont un impact dans le champ Certaines interventions mêlent leurs effets à ceux de la formation, ceci étant particulièrement vrai au niveau national (par exemple : réduction de charges sociales pour les employeurs, aménagements fiscaux, prime forfaitaire à l'embauche ou toute combinaison de ces trois mesures financières en faveur de l'entreprise). La formation peut aussi se concevoir en lien plus étroit avec la croissance de la société de l'information Ainsi, une zone très périphérique peut accéder à des formations professionnelles grâce aux moyens de communication électronique. Disponibilité et collecte de données Seules les données de suivi - temporelles - qui permettent d'observer les individus dans le temps peuvent permettre la construction d'indicateurs cohérents. Aucune action de formation ne peut être uniquement évaluée par des indicateurs Instantanés pendant ou immédiatement après la formation. Des données de ce type sont inégalement accessibles et couvrent des Formation périodes inégalement longues suivant les pays mais, pour être pragmatique, il faut bien reconnaître q ue le coût de leur collecte est proportionnellement très faible par rapport au coût de la formation elle-même. En fonction de la complexité et de l'hétérogénéité du programme, les autorités responsables doivent faire un arbitrage entre une quantification exhaustive demandée aux opérateurs et une quantification réalisée sur la base d'enquêtes. L'Encadré 16 illustre le cas très spécifique où il est possible de collecter l'essentiel de l'information par l'intermédiaire des opérateurs. Encadré16 - Formation et enquête : proposition d'un schéma de collecte adapté Un schéma de collecte d'information consiste à faire remplir un questionnaire lors de l'entrée en formation. On peut même concevoir d'associer ce questionnaire à la procédure d'Inscription ou d'enregistrement lorsqu'il y en a une. On peut alors poser toutes les questions qui concernent le parcours jusque là et notamment les motivations et les aspirations des destinataires. Ces variables seront essentielles pour juger de la capacité de la formation à faire atteindre aux destinataires leur objectif. En outre, il est capital de faire remplir un autre questionnaire aux destinataires juste au moment de la sortie de formation. Cela permet de poser des questions sur le déroulement de la formation même si on pense que peu de choses peuvent être tirées de ces informations souvent empreintes d'enthousiasme si la formation s'est bien passée ou de rancœur sinon. Si un diplôme est délivré en fin de formation, on peut même faire remplir ces questionnaires avant l'examen final. Cela permet surtout de vérifier si les aspirations des destinataires ont changé. Au cours de la troisième phase de l'enquête : 6 à 24 mois après la sortie de formation, les indicateurs d'impact peuvent être quantifiés, éventuellement sur la base d'un échantillon d'anciens participants. On peut noter que cette enquête est longitudinale par construction mais que seule la troisième interrogation à un coût important. On utilise le mieux possible le fait que les destinataires sont captifs durant la phase de lancement de la formation et lorsqu'ils arrivent au bout. Toutes les questions d'opinion ont, en outre, du sens parce qu'elles sont posées au présent et les personnes Interrogées n'ont pas eu le temps de rationaliser leurs choix. Indicateurs clés Un certain nombre d'indicateurs clés se prêtent à la fois à des comparaisons entre interventions différentes et à des comparaisons avec d'autres programmes. Ils peuvent donc faire l'objet d'agrégation à l'échelle européenne. Indicateurs pour le suivi et l'évaluation Niveau Indicateur clé Ressources Réalisations Résultats Impacts Taux de consommation réelle des crédits (% des crédits alloués) Nombre de formations directement financées <" (dont femmes) Taux d'atteinte du public eligible'2', Heures de prestations, de formation, reçues par les destinataires (dont femmes)'31 % de stagiaires qui font partie d'un public prioritaire (par exemple, les jeunes sans emploi) Taux de placement durable'4· (% des destinataires qui sont employés après 12 mois, dont femmes) Taux de transition (% des destinataires dont l'insertion sociale s'est améliorée après 12 mois dont femmes) (1) Nombre d'entrées en stage ou nombre de stagiaires sortis. (2) Cet indicateur, également appelé taux de couverture, permet de montrer si l'effort de formation a été significatif ou non par rapport au problème à résoudre. Par exemple, on mesurera le pourcentage des individus qui étaient chômeurs de longue durée au début de l'année et qui ont été formés pendant l'année. (3) Le volume de fornation reçue (nombre d'heures χ stagiaires) permet de comparer l'importance réelle de l'effort de formation qui a été financé. (4) Le taux de placement durable est la mesure la plus fréquente, quoique très imparfaite, du succès des formations délivrées. En vue de faciliter les comparaisons, la date de quantification doit être homogène. Pour en savoir plus. European Commission (1997), Key Figures on Vocational Training in the European Union. Luxembourg : Eurostat and CEDEFOR Grubb, W. N. and P. Ryan, (1997), Plain Talk on the Field of Dreams : The Roles of Evaluation for Vocational Education and Training, Geneva : International Labour Office, Training Policies Branch. 1RES (La revue de), 1995. 'Comparaison européenne des dispositifs d'insertion professionnelle des jeunes' in : La revue de TIRES, numéro 17, hiver. Schmidt, G. , O'Reilly, J. , Schömann, Eds (1996) International Handbook of Labour Market Policy and Evaluation. Edward Elgard Publishing Ltd, Cheltenham. Werquin, P. (1997), 'Dix ans d'intervention sur le marché du travail des jeunes en France, 19861996' in : Économie et Statistique, Volume 4 / 5,121306. Tourisme Les trois Fonds structurels interviennent dans le champ du tourisme sous la forme d'infrastructures, d'aides à la création ou à l'amélioration de l'hébergement touristique, de formation aux métiers du tourisme, ainsi que d'agro-tourisme dans les zones rurales. La plupart des programmes régionaux et certaines initiatives communautaires (LEADER par exemple ont un volet tourisme). Par ailleurs, les routes et les aéroports participent à l'attrait touristique d'un territoire. D'autres interventions communautaires notamment toutes celles qui concourent à l'amélioration de l'environnement et du développement durable contribuent aux dynamiques touristiques. Beaucoup de territoires en déclin rural ou industriel ont développé des stratégies d'investissement en matière touristique. L'impact économique de ces stratégies est quelquefois incertain et mérite d'être évalué avec attention. En particulier, il faut tenir compte du poids réel des différentes composantes de l'investissement touristique, l'hébergement représentant de loin la plus forte contribution à l'économie régionale (en moyenne 75% des investissements touristiques réalisés et 90% des emplois touristiques créés). L'intervention des Fonds structurels dans le champ du tourisme comporte des spécificités qu'il est important de rappeler. Les opérations aidées (hébergement, équipement, emploi) sont normalement petites, ce qui provoque un important éparpillement des actions. Les zones éligibles sont souvent des zones non urbaines où le nombre de sites aidés est important. Les opérateurs peuvent avoir des statuts très différents : particuliers, entreprises, autorités locales, organisations parapubliques. Interventions dans le champ du tourisme Indicateurs de ressources L'indicateur standard de « consommation réelle des crédits » est applicable au champ du tourisme. Lorsque cela est pertinent, il convient de faire apparaître les décompositions sectorielles des indicateurs de ressources. Cela est également valable pour les relatif de l'Investissement proposé dans le programme en matière de tourisme peut être comparé au poids relatif du tourisme dans les activités du territoire. indicateurs des catégories qui suivent. Ce poids la rubrique « tourisme » dans Indicateurs pour le suivi et l'évaluation Indicateurs de réalisation Un programme d'amélioration de l'offre d'hébergements ou de gîtes touristiques peut se réaliser sur l'initiative des particuliers ou d'une municipalité. Dans le premier cas, le particulier est le destinataire. Il reçoit une aide publique par l'intermédiaire d'un opérateur du programme. La construction du gîte est une décision du destinataire. Dans le second, on peut considérer la municipalité soit comme un opérateur - si elle attribue les aides à d'autres organismes ou à des particuliers - soit comme un destinataire - si elle intervient directement comme constructeur. Quel que soit le cas, la construction du gîte est ce que le programme finance. Il en résulte que celui-ci est une réalisation. Un indicateur de réalisation est le « nombre d'aides accordées ». Cet indicateur est éventuellement décomposé en particuliers pluriactifs et professionnels du tourisme, eux-mêmes décomposés en individuels, petites entreprises et grandes entreprises. Le terme entreprise devant se comprendre comme « unité économique », quel que soit son statut. D'autres indicateurs de réalisation sont le « montant des investissements effectués par les destinataires » ainsi que la capacité de ces investissements (par exemple, le nombre maximum de visiteurs / jour). Ces indicateurs sont lourde où le tourisme s'apparente à une importants car l'amortissement des équipements nécessite plus de 15 ans en général. industrie Les aides étant toujours attribuées par des opérateurs, les indicateurs de réalisation comprennent l'activité de ces opérateurs (ex : nombre d'études de marché effectuées, nombre de destinataires potentiels contactés, taux de sélection des projets). Indicateurs de résultat Les indicateurs de résultat portent sur l'augmentation de la qualité de l'offre touristique suscitée par une Intervention. La qualité se mesure, par exemple, par le respect de normes établies et la certification des gîtes. Dans les régions agricoles le « nombre d'agriculteurs dont la part de CA dû au tourisme est au moins égale à 30% » reflète la modification de la structure de l'offre à travers la diversification des activités des agriculteurs. Indicateurs d'impact Les indicateurs d'impact spécifiques mesurent la fréquentation touristique des équipements ou hébergements aidés (nombre de nuitées par an, Tourisme nombre de visites par an, taux de remplissage selon les périodes de l'année). La fréquentation doit être mesurée après un temps suffisant (12 mois paraît être un minimum). Les indicateurs de fréquentation doivent être interprétés avec précaution car, sur les marchés du tourisme, les clientèles sont fluctuantes. Le contexte général économique, le temps, révolution des loisirs, les concurrences des destinations lointaines et bon marché, tout concourt à rendre le marché instable. Il peut être intéressant de décomposer la fréquentation selon l'origine des visiteurs (origine Intra ou extra nationale) afin d'apprécier la contribution du programme à l'attractivité touristique de la région. L'indicateur de valeur ajoutée (en pratique la valeur ajoutée est la somme des salaires et des bénéfices) peut s'appliquer aux unités économiques aidées dans le champ du tourisme. Il s'agit généralement de la valeur ajoutée brute générée par le projet en euros / an. L'indicateur de valeur ajoutée est intéressant car il mesure ce qui relève véritablement du développement économique. Il permet donc d'insister sur ce qui est susceptibles de faire basculer le territoire d'une activité touristique vers une économie touristique. L'indicateur de « nombre d'emplois créés / sauvegardés » s'applique au tourisme sous réserve de prendre en compte le caractère saisonnier de l'activité (estimé en termes d'emploi-jour par exemple). La qualification des emplois créés mérite également d'être évaluée car l'économie touristique exige un personnel formé et adaptable. Le cadre naturel, les sites ne suffisent plus, l'écart avec les territoires concurrents se fait et se fera de plus en plus par rapport au niveau de formation des structures d'accueil. Les indicateurs de valeur ajoutée et d'emploi peuvent être rapprochés des indicateurs de contexte tels que la valeur ajoutée moyenne par emploi dans le secteur touristique. Indicateurs pour le suivi et l'évaluation Exemple 13 - Aide à la création et à l'amélioration des hébergements Indicateurs de programme (en lien avec l'intervention et ses effets) Indicateurs de contexte (en lien avec la zone aidée) Indicateurs de réalisation Activité de l'opérateur Nombre de destinataires Capacité Nombre de contacts avec les destinataires potentiels Nombre d'unités économiques aidées Nombres de lits créés, améliorés Indicateurs de résulte t Qualité Diversification Indicateurs d'impact Fréquentation Attractivité touristique % des lits créés ou améliorés qui bénéficient d'un label Nombre d'agriculteurs dont la part de CA dû au tourisme est au moins égale à 30% Nombre de nuitées par an et par lit dans les hébergements aidés après un an Pourcentage des nuitées réalisé avec des touristes étrangers à la zone Durée des séjours Nombre de nuitées pour un séjour moyen dans les hébergements aidés Nombre total d'unités d'hébergement touristique % des lits qui bénéficient d'un label Evolution des consommations d'électricité sur le territoire durant la période touristique Nombre de vols charters dans les aéroports régionaux Nombre de nuitées pour un séjour moyen sur le territoire Valeur ajoutée Emplois créés Valeur ajoutée générée en euros / an / lit après un an Valeur ajoutée moyenne en euros / an / lit Nombre net d'emplois créés (dont % occupé par les femmes) Nombre d'emplois touristiques Tourisme Exemple 14 -Aide à la création d'équipem« ;nts (musées, parcs d'attraction etc. ) Indicateurs de programme (en lien avec l'intervention et ses effets) Indicateurs de contexte (en lien avec la zone aidée) Nombre total d'équipements touristiques I n d i c a t e u rs de r é a l i s a t i on Activité de l'opérateur Voir Exemple 13 Nombre de destinataires Voir Exemple 13 Capacité Nombre maximum de visiteurs / jour Indicateurs de résuit: It Durée de visite Coût de visite Indicateurs d'impact Fréquentation Attractlvité touristique Temps de visite normale de l'équipement (en heures) Coût moyen de visite de l'équipement (en euros par personne) Nombre de visites par an dans les équipements aidés % des visites réalisé avec des touristes étrangers à la zone Valeur ajoutée Valeur ajoutée générée en euros / an Valeur ajoutée générée dans le secteur touristique en euros / an Emplois créés Voir Exemple 13 Voir Exemple 13 Les autres interventions ayant un impact dans le champ intensif plus polluant, Parmi les multiples interventions qui peuvent avoir un impact en matière de tourisme, on citera : la dépollution, le nettoyage des rivières et des plages, l'amélioration de la qualité de l'eau et de l'air, l'élevage dans les zones de l'élevage montagne qui entretient les prairies, l'entretien des chemins, extensif opposé à l'élevage l'amélioration des bâtiments d'élevage, l'entretien des zones maraîchères, le nettoyage des friches industrielles, la reconquête par le végétal des anciens sites miniers et sidérurgiques, la restauration du patrimoine urbain et rural", les opérations de désenclavement, l'amélioration des liaisons avec les régions périphériques, les routes, voies ferrées, voies maritimes et aéroports, les infrastructures portuaires, les réseaux locaux de transport, les interventions en matière culturelle de type RAPHAEL, KALEIDOSCOPE. L'exemple qui suit appartient au champ de la formation. Indicateurs pour le suivi et l'évaluation Exemple 15  Financement de formations aux langues Indicateurs de programme (en lien avec l'intervention et ses effets) Indicateurs de contexte (en lien avec la zone aidée) Indicateurs de réalisation (champ de la formation) Quantité Nombre de places proposées Nombre d'emplois touristiques Nombre de stagiaires entrés Nombre de stagiaires entrés (dont femmes) Volume de formation Nombre d'heures de formation délivrées (heures χ stagiaires) Indicateurs de résultat (champ de la formation) Nombre de stagiaires formés Taux de satisfaction Nombres de stagiaires sortis avec la capacité requise (dont femmes) % des stagiaires satisfaits ou très satisfaits Indicateurs d'impact Utilisation Proportion des stagiaires qui utilisent les capacités acquises dans une activité touristique de la zone après un an Disponibilité et collecte de données sur la formation Les statistiques pour les indicateurs de contexte sont à collecter auprès des organismes et des autorités publiques locaux, régionaux et nationaux. Dans l'avenir, le principal effort devrait porter sur la recherche des éléments permettant de mieux mesurer les dimensions économiques du tourisme, par exemple, en observant les évolutions de chiffres d'affaires des activités directement ou indirectement rattachées à cette activité. C'est le cas actuellement dans les regroupements en centres de gestion des hôteliers. Le tourisme est un secteur d'activité où beaucoup de statistiques ne sont pas comparables sans un travail d'analyse des conditions de la collecte des données. Par exemple, en matière de « fréquentation touristique », l'hébergement utilise la notion de « séjour vendu » ou de « nuitée », les offices de tourisme le nombre de personnes qui sont rentrées dans leurs locaux, les parcs naturels le nombre de véhicules dans le parc obtenu par comptage routier et multiplié par un nombre moyen de personnes par voiture. Pour cet indicateur il faudrait proposer à tous les territoires concernés une grille d'analyse et des critères définissant la fréquentation. Tourisme Indicateurs clés Un certain nombre d'indicateurs clés se prêtent à la fois à des comparaisons entre interventions différentes et à des comparaisons avec d'autres programmes. Ils peuvent donc faire l'objet d'agrégation à l'échelle européenne. Niveau Ressources Réalisations Impacts Indicateur clé Taux de consommation réelle des crédits (% des crédits alloués) Nombre d'unités économiques qui ont reçu une aide directe ou une prestation grâce au programme (dont grande, moyenne, petite, individuelle) Nombre d'unités économiques nouvelles (créées depuis moins d'un an) qui ont reçu une aide directe ou une prestation grâce au programme (dont grande, moyenne, petite, Individuelle) Valeur ajoutée générée (euros / an / salarié) Emplois nets créés ou maintenus (en équivalant temps plein dont % occupé par les femmes) Pour en savoir plus. Ministre du Tourisme (1996), 'Prospective et Tourisme' <n Les cahiers espaces du Ministère du Tourisme France, Décembre. Guesnier, B. (1996), Le patrimoine, une valorisation touristique à haut risque. Paris: Institut de Prospective du Tourisme et Fondation Auguste Escoffier. Pêche Les interventions structurelles dans le domaine de la pêche visent à renforcer le secteur qui traverse une longue période de restructuration résultant de la nécessité accrue de réduire une pêche excessive par rapport aux réserves naturelles. L'objectif global est d'accélérer l'adaptation structurelle de l'industrie de la pêche et de permettre l'émergence d'une industrie de la pêche européenne viable. Les interventions sont financées par l'Instrument financier d'orientation de la pêche (IFOP), créé en 1993. Cet instrument a été conçu dans le but de rassembler toutes les mesures structurelles orientées vers la pêche, et en particulier celles concernant la promotion et la commercialisation des produits de la pêche et de l'aquaculture. Les interventions dans ce champ incluent le soutien financier à la restructuration de la flotte de pêche, telle que les aides au désarmement de bateaux de pêche, à la reconversion ou à la retraite anticipée des pêcheurs. D'autres interventions directement associées à la pêche sont notamment la modernisation des flottes et des installations portuaires. L'initiative communautaire PESCA, qui a pour objectif d'atténuer les conséquences sociales et économiques de la restructuration en favorisant la diversification des activités économiques, constitue une autre source de financement. La diversification est encouragée à travers des subventions soutenant l'investissement productif, la fourniture de services aux PME (gestion, transfert de technologie, marketing, contrôle qualité, etc. ) et des aides au tourisme (attractions touristiques, navigation de plaisance et autres activités de loisirs). Interventions dans le champ ♦ Indicateurs de ressources Les indicateurs de ressources standard peuvent être détaillés pour fournir des informations sur les interventions visant : la réduction de la capacité de pêche, l'amélioration des conditions de traitement et de commercialisation, le développement de l'aquaculture, la modernisation des installations portuaires et les mesures d'aide à la reconversion, à la création de nouvelles entreprises, etc. Indicateurs pour le suivi et l'évaluation Indicateurs de réalisation Pour les subventions ciblées sur la réduction de la taille de la flotte, les indicateurs de réalisation standard sont focalisés, en premier lieu, sur les activités des opérateurs (par exemple nombre de réunions d'information avec les propriétaires de chalutiers, nombre de sessions de conseil avec les pêcheurs, etc. ). Dans un deuxième temps, ils estiment les conséquences tangibles de l'aide, en particulier le tonnage des bateaux de pêche désarmés. Le nombre d'anciens pêcheurs recevant une aide compensatoire est également un indicateur de la réduction des activités de pêche. En ce qui concerne l'aide directe aux investissements, les réalisations peuvent être mesurées physiquement (par exemple la surface d'installation de stockage à basse température construite ou améliorée, la capacité de production supplémentaire dans le secteur de l'aquaculture, etc. ). Les indicateurs de contexte fournissent des informations sur la capacité de pêche nationale ou régionale : la taille de la flotte de pêche et son taux de désarmement. Indicateurs de résultat Les résultats des interventions conçues pour réduire la capacité de pêche et la main d'oeuvre peuvent être estimés en fonction des prises des bateaux désarmés au cours de leur dernière année de service et de la reconversion des pêcheurs (le nombre d'anciens pêcheurs travaillant dans les secteurs de l'aquaculture et du tourisme, par exemple). Pour la modernisation des infrastructures portuaires, les indicateurs doivent se concentrer sur les facteurs qui augmentent le potentiel d'activité à la fols côté navire (meilleure manutention, meilleur temps de déchargement, etc. ) et côté port (plus grande capacité et meilleure qualité de l'entreposage, chambres froides, etc. ) Les indicateurs de contexte fournissent des informations telles que la taille des quota nationaux de pêche et le nombre total de prises ventilées par espèces dans les différentes zones de pêche correspondantes. Indicateurs d'impact Le type d'indicateurs d'impact à utiliser dépend de l'objectif de l'intervention. Lorsque les mesures visent la diversification de l'économie de base locale, la reconversion des anciens pêcheurs ou la modernisation l'utilisation d'indicateurs socio- des infrastructures, elles nécessitent Pêche les emplois créés ou maintenus (en ETP), les économiques couvrant entreprises créées, l'emploi des anciens pêcheurs reconvertis, le chiffre d'affaires, la valeur ajoutée (les paies et les salaires plus les bénéfices), etc. Les la préservation des ressources se concentrent sur l'importance des prises, ventilées par espèces de poissons. interventions visant directement les activités de pêche et infrastructures Dans le cas des interventions visant à moderniser portuaires, les effets des indicateurs d'impacts doivent saisir améliorations sur les niveaux de trafic, les prises et les conditions du port (meilleure hygiène, réduction du nombre d'accidents, etc. ). les les Selon l'objectif de l'intervention, la zone pertinente à retenir pour les indicateurs de contexte peut être soit le port, soit la zone ou la région eligible (pour les Indicateurs socio-économiques tels que les emplois ou la valeur ajoutée) soit la zone de pêche (pour les indicateurs d'environnement tels que la préservation des réserves de poissons). Indicateurs pour le suivi et l'évaluation Exemple 16 - Subventions pour les exploitations aquacoles Indicateurs de programme (En lien avec l'intervention et ses effets) Indicateurs de contexte (En lien avec la zone aidée) I n d i c a t e u rs de r é a l i s a t i on Nombre de destinataires Nombre d'exploitations recevant des subventions Capacité de production Capacité supplémentaire des exploitations aidées (tonnes / an) Production totale dans la zone (tonnes / an) Indicateurs de resulti It Effet de levier Reconversion Indicateurs d'Impact Investissement complémentaire par les exploitations destinataires Nombre d'anciens pêcheurs investissant dans l'aquaculture Production Production supplémentaire Prise d'espèces similaires Valeur ajoutée Productivité de la main d'osuvre Emploi direct des exploitations destinataires dans les champs de pêches après 12 mois (tonnes / an) concernes (tonnes / an) Valeur ajoutée dans les exploitations destinataires après 12 mois Valeur ajoutée générée dans la région / secteur Valeur ajoutée des exploitations par employé après 12 mois Valeur ajoutée moyenne par employé dans la zone / dans le secteur Nombre d'emplois nets maintenus ou créés dans les exploitations destinataires après 12 mois Nombre d'emplois dans la zone / dans le secteur Pêche Exemple 17 - Subventions pour le désarmement des bateaux de pêche Indicateurs de programme (En lien avec l'intervention et ses effets) Indicateurs de contexte (En lien avec la zone de pêche concernée) Indicateurs de réalisation Activité de l'opérateur Nombre de propriétaires de navires contactés Tonnage de la (lotte Tonnage des bateaux de pêche désarmés Tonnage de la flotte de pêche dans la zone de pêche concernée Indicateurs de résultat Réduction de la de pêche Indicateurs d'impact Stocks de poissons Durabilità Prises des bateaux désarmés au cours de leur dernière année d'activité (tonnes I an / espèces) Total des prises par espèces capacité dans les zones de pêches concernées (tonnes / an) Stock estimé dans la (les) zone(s) de pêche concernée(s) (milliers de tonnes par espèce) % de stocks péchés au-dessus du MBAL"1 zone de pêche concernée (1) Le MBAL (Minimum Biological Acceptable Level, niveau biologique acceptable minimum) est une estimation du niveau de stock adulte d'une espèce. En deçà de ce niveau, il y a un risque accru d'effondrement du potentiel de reproduction de l'espèce. Des pourcentages élevés de stocks péchés sous le MBAL indiquent un risque accru d'appauvrissement des ressources. Indicateurs pour le suivi et l'évaluation Exemple 18 - Modernisation d'un port de pêche Indicateurs de programme (En lien avec l'intervention et ses effets) Indicateurs de contexte (En lien avec la zone aidée) Indicateurs de réalisation Avancement Capacité Conformité avec la durée du projet Taux de réalisation Capacité portuaire construite ou réhabilitée (en nombre de bateaux et de tonnes) Indicateurs de résulte t Rotation : Durée moyenne de rotation des navires Indicateurs d'impact Trafic Prise Activité commerciale Amélioration de l'hygiène Valeur ajoutée Emploi Tonnage des bateaux utilisant le port après un an Prises ramenées à terre (tonnes / an / espèce) Surlace terrestre (en m2' d'unités portuaires achetées ou louées par des courtiers, grossistes, etc. Réduction du nombre d'incidents associés à un non-respect de la réglementation sur l'hygiène Valeur ajoutée générée dans la zone portuaire Valeur ajoutée associée à l'industrie de la pêche dans la ville / zone Nombre d'emplois créés ou maintenus dans la zone portuaire (en ETP. dont ceux occupés par des femmes) Nombre totale d'emplois dans l'industrie de la pêche (en ETP, doni ceux détenus par des femmes) Les autres interventions ayant un impact dans le champ De nombreuses interventions liées à d'autres champs sont susceptibles de produire des effets dans le champ de la pêche et de l'aquaculture. Une station d'épuration, par exemple, qui met fin au rejet direct des eaux usées sur la côte, contribuera à la qualité des plages et donc facilitera les efforts de diversification de l'économie locale vers le tourisme. Elle peut également contribuer à la diversification des activités économiques en permettant le développement de l'aquaculture (mytiliculture, etc. ). On la mise en place de systèmes d'échange de peut également citer données les usines de les propriétaires de chalutiers, transformation et les grossistes pour améliorer l'efficacité du marché local. De même, la construction d'une nouvelle liaison routière avec le les coûts de réseau autoroutier national peut avoir un impact sur reliant Pêche transport des entreprises locales qui transforment le poisson réceptionné au port ou améliorer l'accès touristique d'une région auparavant mal desservie. L'exemple cidessous est celui de formations partiellement utilisées pour la reconversion des pêcheurs. Ces formations peuvent être ciblées sur l'acquisition de compétences nécessaires pour se mettre à son compte (plans d'entreprise, comptabilité, fiscalité, subventions, etc. ). Exemple 19  Formations suivies par des pêcheurs en reconversion Indicateurs de programme (En lien avec l'intervention et ses effets) Indicateurs de contexte (En lien avec la zone aidée) Indicateurs de réalisation (dans le champ de la formation) Qualité Nombre de qualifications reconnues disponibles Volume de formation Nombre d'heures de stage (heures Couverture χ stagiaires) Nombre d'anciens pécheurs suivant les cours de formation Indicateurs de résultat (dans le champ de la formation) Taux de réussite % de stagiaires terminant la formation Taux de satisfaction % de stagiaires satisfaits ou très satisfaits de la formation reçue Nombre total de stagiaires potentiels Indicateurs d'impact Reconversion % de participants anciens pêcheurs occupant un emploi dans un secteur autre que la pêche après 12 mois % d'anciens pêcheurs au chômage dans la zone Disponibilité et collecte des données Comme pour les autres champs examinés dans le présent ouvrage, les données de réalisations et de résultats doivent être systématiquement collectées par les opérateurs via leurs systèmes de suivi. Lorsqu'il y a coflnancement des projets d'investissement, les opérateurs doivent s'efforcer de collecter les données sur les investissements de leurs partenaires du secteur privé afin de mesurer les effets de levier potentiels. Les données relatives aux impacts doivent être collectées par des enquêtes Impliquant les destinataires et, plus largement, la population. Alors que le suivi des destinataires qui quittent la région après avoir bénéficié d'une reconversion peut poser certains problèmes, les impacts d'autres interventions sont généralement très localisés géographiquement. Indicateurs pour le suivi et l'évaluation En ce qui concerne les indicateurs de contexte relatifs aux ressources de la pêche, les estimations de stocks de poissons et le MBAL sont réalisés par le Conseil international pour l'Exploration de la mer (CIEM). Elles sont basées sur les données disponibles sur les prises internationales, sur l'effort de pêche et sur les estimations de bateaux de recherche sur le niveau des stocks. Lès ministères de l'agriculture et de la pêche des différents pays fournissent les données nationales sur les prises. Eurostat publie un rapport annuel statistique consacré à la pêche. Indicateurs clés Les indicateurs clés présentés ci-dessous se prêtent à la fois à des comparaisons entre interventions différentes et à des comparaisons avec d'autres programmes. Ils peuvent donc faire l'objet d'agrégation à l'échelle européenne. Niveau Indicateur clé Ressources Taux de consommation budgétaire (% des crédits alloués) Réalisations Résultats Impacts Nombre d'heures de service (formation, conseil) reçues par les destinataires recevant une assistance ou des Nombre d'individus services directs suite au programme (dont homme / femme) Nombre d'unités économiques (entreprises, propriétaires de bateaux de pêche, exploitations aquacoles, etc. ) recevant des services ou une aide directe suite au programme Nombre de nouvelles unités économiques recevant une aide directe ou des services suite au programme Taux de satisfaction (% de destinataires satisfaits / très satisfaits par les services fournis) Taux de réussite immédiate (% de destinataires n'ayant plus besoin de services après avoir participé au programme) % de destinataires ayant un emploi après 12 mois % de nouvelles entreprises aidées toujours actives après 12 ou 36 mois Valeur ajoutée brute (après 12 mois en termes d'euro / an / employé) Pêche Pour en savoir plus. Commission européenne (1994), Etude comparative et intégration des dans le secteur de la pêche et de Luxembourg: Office des données socio-économiques l'aquaculture publications officielles des Communautés européennes. la Communauté. dans Department of the Environment (1996), Indicators of Sustainable Development for the United Kingdom. London: HMSO. European Commission (1994), Employment the industries of UK, Denmark and Portugal. Luxembourg: fishing Official Publications Office of the European Commission. impact assessment in Eurostat (1997), Pêche - Statistiques annuelles. Luxembourg: Eurostat. OECD (1997), Review of Fisheries in OECD Countries 1995. Paris: OECD. R e c h e r c he et D é v e l o p p e m e nt T e c h n o l o g i q ue les aides et Les interventions structurelles dans le champ de la Recherche et du Développement Technologique (RDT) comprennent l'aide aux activités de RDT dans les entreprises, en particulier les PME, à travers la mise en place les prêts au de parcs scientifiques et technologiques, développement de nouveaux produits et procédés, la fourniture de services tels que des audits technologiques, les conseils d'experts et la création de sources de données partagées (par exemple pour donner aux entreprises la possibilité de trouver des partenaires adaptés dans d'autres pays européens). Elles concernent également la création ou le renforcement d'instituts de recherche, de structures universitaires et de laboratoires publics, l'aide à des projets de recherche, le financement de chercheurs la reconversion de travailleurs. Plus individuels et récemment, afin de favoriser le transfert de technologie vers l'industrie, les interventions tendent de plus en plus à encourager les liens entre les organisations de recherche et les entreprises, et à développer la capacité des PME à acquérir et utiliser au mieux les nouvelles technologies. la formation ou La finalité des interventions dans ce champ est de promouvoir la croissance économique et l'emploi par le développement de nouvelles activités basées sur un progrès technologique durable. Durable signifie ici capable de créer la capacité une dynamique positive et qui s'auto-intensifie entre d'innovation, la compétitivité et la croissance économique. Pour cela, les interventions ont généralement pour but d'aider les entreprises et les travailleurs d'une zone à s'adapter aux opportunités offertes par l'évolution technologique et à en tirer parti. Ceci Implique de créer et d'adapter les infrastructures nécessaires, de fournir une aide à la formation et à l'enseignement, de promouvoir la collaboration entre chercheurs quand cela est possible et d'encourager les acteurs économiques d'une région à faire un pas vers la production de services et de produits de haute technologie et à forte valeur ajoutée. Si le FEDER est la principale source de financement, tous les Fonds structurels sont aussi impliqués dans le financement des interventions de interventions sont également soutenues par la plupart des RDT. Ces initiatives communautaires, dans le développement technologique représente une condition préalable majeure pour atteindre leurs différents objectifs. la mesure où La RDT présente différentes particularités qui déterminent les systèmes la d'indicateurs utilisés pour évaluer interventions. Premièrement, les Indicateurs pour le suivi et l'évaluation fortement concentrée dans un petit nombre capacité de RDT est d'entreprises, de laboratoires et d'universités qui ont tendance à être regroupés dans et autour des capitales et de quelques pôles régionaux présentant un fort dynamisme économique. En outre, la RDT est polarisée, sur le plan international, sur un petit nombre de nations industrielles. La réussite de la RDT dépend en grande partie de la coopération entre entreprises, y compris transfontalière, entre instituts et entreprises et entre instituts. La diffusion des résultats et le transfert de technologie doivent avoir lieu si l'on veut que la RDT ne bénéficie pas uniquement aux instituts et aux entreprises qui la réalisent, mais également à la région dans laquelle ils se trouvent. Les résultats de la RDT ne concernent pas uniquement les produits et les services, mais aussi les connaissances et les savoir-faire, dont les chercheurs et les équipes de chercheurs sont les principaux dépositaires. Ces éléments « intangibles » sont également des intrants dans le processus de RDT. Enfin, une grande partie de la RDT est réalisée par des organismes publics (essentiellement des centres de recherche universitaires et des laboratoires publics) et constitue généralement un apport pour la RDT industrielle des entreprises. Interventions dans le champ Indicateurs de ressources La distribution des ressources financières entre les projets du secteur privé et du secteur public donne une indication sur la capacité des entreprises d'une région à absorber le financement de la RDT. Si le secteur privé n'utilise qu'une faible partie de ce financement, cela peut signifier que les entreprises n'ont qu'une capacité limitée pour réaliser leur propre RDT ou bénéficier de la RDT réalisée par les centres de recherche universitaires, les laboratoires et les institutions associées. La part des ressources financières consacrées à des projets innovants qui ne sont pas des projets de transfert de technologie institut-entreprise ou internationaux / inter-régionaux donne une indication de la capacité des entreprises à acquérir des technologies externes. Les indicateurs de ressources doivent être conçus de façon à refléter cette réalité. Indicateurs de réalisation Les réalisations des Interventions de RDT peuvent être des infrastructures, des services aux entreprises ou une aide à la recherche. Dans le premier cas, le suivi est centré sur les Indicateurs physiques informant sur le nombre et la surface des parcs de développement de haute technologie ouverts ou sur la Recherche et Développement Technologique surface d'installations spécialisées, généralement fournies pour les petites entreprises de haute technologie. Dans le secteur public, les indicateurs concernent la surface au sol des laboratoires et des centres de recherche, la quantité d'équipements impliqués (par exemple le nombre d'ordinateurs, etc. ). En ce qui concerne les services, les indicateurs sont associés à la fois à l'élément physique du service (par exemple le nombre d'experts certifiés et de conseils fournissant des audits de technologie, des diagnostics et d'autres services aux entreprises, etc. ), au niveau de l'activité de service (par exemple le nombre de contacts entre les opérateurs et les destinataires d'un programme) et au volume de services fournis (par exemple le « nombre d'heures passées sur des audits technologiques », etc. ). Indicateurs de résultat La plupart des avantages résultant de la RDT n'apparaissent qu'après plusieurs mois, voire des années. Pour cette raison, il n'est pas facile de concevoir des Indicateurs de résultats mesurant les effets immédiats. Dans le cas d'infrastructures de RDT tels que les parcs scientifiques, les indicateurs de résultats peuvent informer sur le rapport qualité/coût des équipements, du point de vue des utilisateurs potentiels. En ce qui concerne les services, les indicateurs de résultats mesurent la satisfaction des destinataires. Il est également intéressant d'évaluer dans quelle mesure le service fourni correspond aux besoins des entreprises locales. Le montant des fonds privés investis dans les projets aidés (effet de levier) constitue un indicateur de l'intérêt des entreprises locales. La proportion de destinataires qui lancent leur première activité de RDT avec l'aide du programme est également un indicateur intéressant. L'un des problèmes des interventions structurelles dans le champ de la RDT est que les ressources tendent à se concentrer sur les organismes de recherche publics, parce que le faible niveau de départ des entreprises en matière de RDT limite leur capacité à lancer des projets de RDT pour absorber les fonds disponibles. Ceci creuse encore le fossé qui peut exister entre l'offre et la demande de technologie. Le rapport BERD / GERD3 est un indicateur de contexte de l'intensité de la RDT industrielle qui reflète la capacité du secteur privé à entreprendre la RTD ou à absorber son 3 Business Expenditure on Research and Development, (dépenses de recherche & développement des entreprises) Gross Domestic Expenditure on Research and Development, (dépenses Intérieures brutes de recherche & développement) Indicateurs pour le suivi et l'évaluation financement. Le « nombre de chercheurs (total, privé, public) pour 1 000 employés (ETP) » fournit des informations contextuelles équivalentes. Il existe d'autres indicateurs de contexte, tels que la RDT exprimée en pourcentage des exportations et en pourcentage du PIB. le « nombre En ce qui concerne, l'aide au transfert de technologie, d'entreprises aidées achetant des brevets, des licences ou participant à des opérations de R&D en collaboration avec des entreprises étrangères » est un indicateur des transferts de technologie transfrontaliers formels. Le pourcentage de projets parvenant à un stade relativement proche de la commercialisation (c'est-à-dire un an ou moins) peut donner une indication de la proportion d'avantages économiques potentiels du programme. En matière de recherche publique, les résultats des interventions d'aide individuelle aux chercheurs peuvent être mesurés à partir du nombre de chercheurs de troisième cycle universitaire qui mènent à bien leur programme de recherche et / ou obtiennent un doctorat. Indicateurs d'impact Dans le champ de l'évaluation de la RDT des institutions publiques, l'usage est de se concentrer sur des indicateurs tels que le nombre de doctorats et sur des mesures bibliométriques, notamment les publications et les citations, pour mesurer la production de connaissances. Toutefois, les interventions structurelles dans le champ de la RDT mettent à présent de plus en plus l'accent sur le développement de la capacité de RDT de l'industrie régionale plutôt que sur l'aide à la recherche menée plus en amont par les instituts. En outre, les connaissances produites par les instituts de recherche et les universités enrichissent le stock mondial de connaissances du domaine public et ne contribuent pas directement au développement économique de la région et à la cohésion sociale. Compte tenu de ces circonstances, les indicateurs reflétant une logique universitaire plutôt qu'industrielle sont d'un usage limité. Les indicateurs d'impact des interventions structurelles qui soutiennent réellement les activités en amont doivent par conséquent se concentrer sur des domaines tels que le développement des ressources humaines, la collaboration industrie-université et la production de produits et de services potentiellement commercialisables. Le « nombre d'accords de coopération de R&D entre institutions et entreprises » et le « nombre de diplômés du troisième cycle employés dans les entreprises » sont des indicateurs de l'effort de collaboration. Les impacts des projets publics et Recherche et Développement Technologique des projets de collaboration aidés peuvent être mesurés à partir du nombre de prototypes ou d'unités de présentation produites et du nombre de brevets et de licences vendus. En ce qui concerne l'aide à la RDT industrielle, les Interventions sont orientées vers l'innovation et l'acquisition de technologie, qui peuvent être mesurées en utilisant le nombre de nouveaux produits ou procédés commercialisés par l'entreprise destinataire qui intègrent la technologie acquise. l'emploi peuvent être estimés en utilisant Les impacts directs sur le « nombre de postes de R&D créés ou maintenus dans l'entreprise » et la « proportion de personnel de R&D par rapport à la main d'œuvre totale (ETP) ». Compte tenu de la longueur des délais de réalisation entre la recherche, le développement et la commercialisation d'une innovation, les indicateurs d'impacts doivent souvent être basés sur les prévisions des destinataires. indicateurs pour le suivi et l'évaluation Exemple 20 - Aide à un parc scientifique et technologique pour les PME Indicateurs de programme (En lien avec l'intervention et ses effets) Indicateurs de contexte (En lien avec la zone aidée) Indicateurs de réalisation Quantité Surface (ha) de parc S&T"1 Surface au sol disponible (m2) sur le parc Surface totale (ha) des parcs S&T de la zone Surface au sol disponible (m2) des parcs S&T Indicateurs de résultat Coût Attrait scientifique Indicateurs d'impact Occupation Travail en réseau Emploi direct Coût d'installation d'une petite entreprise de haute technologie121 (euro / an /m2) Nombre de chercheurs travaillant à proximité131 du parc Nombre de petites entreprises de haute technologie installées dans le parc après un an/trois ans Nombre d'instituts de recherche dans le parc (dont provenance extérieure à la zone) Nombre de projets de collaboration impliquant au moins deux occupants du parc après un/trois ans Nombre de postes de R&D créés par des occupants du parc après un/trois ans (ETP dont ceux occupés par des femmes) Nombre de petites entreprises de haute technologie dans la zone Nombre de postes de RDT dans la zone pour 1 000 employés (1) scientifique et technologique (2) S'il n'existe pas de définition unifiée de l'entreprise de haute technologie, on peut la définir généralement comme une entreprise active dans un secteur de haute technologie. On peut identifier un secteur de haute technologie par des dépenses de R&D sensiblement supérieures à la moyenne en proportion du chiffre d'affaires, ou par un taux d'emploi de scientifiques et d'ingénieurs sensiblement supérieur à la moyenne. L'OCDE a également établi une typologie des secteurs utilisant la classification ISIC, classant les secteurs en haute, moyenne, moyenne à basse et basse technologie. (3) La proximité peut être définie comme une » distance inférieure à 5 km ». Cette définition peut être adaptée à la situation pratique. Recherche et Développement Technologique Exemple 21 - Aide financière et informationnelle à l'acquisition de technologie par les PME Indicateurs de programme (En lien avec l'intervention et ses effets) Indicateurs de contexte (En lien avec la zone aidée) Indicateurs de réalisation Nombre de destinataires Nombre de PME recevant de Taide Nombre de PME Volume de services techniques fournis Heures de conseil et de formation dispensées t Indicateurs de results Effet de levier Indicateurs d'impact Transfert de technologie interne'2' Transfert de technologie externe131 Acquisition de technologie Impact économique Investissements sous forme d'acquisition de technologie par les entreprises destinataires de l'aide financière Ratio BERD/GERD"! Nombre d'accords de collaboration entre institutions de recherche et entreprises aidées après un an Nombre d'entreprises aidées achetant des brevets, des licences ou concluant des accords de collaboration avec des entreprises étrangères après un an Nombre de nouveaux produits ou procédés intégrant la technologie acquise commercialisés parles entreprises aidées après un an/trois ans % de chefs d'entreprises aidées déclarant que l'intervention a soulagé des contraintes en termes d'accès aux nouvelles technologies % de chefs d'entreprises de la zone déclarant que l'accès aux nouvelles technologies constitue une contrainte majeure Valeur ajoutée Valeur ajoutée générée après un / trois ans en euro / an Valeur ajoutée générée dans la zone par les PME (1JBERD - Business Expenditure on Research and Development, Dépenses de recherche et de développement des entreprises ; GERD - Gross Domestic Expenditure on Research and Development, Dépenses intérieures brutes de recherche et de développement. (2) Le transfert de technologie interne fait référence à des transferts au sein d'une zone ou d'un pays, généralement entre instituts de recherche et entreprises. (3) Le transfert de technologie externe concerne l'acquisition de technologies résultant d'activités de RDT par des entreprises extérieures à la zone ou au pays. Indicateurs pour le suivi et l'évaluation Exemple 22 - Aide à la recherche universitaire Indicateurs de programme (En lien avec l'intervention et ses effets) Indicateurs de contexte (En lien avec la zone aidée) Indicateurs de réalisation Activité de recherche Nombre d'étudiants chercheurs aidés (dont femmes) Nombre de projets de recherche employant des chercheurs aidés Indicateurs de résulta t Qualifications Travail en réseau Indicateurs d'impact Innovations potentielles"1 Nombre de chercheurs aidés menant à bien des programmes de recherche du troisième cycle et obtenant un doctorat Nombre de contacts et de collaborations avec des entreprises de la zone impliquant des chercheurs aidés % de diplômés du troisième cycle aidés recrutés par des entreprises de la zone Nombre de brevets déposés pour des innovations potentielles en cours de développement avec des partenaires du secteur privé, résultant d'une recherche de chercheurs aidés - après un/trois ans Nombre de chercheurs dans la zone pour 1 000 employés Nombre annuel de doctorats dans la zone Nombre de brevets déposés par des entreprises de la zone (1) Les innovations potentielles comprennent les prototypes, les unités de démonstration et les services en cours de développement. Les autres interventions ayant un impact dans le champ L'objectif central des Interventions structurelles dans le champ de la RDT est d'encourager une plus grande activité de RDT dans des régions où elle est faible et donc de réduire le fossé technologique entre ces régions et des régions plus dynamiques. Toutefois, la dynamique de la RDT est telle que les disparités, en termes de capacité, perdurent et que l'activité de RDT reste regroupée autour de certains pôles géographiques. Les interventions soutenant le développement de réseaux d'information et de systèmes de télécommunications améliorés (voir Société de l'information) peuvent aider à lutter contre cette tendance, dans la mesure où elles permettent aux instituts de recherche et aux entreprises éloignées géographiquement de concevoir des collaborations effectives et améliorent généralement les possibilités de travail en réseau. Recherche et Développement Technologique Disponibilité et collecte des données Les données de réalisations et de résultats obtenues par le suivi des projets peuvent être complétées par des données sur la satisfaction des destinataires fournis par les opérateurs. Les informations sur les entreprises leur taille, en nombre d'employés ou en chiffre doivent comprendre d'affaires, dans la mesure où l'amélioration de la capacité d'acquisition de technologie et d'investissement en RDT des PME est un objectif majeur des interventions. Les données doivent également fournir des informations sur les dépenses des entreprises en termes de RTD, de façon à pouvoir estimer les effets de levier des interventions. Comme pour les interventions plus générales visant les entreprises, les données relatives aux impacts pour les entreprises doivent être collectées au moyen d'enquêtes sur des échantillons et extrapolées pour permettre de tirer des conclusions générales. Etant donné que les Impacts en RTD se produisent à très long terme, il faut se baser dans une certaine mesure sur impacts estimés des les projections des entreprises quant aux interventions. Dans ce cas, les réponses des entreprises interrogées auront tendance à surestimer plutôt qu'à sous-estimer les impacts potentiels d'une intervention. Les indicateurs de contexte sont en relation avec l'état du système scientifique et technologique d'une ou de plusieurs réglons (par exemple nombre de doctorats, chercheurs post-doctorat, BERD, GERD, nombre d'employés en R&D, etc. ). Les données renseignant les Indicateurs de contexte sont généralement disponibles au niveau national, et des statistiques à jour sont également disponibles sur les dépenses de R&D et les applications de brevets au niveau national et au niveau régional, pour l'UE et l'Espace économique européen (EEE). Indicateurs clés Les indicateurs clés présentés ci-dessous se prêtent à la fois à des comparaisons entre interventions différentes et à des comparaisons avec d'autres programmes. Ils peuvent donc faire l'objet d'agrégation à l'échelle européenne. Indicateurs pour le suivi et l'évaluation Niveau Indicateur clé Ressources Taux de consommation budgétaire (% des crédits alloués) Réalisations Résultats Impacts Taux de sélection (1' (% de projets acceptés en termes financiers) Nombre d'heures de conseil expert destinataires reçues par les Taux de satisfaction (% de destinataires satisfaits/ très satisfaits par les services fournis) Effet de levier*21 (dépenses du secteur privé découlant du programme en conséquence du programme et en relation avec l'aide financière reçue) Valeur ajoutée / ventes générées (après 12/36 mois en termes d'euro/an/ employé)*3'(5> Emploi net(4) créé (ETP, dont ceux occupés par des femmes) après 12/36 mois (1 ) Le taux de sélection d'un projet fournit des informations sur la qualité des demandes d'aide et permet de tirer des conclusions sur la capacité d'absorption des régions faibles en RDT. (2) La stimulation de l'investissement du secteur privé est souvent un objectif implicite de certains types d'interventions, particulièrement pour la RDT. (3) C o m p te tenu des délais de réalisation importants des projets de RDT, les changements de valeur ajoutée et de chiffre d'affaires après 36 mois sont susceptibles d'être limités. (4) L'emploi créé par les interventions de RDT est plus facilement mesurable en termes de scientifiques et de techniciens. Les Impacts sur l'emploi dans d es domaines qui ne sont pas directement associés à la RDT sont susceptibles de se produire plutôt sur le moyen à long terme, et sont donc plus difficiles à mesurer. (5) C o m p te tenu des délais de réalisation importants des projets de RDT, le nombre d'innovations résultant d'une intervention est susceptible d'être limité, même après 36 mois. ·'. Pour en savoir plus. Archibugi, D. and Pianta, M. (1996), 'Innovation surveys and patents as technology indicators : the state of the art' in : Innovation, Patents and Technological Strategies. Paris : OCDE. Commission européenne (1998), 2ème Rapport européen indicateurs scientifiques et technologiques Office des publications officielles des Communautés européennes. les 1998. Luxembourg : sur Eurostat (1997), R&D Annual Statistics 1997. Luxembourg : Eurostat. Lundvall, B. -A. (ed. ) (1992), National Systems of Innovation : Towards a Theory of Innovation and Interactive Learning. London : Pinter. Recherche et Développement Technologique OECD (1994), The Measurement of Scientific and Technological Activities Proposed Standard Practice Experimental Development - Frascati Manual 1993. Paris : OCDE. for Surveys of Research : and OST (1996), Science & Technologie : Indicateurs 1996. Paris : Economica. Agriculture et d é v e l o p p e m e nt rural le champ de Les interventions structurelles dans l'agriculture et du développement rural sont très hétérogènes. De nombreuses mesures recoupent des mesures d'autres champs mentionnés au présent Volume. Quatre types d'interventions sont toutefois spécifiques à ce champ : (1) l'infrastructure rurale (par exemple réhabilitation de village, etc. ), (2) la diversification des exploitations agricoles (par exemple agrotourisme, vente à la ferme, nouveaux produits fermiers, labels, formation et conseil), (3) la rationalisation de la production (par exemple, investissement dans les exploitations, aide aux jeunes agriculteurs, retraite, transformation et commercialisation de produits agricoles), (4) l'aide à la production agricole peu intensive (par exemple reboisement, utilisation de terres favorable à l'environnement). Les interventions dans ce champ sont financées par le Fonds européen d'orientation et de garantie agricole (FEOGA) et le FEDER. les agriculteurs, interventions sont Les destinataires des les anciens agriculteurs et d'autres unités économiques des zones rurales. Les aides au secteur agricole et aux zones rurales se justifient pour plusieurs raisons. La demande de nourriture est stable alors que taux élevés de développement technologique ont entraîné une baisse de la population et de la densité rurales. Des alternatives doivent être mises en place et développées, en matière de revenu et d'emploi, pour les agriculteurs ainsi que pour les entreprises et leurs employés, dans les secteurs artisanaux et commerciaux associés. les Dans le champ de l'agriculture et du développement rural, les projets, pris individuellement, sont généralement très petits en termes de volume d'investissements et très nombreux. Les interventions sont souvent des mesures complexes construites sous locaux Incluant différents types de projets publics et privés. forme de programmes Interventions dans le champ Indicateurs de ressources indicateur de Les ressources peuvent être suivies à consommation budgétaire. la contribution nationale soit beaucoup plus Importante que ce qui était prévu dans le document de programmation. Dans ce cas, il est nécessaire de procéder à un suivi séparé des ressources selon leur origine européenne, nationale, régionale. Il arrive que l'aide d'un Indicateurs pour le suivi et l'évaluation ♦ Indicateurs de réalisation Les réalisations des interventions dans le domaine des infrastructures peuvent être mesurées en unités physiques : nombre d'usines de transformation et d'emballage construites, surface des villages réhabilités, etc. En raison de la grande hétérogénéité des projets, il est difficile de consolider les Indicateurs à un niveau plus élevé que celui des mesures, sauf à utiliser un taux de réalisation agrégé. Dans le cas général des subventions et des primes, les principaux indicateurs sont le « nombre d'unités économiques aidées » et le « nombre de ménages aidés ». Ces indicateurs peuvent être combinés avec les ressources financières et ventilés en catégories d'exploitations agricoles ou de ménages, et notamment groupes de revenus. ♦ Indicateurs de résultat Les destinataires peuvent généralement être identifiés sans grandes difficultés (habitants raccordés à un nouveau système de collecte des eaux usées, ou riverains d'une route réhabilitée, par exemple). La « proportion d'exploitations agricoles et de foyers aidés dans la zone ou le groupe défni » indique le degré de pénétration du programme dans le nombre total d'exploitations ou de foyers de la zone ou du groupe définis. Le « montant des dépenses privées supplémentaires engagées par les exploitations et les ménages ruraux en relation avec l'aide reçue » constitue un autre indicateur supplémentaire. Cet indicateur mesure « l'effet de levier ». En raison du plafonnement de l'aide, les investissements réels des agriculteurs peuvent être plus élevés que ceux indiqués sur les formulaires de demande. Les indicateurs de contexte sont ciblés, par exemple, sur la diversification des revenus des agriculteurs ou la composition de la population locale en termes d'âge et de sexe. ♦ Indicateurs d'impact A la différence des grands projets dans d'autres champs, les impacts sur le développement rural sont concentrés sur des territoires de petite taille. La diversification des activités a un impact direct sur les agriculteurs, en aidant à fournir de l'emploi nouveau et des opportunités de revenus proches de celles du secteur agricole. L'aide aux investissements destinés à améliorer la transformation et la commercialisation des produits agricoles a un impact indirect sur les exploitations. Toutefois, en raison du degré élevé de Agriculture et développement rural le pas concurrence dans nécessairement une augmentation des prix à la production ou des parts de marché. Associés à cette aide, les contrats de fourniture peuvent participer à la réduction des risques sur les revenus des agriculteurs. secteur alimentaire, elle n'entraîne Les mesures en faveur des infrastructures rurales ont un impact sur l'attrait résidentiel de la zone eligible. L'aide peut également avoir des impacts supplémentaires sur le tourisme rural. La durée des impacts varie d'un an (pour un impact sur l'agro-tourisme) à dix ans ou plus (pour un impact sur la densité de la population). Outre les impacts des programmes des Fonds structurels, les zones rurales dépendent largement d'autres politiques (essentiellement de la Politique Agricole Commune) Les revenus des agriculteurs dépendent également en grande partie des conditions naturelles et climatiques. Exemple 23 - Aie le financière à l'installation de jeunes agriculteurs Indicateurs de programme (En lien avec l'intervention et ses effets) Indicateurs de contexte (En lien avec la zone aidée) Indicateurs de réalisa tion Nombre de destinataires Nombre de jeunes agriculteurs aidés (dont femmes) Indicateurs de résulte t Effet de levier Restructuration Investissements totaux des jeunes agriculteurs aidés (ventilés par type d'exploitation' I Nombre de jeunes agriculteurs aidés121 remplaçant des agriculteurs partant à la retraite Nombre total de jeunes agriculteurs Capital moyen par exploitation Nombre de départ en retraite d'agriculteurs Répartition par âge de la population agricole par an Rapport entre les agriculteurs qui s'installent et les agriculteurs qui partent en retraite Indicateurs d'impact Taux de survie Emplois créés Revenu de l'exploitation Taux de survie121 des exploitations des jeunes agriculteurs après deux ans Taux de survie des entreprises dans le secteur agricole de la région Nombre d'ETP dans l'exploitation après deux ans Croissance du revenu en % deux ans après l'investissement Nombre d'ETP dans le secteur agricole de la région Revenu moyen par agriculteur (1) Le type d'exploitation est la production principale de l'exploitation, par exemple polyculture, vaches laitières, horticulture. (2) Un jeune agriculteur est défini comme une personne reprenant ou créant une exploitation agricole et âgée de moins de 40 ans (35 ans dans certains pays). Indicateurs pour le suivi et l'évaluation Exemple 24 - Investissement aidé dans les usines de transformation de produits agricoles Indicateurs de programme (En lien avec l'intervention et ses effets) Indicateurs de contexte (En lien avec la zone aidée) Indicateurs de réalisation. Capacité de transformation Tonnes / m2 de capacité (ventilation selon différents produits) Indicateurs de résultat Effet de levier Investissements complémentaires par les destinataires Structure d'approvisionnement local Nombre de contrats d'approvisionnement fixés avec les exploitants locaux I n d i c a t e u rs d ' i m p a ct Emploi direct Valeur ajoutée Effet indirect Nombre d'emplois nets créés dans les entreprises bénéficiaires après deux ans (en ETP, dont ceux occupés par des femmes) Nombre d'emplois dans l'industrie agro-alimentaire Augmentation des prix â la production deux ans après l'intervention Hausse des prix agricoles à la production régionaux % de produits agricoles régionaux achetés par les entreprises destinataires après 2 ans Agriculture et développement rural Exemple 25 - Réhabilitation de village - projets publics et privés Indicateurs de programme (En lien avec l'intervention et ses effets) Indicateurs de contexte (En lien avec la zone aidée) Indicateurs de réalisation Quantité m2 de places de village réhabilités km de routes de village réhabilités Nombre de logements réhabilités"1 Indicateurs de résultat Population Nombre d'habitants vivant à proximité des zones réhabilitées"1 Nombre d'habitants vivant dans des zones de faible densité de population Satisfaction Pourcentage d'habitants satisfaits ou très satisfaits des travaux Indicateurs d'impact Attrait résidentiel % d'habitants des villages réhabilités répondant « Non » à la question • Souhaitez-vous rester dans le secteur au cours des 5 prochaines années ? » Prix moyen des maisons dans les villages réhabilités Migration totale à partir de la zone Coût moyen d'une maison dans la zone (1) La proximité correspond à « moins d '1 k m ". Cette définition doit toutefois être adaptée aux situations pratiques Indicateurs pour le suivi et l'évaluation Exemple 26 - Aide à la création d'hébergement touristique dans les fermes Indicateurs de programme (En lien avec l'intervention et ses effets) Indicateurs de contexte (En lien avec la zone aidée) I n d i c a t e u rs de r e a l i s a t i on Nombre d'exploitations Nombre de projets bénéficiant d'une aide Capacité Nombre de lits créés I n d i c a t e u rs de r é s u l t at Diversification Indicateurs d'impact Pourcentage de destinataires démarrant une activité agro-touristique suite au programme Nombre total de lits d'hébergement à la ferme Nombre de personnes Nombre de nuitées dans les fermes des Nuitées de touristes hébergées Revenu Valeur ajoutée destinataires par an et après deux ans Augmentation du revenu des agriculteurs destinataires Revenu par exploitation Valeur ajoulée brute générée par le programme (en euro / an) après un an Valeur ajoutée générée dans le secteur agricole Les a u t r es i n t e r v e n t i o ns a y a nt un i m p a ct d a ns le c h a mp Les agriculteurs, et plus encore les ménages ruraux, font souvent partie d'autres groupes cibles dans d'autres champs. L'aide aux entreprises a des impacts sur les opportunités d'emplois pour les ménages ruraux et fournit des possibilités de revenus alternatifs ou complémentaires pour les agriculteurs, contribuant ainsi à l'évolution structurelle du secteur agricole. De même, les interventions dans le champ du transport ont des impacts sur le coût du transport des produits agricoles achetés et vendus et améliorent l'accès des ménages ruraux à des opportunités d'emplois à l'extérieur de leur secteur. Les interventions structurelles dans le champ du tourisme sont dans certains cas associées aux attractions touristiques dans les zones rurales. Les visiteurs peuvent ressentir l'intérêt de visiter d'autres attractions importantes ou séjourner dans ces zones plus touristiques moins longtemps pour profiter d'activités de loisirs. L'offre de spécialités agricoles régionales par les agriculteurs enrichit encore le potentiel du tourisme rural. Agriculture et développement rural La formation, en particulier aux technologies nécessaires dans les entreprises situées en zones rurales, augmente la capacité des personnes vivant en milieu rural à trouver un emploi. • Disponibilité et collecte des données La plupart des données liées aux réalisations et aux résultats devraient être disponibles auprès des opérateurs des projets financés par les Fonds structurels, qui devraient être tenus de collecter régulièrement des données simples, par exemple sur le nombre, la taille et le type des exploitations agricoles aidées. Les données associées aux impacts doivent être collectées directement auprès des destinataires au moyen d'enquêtes spécifiques. A l'instar d'autres types d'interventions, l'implication d'équipes externes pour collecter cette information peut être utile pour garantir la fiabilité des réponses. Il est important d'utiliser des enquêtes auprès d'échantillons et d'extrapoler, dans la mesure où le nombre global de projets est élevé et le coût d'une enquête auprès de tous les destinataires prohibitif. Les impacts sur les ménages ruraux et sur l'attrait de la région peuvent être examinés au moyen d'enquêtes détaillées. Dans certains cas, il est possible de s'appuyer sur des analyses antérieures de mesures. En ajustant les coefficients avec les indicateurs de résultats ou de réalisations et en calculant les Impacts possibles de l'aide, il est possible d'obtenir des estimations suffisamment fiables à un coût raisonnable. Cette méthode est souvent utilisée pour identifier les effets d'emploi temporaires de la réhabilitation de villages, ou pour calculer les effets d'emploi de l'agro tourisme (en ETP). Les données qui renseignent les indicateurs de contexte peuvent être obtenues à partir d'archives, de statistiques et d'enquêtes européennes, nationales et parfois régionales. Eurostat a développé une base de données spéciale de statistiques régionales annualisées, fournissant des données comparables pour toute l'Europe. L'agriculture et le développement rural posent certains problèmes de couverture statistique. Les activités à la ferme à petite échelle, telles que Γ agrotourisme, ne sont pas couvertes par les statistiques. Les données agricoles sur la structure des exploitations agricoles de la région, telles que l'âge des exploitants, la taille et le type d'exploitation, ne sont disponibles qu'après un long délai, ce qui limite les possibilités de suivi du contexte du programme. Indicateurs pour le suivi et l'évaluation Indicateurs clés pour agréger et comparer les effets d'interventions Les indicateurs clés présentés ci-dessous se prêtent à la fols à des comparaisons entre interventions différentes et à des comparaisons avec d'autres programmes. Ils peuvent donc facilement faire l'objet d'agrégation à l'échelle européenne. Niveau Ressources Réalisations Résultats Impacts Indicateur clé Taux de consommation budgétaire (% des crédits alloués) % de projets (en termes financiers) concernant les zones rurales les plus défavorisées le dans cadre du programme Taux de sélection (% de projets acceptés en termes financiers) Nombre d'individus recevant une aide directe ou des services (dont femmes/hommes) Nombre d'unités économiques (exploitations, etc. ) recevant des services ou une aide directe dans le cadre du programme (grand, moyen, petit, individuel) Nombre de nouvelles unités économiques (hébergement et attractions touristiques, nouvelle exploitations, etc. ) recevant des services ou une aide directe dans le cadre du programme Couverture (% de destinataire, par exemple de jeunes agriculteurs, par rapport au nombre total de destinataires potentiels) % de destinataires situés dans les zones les plus défavorisées Effet de accompagnant l'aide financière reçue) (dépenses par des destinataires levier exploitations reprises par de % de nouvelles activités aidées (exploitations diversifiées, campings, jeunes agriculteurs, etc. ) encore actives après 24/36 mois Valeur ajoutée brute générée euro/an/employé) Emploi net créé ou maintenu (en ETP dont ceux occupés par des Attrait résidentiel (% d'habitants souhaitant rester dans le secteur) femmes) après 12 mois (après 12 mois, en Pour en savoir plus. Grajewski, R. , Schrader, H. , Tissen, G. (1995), Vorschläge für die Wirkungsanalyse und Bewertung von Mabnahmen zur Anpassung Agriculture et développement rural der Agrarstruktur und zur Entwicklung der ländlichen Räume in den neuen Bundesländern gemäb Ziel 5a und 5b der Reform der EG- Strukturfonds (1991-1993). Braunschweig. Riedel, J. , Scharr, F. , König, M. et al. (1997), für (Hrsg. ) : Die Wirtschaftsforschung Niederlassung Dresden Europäischen Bundesländern. Zwischen bewertung des Mittelei n satzes von 1994 bis 1996. Dresden. in den neuen Strukturfonds Institut IFO, Tissen, G. , Toepel, K. (1998), Europäische Strukturpolitik ländlichen Raum. Zvvischenbewertung des Zlel-5b-Programms Schleswig- Holstein. Frankfurt am Main. im Young, N. , Isla, M. , Schrader, H. et al. (1991), Monitoring and Evaluation of Objective 5b Regions. Report Wye for the European Commission. Indicateurs pour cinq priorités E g a l i té d es c h a n c es L'aide a p p o r t ée par les politiques structurelles peut virtuellement avoir d es effets sur t o u te la p o p u l a t i o n, mais ces effets ne sont généralement pas uniformes sur l'ensemble d es g r o u p es s o c i a ux et peuvent en fait a c c e n t u er les d é s a v a n t a g es de certaines catégories, et en particulier d es f e m m e s. C'est la raison pour laquelle la d i m e n s i on d'égalité d es c h a n c es doit être s y s t é m a t i q u e m e nt intégrée d a ns les évaluations d es effets d ' e m p l o i. La priorité e u r o p é e n ne de p r o m o t i on de l'égalité des c h a n c es entre h o m m es et f e m m es est étroitement, mais pas exclusivement, associée aux questions d ' e m p l o i. Il ne s e m b le pas pertinent de développer de n o m b r e ux indicateurs s p é c i f i q u e m e nt pour cette priorité. Par c o n t r e, l'égalité des chances doit être considérée c o m me une q u e s t i on à intégrer d a ns t o ut le système d ' i n d i c a t e u r s, ce qui signifie q u ' un m a x i m um d'indicateurs doivent faire apparaître une ventilation entre f e m m es et h o m m e s. E n c a d ré 17 - Le principe d'intégration (gender mainstreaming) La priorité européenne en faveur de l'égalité des chances entre les femmes et les hommes devrait être systématiquement intégrée dans tous les programmes, mesures et projets. Le terme « gender mainstreaming » signifie que la situation respective et les besoins des femmes et des hommes sont activement et ouvertement pris en compte à tous les stades du cycle de programmation, depuis le diagnostic ex ante jusqu'à l'évaluation ex post. Afin d'appliquer ce principe d'intégration, les concepteurs des systèmes d'indicateurs devraient, à chaque fois que cela est possible, ventiler les chiffres en catégories femmes/hommes. Le principe d'intégration peut également être appliqué à d'autres priorités politiques, telles que la compétitivité des PME. I n t e r v e n t i o ns d a ns le c h a mp Les interventions dont l'objectif principal est la p r o m o t i on de l'égalité des c h a n c es s o nt relativement rares. En fait, l'enjeu est suffisamment i m p o r t a nt pour que la p r o m o t i on de l'égalité entre les sexes affecte t o us les secteurs et ne se limite p as à un n o m b re restreint de mesures spécifiques. Indicateurs pour le suivi et l'évaluation Les autres interventions ayant un impact dans le champ L'exemple qui suit est tiré du champ du développement urbain, mais aurait pu être en rapport avec n'importe quel autre champ représenté dans cet ouvrage. En termes d'égalité des chances, les plus pertinents se situent au niveau des impacts, par exemple la proportion d'emplois créés ou maintenus occupés par des femmes. Toutefois, pour aborder la question de façon plus adéquate, les indicateurs doivent aller plus loin en fournissant des indications sur le nombre de femmes chefs leur niveau de d'entreprise et décisionnaires ainsi qu'en examinant rémunération par rapport à ceux des hommes. les indicateurs Selon le principe d'intégration (mainstreaming), tous les indicateurs doivent être ventilés entre femmes/hommes pour tenir compte des questions liées au sexe. Pratiquement, cela implique que le pourcentage de femmes sera systématiquement pris en compte dans tous les indicateurs pertinents, à commencer par les indicateurs d'impacts et en remontant jusqu'aux indicateurs de résultats et de réalisations, voire même de ressources. L'application de ce principe est illustrée dans l'exemple suivant. Exemple 27 - Cr éation ou réhabilitation de maisons de quartiers Indicateurs de programme Indicateurs de contexte (En lien avec l'intervention et (En lien avec la zone aidée) ses effets) Indicateurs de réalisa tion Installations Capacité Indicateurs de result« t Satisfaction Indicateurs d'impact Emploi Bâtiments achetés, construits ou rénovés en m2 (dont surface consacrée aux besoins des femmes, crèche/halte-garderie, etc. ) Nombre maximum d'utilisateurs pouvant être servis (dont le nombre maximum d'utilisateurs des ressources spécifiquement destinées aux femmes) % d'utilisateurs satisfaits ou très satisfaits du projet (dont femmes/hommes) Nombre maximum d'utilisateurs des crèches/halte-garderie de la zone Nombre d'utilisateurs occupant un emploi permanent (dont femmes/hommes) % des travailleurs de la zone utilisant les services d'une crèche Egalité des chances Disponibilité et collecte des données Le type d'informations contenues dans les systèmes de suivi devrait être amélioré pour permettre, chaque fois que cela est pertinent, une ventilation des indicateurs en fonction du sexe. Les rapports d'étude et de recherche sur le marché du travail (y compris les résultats des précédentes évaluations d'interventions) fournissent un stock d'informations quantitatives et qualitatives qui peuvent être utilisées pour estimer les indicateurs de contexte d'égalité des chances. Par exemple, des enquêtes sur la main d'œuvre fournissent, au moins annuellement, des chiffres ventilés entre femmes et hommes, à la fois pour l'UE dans son ensemble et pour les Etats membres individuellement. Si le système de suivi fournit des données trop faibles (voire aucune donnée) sur les situations respectives des femmes et des hommes, on peut décider de collecter ces données au stade de l'évaluation en examinant un échantillon de projets afin de ventiler les indicateurs de réalisations, de résultats et d'impacts. Indicateurs clés Les indicateurs clés présentés ci-dessous se prêtent à la fois à des comparaisons entre interventions différentes et à des comparaisons avec d'autres programmes. Ils peuvent donc faire l'objet d'agrégation à l'échelle européenne. Niveau Indicateur clé Ressources Nombre de personnes mobilisées pour mettre en œuvre les interventions en années-emploi (dont ceux occupés par des femmes) Réalisations Nombre de destinataires (dont femmes) Résultats Impacts Nombre de personnes immédiatement recrutées pendant le projet (dont femmes) Emplois créés ou maintenus après 12 mois (en ETP, dont ceux occupés par des femmes) - % d'emplois permanents (dont % occupé par des femmes) Indicateurs pour le suivi et l'évaluation Pour en savoir plus. European Commission (1998) One hundred words for equality - a glossary of terms on equality between women and men. Luxembourg: OOPEC. a E n v i r o n n e m e nt Les Interventions structurelles en rapport avec l'environnement peuvent comprendre des projets d'infrastructures associés à l'environnement (par ex. la construction ou l'amélioration d'installations de traitement des déchets ménagers), le soutien aux investissements associés à l'environnement (par exemple une aide à l'installation de nouvelles sociétés fournissant des services environnementaux), ou des projets conçus pour développer des compétences environnementales (par exemple former les responsables à des techniques de production plus respectueuses de l'environnement, ou former les chômeurs à des compétences relatives au recyclage). Une grande attention est également apportée pour garantir que les programmes aidés par les Fonds structurels génèrent un développement durable, c'estàdire qui ne soit pas nuisible pour l'environnement et qui n'appauvrisse pas les ressources limitées (permettant ainsi de satisfaire les besoins présents sans compromettre ceux des générations futures). Dans le Cinquième Programme d'Action sur l'Environnement adopté par le Conseil en 1993, la notion de durabilité est définie comme le reflet « d'une politique et d'une stratégie visant à assurant un développement économique et social continu sans préjudice pour l'environnement et les ressources naturelles dont dépendent l'activité humaine et le développement futur. Ces efforts visent avant tout à atténuer les effets négatifs d'une activité sur l'environnement (par des mesures qui évitent, réduisent ou annulent les impacts négatifs sur l'environnement, ou qui produisent une nette amélioration, assurant ainsi la durabilité). • Interventions dans le champ ♦ Indicateurs de ressources Au niveau du programme, les ressources consacrées à une activité qui a un objectif environnemental explicite peuvent être suivies en utilisant des indicateurs de « conformité au coût du projet » (c'estàdire les Informations disponibles les plus récentes sur le coût total des projets par rapport au coût apparaissant sur le document de programmation). Indicateurs de réalisation Les indicateurs de réalisations sont par exemple : la capacité et les normes des nouvelles installations de traitement des eaux usées, le nombre et le niveau des cours de formation financés sur les sujets spécifiques, etc. Ces Indicateurs pour le suivi et l'évaluation indicateurs sont essentiellement utilisables sous forme de suivi des taux de réalisation et des taux de respect des délais. Certains indicateurs de réalisations peuvent être associés à des indicateurs de dotation. Ainsi, par exemple, la capacité des nouvelles stations d'épuration peut être associée à la dotation régionale en termes de capacité de traitement des eaux usées. Indicateurs de résultat Les avantages immédiats pour les destinataires sont facilement mesurables en ce qui concerne la formation et l'aide à l'investissement privé. Les indicateurs de résultats mesurent alors, par exemple, les nouvelles compétences. En ce qui concerne les infrastructures, les indicateurs de résultats mesurent les améliorations dans la qualité des services (par exemple le respect des normes européennes pour l'alimentation en eau potable) et/ou la baisse du prix facturé aux usagers. Indicateurs d'impact Quel que soit le type d'activité aidée, son impact sur l'environnement intervient après plusieurs mois ou plusieurs années de fonctionnement effectif. Une installation de recyclage n'aura sur l'environnement qu'un effet proportionnel à son degré d'utilisation. De même, les nouvelles éco- industries n'affectent l'environnement que dans la mesure où elles survivent et se développent. Une formation aux pratiques respectueuses de l'environnement n'a d'influence dans les entreprises que si un nombre suffisant de stagiaires met en pratique ces nouvelles compétences. Les types d'impacts des interventions structurelles sur l'environnement sont extrêmement divers et leur identification doit se faire lors de la phase de programmation. Cette identification se fait par référence, soit aux objectifs environnementaux explicites de l'intervention, soit aux réglementations et aux normes établies en matière de gestion environnementale. Il convient d'être attentif au fait que les impacts environnementaux peuvent apparaître à court ou à long terme et être légers ou cumulatifs. Dans une communication de 1994, la Commission remarquait qu'il est difficile d'attribuer à une Intervention publique telle ou telle part des changements qui apparaissent dans le contexte environnemental global. Environnement Par contre, il est plus facile de distinguer la pression exercée par les a c t i v i t és é c o n o m i q u es sur l ' e n v i r o n n e m e n t. En d ' a u t r es t e r m e s, l'environnement subit une telle variété d'influences qu'il est souvent t o ut s i m p l e m e nt i m p o s s i b l e, d a ns la pratique, d'établir un r a p p o rt e m p i r i q ue entre les réalisations et les résultats d ' un p r o g r a m m e, d ' u ne part, et les Impacts mesurés en t e r m es de m o d i f i c a t i on de l'environnement, d'autre part. Par e x e m p l e, il est difficile de faire un lien clair entre les niveaux généraux de polluants de l'air ou des rivières et les projets Individuels, m ê me c o n s é q u e n t s. Les p r o b l è m es liés à la d é f i n i t i on d es i n d i c a t e u rs d ' i m p a c ts s ur l'environnement sont m o i ns difficiles en pratique qu'ils ne pourraient l'être, étant d o n né que les objectifs d ' u ne intervention structurelle d a ns le c h a mp de l'environnement sont s o u v e nt e x p r i m és en t e r m es de c h a n g e m e n ts de pressions sur l'environnement. Dans le cas d es s o u r c es ponctuelles de c o n t a m i n a t i o n, un indicateur d ' i m p a ct s i m p le est fourni par la mesure de la diminution de pression (c'est-à-dire la réduction d ' un polluant s p é c i f i q ue à partir de la s o u r ce en question). Les indicateurs d ' i m p a c ts e x p r i m és en termes de réduction d es pressions sur l'environnement peuvent ensuite être vérifiés à l'aide d'Indicateurs de c o n t e x te o b t e n us à partir de séries de données établies et également e x p r i m és en t e r m es de pression. E n c a d ré 18 - Le m o d è le « P r e s s i o n - E t a t - R é p o n se » Le cadre « Pression-Etat-Réponse » est l'un des modèles développés pour analyser les politiques environnementales (citons également le modèle Force Motrice-Etat-Réponse, qui permet également de prendre en compte les liens agro-environnementaux et l'agriculture durable). Il n'est pas éloigné du modèle « Résultat-Impact-Contexte » qui constitue la base du présent document. Les pressions sont les forces motrices qui modifient l'environnement (pollution, utilisation de l'eau). L'état de l'environnement à un moment donné résulte de l'action combinée de trois forces : les forces naturelles qui gouvernent le système environnemental, les pressions des activités socio-économiques et les réponses des politiques environnementales. Les pressions sur l'environnement et l'état de l'environnement peuvent être décrites au moyen d'indicateurs de contexte. Les réponses sont les résultats et les impacts des interventions qui ont un objectif environnemental. Elles peuvent également être les résultats ou les Impacts de l'atténuation de projets non-environnementaux. Indicateurs pour le suivi et l'évaluation Les projets environnementaux peuvent également avoir des impacts économiques. Par exemple, un projet assurant la protection d'un important site naturel est lancé en relation avec un nouveau musée qui attire un flux supplémentaire de visiteurs et crée des emplois directs et indirects. Dans ce cas, une évaluation économique du projet environnemental permet de suivre la chaîne des effets-successifs à travers une série d'indicateurs d'impacts tels que : le nombre de visiteurs du musée, le nombre de visiteurs supplémentaires dans la région, la création d'emplois directs et indirects. Exemple 28 - Amélioration du système de distribution d'eau Indicateurs de programme (En lien avec l'intervention et ses effets) Indicateurs de contexte (En lien avec la zone aidée) Indicateurs de réalisation Avancement Taux de respect des délais Taux de réalisation Indicateurs de résulte It Couverture Qualité du service Indicateurs d'impact Consommation Effet économique indirect Nombre de foyers potentiellement servis par des réseaux neufs/améliorés % de foyers desservis par des réseaux de distribution d'eau Nombre de jours de fourniture d'eau de qualité ou en quantité insuffisante (nombre moyen de jours par an pour 1 OOO foyers) % de foyers de la zone subissant une distribution d'eau de qualité ou en quantité insuffisante Volume d'eau consommé via les réseaux neufs/améliorés (en m3 / an) après un an Consommation d'eau moyenne par personne et par an Nombre d'unités économiques (entreprises, exploitations agricoles, etc. ) déclarant que le nouveau système de distribution d'eau a soulagé une contrainte majeure pesant sur leur développement Environnement Prélèvement en m3 par personne paran Disponibilité annuelle de la ressource en eau Environnement Exemple 29 - Construction de stations d'épuration. Indicateurs de programme (En lien avec l'intervention et ses effets) Indicateurs de contexte (En lien avec la zone aidée) Indicateurs de réalisation Avancement Capacité Indicateurs de résulté t Qualité du traitement Voir Exemple 28 Nombre de stations d'épuration construites Débit annuel maximum (en m3) % d'eaux usées subissant un traitement primaire % d'eaux usées subissant un traitement secondaire1" Indicateurs d'impact Consommation Effet économique indirect Environnement Volume d'eaux usées traitées Nombre de foyers/entreprises raccordés aux stations d'épuration par programme après un an % d'eaux usées traitées % de foyers/entreprises raccordés aux stations d'épuration Voir exemple 28 % d'échantillons d'eaux usées prélevés sur des sources ponctuelles avec un niveau spécifié de réduction de polluants identifiés % des km de rivières contrôlées pour lequel la pollution excède une norme spécifiée (1) Les normes de qualité des eaux usées sont définies dans la directive de la CE 76 / 464 / CEE et dans les directives associées. Le traitement primaire est mécanique et permet la séparation physique des effluents ; le traitement secondaire est biologique et Implique l'utilisation de microorganismes. ^^ Indicateurs pour le suivi et l'évaluation Exemple 30 - Amélioration d'installations de traitement des déchets ménagers Indicateurs de programme (En lien avec l'intervention et ses effets) Indicateurs de contexte (En lien avec la zone aidée) I n d i c a t e u rs de r é a l i s a t i on Avancement Capacité Voir Exemple 28 Quantité maximum traitée par an (en tonnes) I n d i c a t e u rs de r é s u l t at Couverture Nombre de foyers potentiellement couverts par les services de collecte et de recyclage des déchets I n d i c a t e u rs d ' i m p a ct Volume collecté Quantité (en tonnes/an) après un an Volume recyclé Effet économique indirect Environnement % de déchets collectés dans les zones des projets aidés qui sont recyclés après un an Quantité de déchets produits dans la zone (en tonnes/an) % de déchets recyclés dans la zone Voir Exemple 28 % de décharges non autorisées fermées/réhabilitées dans les zones des projets aidés Nombre de décharges non autorisées dans la zone % de sources souterraines polluées par des déchets enterrés Environnement Exemple 31 -Aide aux nouvelles PME fournissant des biens et services environnementaux. '15 Indicateurs de programme (En lien avec l'intervention et ses effets) Indicateurs de contexte (En lien avec la zone aidée) Indicateurs de réalisation Volume de services d'aide Nombre de destinataires Briefings avec des experts assurant un conseil environnemental dans le cadre du programme (en heures) Nombre d'entreprises recevant un conseil environnemental d'experts (au moins 10 jours ou 3 500 euros) Indicateurs de résultat Diversification Nombre d'entreprises aidées ayant développé une activité dans le secteur environnemental Nombre d'entreprises de la zone ayant une activité dans le secteur de l'environnement Certification % d'entreprises aidées certifiées en termes de normes environnementales Indicateurs d'impact Activités associées à l'environnement Innovations associées à l'environnement Volume d'activité des entreprises aidées dans le secteur de l'environnement après deux ans (valeur ajoutée par an) Nombre de nouveaux produits/procédés lancés par les entreprises aidées dans le champ de l'environnement après deux ans Volume de biens et services associés à l'environnement en % du total des biens et services de la zone (1) Il ne semble pas exister de définitions standard de bien ou service environnemental. Les autres interventions ayant un impact dans le champ Au niveau des ressources, un problème spécifique apparaît lorsque l'on tente de mesurer le coût environnemental d'un projet donné, autoroute ou aéroport par exemple. Il n'est pas possible, avec les systèmes comptables standard, de mesurer les efforts d'atténuation en faisant une estimation séparée des coûts. Le coût environnemental doit être estimé deux fois : ex ante à l'étape de sélection de projet et ex post à l'étape de l'évaluation du programme. Tandis que les indicateurs de réalisations et de résultats sont spécifiques à d'autres champs (par ex. km d'autoroutes, nombre de passagers), leur suivi constitue une base pour mesurer la pression sur l'environnement et pour quantifier les indicateurs d'impacts. Indicateurs pour le suivi et l'évaluation Il ne faut pas oublier que les impacts sur l'environnement peuvent être dus à la fois aux conséquences immédiates de l'activité aidée (les dommages aux habitats naturels causés par la construction d'une infrastructure importante telle qu'une autoroute, par exemple) et par les conséquences à moyen terme de ces actions ou d'autres actions (par ex. l'augmentation significative de la pollution de l'air due à l'augmentation du trafic sur l'autoroute). Outre les impacts dommageables sur l'environnement d'interventions non environnementales, on peut également observer des impacts positifs sur l'environnement, par exemple dans le cas de la construction d'une liaison ferroviaire interurbaine. Exemple 32 - Construction d'une liaison interurbaine entre A et Β Indicateurs de programme (En lien avec l'intervention et ses effets) Indicateurs de contexte (En lien avec la zone aidée) Indicateurs de réalisation dans le champ de l'infrastructure de transport Quantité km de réseau Indicateurs de résultat dans le champ de l'infrastructure de transport Vitesse E. I. S. S. entre A et Β E. I. S. S. moyenne entre tous les centres urbains concernés de la zone Indicateurs d'impact dans les champs de l'infrastructure et de l'environnement Trafic Nombre de passagers utilisant la ligne (km χ passagers et par an) après un an Système de transport Environnement % de passages déclarant qu'ils utiliseraient une voiture particulière si ce train n'existait pas Réduction en volume du trafic des voitures particulières (véhicule χ km par an) après un an Réduction des émissions totales de N02 & de composés organiques volatils (COV) (Kg / an) Emissions de N02 & de composés organiques volatils (COV) (K / an) Moyenne nationale des émissions par véhicule χ km • Disponibilité et collecte des données Les Informations relatives aux réalisations ne sont souvent pas disponibles sous forme synthétique pour les mesures ayant un objectif environnemental. De fait, il peut être nécessaire de synthétiser les données sous forme de taux de réalisation et de taux de respect des délais. Dans certains cas, les résultats peuvent être quantifiés relativement facilement par des Indicateurs de demande (par exemple consommation énergétique dans l'agriculture, consommation d'eau par personne). Dans Environnement d'autres cas (par exemple une réduction de la consommation d'énergie des entreprises résultant de la mise en œuvre d'audits), des enquêtes ad hoc auprès des utilisateurs finals doivent être réalisées. Dans certains cas, les systèmes de suivi peuvent comprendre des informations sur l'impact environnemental d'un programme en termes de modification des pressions (par exemple réduction de la production de polluants à partir de sources ponctuelles). Toutefois, en raison de la nature relativement complexe et nouvelle de impacts sur l'environnement, il peut être nécessaire, dans bien des cas, d'effectuer des enquêtes ad hoc ou des études personnalisées sur les résultats de projets spécifiques (en particulier lorsqu'un impact à grande échelle ou concentré est prévisible). Les données concernant les pressions sur l'environnement peuvent être disponibles à partir de séries statistiques nationales ou même régionales. l'évaluation des Les indicateurs de contexte, quant à eux, se réfèrent à la qualité générale de l'environnement dans la région. Les séries temporelles renseignant ce type d'indicateurs sont de plus en plus harmonisées, détaillées et complètes. Eurostat fournit au niveau de chaque Etat membre de l'Union européenne un nombre croissant de données, sous forme imprimée et sous forme électronique. L'Agence européenne de l'environnement, récemment créée, commence également à produire des données utiles. Au niveau national, les services statistiques des différents Etats membres disposent d'informations très abondantes. Toutefois, les séries temporelles établies tendent à être moins disponibles et moins détaillées au niveau régional. • Indicateurs clés Les indicateurs clés présentés en page suivante se prêtent à la fois à des comparaisons entre interventions différentes et à des comparaisons avec d'autres programmes. Ils peuvent donc faire l'objet d'agrégation à l'échelle européenne. Niveau Ressources Réalisations Résultats Impacts Indicateurs pour le suivi et l'évaluation Indicateur clé Taux de consommation budgétaire (% des crédits alloués) % du budget consacré à des mesures d'atténuation environnementale Taux de sélection (% de projets acceptés en termes financiers) Taux de réalisation de projet (% de l'objectif) Taux de respect des délais Nombre de raccordements potentiels (ménages / unités économiques) aux réseaux de services de base (par exemple station d'épuration) % de ménages/d'unités économiques recevant un niveau de service conforme aux normes européennes via le réseau (ex. : eau potable) raccordés d'utilisateurs Nombre nouvelles infrastructures, ventilés en ménages/unités économiques (par exemple station d'épuration) après un an Emploi net créé ou maintenu (en ETP, dont ceux occupés par des femmes) aux Pour en savoir plus. Department of the Environment (1993), Environmental Appraisal of Development Plans, A good practice guide. Londres : HMSO. Agence européenne pour l'environnement for (1995), Environment the the Fifth Environmental Action in European Union, Report Programme. Copenhague : EEA. Eurostat (1996), Indicators of Sustainable Development. Luxembourg : Eurostat. Eurostat (1996), Statistiques de l'environnement 1996. Luxembourg : Eurostat. OECD (1997), Environmental Indicators for Agriculture. Paris : OECD. Société de l'information la société de l'Industrie du multimédia), des projets visant Les interventions structurelles concernant l'information comprennent : des projets d'infrastructures (tels que le déploiement et l'amélioration de réseaux de télécommunications et télématiques), l'aide financière directe (par exemple pour la création de nouvelles entreprises dans la création de « conditions permanentes » pour le développement d'applications des Technologies de l'Information et de la Communication (TIC) (centres de télémédecine, par exemple) et des projets de télétravail ou de développement de formation concernant de nouvelles technologies, par exemple). ressources humaines (initiatives de largement comparables aux interventions d'infrastructures et d'applications des TIC sont Les sensiblement différentes. En ce qui concerne les Infrastructures des TIC (la modernisation d'un réseau téléphonique, par exemple), les interventions sont interventions d'infrastructures dans d'autres champs, tels que les transports, même si les services fournis par les les nouvelles services avancés (les services multimédia interactifs, par exemple) ne sont pas aussi faciles à Identifier. Cela signifie que les indicateurs de résultats, et particulièrement les indicateurs d'impacts, sont souvent peu significatifs. Infrastructures de communication, et en particulier Les interventions dans le domaine du développement des applications des TIC (c'est-à-dire le télétravail, le télé-enseignement et la télémédecine) visent généralement des opérations expérimentales et non pas une diffusion à grande échelle. Il est donc relativement difficile d'évaluer le programme en référence à son contexte. Les projets de télétravail, par exemple, sont actuellement menés de façon expérimentale et n'impliquent le plus souvent qu'un nombre limité de travailleurs. En conséquence, les indicateurs de contexte (dans ce cas, le pourcentage de télétravailleurs en fonction du nombre total d'employés d'une zone géographique et/ou d'une industrie donnée) ne sont en général pas significatifs et n'ont pas besoin d'être suivis. On peut toutefois fournir une évaluation de la contribution potentielle d'un projet spécifique au contexte général (niveau d'emploi pour le télétravail, niveau de qualification pour la formation professionnelle en ligne, etc. ), au moins en termes de qualité. Tous les indicateurs des interventions dans le champ de la société de l'information ne sont pas pleinement acceptés, en raison du caractère immatériel des services basés sur les TIC, du développement rapide des Indicateurs pour le suivi et l'évaluation nouvelles technologies et de l'incertitude quant à leur impact organisationnel sur les systèmes complexes que sont l'enseignement ou la santé publique. Le suivi et l'évaluation de ces projets se placent donc dans une logique d'expérimentation. • Interventions dans le champ Φ Indicateurs de ressources Compte tenu de la distinction entre les interventions d'infrastructures de télécommunications et les interventions d'applications (voir cidessus), les indicateurs de ressources peuvent comprendre la « conformité avec le coût du projet » pour les Interventions d'infrastructures, alors que dans le cas des interventions d'applications, l'utilisation des ressources financières peut fluctuer en raison de facteurs de demande, tels que, par exemple, une participation des destinataires des initiatives supérieure ou inférieure aux estimations. ♦ Indicateurs de réalisation Les interventions fournissant des infrastructures de télécommunications peuvent être facilement suivies au moyen d'indicateurs physiques, associés à la fois au projet aidé (les kilomètres de fibre déployés ou le nombre de centraux téléphoniques équipés de dispositifs basés sur les nouvelles technologiques) et au contexte des TIC dans la région considérée (par exemple le pourcentage de réseau amélioré). Si la fourniture de services est comprise dans le projet, un indicateur de réalisations assurant la mesure des services fournis (par exemple le nombre de chaînes de télévision câblées, les heures de programmes ou toute autre mesure des services disponibles) est nécessaire. Les réalisations des interventions d'applications peuvent être suivies en mesurant la gamme de services offerts, avec une série d'indicateurs dépendant strictement de l'application spécifique : nombre de postes de télétravail dans un centre de télétravail, nombre de cours en ligne fournis, nombre de services fournis via un réseau (le terme « service » doit être défini avec précision en fonction du projet spécifique). ♦ Indicateurs de résultat Les avantages immédiats pour l'utilisateur final de l'infrastructure de télécommunication peuvent être décrites en termes de performances de Société de Tinformation (débit, nombre d'incidents). Les résultats d'interventions réseau d'applications peuvent être suivis au moyen d'indicateurs de programme, tels que le « nombre de destinataires impliqués dans le programme » (par exemple le nombre de personnes formées aux nouvelles technologies), le taux d'exploitation des installations (par exemple le taux d'exploitation de le « taux de postes de satisfaction des destinataires impliqués ». Il n'est en principe pas cohérent d'appliquer les indicateurs de résultats au contexte, compte tenu de la nature expérimentale des programmes d'application et du nombre limité de destinataires Impliqués. télétravail dans un centre de télétravail) et Indicateurs d'impact les les sur pour interventions infrastructures Le nombre de connexions aux nouveaux réseaux ou aux réseaux améliorés après un an, ainsi que létaux d'utilisation des réseaux sont des indicateurs d'impacts de télécommunications. Le nombre de connexions peut être facilement appliqué à la fois au programme et au contexte (afin de mesurer, par exemple, la pénétration des TIC dans les ménages). L'utilisation d'un réseau dépend en fait du type de services fournis sur le réseau (la télévision câblée, par exemple, sera ou non une alternative à la télévision traditionnelle, en fonction des stratégies de marketing des opérateurs. Observer l'évolution du taux d'utilisation n'a de sens que quand le nouveau réseau (et/ou les services qu'il fournit) peut être comparé au réseau préexistant. En outre, le lien entre le réseau et son utilisation doit être examiné en détail. Par exemple, une connexion plus rapide à Internet (fournie par un réseau à large bande) peut entraîner une réduction de la durée d'utilisation (grâce à une interactivité plus efficace et plus rapide) ou une augmentation de la durée totale d'utilisation (en raison d'un nombre important de nouveaux utilisateurs attirés par de meilleures conditions de connexion). Ces liens doivent être mis en évidence avant tout développement d'indicateurs appropriés. Les impacts des interventions d'applications peuvent être évalués par des indicateurs de « survie » centrés sur le nombre de destinataires encore impliqués dans le projet après une période donnée (définie en fonction du projet spécifique). Ce type d'indicateurs donne une mesure crédible de la faisabilité du projet. Ils peuvent également être évalués par des indicateurs « objectifs » relatifs aux finalités du projet spécifique (par exemple la réduction des temps de transport pour les télétravailleurs, les créations d'entreprises « virtuelles » etc. ). Indicateurs pour le suivi et l'évaluation Par contre, dans le cas des interventions d'applications, les indicateurs d'impacts de contexte ne sont généralement pas significatifs, compte tenu du nombre limité de destinataires impliqués dans l'expérience. Dans ce cas, une évaluation qualitative de la contribution potentielle de l'application spécifique (par exemple un centre de télétravail) au contexte (par exemple l'augmentation ou la réduction de l'emploi dans une région donnée) doit être fournie. Exemple 33 - Déploiement d'un réseau à large bande hybride fibre coaxial (HFC) Indicateurs de programme (En lien avec l'intervention et ses effets) Indicateurs de contexte (En lien avec la zone aidée) Indicateurs de réalisation Avancement Taux de respect des délais Taux de réalisation Quantité Nombre de km de HFC installés % de km de HFC sur le réseau total (dans la zone considérée) Capacité Nombre de bâtiments et / ou appartements desservis % de bâtiments/foyers desservis Indicateurs de résultat Performances du réseau Services fournis Indicateurs d'impact Connexions Capacité du débit binaire Nombre d'incidents sur le réseau Nombre de services Nombre de chaînes TV Heures d'émissions fournies (via le réseau) Nombre de ménages ayant connecté leurs équipements frv. PC) au réseau HFC (après 6 mois) Pénétration des PC et/ou de la TV câblée '2I dans les ménages de la zone considérée Utilisation de la TIC Nombre d'abonnements aux téléservices "> Taux d'adoption des téléservices dans la zone considérée Total des heures de connexion/mois (1)La classification des principaux téléservices peut être tirée des enquêtes sur la TCI les plus pertinentes au niveau européen (par exemple Measuring Information Society 1997, ISPO). (2) Télévision câblée ou CATV. Société de l'information Exemple 34 -Amélioration d'un réseau existant à bande étroite avec la technologie ADSL(1) Indicateurs de programme (En lien avec l'intervention et ses effets) Indicateurs de contexte (En lien avec la zone aidée) Indicateurs de réalisation Avancement Quantité Capacité Voir Exemple 33 Nombre de centraux téléphoniques équipés de dispositifs ADSL Nombre de logement potentiellement servis par les nouveaux centraux téléphoniques équipés Indicateurs de résulte It Performances du réseau Voir Exemple 33 Fourniture de services Nombre de services fournis (chaînes de TV interactive, fourniture d'accès Internet) Indicateurs d'impact Connexions Utilisation de la TIC Nombre de ménages ayant demandé un raccordement ADSL (après 6 mois) Nombre d'abonnements aux services (après 6 mois) Total des heures de connexion/mois (après 6 mois) % de centraux équipés de dispositils ADSL dans la zone considérée % de logements potentiellement servis par les centraux équipés dans la zone considérée % de ménages ayant demandé un raccordement ADSL dans la zone considérée (1) ADSL (Asymmetrical Digital Subscriber Loop) signifie ligne numérique asymétrique d'abonné. Indicateurs pour le suivi et l'évaluation Exemple 35 -Installation d'un centre de télétravail en dehors d'une agglomération Indicateurs de programme (En lien avec l'intervention et ses effets) Indicateurs de contexte (En lien avec la zone aidée) Indicateurs de réalisation Capacité Nombre de postes de (télé) travail installés Indicateurs de résultat Qualité des services fournis Indicateurs d'impact Participation Utilisation Temps de transport Démarrage d'entreprises Emploi Nombre d'heures d'ouverture/semaine Nombre de services d'aide fournis (formation, aide au secrétariat, e-mail, hébergement web, etc. ) Nombre d'entreprises participant à l'initiative (après 6 mois) Nombre de télétravailleurs stables / mobiles111 hébergés (après 6 mois) Exploitation des postes de (télé)travail, c'est-à-dire temps d'utilisation (après 6 mois) Réduction des temps de transport pour les télétravailleurs concernés Temps total perdu dans les embouteillages en zones urbaines Nombre. de démarrage de nouvelles entreprises « virtuelles Nombre de nouvelles entreprises installées dans la zone par an Nombre d'emplois (en ETP, dont ceux occupés par des femmes) créés par les entreprises « virtuelles » Nombre d'emplois (en ETP, dont ceux occupés par des femmes) créés par les nouvelles entreprises dans la région (1) Les télétravailleurs stables sont des employés dont le poste de travail est situé dans un centre de télétravail (au mois 3 jours/semaine, selon la définition convenue du télétravail) ; le poste de télétravail est généralement loué sous contrat par une société. Les télétravailleurs mobiles sont des travailleurs qui utilisent les installations de télétravail à la demande, pour une durée limitée (d"l heure à 1 jour). Des expériences récentes ayant évalué qu'un centre de télétravail n'est pas rentable s'il se limite aux activités associées au télétravail, la plupart des centres de télétravail fournissent également des installations oour des activités traditionnelles, tels que les cours de formation sur site et l'aide commerciale (voir Emploi). La gamme de services fournis par chaque centre dépend de la nature de l'activité commerciale et de la structure du marché de l'aide commerciale dans la zone, et ne peut pas être évaluée avec précision à l'aide d'indicateurs structurés et généraux. Société de Τ information Exemple 36  Projet de formation professionnelle en ligne'1' Indicateurs de programme Indicateurs de contexte (En lien avec l'intervention et ses effets) (En lien avec la zone aidée) Indicateurs de réalisation Activité des opérateurs Nombre de formations en ligne offertes % de formation en ligne dans le catalogue de formations Volume de formation fourni Nombre de stagiaires Indicateurs de résulta t Qualification Accessibilité Flexibilité Satisfaction des destinataires Abandons Indicateurs d'impact Placement Nombre d'heures de formation en ligne assurées (heures χ stagiaires) Nombre total annuel de stagiaires dans la zone Nombre d'individus formés (dont femmes) Nombre de stagiaires diplômés, par rapport au nombre total de participants % de participants déclarant qu'ils n'auraient pas pu suivre une formation traditionnelle pour des raisons d'éloignement % de participants déclarant qu'ils n'auraient pas pu suivre une formation traditionnelle pour des contraintes d'horaires % de stagiaires satisfaits ou très satisfaits par la formation Taux d'abandon des formations en ligne Taux d'abandon des formations traditionnelles % de participants ayant trouvé un emploi après 12 mois (dont femmes) Taux annuel de réemploi de chômeurs dans la région (1) L'enseignement en ligne se réfère en principe à des utilisations des TIC plus ou moins intenses, dans le cadre de la formation, qui vont du cours complet en ligne à une aide complémentaire en ligne aux cours dispensés sur site. Une certaine proportion de cours sur site est souvent nécessaire, pour permettre aux participants de se connaître et faciliter l'apprentissage de groupe en ligne par la suite. Le panachage entre la formation en ligne et sur site dépend de chaque sujet, de la méthode d'enseignement (personnel ou interaction du groupe) et des technologies adoptées (l'utilisation de la vidéoconférence, par exemple, limite les besoins en cours sur site). Ces éléments sont généralement spécifiés dans la documentation du projet, et peuvent donc être contrôlés. Les autres interventions ayant un impact dans le champ Les interventions dans d'autres champs qui comprennent des applications des TIC (sans être centrées sur cette technologie) peuvent avoir un impact considérable sur le développement de la société de l'information. Un exemple type est l'utilisation des TIC comme alternative pour fournir des informations ou contacter des destinataires potentiels (par exemple en Indicateurs pour le suivi et l'évaluation créant un site web). De nombreux types de soutiens aux entreprises comprennent des services immatériels tels que l'information, l'orientation et la formation, qui pourraient être fournis, au moins partiellement, via Internet. Le même concept pourrait être appliqué pour fournir des informations sur la circulation dans les projets de contrôle du trafic urbain et dans d'autres télématiques pour interventions similaires. L'utilisation des réseaux améliorer les communications entre les sujets impliqués dans un projet constitue un autre exemple (ainsi, des projets d'épidémiologie pourraient utiliser la télématique pour rassembler des données auprès de médecins généralistes). Pour de tels cas, l'évaluation peut être réalisée en utilisant des Indicateurs de réalisations pour mesurer le niveau d'innovation technologique de la fourniture de service (par exemple le nombre de services d'aide aux entreprises fournis par l'Intermédiaire d'un site internet). Les indicateurs de résultats doivent mesurer l'utilisation de la technologie dans le projet par les destinataires (par exemple pour accéder à l'information, pour contacter des les opérateurs ou pour envoyer des données, comme exemples ci-dessus). indiqué dans Les indicateurs d'impact doivent enfin mesurer l'impact du projet sur l'acceptation générale, l'intérêt et l'utilisation des TIC ( par exemple pourcentage de destinataires déclarant être devenus plus confiants après avoir utilisé la technologie de l'information au cours du projet). Disponibilité et collecte des données Les informations relatives aux réalisations sont généralement disponibles ou peuvent être facilement obtenues sous forme concise auprès des gestionnaires des projets financés. La plupart des indicateurs de résultat doivent être quantifiés par les opérateurs, qui assurent le suivi des destinataires, bien que tous les indicateurs ne soient pas totalement stabilisés, en particulier ceux faisant référence aux applications les plus Innovantes (telles que le télétravail). Les données relatives aux impacts doivent être collectées auprès des destinataires au moyen d'enquêtes spécifiques ou d'études de cas. Ces informations sont généralement intéressantes pour les opérateurs, qui sont donc motivés et impliqués dans la collecte des données. Les études de cas peuvent fournir des informations de meilleure qualité et plus précises que le les enquêtes, en particulier pour interventions concernant les Société de l'information développement d'applications des TIC, qui sont souvent spécifiques et exigent une analyse approfondie. Ceci confirme que les données qualitatives restent prédominantes par rapport aux données quantitatives dans le champ des TIC comme dans de nombreux champs de politiques innovantes. Les indicateurs de contexte pour les interventions dans ce champ se rapportent au contexte général des TIC de la région ou des réglons en question. En ce qui concerne interventions de développement les d'applications des TIC, comme précédemment indiqué, les indicateurs de contexte sont essentiellement qualitatifs et doivent être inclus dans les résultats des études de cas. Les indicateurs de contexte pour les interventions d'infrastructures de télécommunications peuvent être tirés des enquêtes européennes (telles qu'ISPO et Eurostat) et nationales. Indicateurs clés Les indicateurs clés présentés en page suivante se prêtent à la fols à des comparaisons entre interventions différentes et à des comparaisons avec d'autres programmes. Ils peuvent donc faire l'objet d'agrégation à l'échelle européenne. Indicateurs pour le suivi et l'évaluation Niveau Indicateur clé Ressources Réalisations Résultats Impacts Taux de consommation budgétaire (% des crédits alloués) Taux de réalisation du projet (% de l'objectif) Conformité avec la durée du projet Nombre de raccordements potentiels (professionnels/ privés) aux réseaux de services de base'1' Nombre d'heures de formation (en ligne) reçue par les participants aux cours (dont hommes/femmes) Mombre d'unités domestiques/économiques recevant un niveau de service conforme aux normes européennes grâce au réseau Taux de satisfaction (% des destinataires des formations en ligne) Taux de réussite diplômés à la fin de la formation ) immédiat (nombre de destinataires aux unités raccordés en nouvelles domestiques/ Nombre d'utilisateurs Infrastructures, ventilés économiques (par ex. réseau HFC) Valeur ajoutée brute générée (après 12 mois, en termes d'euro/an/employé Emploi net créé ou maintenu (en ETP, dont ceux occupés par des femmes) (1) Pour les comparaisons entre pays, il convient de tenir compte de certains éléments spécifiques à chaque pays, tels que le niveau de numérisation des réseaux téléphoniques nationaux ou la préexistence de réseaux de télévision câblée dans certaines zones. Il faut également tenir compte de la loi sur la confidentialité des données, etc. ). législation applicable à la TIC (accès universel, environnement réglementaire, Pour en savoir plus. Eurostat (1997), Information and Communication Services Annual Statistics 1980-1995. Luxembourg : Eurostat. Spectrum Strategy Consultants, DTI (1996), Development of the Information Society - An International Analysis. London : HMSO. Jackson, P. J. and Van der Wielen (1998), Teleworking International Perspectives. London : Routledge. Smith, C. (1995), 'Measuring the usability and effectiveness of advanced learning technologies' in : Held, P. & Kugemann, W. F. (eds) Telematics for Education and Training, Proceedings of the Société de Τ information Telematics for Education and Training Conference, Düsseldorf / Neuss, 24-26 November 1994. Amsterdam : IOS Press. Thorpe, M. (1993), Evaluating Open and Distance Learning, 2° edition. Harlow (UK) : Longman. Compétitivité des PME et des entreprises en général Les interventions structurelles dans le champ des entreprises englobent la fourniture de sites industriels, l'aide financière directe et l'aide sous forme de services aux entreprises. Les services aux entreprises comprennent l'assistance, l'information, le conseil et la formation, assurés directement par les organismes de développement ou indirectement par des consultants, des experts, etc. Le FEDER et le FSE sont tous deux compétents en la matière. Les interventions concernant les entreprises peuvent également être financées par le FEOGA et ΙΊFOR lieu, Les destinataires des interventions sont essentiellement les PME et les microentreprises, avec une priorité aux entreprises d'origine locale. Les leurs grandes entreprises peuvent également bénéficier d'aides, mais conditions d'éligibilité sont beaucoup plus restrictives que celles des PME. Le principe de l'assistance spécifique aux PME se justifie par différentes considérations. En premier les PME sont plus exposées aux fluctuations économiques que les grandes entreprises, en raison de leur base plus étroite de ressources leur focalisation sur de plus petits marchés. Elles sont également confrontées à de plus grandes difficultés pour obtenir des financements extérieurs, pénétrer des marchés étrangers et acquérir des compétences managériales et autres, ce qui peut justifier un besoin plus grand de conseil, d'orientation et de formation. Elles font généralement appel à une main d'oeuvre plus importante, créent plus d'emplois par unité de production et peuvent être plus innovantes, adaptable et flexibles que les grandes entreprises. financières et humaines et de La compétitivité des entreprises étant une priorité politique pour l'Union européenne, les systèmes d'Indicateurs doivent spécifiquement enregistrer la situation des PME à cet égard. Selon le principe d'intégration (mainstreaming, voir Encadré 17), les indicateurs de réalisations, mais également les indicateurs de résultats et d'impacts, voire les indicateurs de ressources, doivent être ventilés en grandes/moyennes/petites entreprises. Le suivi et l'évaluation de l'aide aux entreprises présentent des spécificités critiques qui déterminent les systèmes d'indicateurs. Premièrement, le niveau d'aide est souvent faible par rapport aux activités de l'entreprise destinataire, ce qui rend difficile l'appréhension de ses conséquences, même pour le gestionnaire. Certaines interventions apportent une aide indirecte à un groupe (un réseau) d'entreprises, ce qui entraîne une perte de contact avec les destinataires. En outre, l'évolution d'une entreprise dans Indicateurs pour le suivi et l'évaluation un environnement concurrentiel est largement déterminée par le contexte, ce qui rend difficile le suivi des conséquences spécifiques des interventions publiques. Enfin, le territoire d'action d'une entreprise n'a souvent aucun rapport avec la zone eligible. Interventions dans le champ Indicateurs de ressources De nombreux services d'aide aux entreprises sont stimulés par la demande, de sorte que l'indicateur de consommation financière correspondant peut fluctuer au fil du temps en fonction de facteurs tels que le cycle économique et les conditions macroéconomiques. Indicateurs de réalisation Les réalisations des interventions de fourniture d'infrastructures physiques peuvent être suivies au moyen d'un indicateur physique tel que « la surface (en m2) de locaux fournis ou rénovés ». Toutefois, de nombreux types d'aide aux entreprises sont des services (information, conseil et formation) et non pas des produits physiques (routes ou bâtiments industriels). Les indicateurs de réalisations peuvent donc mesurer l'activité effectuée, l'échelle des services fournis (par exemple le nombre de conseillers commerciaux, le nombre de guichets uniques créés), et le volume de services financés. Dans le cas général de l'aide financière ou des services, le principal indicateur de réalisations est le « nombre d'entreprises aidées ». Il s'agit d'un indicateur relativement basique qui ne possède en soi qu'une valeur limitée. Toutefois, associé au niveau de ressources financières consacré à l'aide, il donne une indication utile de l'intensité de l'aide, qui présente un intérêt pour établir des comparaisons. Cet indicateur peut être ventilé en différentes catégories, telles que la taille moyenne et la taille prévue des entreprises aidées (par exemple en termes de nombre d'employés) ou le secteur d'activité actuel ou futur des entreprises aidées (par exemple en termes de marchés en croissance ou en déclin). ♦ Indicateurs de résultat Les indicateurs de résultats renseignent sur les changements immédiats des structures de production en termes de création d'entreprise et de diversification. Comptitivité des PME et des entreprises en général Le « montant de dépenses (investissements ou dépenses d'une nature comparable) engagé par les entreprises en rapport avec l'aide reçue » est un indicateur qui mesure « l'effet de levier ». La « proportion d'entreprises aidées dans la zone ou le groupe défini » est également un indicateur pertinent pour les interventions dans ce champ. Il mesure le degré de pénétration du programme sur l'ensemble des entreprises de la zone, du groupe ou du secteur défini. La « proportion de destinataires satisfaits » constitue un autre indicateur, qui devra être basé sur le suivi des destinataires lorsque leur contact avec le programme prend fin. Indicateurs d'impact Les interventions relatives à la fourniture d'infrastructures physiques produisent des impacts spécifiques qui peuvent être mesurés au moyen d'un indicateur physique tel que la « surface (en m2) des locaux achetés ou loués par des entreprises destinataires après un/trois ans ». leurs activités. Elle peut développer L'aide aux entreprises peut avoir un impact sur les attitudes et les comportements des employés de ces entreprises et sur différents aspects des performances de les leurs propriétaires/gérants et connaissances et employés, ou améliorer le marketing, les produits et les systèmes de production et de distribution. L'objectif final est d'aider les sociétés à se développer et à gagner des parts de marché (ou à ne pas en perdre), du chiffre d'affaires, de la valeur ajoutée et enfin de créer des impacts sur l'emploi. la planification commerciale, les compétences de la gestion, Les indicateurs d'impact doivent intégrer la durée sur laquelle la mesure produit ses effets (normalement entre un et trois ans après l'intervention). Il convient de noter qu'il est probable que ces périodes dépassent la durée de vie globale du DOCUP/programme régional, ce qui peut créer des difficultés. L'aide peut également avoir des effets indirects sur les performances des fournisseurs (augmentation de leur production), des clients (amélioration de la qualité et/ou des prix) et des concurrents (baisse des ventes). Ces effets doivent être pris en compte lors de l'évaluation de l'impact net global des interventions. Il peut également y avoir des effets multiplicateurs plus vastes découlant de l'emploi et du revenu créé dans les entreprises aidées. Indicateurs pour le suivi et l'évaluation leurs L'objectif principal de la plupart des entreprises est d'augmenter bénéfices et rares sont celles qui font de l'emploi leur objectif premier. Dans la plupart des cas l'emploi est une demande dérivée découlant de la nécessité d'employer des gens pour réaliser un travail. Les entrepreneurs peuvent ressentir une antinomie entre l'emploi et les bénéfices, compte tenu des coûts salariaux. Dans certains cas (par exemple l'aide à l'innovation technique, ou à l'amélioration des systèmes de gestion et de production), l'aide peut améliorer l'efficience et la rentabilité de l'entreprise, sans pour autant créer d'emplois supplémentaires, en particulier à court terme. On espère généralement que ces améliorations de compétitivité génèrent des avantages économiques plus importants à long terme. : dans un Les conditions contextuelles sont également environnement économique déprimé, le même niveau d'aide aura un impact considérablement plus faible sur la production et l'emploi que dans un environnement prospère. Il est important d'être conscient de ces circonstances lors de l'évaluation et du suivi des programmes. importantes La réussite de certaines entreprises est basée sur des prix bas obtenus grâce à une réduction des coûts (y compris de main d'œuvre), voire grâce à un non-respect des réglementations sur l'environnement, tandis que d'autres la spécialisation des produits, des compétences et une productivité élevées. Les différentes combinaisons d'indicateurs d'impacts doivent détecter ces différences. réussissent grâce à la différenciation et l'innovation, Comptitivité des PME et des entreprises en général Exemple 37 - Aide aux créateurs d'entreprises'1' Indicateurs de programme (En lien avec l'intervention et ses effets) | Indicateurs de contexte (En lien avec la zone aidée) Indicateurs de réalisation Nombre d'opérateurs Nombre de guichets uniques Volume de services fournis Nombre d'heures de conseil-expert reçues par les destinataires souhaitant lancer une nouvelle activité Indicateurs de resulti It Création d'entreprise Taux de satisfaction Indicateurs d'impact Survie des entreprises créées Emploi direct Nombre de nouvelles entreprises lancées à la suite de l'aide dispensée (dont celles appartenant à des femmes) % de destinataires satisfaits ou très satisfaits des services d'aide fournis Taux de survie121 des entreprises aidées après 18/24/36 mois d'existence (dont celles créées par des femmes) Nombre d'emplois nets131 dans les entreprises créées après 18 mois d'existence (en ETR dont ceux occupés par des femmes) Taux de création d'entreprise en nombre d'entreprise/an/1 000 habitants (dont celles créées par des femmes) Taux de survie après 18/24/36 mois (1) Les nouvelles entreprises sont définies c o m me des entreprises commerciales de différente nature (y compris les travailleurs indépendants) qui ont c o m m e n cé leur activité et ont été aidées au démarrage dans le cadre du programme. E fe ne comprennent pas les personnes qui faisaient partie du programme mais ont abandonné, ou qui n'ont pas encore démarré. (2) Le taux de survie est la proportion de nouvelles entreprises encore en activité après 18 mois. Cette période dépasse la période d'aide standard et suffit à juger si l'entreprise est viable ou non. (3) L'emploi doit être mesuré en termes d'équivalents t e m ps plein (ETP) générés par l'aide fournie dans le cadre du programme. Les emplois à t e m ps partiel peuvent être convertis en ETP sur la base de deux t e m ps partiels pour un temps plein. Les emplois peuvent être définis c o m me permanents s'ils se poursuivent au-delà de l'intervention où s'ils perdurent après l'intervention pendant une durée prédéfinie. Indicateurs pour le suivi et l'évaluation Exemple 38 -Aide informationnelle aux PME pour la promotion des exportations Indicateurs de programme (En lien avec l'intervention et ses effets) Indicateurs de contexte (En lien avec la zone aidée) Indicateurs de réalisation Nombre de destinataires | Nombre de PME aidéesnl12' | Nombre de PME de la zone eligible Indicateurs de résultat Taux de satisfaction Diversification géographique Indicateurs d'impact Exportations131 % de destinataires satisfaits ou très satisfaits des services d'aide Nombre de PME devenant exportateurs Nombre de PME exportant vers de nouveaux marchés % du chiffre d'affaires à l'exportation des PME aidées après 18 mois Exportations des PME de la zone en proportion du PIB Valeur ajoutée Valeur ajoutée générée après 18 mois Emploi direct Nombre d'emplois nets créés/maintenus après 18 mois (en ETP, dont ceux occupés par des femmes) dans les entreprises Valeur ajoutée moyenne par employé dans la zone Nombre total de chômeurs dans la zone aidée (1) La Commission européenne a convenu d'une définition standard des PME : ce sont des entreprises employant moins de 250 personnes, dont le chiffres d'affaires annuel est inférieur à 40 millions d'euros ou dont les actifs sont inférieurs à 27 millions d'euros, et indépendantes, ou dont 25% maximum du capital sont détenus par une grande entreprise. Les petites entreprises sont définies comme suit : elles emploient moins de 50 personnes, ont un chiffre d'affaires inférieur à 7 millions d'euros ou des actifs inférieurs à 5 millions d'euros et sont « indépendantes ». Les microentreprises emploient moins de 10 personnes. (2) Une définition minimale de l'aide est nécessaire pour éviter que des conversations de 5 minutes avec des entreprises soient considérées comme des aides. Dans le cadre des programmes de l'objectif 2 au Royaume-Uni, ·< l'aide » est un minimum de 5 jours d'aide ou de son équivalent financier (± 3 500 euros). (3) Les ventes à l'exportation sont définies comme la valeur de toutes les ventes et contrats des entreprises aux consommateurs, sociétés et organisations en dehors de la région concernée. La valeur des ventes à l'extérieur du pays peut constituer un autre indicateur. Comptitivité des PME et des entreprises en général Exemple 39 -Infrastructures subventionnées pour l'installation d'entreprises Indicateurs de programme (En lien avec l'intervention et ses effets) Indicateurs de contexte (En lien avec la zone aidée) Indicateurs de réalisation Quantité Hectares de sites industriels mis à la disposition des entreprises Surface totale des sites industriels de la zone Nombre de destinataires Nombre de projets aidés (dont PME) Indicateurs de résultat Effet de levier Indicateurs d'impact Valeur ajoutée Emploi direct Effets indirects Investissements par les entreprises destinataires Voir Exemple 38 Nombre d'emplois nets créés (en ETP dont ceux occupés par des femmes) après 18 mois % des entreprises de la zone parmi les fournisseurs des entreprises après 18 mois Voir Exemple 38 Voir Exemple 38 Les autres interventions qui ont un impact dans le champ Des interventions dans d'autres champs tels que la RDT et les transports sont susceptibles d'avoir un impact sur la compétitivité des PME et des grandes entreprises. Les impacts des interventions dans le champ des transports sont souvent indirects et sont la plupart du temps provoqués par des mécanismes macroéconomiques. Il est donc très difficile d'en effectuer le suivi, ou même de les évaluer, au moyen d'indicateurs. Les indicateurs ont plus de chance d'être utiles dans le cas des interventions de RDT. Il est fréquent qu'une intervention soit ciblée sur les centres de recherche, afin de renforcer indirectement la capacité d'innovation des entreprises de la région et d'augmenter par voie de conséquence la compétitivité de la région. Dans ce cas, il est possible d'utiliser des indicateurs d'impacts spécifiques dans le cadre d'une étude d'évaluation. Indicateurs pour le suivi et l'évaluation Exemple 40 - Aide aux projets de centres de recherche régionaux Indicateurs de programme (En lien avec l'intervention et ses effets) Indicateurs de contexte (En lien avec la zone aidée) Nombre de centres de recherche de la zone Indicateurs de réalisation dans le champ de la RDT Nombre de projets aidés Nombre de projets de recherche aidés Indicateurs de résultat dans le champ de la RDT Avancement du projet Travail en réseau % de projets menés à bien avec publication dans un journal de référence Nombre d'entreprises de la zone impliquées dans les projets de recherche en collaboration (dont PME) Indicateurs d'impact dans le champ des entreprises Avantages économiques Valeur ajoutée1' Nombre d'entreprises régionales ayant été impliquées dans des projets de recherche aidés et qui déclarent des retombées positives après 18 mois (dont PME) Valeur ajoutée totale découlant des projets de recherche aidés (1) La valeur ajoutée découlant d'un projet de recherche est susceptible d'être générée sur une longue période. Pour synthétiser les déclarations de plusieurs entreprises, la valeur ajoutée annuelle doit être pondérée en utilisant un taux d'actualisation. L'indicateur de valeur ajoutée générée doit également être pondéré en utilisant des coefficients de probabilité pour la prise en compte de retombées futures. Disponibilité et collecte des données La plupart des données de réalisations et de résultats doivent être fournies par les gestionnaires des projets financés par les Fonds structurels. Les gestionnaires doivent être tenus de collecter régulièrement des données simples, par exemple sur le nombre, la dimension et le type d'entreprises aidées, et le niveau de satisfaction par rapport aux services fournis. Ceci s'applique également aux entreprises qui ont été aidées de façon indirecte par une fourniture de locaux industriels ou par une aide à des réseaux d'entreprises. Des ventilations standard doivent être systématiquement appliquées, au moins pour la taille des entreprises (de 0 à 10 employés, de 11 à 50, de 51 à 250, plus de 250) et pour le secteur (demande croissante/en déclin). Les données sur les impacts doivent être collectées directement auprès Il peut être utile des entreprises au moyen d'enquêtes spécifiques. d'impliquer des équipes extérieures pour collecter ces informations, pour Comptitivité des PME et des entreprises en général garantir la fiabilité des réponses. Des enquêtes complètes peuvent être extrêmement coûteuses, et il est donc important de réaliser des enquêtes auprès d'échantillons et d'extrapoler, sans oublier toutefois que l'extrapolation présente un risque d'erreur. Les questions relatives à la causalité et à l'attribution des effets étant complexes et sensibles, les entretiens de groupe et les entretiens individuels avec les représentants des entreprises sont plus susceptibles d'approcher la vérité que des questionnaires postaux. Les entretiens par téléphone sont un compromis. Il est important que les décisions sur les techniques d'enquête soient prises localement en fonction de leur adéquation culturelle (Voir Volume 3 de la Collection). Les indicateurs de contexte se réfèrent, selon les cas, au contexte national ou régional. Ils peuvent être tirés des données statistiques et des enquêtes européennes et nationales (réalisées par exemple pour les services fiscaux). Eurostat a développé une base de données spéciale de statistiques industrielles régionales, regroupant des données annuelles depuis 1994. Indicateurs clés Les indicateurs clés présentés ci-dessous se prêtent à la fois à des comparaisons entre interventions différentes et à des comparaisons avec d'autres programmes. Ils peuvent donc faire l'objet d'agrégation à l'échelle européenne. Indicateurs pour le suivi et l'évaluation Niveau Indicateur clé Ressources Réalisations Résultats Impacts Taux de consommation budgétaire (% des crédits alloués) Nombre de contacts entre opérateurs et destinataires (dont PME) Nombre de demandes d'aide (dont celles par des PME) Taux de sélection (% de projets acceptés en termes financiers dont % de projets proposés par des PME) Taux de sélection de projets dans des secteurs en croissance rapide (par rapport au taux de sélection moyen, et avec le % de projets proposés par les PME) Nombre d'heures de services experts reçues par les destinataires (par exemple pour créer une entreprise) Nombre d'entreprises recevant une aide directe ou des services en résultat des programmes (dont PME) % d'entreprises destinataires actives dans des secteurs en croissance rapide (dont PME) % d'entreprises destinataires impliquées dans des projets de haute technologie (dont PME) Taux de satisfaction (% de destinataires satisfaits/très satisfaits par les services fournis) Effet de levier (dépenses du secteur privé générées par le programme en rapport avec l'aide financière reçue) % de nouvelles entreprises aidées encore en activité après 18, 24 et 36 mois Valeur ajoutée générée (après 18 mois en termes d'euro / an / employé) Emploi net créé ou maintenu (en ETP, dont ceux dans des PME/dont ceux occupés par des femmes) Effets indirects sur la zone (entreprises régionales, dont PME, en % de fournisseurs des entreprises aidées après 18 mois) Pour en savoir plus. Bachtler, J. and Michie, R. (1995), 'A new era in EU policy evaluation? The appraisal of the Structural Funds' in : Regional Studies, Volume 29, 745-751. Foley, P. (1992), 'Local Economic Policy and Job Creation : A Review of Evaluation Studies' in : Urban Studies, Volume 29. HM Treasury (1991), Economic Appraisal in Central Government : A Technical Guide for Government Departments. London : HMSO. Compt'itivité des PME et des entreprises en général McEldowney, J. (1991), 'Evaluation and European regional policy' in : Regional Studies, Volume 25, 261 -268. Turok, I. (1997), 'Evaluating European Support for Business Development : Evidence from the Structural Funds in Scotland' in Entrepreneurship and Regional Development, Volume 9, 335-352. D é v e l o p p e m e nt urbain L'expression « développement urbain » employée dans cet ouvrage se définit comme « l'ensemble des activités qui affectent le bien être individuel et social par des modifications dans la nature et l'intensité de l'occupation la réglementation de ces des sols dans les zones urbaines, et modifications ». Dans le cadre des Fonds structurels, ces interventions ont quatre objectifs majeurs. Le premier objectif est de générer un impact économique sous forme d'emploi et de développement des entreprises, basé sur le principe que tout individu doit pouvoir participer à une activité génératrice de revenu et trouver un emploi rémunéré. Le deuxième objectif est donc de générer un impact social. Chaque individu doit avoir un accès équitable aux possibilités de soins et d'éducation, quelles que soient ses origines sociales et ethniques ou son sexe. Le troisième objectif est de générer un impact sur l'environnement dans le sens où les activités urbaines ont un effet (1) sur l'environnement naturel et les constructions dans les zones urbaines et (2) sur l'utilisation des ressources naturelles. Le développement des activités urbaines aidées par une intervention doit être durable, c'est- à-dire qu'il doit respecter l'environnement naturel et construit et ne pas entraîner une diminution des ressources naturelles. Les éventuels impacts négatifs sur l'environnement doivent faire l'objet de mesures d'atténuation. Enfin, le quatrième objectif est que les interventions doivent générer un impact civique, en permettant aux individus de participer activement aux processus qui façonnent leur vie et leur environnement urbain. La logique du développement urbain mélange souvent ces quatre dimensions, et les indicateurs basés sur une approche trop sectorielle ne sont alors pas pertinents. Certaines interventions des Fonds structurels ciblent spécifiquement le développement urbain. C'est le cas de l'initiative URBAN et des Projets pilotes urbains, ainsi que de nombreuses mesures des programmes d'Objectif 2. interventions de développement urbain ont souvent une double Les finalité : favoriser le développement des villes aidées et réduire les écarts au sein de ces villes entre quartiers pauvres et favorisés. Ces deux objectifs sont souvent considérés comme complémentaires plutôt que concurrents. Pour un objectif de développement global à l'échelle d'une ville, les Interventions ont essentiellement une dimension économique et sociale. Indicateurs pour le suivi et l'évaluation Lorsque le programme cible l'intégration de zones défavorisées dans la ville, la plupart des interventions tendent à développer les activités sociales et la citoyenneté. La plupart des interventions structurelles, qui peuvent sembler sans grand rapport avec les questions de développement urbain au premier abord, peuvent parfois avoir un impact significatif sur les zones urbaines. Ainsi, par exemple, les ajustements structurels dans les secteurs de la pêche et de l'agriculture peuvent affecter sensiblement la situation de grandes villes côtières et de communes importantes en zone rurale. Le suivi et l'évaluation de l'aide au développement urbain possèdent des caractéristiques spécifiques. Premièrement, le développement urbain concerne souvent des territoires qui ne correspondent à aucune subdivision administrative ou statistique. Deuxièmement, le développement urbain englobe des buts et des activités très divers, depuis les plus techniques (tels que la fourniture de locaux aux nouvelles entreprises) jusqu'aux plus politiques (telles que le développement de la citoyenneté dans les zones en difficulté). Interventions dans le champ ♦ Indicateurs de ressources Les Indicateurs de consommation budgétaire doivent être ventilés en dépenses engagées pour les différentes villes et dépenses engagées pour les zones défavorisées. Toutefois, si cette ventilation n'a pas été prévue dès le début du programme, elle ne sera pas quantifiée par le système de suivi et une estimation devra être fournie au moyen d'une étude spécifique au stade de l'évaluation. Indicateurs de réalisation Les indicateurs de réalisations, tels que les taux de réalisation et de conformité avec le calendrier du projet, sont utiles pour les projets physiques tels que la réhabilitation des friches urbaines ou des logements. Les indicateurs de réalisations comprendront par exemple une mesure physique du projet, telle que le « nombre de logements réhabilités » ou les « hectares de friche réhabilités ». De nombreuses interventions axées sur le développement urbain offrent des services (éducation, logement, formation). Pour ces types Développement urbain d'interventions, le développement urbain est suivi au moyen d'indicateurs ciblés sur l'activité de l'opérateur et le volume de services fournis (par exemple le nombre de sessions de conseil χ heures). Certains indicateurs de réalisation peuvent être suivis au niveau du programme : par exemple, le taux d'une réalisation donnée obtenue en zones urbaines ou dans les zones défavorisées au sein des villes aidées. Cependant, de nombreux indicateurs de réalisations ne peuvent pas distinguer de façon probante la partie urbaine d'un programme de développement. Par exemple, un programme de formation organisé dans le centre d'une ville peut recruter des stagiaires dans les quartiers les plus défavorisés. Indicateurs de résultat En ce qui concerne les projets de rénovation urbaine, la distinction entre destinataires directs et indirects peut poser problème. Par exemple, la réhabilitation d'une friche industrielle ou d'une zone d'habitation de mauvaise qualité améliore l'environnement urbain des habitants du voisinage immédiat. C'est pour cette raison que les habitants situés à une certaine distance (souvent estimée à 1 km) du projet sont considérés comme destinataires d'une intervention. Le nombre d'habitants du voisinage est donc un indicateur de résultat. Indicateurs d'impact Il est relativement facile de construire des indicateurs pour l'impact spécifique d'une mesure. On peut demander, par exemple, aux destinataires d'estimer leur sentiment de ségrégation ou la qualité de leur environnement. Cependant, les programmes de développement urbain sont typiquement constitués de nombreuses mesures de faible envergure (voire d'un simple regroupement de projets) sensés produire un changement global du contexte plutôt que des impacts spécifiques sur les destinataires, ce qui peut engendrer des difficultés. En conséquence, il convient d'être attentif au choix des indicateurs d'impacts, qui peuvent être liés à la fois au programme et au contexte urbain. Indicateurs pour le suivi et l'évaluation Exemple 4 1- Création d'associations d'aide aux personnes surendettées et de programmes de crédits locaux Indicateurs de programme (En lien avec l'intervention et ses effets) Indicateurs de contexte (En lien avec l'ensemble des zones urbaines aidées) Indicateurs de réalisation Nombre de destinataires Nombre d'associations et de programmes recevant une aide Indicateurs de résultat Coût du crédit Indicateurs d'impact Utilisation Taux d'intérêt moyen offert en % des taux commerciaux standard Nombre d'habitants du quartier utilisant les services de conseil et les programmes de crédit locaux par an après un an Endettement % d'utilisateurs parvenus à supprimer leur dette après un/trois ans Nombre d'habitants des quartiers aidés Développement urbain Exemple 42 - Réhabilitation d'une zone urbaine dégradée Indicateurs de programme (En lien avec l'intervention et ses effets) Indicateurs de contexte (En lien avec l'ensemble des zones urbaines aidées) Indicateurs de réalisa tion Quantité Nombre de logements rénovés ou construits Nombre de commerces rénovés ou construits Nombre de construction de nouveaux logements dans la zone Indicateurs de résulte t Qualité de l'environnement urbain Nombre estimé de résidents dans le voisinage1" de la zone rénovée Nombre d'habitants de la zone Indicateurs d'impact Hombre de destinataires Nombre d'habitants achetant ou louant les logements Nombres d'entreprises s'installant dans des locaux neufs ou rénovés (après 1 an) Nombre d'habitants de la zone Valeur ajoutée Valeur ajoutée générée dans les entreprises locales après un/trois ans Valeur ajoutée totale des zones urbaines aidées Emploi Nombre d'emplois créés ou maintenus Nombre d'emplois créés dans la zone dans la zone locale (en ETP, dont ceux occupés par des femmes) après un/trois ans (en ETP dont ceux occupés par des femmes) après un/trois ans Attrait résidentiel Santé % des résidents de la zone urbaine aidée déclarant vouloir y rester au cours des 5 prochaines années Nombre d'habitants de la zone soufrant de maladies associées à l'insalubrité des logements (1)Pour les zones résidentielles, la proximité peut être définie p ar « une distance inférieure à 1 kilomètre ». Cette définition peut toutefois être adaptée aux situations pratiques rencontrées dans les zones résidentielles. Indicateurs pour le suivi et l'évaluation Exemple 43 - Aide aux associations de quartier Indicateurs de programme (En lien avec l'intervention et ses effets) Indicateurs de contexte (En lien avec l'ensemble des zones urbaines aidées) Indicateurs de réalisation Nombre d'associations destinataires Nombre d'associations de quartier dont le projet a été accepté (dont celles avec moins de 5, de 5 à 25 et plus de 25 bénévoles) Indicateurs de résultat Centrage sur les zones moins favorisées Indicateurs d'impact Activité des associations de quartier Participation civique Ségrégation/exclusion % d'associations aidées situées dans des quartiers très défavorisés ou dont les membres vivent dans des quartiers très défavorisés Nombre d'adultes actifs dans les associations de quartier aidées après un an Nombre d'adultes de la zone urbaine actifs dans au moins une association de quartier % d'électeurs ayant voté au dernier scrutin local % d'adultes actifs dans les associations de quartier déclarant ressentir un « sentiment de ségrégation/exclusion » % de tous les citoyens déclarant ressentir un « sentiment de ségrégation/exclusion » Les autres interventions ayant un impact dans le champ impacts ultérieurs qui affectent directement Les programmes de formation pour jeunes chômeurs constituent un exemple type d'intervention extérieure au champ du développement urbain créant des impacts dans ce champ. La première série d'impacts peut généralement être évaluée au moyen d'un indicateur du « nombre de destinataires ayant trouvé un emploi après un temps donné ». Cependant, la plupart des le développement urbain (une augmentation des revenus des destinataires entraînant une augmentation des dépenses de logement dans la zone cible, par exemple) ou les employeurs ont une image moins négative des jeunes chômeurs, par exemple) ne se prêtent pas à une quantification au moyen d'indicateurs. Pour des raisons pratiques, le suivi sera normalement limité aux résultats et aux impacts spécifiques. Dans de nombreux cas, seules des études d'évaluation approfondies et qualitatives permettront d'analyser les deuxièmes et troisièmes séries d'impacts et d'évaluer si les objectifs de développement urbain ont été atteints. indirectement (l'effet d'exemplarité par lequel Développement urbain Exemple 44 - Programmes de formation pour chômeurs de longue durée11 > Indicateurs de programme | (En lien avec l'intervention et ses effets) Indicateurs de contexte (En lien avec la zone aidée) Indicateurs de réalisation dans le champ de la formation Nombre de stagiaires Nombre d'individus formés Nombre de chômeurs de longue durée dans les quartiers défavorisés Indicateurs de résultat dans le champ de la formation Qualification Nombre de stagiaires validant leur formation Satisfaction des destinataires % de stagiaires satisfaits ou très satisfaits de leur formation Indicateurs d'impact dans le champ du développement urbain Chômage Pauvreté Nombre de stagiaires vivant dans des quartiers défavorisés et qui ne sont plus chômeurs après un an (dont femmes) Nombre de stagiaires vivant dans des quartiers défavorisés ne recevant plus d'aide sociale sélective après un an (dont femmes) Proportion moyenne de chômeurs de longue durée qui trouvent un emploi après un an % de ménages des zones urbaines recevant ou moins une forme d'aide sociale sélective (1) La longue durée est définie c o m me une période d ' au moins d o u ze mois. Exemples d'aide sociale sélective : RMI en France, Minimex en Belgique. Disponibilité et collecte des données Le concept de ville correspond à cinq bases statistiques : les localités urbaines (définies par les limites administratives de la ville ou par son statut juridique), les zones suburbaines (souvent définies par les organismes de statistiques), les agglomérations urbaines ou les unités urbaines (englobant les centres urbains en construction permanente faisant partie d'une unité ou d'un groupe d'unités administratives), les régions urbaines (comprenant une ville centrale et sa zone d'influence ou son bassin d'emploi, souvent définie en termes de migration pendulaire), et les régions urbaines polynucléaires, ou conurbations (qui peuvent être en évolution permanente mais comprennent plusieurs centres sur lesquels les activités sociales et économiques se polarisent). Dans la plupart des pays, un de ces niveaux est sélectionné pour collecter au moins une partie des données statistiques sur les activités de développement urbain, en fonction de leur finalité. Il est rare que les opérateurs adoptent spontanément des définitions communes des zones Indicateurs pour le suivi et l'évaluation urbaines pour la collecte des données. Les gestionnaires de programmes indicateurs de suivi du doivent donc, s'ils veulent développer des développement être très attentifs à leur coordination. Un indicateur de développement urbain ne doit pas être cité sans préciser clairement quelle définition a été choisie. Dans la mesure du possible, les zones urbaines doivent être définies en fonction des unités administratives, puisque les statistiques collectées sont généralement plus importantes pour ces unités. De plus, ces limites sont reconnues par les autorités qui participent aux « interventions structurelles » et aux initiatives politiques locales. Lorsque les données d'évaluation sont collectées au moyen d'enquêtes spécifiques, il est facile de concevoir des unités territoriales ad hoc. Les possibilités de correspondance avec les unités statistiques doivent toutefois être strictement respectées pour pouvoir comparer les données de l'enquête aux indicateurs de contexte. Les statistiques nationales et régionales sont une source d'indicateurs de contexte. Par exemple, un club de 30 villes allemandes a développé une base le développement urbain, comprenant des de données statistiques sur indicateurs très pertinents tels que des opinions sur l'intégration sociale et ethnique. Il existe également de nombreux tableaux de classement des villes et des localités européennes selon une gamme très large d'indicateurs. 4 Les publications officielles contiennent une vaste gamme d'indicateurs de contexte. Les sources d'indicateurs sont notamment : Eurostat5, les publications de la DGXVI, l'Unité d'environnement urbain et la base de données de durabilité locale de la DGXI (DGXI : http://clties21. com/europractice), et l'Agence européenne pour l'environnement. La DGXVI a démarré un « Audit urbain », basé sur ces travaux, qui comparera un grand nombre de villes européennes. Ce type de travail va constituer une nouvelle ressource pour l'étalonnage des conditions de vie dans impacts des interventions structurelles. L'étude pourra servir de passerelle pour relier les impacts des projets à des impératifs plus larges (voir Encadré 19). les villes européennes et pour l'évaluation des 4 Ces classements comprennent le travail ambitieux de Paul Cheshire, Dennis Hay et Gianni Carbonaro, qui examine 103 régions urbaines fonctionnelles, avec une base de données de 200 variables regroupées en quatre indices de revenu, de chômage, de migration et de trajet. Francfort, Munich et Venise sont en tête de classement, Glasgow, Sunderland et Liverpool occupent les dernières places. 5 Les sources clés d'Eurostat sont notamment le Portrait des régions et RegioMap. Question Exemples d'indicateurs Développement urbain E n c a d ré 19 - I n d i c a t e u rs de l'audit urbain Thèmes Aspects socio- économiques Niveaux de revenus Structure du chômage Implication civique Participation aux élections Niveaux de formation et de scolarisation Compétences professionnelles Accès aux structures de garde d'enfants Environnement Plans de circulation Zones vertes et densité de population Loisirs et culture Bibliothèques publiques la zone total de PIB urbaine/population résidente totale % de la population au chômage sans emploi depuis plus de 6 mois Taux de participation aux dernières élections % de chômeurs entamant une formation professionnelle Nombre d'enfants de 18 mois à l'âge scolaire Nombre de places en crèches, publiques et privées % de la main d'œuvre se rendant au travail en voiture, par transports publics (bus, tram, train) à pied et à bicyclette, résidentielle Population totale/surface totale en hectares % de résidents inscrits dans les bibliothèques locaux Indicateurs clés Les indicateurs clés présentés en page suivante se prêtent à la fois à des comparaisons entre interventions différentes et à des comparaisons avec d'autres programmes. Ils peuvent donc faire l'objet d'agrégation à l'échelle européenne. Indicateurs pour le suivi et l'évaluation Niveau Ressources Réalisations Résultats Impacts Indicateur clé Taux de consommation budgétaire (% des crédits alloués) % de projets (en termes financiers) concernant les zones les plus défavorisées Taux de sélection (% de projets acceptés en termes financiers) Taux de réalisation (% de l'objectif) Conformité avec la durée du projet Nombre d'heures de services (formation, conseil, etc. ) reçues par les destinataires Nombre d'individus recevant une aide directe ou des services suite au programme (dont hommes/femmes) dont ceux vivant dans les quartiers défavorisés Taux de satisfaction (% de destinataires satisfaits/très satisfaits par les services fournis) % de destinataires n'ayant plus besoin des services après 18 mois % de destinataires employés après 18 mois (emploi stable à long terme) Attrait résidentiel (% d'habitants souhaitant rester dans la zone) Pour en savoir plus. Bentham, C. G. (1985), 'Which Areas Have the Worst Urban Problems ?' in : Urban Studies, Volume 22 , 119-131. Coombes, M. Raybould, S. and Wong, C. (1992), Developing Indicators to for Urban Regeneration, Department of the Assess the Potential Environment Inner Cities Research Programme. London : HMSO. European Commission (1997), Community involvement regeneration. Luxembourg : Official Publications Office of European Community. in urban the European Commission (1997), Europe's Cities : Community Measures in Urban Areas. Luxembourg : Official Publications Office of the European Community. Healey and Baker (1997), Business Base Across the World. London : Healey. Robson, B. , Bradford, M. , Deas, I. , Hall, E. , Harirson, E. , Parkinson, M. , Evans, R. Garside, P. Harding, A. & Robinson, F. (1994), Assessing the Impact of Urban Policy. London, HMSO. OECD (1997), ßerrer Understanding Our Cities: The Role of Urban Indicators, Paris : OCDE, 84p. Indicateurs pour trois objectifs majeurs Développement économique L'un des objectifs majeurs des interventions structurelles est de promouvoir le développement économique régional et interventions financées par les Fonds structurels poursuivent également des objectifs globaux tels que la création d'emploi et la réduction des disparités en termes de qualité de la vie. Ces objectifs étant toutefois considérés comme à la fois économiques et sociaux, ils font l'objet de sections distinctes. local. Les L'objectif final du développement économique est en fait la croissance du revenu général de la population des zones aidées. Selon différentes hypothèses, dont certaines seront discutées plus loin, la croissance du volume de l'activité économique régionale (c'est-à-dire le développement de l'économie) fournit une approximation de la croissance du revenu de la population. Les mesures de nature économique dominent la plupart des programmes. Quant aux mesures non économiques, elles sont souvent guidées, elles aussi, par des considérations économiques aux stades de la conception et de la mise en œuvre. Cette focalisation sur la dimension économique en tant que principal catalyseur du développement régional confère un statut particulier aux indicateurs du développement économique. Les contributions les plus directes au développement économique ont lieu dans des champs tels que les infrastructures de transport, l'énergie, la société de l'information, la formation, la RDT, les entreprises, le tourisme, l'agriculture le présent ouvrage et la pêche. Nombre des champs couverts par interagissent avec intervenir différents la sphère économique et font facteurs qui déterminent les performances économiques (par exemple l'attrait, l'accessibilité, etc. ). Par conséquent, la plupart des indicateurs associés sont abordés séparément dans les sections correspondantes du présent cahier. La présente section est donc centrée sur les indicateurs économiques stricto sensu, qui comprennent les revenus, le PIB, la valeur ajoutée, l'investissement, les exportations, etc. Dans la mesure où les effets sur le développement économique régional et local sont produits au niveau des la section impacts par des « Interventions dans le champ » n'est pas applicable. interventions dans d'autres champs, Indicateurs pour le suivi et l'évaluation Impacts sur le développement économique Indicateurs d'impact indicateurs qui mesurent Les le développement économique sont essentiellement centrés sur les impacts, et particulièrement sur les impacts les plus indirects de nature macroéconomique. Pour évaluer les performances comparatives d'une région, un grand nombre d'indicateurs de contexte sont disponibles aux niveaux sous- régional, régional, national et européen. Le principal indicateur permettant d'apprécier le développement économique est le PIB par habitant, qui mesure la valeur ajoutée totale générée par les unités économiques d'une région en fonction du nombre d'habitants. Dans la mesure où la valeur ajoutée est finalement distribuée sous forme de salaires, d'intérêts, d'impôts, etc. , le PIB est considéré comme une approximation du revenu régional. Il est également important de tenir compte des transferts sociaux interrégionaux, et du fait qu'une partie des actionnaires, et, dans une moindre mesure, des employés des entreprises régionales, ne résident pas nécessairement dans la région. Encadré 20 - Valeur ajoutée : un indicateur d'impact central La valeur ajoutée est un indicateur d'impact central dans la mesure où elle reflète la richesse générée pour la zone locale via les interventions structurelles. Elle peut également être utilisée pour évaluer la « qualité » des opportunités d'emploi. La valeur ajoutée peut être définie de différentes façons et à différents niveaux. Par exemple, au niveau d'une unité économique individuelle, elle peut être mesurée en tant que : - différence entre le revenu généré par la vente des produits et la valeur des ressources autres que la main d'œuvre (matières premières, services et biens intermédiaires) consommées pour générer ce produit ; ou en tant que : - combinaison des rémunérations des facteurs de production utilisés. Ceci comprend les salaires et traitements payés à la main d'œuvre plus les profits générés pour les propriétaires, plus les loyers payés pour l'utilisation des terrains. En pratique, la valeur ajoutée est souvent mesurée en termes de traitements et salaires plus bénéfices. L'agrégation de la valeur ajoutée sur tous les secteurs de production d'une économie régionale aboutit au Produit Intérieur Brut (à condition que tous les paiements aux facteurs soient réglés au sein de la région) et constitue un Indicateur de richesse régionale. Développement économique Le PIB étant une agrégation de la valeur ajoutée des unités économiques individuelles, l'utilisation des deux indicateurs crée des correspondances intéressantes entre les impacts de programme et le contexte régional. Cet indicateur de « valeur ajoutée générée par les projets aidés » peut être la contrepartie microéconomique du PIB régional. considéré comme la correspondance micro-macro est sujette à certaines Cependant, réserves. Les différentes façons de mesurer la valeur ajoutée sont présentées dans l'Encadré 20. terme impliquant une dynamique sociale, L'impact prévu peut se produire longtemps après l'intervention, dans la mesure où les effets structurants constituent un processus d'adaptation à technologique et long économique. L'effet sur la création de richesses ne peut être enregistré qu'après transformation effective des processus de production. Par exemple, l'Impact économique d'une subvention d'investissement ne se matérialisera qu'après la mise en route effective de l'investissement aidé, processus qui peut durer plusieurs années. De plus, la performance économique dépend largement des conditions macroéconomiques. Les interventions seront plus efficaces pendant les périodes de croissance les périodes de récession. Par économique soutenue que pendant exemple, il est probable que investissements subventionnés soit plus important quand le niveau de demande est élevé ainsi que lorsque la demande est en déclin ou faible. levier des l'effet de les les services financés par impacts quantitatifs indirects sont Il est utile de rappeler que généralement plus importants que les impacts directs. On peut prévoir que les subventions et les Fonds structurels généreront un chiffre d'affaires supplémentaire, qui contribuera à créer de la valeur ajoutée et à générer des revenus supplémentaires dans la région, lesquels bénéficieront aux entreprises régionales et donneront naissance à un nouveau cycle de dépenses dans l'économie régionale. Si l'aide des Fonds structurels conduit à des commandes pour des sous-traitants régionaux (effet indirect), cette demande générera également de la valeur ajoutée. Ce processus, par lequel une injection de dépenses crée des vagues successives d'investissements et de consommation, est appelé le « multiplicateur Keynésien ». Seuls des modèles économétriques ou les liens entre la valeur l'analyse entrées-sorties permettent d'évaluer ajoutée générée par le programme au niveau micro et le PIB au niveau Indicateurs pour le suivi et l'évaluation m a c r o. Ce t y pe d'analyse étant long et c o û t e u x, les indicateurs qui y sont associés ne peuvent pas être quantifiés de f a ç on régulière. Le d é v e l o p p e m e nt d es é c o n o m i es régionales étant influencé par une grande variété de pressions extérieures, l'analyse de leurs performances absolues ne permet pas de tirer beaucoup de conclusions bien définies. Il vaut mieux utiliser des indicateurs permettant de c o m p a r er l'évolution relative des disparités régionales (voir Encadré 21). E n c a d ré 21  Disparités régionales Comment des indicateurs peuventils donner une vision claire des performances économiques globales d'une région ? Les régions étant soumises à une grande variété de pressions extérieures (climat économique, concurrence internationale, réglementations nationale et supranationale et décisions politiques. ) l'analyse des performances absolues ne permet pas de tirer des conclusions solides. La construction d'indicateurs en termes relatifs est plus appropriée. Le niveau des performances économiques d'une sousrégion (par exemple une région NUTS 3 eligible à l'Objectif 2), peut être mesuré par référence à la région (par exemple la région NUTS 2 correspondante), au pays et à l'Europe. Pourquoi estil nécessaire de prendre en compte autant de références ? Cette procédure permet, par exemple, aux observateurs de voir si la sousrégion est peu performante par rapport aux économies nationale et européenne, tout en étant plus performante que la région dont elle fait partie. Au contraire, dans une sousrégion en situation plus difficile, le PIB par habitant et la croissance du PIB sont Inférieurs à la fols à ceux de la région, de l'Etat et de l'Europe. Si l'on constate, après la mise en œuvre d'un programme de développement, une réduction de la disparité visàvis de la région, mais pas visàvis de l'Etat et de l'Europe, cela indique qu'une première étape a été réalisée avec succès. ♦ Indicateurs de résultat, de réalisation et de ressources La c o r r e s p o n d a n ce entre les i m p a c ts m i c r o é c o n o m i q u es et les Impacts m a c r o é c o n o m i q u es pose un p r o b l è me difficile. Ce problème peut être traité de façon opérationnelle avec la proposition suivante. Au Heu d'additionner les i m p a c ts individuels pour parvenir à d es niveaux de plus en plus m a c r o, on peut adopter une a p p r o c he inverse basée sur le principe de l'intégration (mainstreaming). Ce principe a été appliqué d a ns le c h a mp de l'égalité des c h a n c e s. Son utilisation implique que l'intérêt soit centré en premier lieu sur une priorité politique d o n n ée (par exemple, une priorité stratégique pour le d é v e l o p p e m e nt régional). Les indicateurs sont ventilés en fonction de la Développement économique priorité à chaque fois que cela est possible. Les indicateurs de contexte tiennent compte de la priorité au niveau macro tandis que les indicateurs de programme considèrent la priorité au niveau micro. Dans l'exemple de la promotion de la diversification économique (illustré dans l'Encadré 22), les activités qui se situent dans des secteurs à croissance rapide sont systématiquement identifiées à travers une ventilation des données à chaque étape de la chaîne de causalité. Ainsi les ressources consacrées aux interventions dans des secteurs à croissance rapide sont clairement Identifiables, ainsi que les réalisations, les résultats puis les Impacts. Encadré 22 - Application du principe d'intégration (mainstreaming) : Exemple de la priorité stratégique de diversification économique Impacts Indicateurs de programme Indicateurs de contexte Valeur ajoutée générée après un an (dont secteurs en croissance rapide) % des secteurs en croissance rapide dans le PIB régional Résultats Effet de levier (dont secteurs en croissance rapide) Réalisations Ressources Nombre d'unités économiques aidées (dont secteurs en croissance rapide) Dépenses budgétaires totales (dont l'aide aux secteurs en croissance rapide) En fonction des stratégies de développement économique sélectionnées par différents concepteurs de programme, le principe d'intégration (mainstreaming) ) peut s'appliquer à différentes priorités. Les trois priorités les plus fréquemment citées sont présentées ci-dessous. De nombreux programmes sont construits sur une stratégie de diversification économique. L'aide financière des Fonds structurels vise un allégement du poids des secteurs en déclin en proportion de l'activité économique régionale. Dans ce cas, il est utile de ventiler les principaux indicateurs du programme entre secteurs en croissance et secteurs en déclin (par exemple le montant des aides, le nombre de bénéficiaires, le montant d'investissement privé supplémentaire). L'un des inconvénients de cette approche est qu'il n'existe pas de typologie standard permettant de Indicateurs pour le suivi et l'évaluation les secteurs en croissance et distinguer les secteurs en déclin. Le classement est délicat compte tenu de la complexité de la segmentation des marchés et de la nature cyclique de certaines activités. Autre problème posé : il existe toujours des niches en croissance rapide à l'intérieur des marchés en déclin. Pour les indicateurs de programme, il semble possible les questions de définir des catégories de projets aidés en utilisant suivantes : « quel est le marché le plus pertinent pour le projet ? », « ce marché s'est-ll développé de façon significative au cours des 5 dernières années ? » et « ce marché est-il susceptible de se développer au cours des cinq prochaines années ? ». Les programmes de développement économique comprennent également une gamme de mesures ciblant la promotion des initiatives locales et l'attraction de nouvelles activités de production. Un degré élevé d'investissement externe, comparativement aux projets locaux, augmente la dépendance économique des activités régionales qui sont de plus en plus gérées à partir de centres de décisions situés à l'extérieur de la région. En conséquence, l'économie régionale est susceptible de devenir plus sensible aux chocs extérieurs. La stimulation de l'esprit d'entreprise local est un processus qui produit un impact moins visible, mais ces Impacts sont plus solidement enracinés dans le territoire régional et plus susceptibles de durer. On "peut donc la considérer, pour cette raison, comme une priorité stratégique. Dans ce cas, il est intéressant de ventiler le plus d'indicateurs possible en projets de nature endogène/exogène. Certaines unités économiques sont actives sur des marchés ouverts à la concurrence européenne et mondiale (constructeurs automobile et informatique, par exemple), tandis que d'autres se situent sur des marchés régionaux ou locaux plus fermés (construction ou vente au détail). Cela signifie que ces dernières sont dans une certaine mesure protégées de la concurrence extérieure. L'aide publique au secteur protégé peut s'avérer efficace à court terme, mais seule la croissance du secteur concurrent peut générer un développement économique à long terme. Si l'on donne une priorité stratégique aux activités concurrentielles sur le plan international, il est intéressant de ventiler les indicateurs de programme entre projets situés dans les secteurs concurrents et ceux situés dans les secteurs protégés. Développement économique Exemple 45 - Aide à la construction d'un centre de conférence et d'exposition Indicateurs de programme (En lier avec l'intervention et ses effets) Indicateurs de contexte (En lien avec la zone aidée) Indicateurs de réalisation Avancement Réalisation physique Conformité avec la durée du projet Taux de réalisation Surface (m2) Indicateurs de résultat en rapport avec le développement économique endogène Plan de charge Nombre de conférences et Entreprises détenues et dirigées d'expositions prévues la première localement en pourcentage des année (dont conférences et entreprises de la zone d'expositions essentiellement associées aux activités économiques locales) Indicateurs d'impact en rapport avec le développement économique endogène Contacts commerciaux Nombre de nouveaux contacts commerciaux générés par l'activité du centre après un an (dont entreprises détenues et dirigées localement) Utilisation Nombre d'entreprises ayant utilisé le centre pour promouvoir leurs ressources après un an (dont entreprises détenues et dirigées localement) Exemple 46 - Aide directe à l'investissement des entreprises Indicateurs de programme (En lien avec l'intervention et et ses effets) Indicateurs de contexte (En lien avec la zone aidée) Indicateurs de réalisation en rapport avec la diversification Nombre de destinataires Nombre d'entreprises recevant des subventions (dont marchés/secteurs en croissance rapide) Indicateurs de résultat en rapport avec la diversification Effet de levier Investissement privé supplémentaire (dont marchés/secteurs en croissance rapide) Indicateurs d'impact en rapport avec la diversification Diversification Valeur ajoutée annuelle générée par les investissements en euros/an après un an (dont marché/secteurs en croissance rapide) % des marchés/secteurs en croissance rapide dans le PIB régional Indicateurs pour le suivi et l'évaluation Exemple 47 - Programme de capital risque pour le développement des petites entreprises Indicateurs de programme (En lien avec l'intervention et ses effets) Indicateurs de contexte (En lien avec la zone aidée) Indicateurs de réalisation en rapport avec la compétitivité Nombre de destinataires Nombre de PME ayant bénéficié d'au moins un prêt garanti par le capital risque (dont secteurs non protégés) Indicateurs de résultat en rapport avec la compétitivité Effet de levier Investissement privé supplémentaire généré par les prêts (dont secteurs non protégés) Indicateurs d'impact en rapport avec la compétitivité Valeur ajoutée Exportations Valeur ajoutée annuelle générée par les prêts financés par le capital risque (dont secteurs non protégés) Exportations générées par des PME aidées après un an (dont secteurs non protégés) % de secteurs non protégés dans le PIB régional Exportations en % du PIB régional Disponibilité et collecte des données Les informations renseignant les indicateurs de programme au niveau des réalisations et des résultats sont fournies par les systèmes de suivi des opérateurs, mais ne sont pas automatiquement ventilées en catégories pertinentes (secteurs en croissance ou en déclin, développement exogène ou endogène, activités de secteurs concurrentiels ou protégés). Si nécessaire, le reclassement des données sera effectué dans le cadre de l'évaluation. Quant aux données renseignant les indicateurs d'impacts bruts, elles devront souvent être basées sur les prévisions des destinataires. Les indicateurs d'impact nets devront reposer sur des enquêtes complémentaires. indicateurs économiques, à Au niveau du contexte, de nombreux l'exception du revenu pártete, sont actuellement disponibles pour la plupart des régions et publiées dans l'annuaire statistique régional d'Eurostat. Les Indicateurs disponibles sont notamment : le PIB par habitant, la productivité, la valeur ajoutée et l'investissement. La plupart de ces indicateurs de contexte sont ventilés en secteurs tels que : agriculture, énergie, Industrie de transformation, construction, services marchands, services non marchands. Développement économique indicateurs étant essentiels pour apprécier les performances Ces économiques régionales, il conviendrait de renforcer leur collecte pour toutes les régions NUTS 2 et d'accélérer leur mise à jour. La politique régionale européenne ciblant également il serait intéressant de sélectionner les Indicateurs les plus représentatifs, et si possible, de les collecter à ce niveau. le niveau NUTS 3, Indicateurs clés pour agréger et comparer les données Un certain nombre d'indicateurs clés, présentés ci-dessous, sont adaptés à l'agrégation et à la comparaison des interventions structurelles dans le champ du développement économique. Niveau Indicateur clé Ressources Réalisations Impacts (programme) Impacts (contexte) % du budget consacré à des projets d'entreprises détenues ou dirigées localement % du budget consacré à des projets sur des marchés en croissance rapide % du budget consacré à des projets dans des secteurs non protégés Nombre d'unités économiques recevant une aide directe ou des services suite à un programme (dont celles impliquées dans des entreprises détenues/dirigées localement, dans des marchés en croissance rapide, dans des secteurs non protégés) Valeur ajoutée générée par le programme après 18 mois en euro/an/employé (dont celle générée par les entreprises détenues et/ou dirigées localement, par les entreprises opérant sur des marchés en croissance rapide, par les entreprises opérant dans des secteurs non protégés). Investissement/habitant, PIB/habltant, valeur ajoutée/ employé, exportations en % du PIB régional, % de PIB régional dans des entreprises détenues et dirigées localement, dans les marchés en croissance rapide, dans les secteurs non protégés. Emploi La promotion de l'emploi pérenne est une composante majeure de la politique de cohésion. Elle est soutenue par l'ensemble des Fonds structurels. Par exemple, les activités de formation ou d'aide aux nouvelles les entreprises auront des effets d'emploi directs investissements dans les infrastructures de santé ou dans la protection de l'environnement créeront également des emplois, de façon plus indirecte. Pratiquement toutes les activités aidées dans le cadre des politiques structurelles peuvent avoir des effets d'emploi, bien que ces effets ne soient généralement pas uniformes sur l'ensemble de la population et peuvent affecter spécifiquement la situation de certaines catégories de destinataires, tels que les femmes ou les chômeurs de longue durée. tandis que La lutte contre le chômage et la promotion de l'emploi sont depuis longtemps des composantes implicites de la politique communautaire européenne. Cependant, depuis le milieu des années 90, ces objectifs sont devenus de plus en plus explicites et ont pénétré une vaste gamme de politiques communautaires, y compris les politiques structurelles. Initiée par le Livre blanc sur le développement, la compétitivité et l'emploi et les conclusions du Conseil d'Essen qui a suivi cette publication, la tendance s'est poursuivie par les propositions formulées par la Commission dans le document « Action pour l'emploi en Europe » (1996). La politique continue de se développer avec les Orientations pour l'emploi émises chaque année par le Conseil et les plans d'action nationaux pour l'emploi de chaque Etat membre. Ces efforts ont pour but d'apporter une réponse au processus de changement structurel que l'économie européenne traverse depuis 20 ans en favorisant la création d'emploi viable. Les priorités stratégiques ont été progressivement affinées et sont désormais concentrées sur quatre axes : l'esprit d'entreprise, encourager améliorer l'adaptabilité des entreprises et des employés aux changements économiques et renforcer l'égalité des chances (Résolution du Conseil sur les orientations sur l'emploi de 1998 - décembre 1997). La dernière priorité fait l'objet d'une autre section dans ce Volume. l'employabilité, développer Impacts sur l'emploi tenu de Compte le commentaire de la présente section décrit les interventions qui ont un les Impact sur la nature horizontale des problèmes d'emploi, lieu d'essayer d'isoler artificiellement l'emploi au Indicateurs pour le suivi et l'évaluation interventions en faveur de l'emploi et de traiter des indicateurs qui s'y rapportent. Les exemples cidessous sont tirés respectivement des champs formation et tourisme, mais d'autres champs auraient pu figurer dans cette section si d'autres exemples avaient été retenus. Certains indicateurs présentent une difficulté particulière pour le champ de l'emploi. Il s'agit des indicateurs qui mesurent les « ressources humaines » utilisées par le programme, c'estàdire la mobilisation de la main d'œuvre dans la mise en place d'une intervention Le « nombre de formateurs employés pour une formation aidée », par exemple, est un indicateur des ressources humaines investies dans la mise en œuvre, mais est également une composante (quoique mineure) de l'emploi associé au projet. L'Investissement dans les infrastructures physiques aura, dans la plupart des cas, des conséquences à court terme sur l'emploi, en raison des activités de construction. Ce type d'emploi étant en général temporaire par nature, les unités de mesure doivent être exprimées en emplois χ ans pour faire apparaître clairement cette nature transitoire. Si l'on veut être rigoureux, ce type d'emploi est une ressource et non un impact. Pour simplifier, on regroupe souvent tous les emplois créés en quantifiant un seul indicateur. Beaucoup d'interventions tendent à renforcer les facteurs favorables à la création d'emploi. Dans ce cas, les indicateurs de réalisations ne sont pas centrés directement sur l'emploi, mais plutôt sur les Infrastructures et les services nécessaires pour accroître l'employabilité, l'adaptabilité ou l'esprit d'entreprise chez les destinataires. Les Interventions qui visent directement la création d'emploi sont certainement exceptionnelles. Par exemple une mesure qui consiste à former des formateurs pour qu'ils deviennent formateurs aurait la création d'emplois comme indicateur de réalisations. Dans bien des cas, la création ou le maintien d'emploi se matérialisent au stade des résultats de l'intervention. Cela se produit lorsque l'emploi est une conséquence directe et immédiate de l'activité aidée, par exemple l'emploi d'un créateur d'entreprise aidé, l'emploi d'un nouvel aquaculteur aidé. L'emploi devient un impact lorsque sa création ou sa sauvegarde est une conséquence à moyen terme et/ou indirecte de l'intervention. Par exemple, des effets d'emploi peuvent prendre la forme d'avantages durables pour ceux qui ont reçu l'aide (par exemple les stagiaires dont l'emploi a été sauvegardé, les stagiaires qui ont trouvé un emploi après 12 mois). Des emplois peuvent aussi être créés dans la gestion et la maintenance de Emploi (par ports, réseaux exemple infrastructures nouvelles de télécommunications et centres de recyclage des déchets). Tous ces emplois sont des exemples d'effets directs à moyen terme des interventions structurelles. Les effets d'emploi peuvent également être indirects, essentiellement grâce au développement des activités des destinataires (par exemple les emplois générés dans les entreprises aidées après 12 mois, les emplois générés chez les fournisseurs des entreprises aidées, les emplois générés dans la région par les effets multiplicateurs de revenu). Les effets d'emploi peuvent se produire de façon plus Indirecte en raison de : la croissance de l'activité économique générée ou rendue possible par l'existence de la nouvelle Infrastructure, la compétitivité accrue des entreprises aidées ou la compétitivité accrue des sociétés bénéficiant d'un encadrement et/ou d'une main d'œuvre mieux qualifiée. On peut considérer que l'analyse de ces effets indirects est extrêmement complexe et qu'elle est du ressort d'études qualitatives approfondies, ou éventuellement d'analyses macroéconomiques. La nécessité de distinguer les effets d'emploi bruts et nets est de la plus grande importance. Les indicateurs d'emploi qui se prêtent facilement à la quantification sont généralement des indicateurs bruts, tels que le nombre d'emplois existant dans une nouvelle société aidée après 12 mois, le nouvelle nombre d'emplois infrastructure, le nombre d'emplois que les entreprises aidées déclarent comme sauvegardés grâce à l'intervention. fonctionnement associés au d'une Les indicateurs bruts ne fournissent pas une vision définitive des effets d'emploi en raison de l'Influence de facteurs concurrents dans le contexte micro et macroéconomique. Cependant, l'analyse causale étant toujours difficile, il n'est pas réaliste de chercher à mesurer directement la création d'emploi nette. Un certain nombre de corrections peuvent cependant être effectuées pour limiter la sous-estimation, en utilisant par exemple des coefficients standard pour fournisseur et multiplicateur de revenu). D'autre part, la surestimation peut être évitée en appliquant un coefficient standard d'effet d'aubaine (modifications de l'emploi qui auraient eu lieu même en l'absence d'intervention). les effets Les effets de déplacement et de substitution sont des questions plus délicates. Le déplacement est la création d'emploi dans un lieu aux dépens de l'activité économique sur un autre lieu. Une substitution peut être, par exemple, l'embauche d'un chômeur aidé aux dépens d'un autre travailleur dont l'emploi disparaît. Certains effets de déplacement ou de substitution Indicateurs pour le suivi et l'évaluation peuvent être recherchés (par exemple la création d'emplois dans des zones aidées aux dépens d'une capitale dynamique ou l'aide au retour à l'emploi de chômeurs de longue durée, qui peut se faire aux dépens d'autres travailleurs, etc. ). Le fait de prendre en compte le déplacement et la substitution dans les effets d'emploi est une décision à prendre intervention, au besoin au moment de spécifiquement pour chaque l'évaluation. Finalement, les effets d'emploi nets d'une intervention sont définis comme les effets d'emploi bruts moins l'effet d'aubaine et, selon les cas, le déplacement et/ou la substitution. important d'essayer d'identifier Il est souvent l'emploi découlant d'une intervention. Cette qualité peut être reflétée simplement par les niveaux de revenu, mais elle peut également être associée à la pérennité de l'emploi. la qualité de Exemple 48 -Programme de retour à l'emploi pour chômeurs de longue durée Indicateurs de programme (En lien avec l'intervention et ses effets) Indicateurs de contexte (En lien avec la zone aidée) Indicateurs de réalisation Nombre de destinataires Nombre de chômeurs de longue durée participant au programme (dont femmes) Indicateurs de résulte t Taux de transition immédiate Indicateurs d'impact Taux de placerrent brut Taux de placement net Qualité des emplois Nombre de destinataires qui sont embauchés ou dans une meilleure situation sociale à la fin de leur participation au programme (dont femmes) Nombre de destinataires embauchés après 12 mois (dont femmes) Nombre de chômeurs de longue durée dans la zone Taux brut moins l'effet d'aubaine estimé (stagiaires qui auraient été embauchés sans l'aide) moins la substitution non acceptable (embauche d'un stagiaire ayant généré le chômage de longue durée pour un autre travailleur) % de destinataires embauchés (dont femmes) dont l'emploi est à temps plein et permanent après 12 mois % d'emplois dans la zone qui sont permanents et s temps plein Emploi Exemple 49 - Aide à l'installation d'un centre équestre (support permanent et événementiel) Indicateurs de programme (En lien avec l'intervention et ses effets) Indicateurs de contexte (En lien avec la zone aidée) Indicateurs de réalisation dans le domaine du tourisme Conformité avec la durée du projet Date d'achèvement prévue (nombre de mois de retard) Indicateurs de résultat dans le domaine du tourisme Plan de charge Nombre d'événements prévus la première année Mombre de visiteurs prévus la première année Indicateurs d'impact Effet d'emploi direct brut Mombre de personnes employées dans Effet d'emploi indirect Nombre de visiteurs l'administration du centre et la fourniture de services après 18 mois (ETP dont ceux occupés par des femmes) Nombre d'emplois estimés (dont ceux occupés par des femmes) générés par les touristes attirés par le centre et séjournant dans le secteur Nombre de visiteurs assistant aux événements se déroulant dans le centre (dont ceux extérieurs à la zone) après un an Nombre moyen d'emplois (ETP) dans le secteur du tourisme pour 1 000 visiteurs χ nuits Nombre de visiteurs dans la zone (nuits paran) Disponibilité et collecte des données Les données gérées par les systèmes d'informatique de gestion peut généralement servir de base pour évaluer les effets d'emploi. Les indicateurs de suivi peuvent souvent produire des informations sur les emplois temporaires et sur les emplois permanents bruts lorsque l'effet d'emploi est direct et à court terme. Les études de recherche et d'analyse du marché du travail (comprenant les résultats des précédentes évaluations d'interventions similaires) fournissent un stock d'informations quantitatives et qualitatives qui peuvent être utilisées pour estimer la création d'emploi indirecte. L'utilisation des ratios d'emploi (par exemple le nombre d'emplois générés pour 1 OOO visiteurs, le nombre d'emplois créés pour 1 000 euros de valeur ajoutée dans un secteur donné, etc. ) offre également des possibilités intéressantes. Même l'effet d'aubaine peut être extrapolé à partir de précédentes évaluations d'interventions similaires dans des contextes semblables. Indicateurs pour le suivi et l'évaluation Quoi qu'il en soit, seule une évaluation approfondie peut fournir une estimation satisfaisante de la création nette ou de la sauvegarde d'emplois. Une telle évaluation implique un effort d'observation et d'analyse des effets par l'intermédiaire d'enquêtes auprès des destinataires. Elle exige également de juger si les effets de déplacement et de substitution sont acceptables ou non. Les sources d'indicateurs de contexte sur l'emploi et le marché du travail sont les enquêtes statistiques permanentes et les séries statistiques comparatives disponibles aux niveaux européen, national et régional. Les enquêtes sur le marché du travail sont disponibles au moins annuellement à la fols pour l'UE dans son ensemble et chacun des Etats membres, de même que les données sur les différents aspects du chômage. Ce type de données pose deux problèmes. Premièrement, l'information au niveau régional est souvent moins fréquemment disponible que l'information sur le plan national ou communautaire. En outre, les régions pour lesquelles les données sont fournies ne coïncident pas toujours avec les régions éligibles à l'aide des interventions. Deuxièmement, l'intérêt de l'information pour l'évaluation et le suivi peut être réduit en raison du décalage dans le temps qui est inévitablement Hé à la production de données des enquêtes statistiques standard. Indicateurs clés Les indicateurs clés présentés en page suivante se prêtent à la fois à des comparaisons entre interventions différentes et à des comparaisons avec d'autres programmes. Ils peuvent donc faire l'objet d'agrégation à l'échelle européenne. la mesure où Dans intervention peuvent les effets d'emploi d'une comprendre à la fois des emplois à temps partiel et à plein temps, cette distinction doit être reconnue dans tous les indicateurs utilisés, et les agrégations comme les comparaisons peuvent être faites en convertissant les données brutes sur les personnes employées en équivalents temps plein. Les dates de quantification (6, 12 ou 18 mois après l'intervention) doivent également être standardisées pour permettre des comparaisons et des agrégations au niveau européen. La date proposée standard est de 12 mois. Autre condition requise, plus difficile, pour les comparaisons : le déplacement et la substitution devraient être traités de façon standard. On peut faire la proposition qui suit : le déplacement aux dépens de n'Importe Emploi quelle zone eligible aux Fonds structurels doit être déduit des effets bruts, les Fonds la substitution aux dépens de structurels doit être déduite des effets bruts. toute personne ciblée par Niveau Ressources Résultats Impacts Indicateur clé Nombre de personnes mobilisées pour mettre en œuvre les interventions (en années-emploi, dont femmes) Nombre de personnes cours du projet (dont femmes) immédiatement employées au Nombre d'emplois directs bruts occupés par des femmes) Nombre d'emplois directs nets (en ETP dont ceux : nombre brut moins effet occupés par des femmes) d'aubaine estimé, moins déplacement et substitution non (en ETP, dont ceux acceptables Nombre d'emploi total brut/net (en ETP, dont emplois : emploi direct plus effet occupés par des femmes) fournisseur et multiplicateur Qualité des emplois permanents (dont ceux occupés par des femmes) : % d'emplois à temps plein et Pour en savoir plus. C3E (1996), Evaluating the Contribution of the Structural Funds to Employment. Brussels : European Commission. European Commission (1996), Counting the Jobs : how to evaluate the employment effect of Structural Intervention. Brussels : European Commission. European Commission (1996), Regional Success Stories : profiles of 36 projects in Europe. Luxembourg : European Commission. Schmid, G. et al. (1997), Progress in Evaluation Research. Berlin : Wissenschaftszentrum Berlin für Sozialforschung. Et le cinquième Volume des Cahiers Means consacre un chapitre entier à l'évaluation des effets d'emploi. Q u a l i té de la vie L'usage du terme qualité de la vie s'est répandu récemment. Ce terme décrit le bien-être de la population et, à ce titre, possède une dimension environnementale, sociale et économique. Il est étroitement associé au développement durable. Dans ce contexte, le développement durable peut être décrit comme l'atteinte d'une bonne qualité de la vie sans dégradation de l'environnement. Au sens le plus large, tous les aspects des interventions structurelles impliquent la qualité de la vie. Certaines interventions sont aussi plus spécifiquement orientées vers l'amélioration des conditions de vie. Toute intervention améliorant les conditions de vie locales a un impact sur la volonté des résidents de continuer à vivre, à étudier et à investir dans la zone aidée (et sur l'attrait de la région). Cette volonté de vivre dans la zone est un objectif particulièrement recherché dans le cas des régions à densité de population particulièrement faible. Les interventions directement liées à la qualité de la vie dans un programme de développement sont celles qui contribuent sensiblement à l'attrait de la zone aidée. Les interventions spécifiques à ce champ consistent à créer des installations qui augmentent l'attrait d'une région en améliorant les services de santé, la qualité de l'enseignement, l'accès à la culture, etc. Le financement de ces installations, toutefois, n'est pas fréquent dans le cadre des Fonds structurels. Les interventions dans ce champ concernant une grande variété de projets indicateurs de différents types, les approches de standardisation des devront être utilisées avec prudence. les propositions d'indicateurs doivent émerger du contexte particulier dans lequel Ils sont utilisés et doivent refléter les préoccupations des projets. Idéalement, Interventions dans le champ Indicateurs de ressources Les interventions dans le champ de la qualité de la vie, tels que les investissements dans la santé, ou dans d'autres Installations et services locaux, sont généralement suivies au moyen de l'Indicateur de ressources standard, c'est-à-dire le taux de consommation budgétaire. Indicateurs pour le suivi et l'évaluation Indicateurs de réalisation Les réalisations dans ce champ peuvent tout d'abord être mesurées au moyen d'indicateurs standard tels que le « taux de réalisation » et la « conformité à la durée du projet ». Le volume des réalisations peut souvent être mesuré en termes de capacité. Par exemple, dans le cas d'une aide à des installations hospitalières locales, les réalisations peuvent être mesurées en « nombre de lits disponibles ». Pour un théâtre ou une bibliothèque aidée, les indicateurs de réalisations pertinents peuvent être le « nombre de places » et le « nombre de publications détenues ». Ces indicateurs sont toutefois très spécifiques et d'un usage limité pour le suivi et l'évaluation à l'échelle du programme. Indicateurs de résultat De nouveaux équipements ou de nouvelles installations présentent des avantages immédiats lorsque les utilisateurs potentiels peuvent accéder à des services donnés plus rapidement ou lorsque la qualité de ces services est améliorée ou préservée. Indicateurs d'impact Les indicateurs d'impact spécifiques de ce champ sont généralement centrés sur le degré d'utilisation des équipements après un/trois ans. Les indicateurs peuvent comprendre le nombre de visiteurs d'une bibliothèque, le nombre de participants à un événement culturel, le nombre de patients d'un hôpital. Les indicateurs sont exprimés en nombre par an, ou de préférence en pourcentage de la capacité de l'installation. Les indicateurs d'impact vont bien au-delà de la fourniture directe et de l'utilisation des installations et doivent être conçus de façon à mesurer comment les utilisateurs sont affectés par l'expérience, par exemple : l'installation aidée continue-t-elle d'être régulièrement utilisée, a-t-elle réduit le sentiment d'isolement des utilisateurs, a-t-elle augmenté leur confiance dans leur région et va-t-elle modifier leur volonté de vivre dans cette région dans les années à venir ? Les indicateurs d'impact sont les plus intéressants, mais aussi les plus difficiles à quantifier. Les impacts sur la qualité de la vie tendent à être plus complexes que d'autres types d'impacts et sont donc plutôt susceptibles de faire l'objet d'observations et d'analyses qualitatives. Qualité de vie Exemple 50 - Construction d'un nouvel hôpital Indicateurs de programme (En lien avec l'intervention et ses effets) Indicateurs de contexte (En lien avec la zone aidée) Indicateurs de réalisation Capacité Nombre de patients pouvant être traités, en fonction du type de soins Nombre de lits d'hôpitaux pour 1 000 habitants Indicateurs de résultat Accès Qualité Indicateurs d'impact Besoin Distance moyenne du domicile des patients à l'hôpital Nombre de spécialités de soins de l'hôpital Distance du domicile des patients aux hôpitaux de la zone Moyenne des spécialités dans les hôpitaux au niveau de la zone Utilisation Taux d'occupation des lits après un an % d'habitants pour qui les services de santé posent un problème majeur en ce qui concerne les conditions de vie Taux d'occupation dans les autres hôpitaux de la zone • Les autres interventions ayant un impact dans le champ la vie, presque interventions puissent être considérées comme Bien que certaines les la qualité de spécifiques au champ de interventions structurelles appartenant à d'autres champs peuvent être considérées comme visant finalement une amélioration de la qualité de la les systèmes de transport de vie : les autoroutes et friches banlieue, les réhabilitations de villages, industrielles, les actions de formation, etc. L'un des buts des interventions structurelles est l'attrait des régions aidées, en particulier dans l'idée de stimuler l'implantation ou l'enracinement des entreprises et des résidents. les réhabilitations de l'accroissement de les aéroports, toutes l'indicateur de ressources standard qu'est Outre la consommation budgétaire, il peut être utile de développer un indicateur spécial mesurant le montant des fonds de tous les types d'interventions affectés aux zones où les conditions de vie sont les plus difficiles. L'indicateur sera exprimé en pourcentage du total des fonds. Déterminer le tracé des zones les plus difficiles est une tâche ardue mais utile, d'un point de vue technique comme d'un point de vue politique. les Outre le « nombre de destinataires » et la « satisfaction des destinataires », il est intéressant de indicateurs de résultat standard tels que Indicateurs pour le suivi et l'évaluation développer un indicateur spécial mesurant la concentration du programme sur les résidents des zones où les conditions de vie sont les plus difficiles. L'indicateur sera exprimé en pourcentage du nombre total de destinataires. L'amélioration de l'attrait de la zone aidée est un impact important dans le champ de la qualité de vie. L'attrait est un concept multidimensionnel, qui s'applique aussi bien aux individus qu'aux entreprises. Il s'applique à des acteurs externes qui peuvent être attirés par la zone (résidents, entreprises, clients et touristes potentiels) ainsi que des acteurs internes qui peuvent être retenus dans la 2one. Les mesures directes d'attrait peuvent être dérivées de questionnaires posant des questions du type « souhaitez-vous rester dans la zone au cours des cinq prochaines années ? » ou « en supposant que vous avez décidé de déménager, accepteriez-vous de vivre dans cette zone ? » Des mesures plus précises peuvent être tirées de comparaisons à partir de questions telles que « classez cette zone, parmi les autres, par ordre de lieu où vous préféreriez habiter ». Le prix de l'immobilier permet également d'établir des mesures indirectes. Les mesures des flux migratoires sont généralement enregistrées avec beaucoup trop de retard pour être utiles dans un contexte de suivi et d'évaluation. Exemple 51 -Amélioration du réseau de bus d'une zone urbaine difficile Indicateurs de programme (En lien avec l'intervention et ses effets) Indicateurs de contexte (en lien avec l'ensemble de la zone aidée) Indicateurs de réalisation Quantité Km de nouvelles routes ou voies dédiées aux bus Indicateurs de résultat dans le champ des infrastructures de transport Accès Indicateurs d'impact Attrait Utilisation Temps moyen, pour les résidents desservis par le bus, pour atteindre dix grands services urbains (université, piscine, hôpital, bibliothèque, etc. ) Classement moyen de la zone en difficulté par les résidents utilisant le système de bus % d'utilisateurs du système de bus résidant dans des zones où les conditions de vie posent problème (zones difficiles) Temps moyen, pour tous les habitants de la zone, pour atteindre dix grands services urbains % d'habitants vivant dans des zones difficiles Qualité de vie Disponibilité et collecte des données Les indicateurs de ressources, de réalisations et de résultats émergent le plus souvent des systèmes d'information utilisés pour la gestion quotidienne des projets. Ils sont souvent composés de systèmes d'information financière et de systèmes utilisés pour gérer l'utilisation des services. Par exemple, les structures telles que les bibliothèques utilisent des logiciels statistiques qui détaillent les dépenses et les revenus associés aux livres et les rattachent à un centre de coût. La technologie des cartes magnétiques peut également fournir un autre jeu d'indicateurs donnant des informations non financières telles que le nombre d'utilisateurs, les types d'articles empruntés et les fluctuations de l'utilisation de la bibliothèque en fonction des jours et des heures. Ces systèmes d'information peuvent être rapprochés à des fins d'analyse. Les données d'impact sont rarement de nature quantitative, mais il est souvent possible de produire des données quantitatives à partir de réponses qualitatives. Par exemple, les enquêtes par questionnaires Impliquent le codage de réponses à des questions ouvertes en fonction de mots clés. On peut alors dire que X% des personnes interrogées ont mentionné que les bibliothèques sont un aspect essentiel de la qualité de la vie locale. Pour faciliter la compréhension de l'impact des interventions structurelles spécifiques il est nécessaire de connaître leur contexte. Les indicateurs de contexte critiques pour la qualité de la vie sont notamment le chômage de longue durée et les revenus. Indicateurs clés Les indicateurs du champ de la qualité de vie ne sont pas encore suffisamment stables pour permettre de proposer des indicateurs clés. L'Introduction de la dimension de qualité dans le concept même de développement changerait radicalement les concepts de base tels que les disparités régionales ou la croissance. Un de ces indicateurs, « l'indicateur de développement humain » (IHD), est utilisé par la Banque Mondiale et les Nations Unies, depuis une dizaine d'années. Un indicateur similaire, Γ« indice de bienêtre économique durable » (IBED), est présenté dans l'encadré suivant. Indicateurs pour le suivi et l'évaluation Encadré 23 - L'indice de bien-être économique durable Cette mesure révèle qu'entre 1950 et 1996, le Royaume-Uni a connu une divergence croissante entre l'IBED et le PIB. Ceci indique que la qualité de la vie (dont l'IBED est une approximation) ne se mesure pas en fonction de la richesse économique (PIB) PIB et IBED 1950-1996 En Livres sterling constantes (1990) "PIB 10,000 9,000 8,000 7,000 6,000 5,000 4,000 3,000 2,000 1,000 0 1950 1955 1960 1965 1970 1975 1980 1985 1990 1995 2000 IBED Source : Jackson, T. , Marks, N. , Rails, J. & Stymne, S. , Sustainable Economic Welfare in the UK: 1950-1996, 1997, University of Surrey Centre for Environmental Strategy/New Economics Foundation. L'Indice de bien-être économique durable (IBED), de même que le PIB, est une mesure agrégée. Il effectue une série d'ajustements de dépenses de consommation (la base du PIB) de sorte que : • Les coûts sociaux et environnementaux (dépenses défensives) soient déduits ; • Les dommages environnementaux à long terme et la dépréciation du capital naturel soient déduits ; • La consommation personnelle moyenne soit ajustée pour prendre en compte les schémas de répartition des revenus • Une valeur soit imputée (et ajoutée) pour le travail domestique non payé. Les indicateurs agrégés tels que le PIB et l'IBED, qui rassemblent des entités disparates au moyen d'une mesure financière commune, sont quelque peu controversés, notamment parce que les valeurs monétaires appliquées présentent un degré de subjectivité. Toutefois, l'agrégation peut aider à relier différents niveaux, micro et macroéconomiques, sur lesquels Qualité de vie les Interventions de qualité de la vie agissent. Le développement de ces indicateurs nécessite encore un travail important. Pour en savoir plus. Cheshire, P. , et al. , (1996), 'Problems of Urban Decline and Growth in EEC Countries : or measuring degrees of elephantness' ¡n : Urban Studies, Volume 23(2), 131-149. MacGilllvray, A. and Zadek, S. (1995), Accounting for Change : indicators for sustainable development. London : NEF. New Economics Foundation / World Wide Fund for Nature UK (1994), Indicators for use of : Strategies to the Commission on Sustainable indicators Development and in the EC Structural Funds process. NEF / WWF UK. for Sustainable Development in national reports New Economics Foundation / World Wide Fund for Nature UK (1997), : A users' guide to indicators. NEF / WWF UK. Signals of Success Ill Modes de production et d'utilisation des indicateurs A s s o c i er les f o u r n i s s e u rs et utilisateurs d ' i n f o r m a t i on L'expérience a montré qu'un système d'indicateurs a d'autant plus de chances de fonctionner qu'il a été créé en associant les fournisseurs et les utilisateurs de l'information. A contrario, un groupe fermé de spécialistes est tenté de construire à grands frais un système techniquement idéal qui risque de ne jamais devenir opérationnel. La conception d'un système d'indicateurs pragmatique nécessite d'associer les utilisateurs et les fournisseurs de l'information. Du côté des utilisateurs de l'information, il faut s'assurer d'un soutien explicite au plus haut niveau au sein de l'autorité gestionnaire du programme. Le mieux est ensuite de créer un groupe de pilotage réunissant les futurs utilisateurs du système et de confier à ce groupe le pilotage de la mise en place des indicateurs. La composition de ce groupe n'est probablement pas très différente de celle du groupe qui devra piloter l'évaluation le moment venu. Encadré 24 - Associer les destinataires au choix des indicateurs Les responsables politiques de la région de Benton Harbor (USA) ont mis en place un système d'indicateurs de contexte en vue d'apprécier le développement économique de la zone métropolitaine de Berrien. Les éléments clés de description du développement économique ont été définis au moyen d'une série d'entretiens de groupe impliquant les entrepreneurs leaders de la région. Les indicateurs retenus ont été par exemple : Pour la disponibilité de capital humain qualifié : la dépense de scolarité par étudiant, le ratio étudiant-enseignant, le taux d'échec scolaire. Pour la croissance et la diversification de l'économie : le revenu par habitant, le taux d'emploi dans le secteur industriel, la valeur ajoutée dans le secteur du commerce, l'indice de diversité sectorielle, le taux de l'emploi dans les PME, la valeur et le nombre de logements ayant obtenu un permis de construire. Pour la qualité de vie : le coût de vie (relatif), le taux de criminalité sur les biens et les personnes. Erlckcek G. A. (1996) The Benton Harbor Area Benchmarking Data System, Michigan: WE Upjohn Institute Il convient enfin qu'une équipe soit désignée pour assurer l'animation et le secrétariat du groupe de travail. L'efficacité commande que cette équipe appartienne à l'autorité gestionnaire du programme et dispose des ressources humaines et financières nécessaires à sa tâche. Cette équipe devra notamment veiller à ce que le système d'indicateurs reflète bien les Indicateurs pour le suivi et l'évaluation objectifs du programme et qu'il favorise la comparabilité. Il est préférable que Indicateurs et ait la même équipe soit chargée de créer ultérieurement la charge de mettre en œuvre le système. les On peut aussi associer le public à la conception du système. Ainsi, une expérience américaine a débuté par une série d'entretiens de groupe (focus groups) avec des représentants des entreprises régionales. Le travail de ces groupes a permis de sélectionner des Indicateurs les plus susceptibles de retenir l'attention du public et d'être compris par les citoyens. Les fournisseurs d'informations doivent également être associés à la conception des indicateurs. Les principaux d'entre eux sont les opérateurs qui mettent le programme en œuvre sur le terrain. Leur participation est de nature à garantir le caractère pragmatique du système car ils connaissent les possibilités pratiques et les limites de collecte de l'information. Si le délai le permet, il convient d'associer les opérateurs dans le cadre d'un test préalable du système d'indicateurs. La procédure recommandée commence par la sélection de quelques opérateurs volontaires pour participer à la conception du système. Ces volontaires doivent être représentatifs de toutes les composantes du programme. Ils participent au choix des indicateurs, à leur définition et à la conception des circuits de collecte de données. Ils expriment leurs besoins en termes de retour restituées aux forme des d'information opérateurs). Le test comprend une première quantification de tous les indicateurs par les opérateurs volontaires. La durée normale d'un tel test est d'une année. Au vu des conclusions du test, et après avoir introduit les modifications nécessaires, le système est validé, les définitions sont clairement établies ainsi que les procédures de collecte et de restitution de l'information. Un manuel est édité. (fréquence et informations Les informations relatives au contexte proviennent de sources statistiques. Il convient donc d'associer à la conception du système un expert ayant une connaissance récente et complète des données statistiques mobilisables. Selon les cas, cet expert appartiendra à un institut statistique, à une université ou à l'institution gestionnaire du programme s'il existe une compétence interne. S é l e c t i o n n er les indicateurs les plus pertinents Chacun des acteurs du programme a ses propres responsabilités, son propre domaine de décision, et donc ses propres besoins d'information. Production et utilisation des indicateurs Tous les indicateurs ne sont donc pas utiles à tous les niveaux. Au contraire, il est généralement admis que chaque acteur peut se satisfaire d'un tableau de bord contenant un petit nombre d'indicateurs, sélectionnés comme les plus pertinents par rapport à la nature des décisions qu'il doit prendre. Il a été montré qu'en situation de décision, une personne ne peut pas prendre en compte plus d'une dizaine d'indicateurs à la fols (Innés de Neufville, 1994). Lorsque les indicateurs sont trop nombreux, on constate que cela crée une surcharge d'information pour les décideurs. Le problème posé par l'hétérogénéité des programmes L'expérience des Fonds structurels a montré qu'il est difficile de choisir les indicateurs véritablement nécessaires pour le suivi et l'évaluation d'un les programmes sont multisectoriels et programme. Parce que multiobjectifs, on a tendance à vouloir tout mesurer et à concevoir des systèmes d'indicateurs trop lourds qu'il est impossible de faire vivre. Par exemple, le Programme d'Objectif 5b en Bourgogne (F) a fait l'objet d'une première proposition qui comprenait plus de 200 indicateurs. Finalement, seule une cinquantaine d'entre eux ont été quantifiés. industrielle dans une région L'exemple qui suit Illustre clairement ce problème. Il s'agit d'un programme (1994-1999) de reconversion française (Franche-Comté). Ce programme comporte 48 actions de nature très diverses : plusieurs sortes d'aides directes aux entreprises, des aides spécifiques à certains secteurs, à des groupements d'entreprises, à des professionnels du tourisme, à des créateurs d'entreprises, à l'amélioration de l'environnement etc. Ces actions sont gérées par des opérateurs différents et chaque opérateur a tendance à mesurer les effets de son action selon sa propre logique (nombre d'aides, nombre de participants à des projets collectifs, surface de sites industriels améliorés). L'ensemble des informations fournies par les opérateurs est trop hétérogène pour être synthétisée au niveau du programme. A part l'indicateur de consommation budgétaire, aucun indicateur ne s'applique à plus de 2 0% du programme. Pour ce programme, un système d'information complet serait très lourd car il devrait comprendre les données suivantes : • un ou deux indicateurs génériques pour le suivi des ressources (ex : taux de consommation budgétaire décomposé par action, taux de dépassement des coûts prévus) ; • une cinquantaine d'indicateurs de réalisations, soit en moyenne un indicateur par action ; Indicateurs pour le suivi et l'évaluation • une c i n q u a n t a i ne d ' i n d i c a t e u rs de résultats, soit en m o y e n ne un indicateur par action ; • une centaine d'indicateurs d ' i m p a c ts spécifiques, soit en m o y e n ne deux indicateurs par action (ex : taux de survie d es entreprises aidées, taux de placement d es stagiaires, déclarations faites par les entreprises sur leurs intentions d ' e m b a u c hé ou d ' i n v e s t i s s e m e n t, n o m b re d ' i n n o v a t i o ns générées, n o m b re de visites touristiques) ; • quelques indicateurs d ' i m p a c ts génériques (ex : emplois créés, valeur ajoutée générée d a ns les entreprises aidées, etc. ) ; • quelques Indicateurs de c o n t e x te (taux de c h ô m a ge régional, n o m b re de P ME dans la région, valeur ajoutée m o y e n ne par salarié dans les entreprises régionales, etc. ). E n c a d ré 25 - La r e c o m m a n d a t i on d'une évaluation : passer de 3 30 à 52 indicateurs les Fonds structurels Un programme socio-économique a été financé par européens pour la période 1994-99 en Irlande du Nord. Ce programme a été évalué à mi-parcours en faisant la synthèse de six évaluations séparées portant sur des sous-programmes. Les concepteurs du programme avalent choisi 330 Indicateur pour le suivi. Ces indicateurs avaient été regroupés dans une base de données unique dont l'utilisation s'est révélée difficile, engendrant des problèmes de maniabilité et de disponibilité d'information. Ces problèmes ont considérablement réduit l'utilisation des indicateurs. L'équipe d'évaluation a recommandé une solution consistant à : • choisir un nombre d'Indicateurs de contexte situé entre les indicateurs macroéconomiques et les indicateurs de sous-programme. Ces indicateurs, destinés à refléter trois catégories - croissance économique, cohésion interne et cohésion externe ; l'impact global du programme, se déclinent en • choisir un petit nombre d'Indicateurs de programme en se limitant aux principaux résultats et impacts ; • déléguer la quantification et l'utilisation des autres indicateurs aux opérateurs. De cette façon, la taille du système pouvait être réduite à 52 indicateurs directement reliés aux principaux objectifs du programme. Les recommandations ont été appliquées avec succès. Colin Stutt Consulting, 1997, Northern Ireland Single Programme 1994-99; Mid Term Review External Evaluation. Production et utilisation des indicateurs Au total, le nombre d'indicateurs de ce système complet, et évidemment théorique, peut être estimé à 200. En pratique, il est impossible de produire et d'utiliser de façon régulière une aussi grande quantité d'information. Dans plusieurs régions européennes, des évaluations récentes ont montré qu'il suffisait de quelques dizaines d'indicateurs pour satisfaire les besoins d'information au niveau des autorités gestionnaires du programme (Voir Encadré 25). Cela n'empêche pas qu'un plus grand nombre d'indicateurs puisse être requis pour les besoins d'information des opérateurs. Propositions pour limiter la taille des systèmes d'indicateurs Cette section reprend l'exemple de la région française citée plus haut et décrit les suggestions faites pendant l'évaluation intermédiaire pour réduire le nombre d'indicateurs d'un programme sans perdre les informations qui sont pertinentes à ce niveau. Comme le montre l'Encadré 26, elles reposent sur le regroupement des indicateurs par catégorie de destinataires. l'emploi d'indicateurs génériques ou sur Encadré 26 - Exemple de système d'information utilisant un nombre réduit d'indicateurs Nombre d'actions (composantes élémentaires du programme) 48 Indicateurs de programme. de ressources 1. de réalisations. de résultats et d'Impacts 45 (Taux de consommation budgétaire) (Taux de réalisation Taux de respect des délais) (Cinq indicateurs en moyenne pour chacune des 9 catégories de destinataires) Indicateurs de contexte (Revenu, chômage) Nombre total d'indicateurs 51 En premier lieu, l'évaluation a suggéré de rassembler tous les indicateurs de ressources et de réalisations sous indicateurs génériques : taux de consommation budgétaire, taux de réalisation et taux facilement de respect des délais. Ces trois quantifiés pour chaque action, sous réserve que les opérateurs aient leurs propres indicateurs spécifiques. Les trois indicateurs peuvent ensuite être Indicateurs peuvent être la forme de trois Indicateurs pour le suivi et l'évaluation agrégés au niveau de chaque mesure et à celui de programme. l'ensemble du lieu, on a constaté qu'il était possible de regrouper En second les 48 actions du programme selon neuf catégories de destinataires : actions destinées à des entreprises, à des créateurs d'entreprises, à des adultes en formation, à des professionnels du tourisme, etc. Pour chaque catégorie de destinataire, il est possible de choisir un petit nombre d'Indicateurs de résultats et d'Impacts spécifiques. Par exemple, pour les adultes en formation, on pourrait retenir deux indicateurs (taux d'atteinte du public cible et taux de placement après 12 mois) avec trois décompositions (femmes / hommes, employés / chômeurs, secteur en croissance / secteur en décroissance). Compte tenu des conventions adoptées dans cet indicateurs. Au total, une ouvrage, cela représente un total de six quarantaine d'indicateurs pourrait suffire à Informer sur les résultats et les impacts spécifiques. indicateurs de programme, A ces il conviendrait d'ajouter quelques indicateurs de contexte fondamentaux tels que le revenu par habitant rapporté au revenu moyen national, le taux de chômage régional, ainsi qu'un Indicateur d'attractivité de la région (indicateur dont le besoin a été affirmé, mais qui reste à construire). Globalement, ces propositions devraient permettre de limiter le système d'information de ce programme à une taille raisonnable d'indicateurs. Un système allégé limite la collecte et la circulation de l'information à ce qui est le plus nécessaire au niveau du programme. La contrepartie de cette légèreté est que l'on ne cherche plus à suivre de façon détaillée et centralisée l'avancement et les résultats de chaque action. Cela veut dire que le système se concentre moins sur les décisions à prendre par les opérateurs et plus sur les autorités gestionnaires du programme. les décisions à prendre par Trouver des indicateurs d'impacts génériques indispensables dans une perspective Les indicateurs d'impacts sont d'évaluation mais ils sont difficiles à concevoir et à quantifier. A l'exception du nombre d'emplois créés, il est particulièrement rare de trouver des indicateurs d'impacts génériques dans les documents de programmation. Le programme MEANS a développé une méthode pour créer des indicateurs génériques d'impacts. Cette méthode est présentée dans le Production et utilisation des indicateurs Encadré 27 - Exemples d'indicateurs d'impacts génériques ACTIONS Investissements Industriels Modernisation de l'artisanat Capital risque pour les PME Internationali sation des PME Développement technologique des entreprises FAMILLES D'IMPACTS INDICATEURS GENERIQUES Valeur ajoutée générée dans les secteurs d'activité en croissance Nombre d'inno vations dans les unités écono miques aidées Volume 4 de la Collection MEANS qui rassemble plusieurs innovations méthodologiques. Elle fonctionne en quatre étapes de la façon suivante : les principaux documents relatifs au L'équipe d'évaluation rassemble programme (document de programmation, bilans, rapports d'activité, brochures) et identifie toutes les phrases qui décrivent les objectifs, les performances, les impacts attendus ou obtenus. les citations extraites des documents, Parmi sélectionne celles qui concernent des impacts. l'équipe d'évaluation Elle organise un ou plusieurs séminaires avec des gestionnaires du programme et des opérateurs. Au cours de ces séminaires, les participants complètent la liste des impacts et classent ces impacts par famille (deux travail : cartographie conceptuelle techniques peuvent d'impacts et Metaplan. Ces deux le techniques sont décrites dans Volume 3 de la Collection MEANS). faciliter ce Les participants au séminaire recherchent en commun la signification de chaque famille d'impacts, donnent un nom à chaque famille et choisissent un indicateur qui correspond bien à la signification de cette famille. Ils vérifient que cet indicateur est générique, c'est-à-dire qu'il pourra être appliqué à de nombreuses actions au sein du programme. Indicateurs pour le suivi et l'évaluation Garantir la quantification Faire collecter l'information par les opérateurs L'information collectée par le système de suivi est dérivée de la gestion des crédits, du pilotage des chantiers, du traitement des dossiers de subventions, etc. Chaque opérateur Informations aux gestionnaires du programme sous forme de rapports d'avancement, de bilans périodiques ou de comptes-rendus d'exécution. Il est souhaitable de collecter et de synthétiser ces données sous forme de tableau de bord pour chaque réunion de suivi. Il est possible de demander aux opérateurs des projets une information exhaustive sur les thèmes suivants : fournit des • Ressources - consommation budgétaire publique décomposée par source de financement, dépassements de coûts. • Réalisations - taux d'avancement des projets en cours, taux de respect des délais, volume de réalisations rapporté aux ressources (efficience des réalisations) - nombre de destinataires décomposé en quelques grandes catégories (ex : véhicules lourds ou légers, entreprises grandes, moyennes'ou petites, stagiaires femmes ou hommes, etc. ), volume des prestations obtenues par les destinataires (ex : heures de stage, conseils obtenus, etc. ). • Résultats - déclarations faites par les destinataires (ex : investissements à faire, emplois à créer), taux de satisfaction des destinataires, volume de résultats rapporté aux ressources correspondantes (efficience des résultats). Chaque fois que c'est possible, le système de suivi doit exiger des opérateurs qu'ils conservent une possibilité de recontacter les destinataires pour une éventuelle enquête d'évaluation ultérieure (nom et adresse des stagiaires, nom et numéro de téléphone d'un contact dans les entreprises aidées). Cette précaution est également utile pour éviter les doubles comptes Par exemple, on pourra éviter de compter plusieurs fois une même entreprise qui a été destinataire de plusieurs aides du programme Un système d'indicateurs a d'autant plus de chances de fonctionner qu'il perturbe moins les circuits d'information préexistants. Pour cela, il faut demander l'information à ceux qui sont proches de sa source. Dans l'encadré qui suit, la quantification des indicateurs de résultat fait partie de la gestion courante des opérateurs. Production et utilisation des indicateurs Dans le contexte des programmes financés par les Fonds structurels, une difficulté particulière naît de la coexistence de systèmes d'indicateurs propres à chaque financeur et qui n'adoptent pas toujours les mêmes définitions. Par exemple, dans le cas d'un programme de formation, le représentant de la Commission souhaitait obtenir une information sur le nombre de stagiaires, en considérant comme stagiaire toute personne ayant suivi un stage, même de quelques jours. Cependant, les opérateurs nationaux avaient l'habitude de recenser uniquement les stages d'une durée de plus d'un mois. En cas de discordance entre les définitions choisies pour les indicateurs du programme et les définitions habituelles des opérateurs, il peut être préférable de quantifier les indicateurs selon les définitions traditionnelles qui ne perturbent pas les opérateurs et d'opérer une correction au niveau du programme (harmonisation) à l'aide d'un coefficient correcteur. Encadré 28  Collecte d'information par les opérateurs Le formulaire présenté dans cet encadré s'applique à un programme qui vise à accueillir des entreprises extérieures qui investissent dans la région. Plusieurs opérateurs sont chargés de fournir des services à ces entreprises dans différentes parties de la région. Au moment où il finalise un projet d'investissement avec une entreprise, chaque opérateur fait remplir un questionnaire standard comme suit : Nom de la personne qui peut être contactée au sein de l'entreprise : Téléphone : Valeur des investissements à réaliser dans le cadre du projet aidé : Nombre d'emplois créés ou maintenus dans le cadre du projet aidé : Qualité des services obtenus par l'entreprise : excellente ! bonne [ moyenne Π mauvaise Ö Utilité des services obtenus par l'entreprise : excellente i bonne i moyenne I mauvaise LJ Inspiré de Hatry H. Ρ & al. 1990 La collecte et la synthèse de l'information peuvent être facilitée par la mise en place d'un système informatisé comme le montre l'exemple de l'encadré suivant. Il faut cependant utiliser cet instrument avec prudence. En effet, les nouvelles technologies de l'information facilitent la collecte et la circulation Indicateurs pour le suivi et l'évaluation d'une grande masse d'informations et favorisent la construction de systèmes d'indicateurs pléthoriques. L'informatisation doit toujours être précédée d'une réflexion approfondie pour sélectionner les indicateurs les plus utiles. Encadré 29 - L'informatisation d'un système de suivi France, Programme régional d'objectif 5b 1994-99 Le système de suivi du programme de développement rural de la région Bourgogne fonctionne depuis le début de 1996. Les opérateurs rendent des comptes à cinq administrations qui distribuent les fonds du programme. Ces administrations sont reliées par un réseau télématique à une base de données centrale qui reçoit les informations quantifiées pour environ 1500 projets par an. Un logiciel a été spécialement conçu pour le suivi du programme et permet de traiter l'Information en temps réel. L'information est synthétisée au niveau régional dans un tableau de bord de 40 indicateurs. Ces Indicateurs sont présentés et discutés avant chaque réunion du comité de suivi. Pour inciter les opérateurs à fournir l'information demandée, il est normal de leur garantir un retour d'information avec une valeur ajoutée substantielle. Par exemple chaque opérateur recevra annuellement une situation de ses résultats comparés à la moyenne de tous les opérateurs. il est également normal de contractu al ¡ser Incitations, Au-delà des formellement la décision la collecte des données. Par exemple, d'acceptation d'un projet et d'attribution des crédits doit être accompagnée d'une annexe précisant quelle information doit être produite, à quelle date et pour qui. En bonne logique, les gestionnaires du programme doivent prendre toutes les dispositions nécessaires pour que les données collectées ne soient pas falsifiées. Les procédures de collecte rigoureuses, et de synthèse de transparentes et contrôlées périodiquement. l'information doivent donc être Finalement, l'incitation nouveaux financements précédents. financements à la plus décisive consiste à lier l'attribution de relatives aux la fourniture des données Collecter l'information par enquête Pour quantifier l'impact durable sur les destinataires directs, une démarche fréquente consiste à sélectionner un échantillon de personnes ou Production et utilisation des indicateurs d'entreprises ayant participé au programme et à réaliser une enquête postale ou téléphonique. Cette démarche est facilitée par le fait que les personnes à interroger sont connues des opérateurs, surtout si l'enquête a été prévue dès le début du programme. La formule de l'enquête est plus difficile à appliquer lorsque les Impacts concernent des publics dont les opérateurs n'ont pas pu garder la trace dans le cadre de leur travail (ex : les habitants d'un quartier réhabilité, les concurrents d'une entreprise aidée, les touristes ayant visité un site préservé). Dans ce cas, la quantification est beaucoup plus difficile et demande un travail de "filature" qui est souvent très lourd. On atteint alors rapidement une frontière dans la quantification des indicateurs de programme, frontière à partir de laquelle il n'est plus possible d'observer les impacts, mais seulement de les estimer par extrapolation. Encadré 30 - L'utilisation d< ÍS enquêtes pour la quantif cation Système de gestion Enquête Statistiques à partir du fichier des destinataires sur l'ensemble de la population quantification régulière quantification à l'occasion d'une évaluation quantification régulière X X X X Ressources et réalisations Résultats Impacts (Indicateurs de programme) Impacts (indicateurs de contexte) X X X Les enquêtes auprès des destinataires doivent être appliquées avec précaution lorsqu'il s'agit d'estimer les effets nets. Par exemple, l'équipe d'évaluation d'un programme de reconversion industrielle dans une région l'Impact sur l'emploi d'une mesure visant à anglaise devait apprécier encourager l'esprit d'entreprise et la formation au sein des entreprises. L'équipe d'évaluation a envoyé un questionnaire postal à plusieurs Indicateurs pour le suivi et l'évaluation centaines d'entreprises aidées en garantissant leur anonymat. Les questions types posées étaient : « Auriez-vous embauché les employés supplémentaires même si vous n'aviez pas reçu de subvention ? » ou « savez-vous si la personne nouvellement embauchée était auparavant au chômage ? ». A partir des résultats de l'enquête, l'équipe d'évaluation a estimé un coefficient de création nette d'emploi en fonction de l'aide reçue, pour les entreprises de l'échantillon. Toutefois, il faut veiller à la qualité de l'enquête puisque certaines réponses peuvent être biaisées par la volonté des répondants qui sont généralement favorables à une intervention dont ils bénéficient. En généralisant les conclusions de l'enquête à l'ensemble des entreprises destinataires, un indicateur de création d'emploi net a pu être quantifié par extrapolation. L'organisation d'une enquête par questionnaire téléphonique auprès de mille individus peut nécessiter plusieurs mois et représente un coût de 10 à 40 KEuro. Les différentes enquêtes entreprises dans une région doivent également être coordonnées avec soin pour ne pas surcharger les destinataires. Ces différentes raisons font que les enquêtes ne peuvent pas être répétées fréquemment. Pendant l'intervalle entre deux enquêtes, il est cependant possible d'estimer les indicateurs par extrapolation à partir des données du système de suivi. Par exemple, le Ministère du Travail en France s'appuie sur les résultats de nombreuses enquêtes effectuées depuis une dizaine d'années pour connaître l'impact des mesures d'aide à l'emploi. Chacune de ces études empiriques a permis d'estimer des coefficients d'impacts dans des situations variées. Grâce à l'accumulation des connaissances passées, les experts du Ministère ont construit une grille permettant d'estimer l'impact à partir des données du suivi et des principales caractéristiques d'une mesure. Depuis 1992, des réunions d'experts périodiques sont organisées afin d'améliorer et de corriger cette grille de coefficients. Utiliser les sources statistiques Les indicateurs de contexte sont généralement quantifiés à partir de données obtenues auprès des offices statistiques. Par exemple, un grand nombre de données régionalisées peuvent être trouvées à Eurostat dans la base de données REGIO. Les données de REGIO sont présentées sous forme d'environ 70 tableaux standards par domaine : démographie, comptes économiques, chômage, force de travail, énergie, agriculture, transport, R&D. Production et utilisation des indicateurs régionalisée de plusieurs grandes Eurostat réalise une exploitation enquêtes statistiques. Dans le champ de l'emploi, de nombreuses données disponibles proviennent de l'enquête « force de travail » et du « panel des ménages ». Les données régionalisées ont été récemment enrichies grâce les structures à l'exploitation des enquêtes nationales annuelles sur industrielles. L'information traitée est disponible dans la base de données ELIZE. Elle comprend : le nombre d'entreprises industrielles, l'emploi, les salaires et traitements, le chiffre d'affaires et l'investissement. Les données sont décomposées en une trentaine de secteurs économiques et en deux classes de taille (+ / - 20 employés). A moyen terme, la base de données REGIO sera complétée par une exploitation de l'enquête sur les structures agricoles. Par ailleurs, la DG XVI gère la base de données QUID qui regroupe des indicateurs de contexte adaptés aux Fonds structurels. Cette base de données est pour partie issue des informations d'Eurostat. La disponibilité des statistiques peut poser problème quand la zone eligible d'un programme est une zone administrative plutôt que statistique. Une première façon de traiter ce problème est l'approche de la « meilleure correspondance » qui a été appliquée pour le système d'indicateurs écossais comme Indiqué dans L'Encadré 3 1. Encadré 31 - Correspondance entre unité statistique et zone eligible Royaume Uni, Programme d'objectif 2 1994-99 Le programme de développement de l'Ecosse orientale a une zone eligible qui concerne plusieurs unités statistiques («< local government region level ») mals les découpages ne correspondent pas. Les données fournies par le Central Statistical Office ne permettent donc pas de construire directement des indicateurs de contexte. Un indicateur de PIB a cependant été estimé en agrégeant les données pour les territoires des « régions centrales » et pour ceux de Fife et Tayside, dont plus de la moitié des habitants sont en zone eligible aux Fonds structurels. Le territoire de Lothian, eligible à moins de la moitié aux Fonds structurels a été écarté. la méthode de On peut aussi obtenir une bonne estimation des indicateurs de contexte en employant l'exemple (théorique) qui suit. Un programme de reconversion industrielle a, parmi ses objectifs, l'ambition de rattraper le retard de la région en matière d'innovation. On désire créer un indicateur de situation pour aider à l'interpolation comme dans Indicateurs pour le suivi et l'évaluation quantifier cet objectif. Un Indicateur possible est le nombre annuel d'innovations dans la région. Le nombre annuel d'innovations pour 1 000 emplois est disponible à l'échelle européenne grâce à une enquête communautaire réalisée régulièrement auprès de 40 000 entreprises. A partir des résultats de cette enquête, il est possible de créer un indicateur d'innovation dans la région en procédant comme suit : (1) choisir un indicateur de structure (ex : nombre d'emplois, décomposé par secteurs d'activité) dont les valeurs sont connues à la fols au niveau européen et régional, (2) relever la valeur du taux annuel d'innovation au niveau européen, avec sa décomposition par secteurs d'activités et (3) estimer l'indicateur d'Innovation dans les emplois régionaux, secteur par secteur, par les taux d'innovation européens. la région en multipliant Eurostat a récemment créé un système d'information (GISCO) qui permet de présemer de façon cartographique toutes les séries statistiques existant dans REGIO ainsi que d'autres données régionalisées. Le système GISCO intègre également le contour de toutes les zones éligibles aux Fonds structurels. Il peut donc aisément permettre de décomposer ou de recomposer des informations statistiques à des échelles géographiques différentes. C'est un outil potentiellement très puissant pour estimer des indicateurs de contexte par interpolation. A p p r é c i er la qualité du s y s t è me d'indicateurs L'utilisation des indicateurs sera d'autant plus grande que leur qualité pourra être constamment améliorée. S'il est un rôle incontesté de l'évaluation, c'est bien celui d'apprécier la qualité des systèmes d'indicateur et de faire des recommandations pour améliorer cette qualité. Bien qu'il n'existe pas de méthode standard pour ce contrôle de qualité, on peut proposer une démarche reposant sur les onze critères qui suivent et qui se répartissent en deux groupes : critères de qualité applicables à chaque indicateur et critères de qualité applicables à l'ensemble du système. Critères de qualité applicables à chaque indicateur Le premier critère de qualité d'un indicateur est d'avoir une existence réelle, c'est-à-dire d'être quantifié à intervalles réguliers. Il arrive qu'un ou plusieurs indicateurs figurant dans les documents de programmation n'aient jamais été quantifiés et n'aient donc qu'une existence virtuelle. La disponibilité effective des données est donc le tout premier critère de qualité. Les Production et utilisation des indicateurs indicateurs de suivi doivent être quantifiés au rythme des réunions de suivi, c'est-à-dire tous les six à douze mois. Les indicateurs d'évaluation sont quantifiés moins fréquemment, à savoir tous les trois à six ans. Lorsqu'un indicateur est quantifié, il peut s'écouler plusieurs mois, voire plusieurs années, avant que l'information ne soit réellement utilisable pour le suivi et l'évaluation. Ceci est particulièrement vrai pour certains indicateurs de contexte qui sont puisés dans les annuaires statistiques. La fraîcheur de l'information devient alors un critère de qualité important. Il arrive en effet que certaines statistiques ne soient publiées que deux ans ou plus après la collecte des données. Un indicateur de programme doit varier de façon significative quand le programme se met en œuvre et produit des effets, c'est ce qu'on appelle sa sensibilité. Dans l'exemple d'une intervention d'aide à l'exportation, le chiffre d'affaires des entreprises aidées n'est pas un indicateur assez sensible. Un indicateur de meilleure qualité serait le chiffre d'affaires réalisé avec les nouveaux clients contactés grâce à l'aide du programme. Les acteurs du programme doivent avoir confiance dans l'information produite. La fiabilité est donc un critère de qualité. La fiabilité peut se définir par le fait que la même mesure, effectuée par deux personnes différentes, aboutira à la même valeur de l'indicateur. En réalité cette définition n'est applicable que lorsque l'on réalise des comptages. Chaque fois que l'indicateur est quantifié à partir de questions posées par une personne à une autre personne, la fiabilité ne peut plus se définir de façon mécanique. Fiabilité et crédibilité sont deux notions qui tendent alors à se rapprocher. L'utilité d'un indicateur dépend beaucoup de ce qu'il permet des comparaisons internes entre différentes mesures du programme ou des comparaisons externes ¡nter-régionales. La comparabilité de l'indicateur est donc un critère de sa qualité. Ce critère est important, mais difficile à satisfaire. La dernière qualité d'un indicateur est proche de la comparabilité, tout en présentant une exigence supplémentaire. Il s'agit de la normativité. Les indicateurs doivent en effet comporter une référence permettant de juger si ce qui a été obtenu est satisfaisant ou non. Toute valeur observée à l'aide de l'indicateur doit donc pouvoir être comparée à une norme, par exemple : objectif à atteindre, norme à dépasser, moyenne européenne à rejoindre, etc. Indicateurs pour le suivi et l'évaluation l'esprit des décideurs comme de Un bon indicateur doit être compris sans ambiguïté par tous ceux qui ont à la l'utiliser. Dans signification de l'indicateur doit être la même que pour les gestionnaires et elle doit refléter correctement le concept que l'on veut mesurer. C'est ce que l'on appelle la validité de construction. la population, L'exemple de l'encadré qui suit constitue un essai d'appréciation des Indicateurs du programme opérationnel portugais pour le secteur « transports » et pour la période 1994-1999. Encadré 32 - Exemple d'appréciation de la qualité des indicateurs Portugal, programme opérationnel transport objectif 1, 1994-99 Critère Appréciation Commentaires disponibilité fraîcheur sensibilité fiabilité comparabilité normativité signification + ++ + ++ - = ++ la plupart des indicateurs sont quantifiés avec la fréquence normale les principaux indicateurs de réalisations et de résultat sont quantifiés en temps réel les principaux indicateurs de programme dépendent fortement de sa mise en œuvre les Indicateurs sont bien acceptés par les acteurs du programme le système comporte peu de comparaisons internes et pas de comparaisons externes la moitié des comporte une référence de jugement indicateurs seulement la signification des indicateurs est bien comprise par les acteurs du programme Critères de qualité applicables à l'ensemble d'un système Les indicateurs sélectionnés doivent couvrir une proportion suffisante des mesures du programme, cette couverture devrait atteindre ou dépasser les trais-quarts des dépenses programmées. Le système doit comporter un bon équilibre entre les indicateurs des différentes catégories. En particulier, indicateurs de résultats et d'impacts doivent être les plus nombreux. les Production et utilisation des indicateurs Un système d'indicateurs doit être simple. Le critère de sélectivité impose de respecter la capacité des responsables du programme à absorber l'information, c'estàdire quelques dizaines de chiffres au maximum. La pertinence du système suppose que les indicateurs sont prioritairement développés pour les mesures ou les thèmes qui représentent un enjeu en termes de décisions (mesures ayant un budget très élevé, mesures innovantes, thèmes considérés comme stratégiques). E n c a d ré 33  L'appréciation de la qualité d'un s y s t è me d'indicateurs (suite) couverture équilibre sélectivité pertinence Portugal, programme opérationnel transport objectif 1, 199499 ++ le système couvre 100% des mesures il n'y a pas d'indicateurs d'impacts, les indicateurs de résultats ne couvrent que 46% des mesures du programme le système comprend 26 indicateurs le système comprend plus d'indicateurs pour les mesures et les projets qui ont le poids budgétaire le plus important ++ + L es i n d i c a t e u rs c l és Les comparaisons entre programmes La comparaison entre les indicateurs de différents programmes est toujours un enjeu important, mais il ne faut pas sousestimer les difficultés de cet exercice. Elles tiennent à de multiples raisons : diversité des interventions au sein d'un programme, diversité des contextes régionaux, incompatibilité des définitions. Par exemple, selon les réglons et les programmes, la fréquentation touristique est comptée en nombre de visites ou en nombre de nuitées ; les stagiaires sont comptés en nombre de participants ou en heures χ stagiaires ; la protection de l'environnement est mesurée par le nombre de projets, le nombre de sites ou le nombre d'hectares préservés. La comparabilité peut être recherchée et obtenue grâce à des échanges entres autorités gestionnaires d'une région à une autre ou par des échanges transfrontaliers. Les programmes Interreg créent de nombreuses opportunités pour ce type de comparaisons. Dans un contexte différent, les Indicateurs pour le suivi et l'évaluation régions Pays-de-la-Loire (France) et Emilie-Romagne (Italie) ont tenu des travaux réunions bilatérales en 1997-1998 pour discuter de d'évaluation dans le champ du tourisme rural. Au cours de deux séminaires de deux jours, les régions ont fait une analyse de leurs actions respectives et elles ont défini en commun le diagramme logique des réalisations, des résultats et des Impacts. Des indicateurs communs ont été proposés en vue de permettre des comparaisons interrégionales. leurs Cependant, la comparabilité est souvent plus facile à obtenir et plus profitable à tous les niveaux si elle résulte d'un effort collectif coordonné au niveau géographique supérieur. Cette démarche a l'avantage de multiplier les possibilités de comparaison et aussi de permettre l'agrégation des indicateurs au niveau régional ou national. C'est ce qui a été réalisé par le Scottish Office en créant une série d'indicateurs standards applicables à sept programmes écossais. Un autre exemple de cette démarche est celui de l'Audit Commission britannique (voir annexe 2). Encadré 34 - Un jeu d'indicateurs standards pour plusieurs programmes Dans le cadre de sa responsabilité de suivi et d'évaluation de sept programmes cofinancés par l'Union européenne, le Scottish Office a développé une série d'Indicateurs standards. Une partie de ces indicateurs concerne le contexte : taux d'emploi et de chômage, productivité, main d'oeuvre, revenu moyen, etc. Certains Indicateurs de réalisations et de résultats ont également été standardisés, comme le montrent les exemples suivants, applicables aux mesures d'infrastructures pour les entreprises : Nouveaux bâtiments construits Bâtiments rénovés Aménagement de nouveaux sites Amélioration de sites existants Dessertes routières nouvelles / améliorées Superficie pour laquelle des routes d'accès extérieures ont été créées ou améliorées Taux d'occupation des bâtiments créés mètres carrés mètres carrés hectares hectares kilomètres hectares pourcentage après un an pourcentage après trois ans nombre Places de formation créées Pour obtenir un niveau élevé de comparabilité, les gestionnaires de programme écossais ont organisé plusieurs réunions impliquant les représentants de tous les programmes. La standardisation a donc été l'aboutissement d'un long processus de discussion collective. Production et utilisation des indicateurs La c o m m u n i c a t i on publique On résume souvent l'utilité d'un système d'indicateur à la prise de décisions. En réalité, un système d'indicateurs sert aussi à rendre des comptes, par exemple aux parlementaires européens ou nationaux, aux locaux, aux partenaires socio-économiques, aux élus régionaux ou journalistes et, par leur intermédiaire, aux citoyens et aux contribuables. indicateurs peu nombreux et Pour servir de support à la communication publique, on doit sélectionner quantifier et publier des immédiatement compréhensibles par des non-spécialistes. On parle dans ce cas d'indicateurs clés La publication des indicateurs clés est normalement organisée sous forme de tableaux simples et commentés, par exemple dans un bilan annuel. Une information plus détaillée peut également être mise à disposition à travers un « observatoire » ouvert au public ou à travers un système de consultation par Internet. Pour définir de bons indicateurs clés, on doit choisir en priorité des indicateurs génériques (applicables à de nombreuses actions différentes au sein d'un même programme) et des indicateurs standards (permettant des comparaisons entre programmes de régions ou de pays différents). En outre, ces Indicateurs doivent être compris de tous les partenaires sans longue explication et sans erreur sur leur signification. Proposition d'indicateurs clés En revenant aux quinze fiches par champ d'application, il est possible de proposer une série d'indicateurs candidats pour devenir des indicateurs clés. Cette liste n'est pas limitative, ni directive, ni stabilisée. Elle est cantonnée aux Indicateurs de programme. Les indicateurs ont été notés de *** à * par ordre d'intérêt décroissant. Indicateurs pour le suivi et l'évaluation E n c a d ré 35 - Propositions d'indicateurs clés : Ressources Intérêt Indicateur Voir exemple Ressources humaines Nombre d'opérateurs (organisations publiques et privées responsables de l'assistance aux destinataires) Nombre de conseillers (FTE) mobilisés pour conseiller les destinataires Ressources financières Taux de consommation budgétaire (% des fonds alloués) % des projets (en termes financiers) bénéficiant particulièrement aux femmes % des projets (en termes financiers) situés dans les marchés/secteurs en croissance rapide % du budget alloué aux mesures d'atténuation pour l'environnement % des projets (en termes financiers) concernant les zones les plus désavantagées * *** *+ ** * Production et utilisation des indicateurs Encadré 36 - Propositions d'indicateurs clés : Réalisations Intérêt Indicateur Avancement Taux de réalisation (% des objectifs) Conformité avec la durée du projet Voir e x e m p le 1,2, 3, 4, 5 , 6, 7, 8, 9, 18, 28, 29, 30, 33, 34, 45 1, 2, 3, 4, 5 , 6, 7, 8, 9, 18, 28, 29, 30, 33, 3 4 , 45 Capacité Nombre de raccordements potentiels (entreprises / ménages) aux réseaux de services de base (ventilés par services) 28, 33, 34 Activité des opérateurs en termes d'attraction de choix des participants et ** Taux de sélection (% des projets acceptés par rapport aux projets éligibles) Taux de couverture (pénétration) : % du public cible qui a (ou aurait dû) participer au programme 10, 30 *. % des destinataires appartenant aux groupes prioritaires (par ex ; les chômeurs de longue durée, enfants en échec scolaire) % des destinataires situés dans les zones les plus défavorisées % des destinataires dans les marchés/secteurs à croissance rapide % de femmes parmi les destinataires % de PME parmi les destinataires Services financés par le programme Nombre de destinataires individuels ayant bénéficié de services, conseils, formation 10,15, 19, 3 6 , 4 4 , 48 Nombre d'unités économiques (entreprise, exploitation agricole, propriétaire de bateau de pêche, exploitation aquacole, professionnel du tourisme) ayant bénéficié de services, conseils, formation 2 1 , 3 1 , 3 8. -· Nombre d'heures de formation/conseils fournies aux destinataires 10, 15, 19, 2 1, 3 1 , 3 6 , 37 Indicateurs pour le suivi et l'évaluation E n c a d ré 37 - Propositions d'indicateurs clés : Résultats Intérêt Indicateur Voir exemple * ** ** Satisfaction des destinataires Taux de satisfaction (% de destinataires qui sont satisfaits ou très satisfaits) 15, 19,25, 27, 36, 37, 44 Avantages pour les destinataires Vitesse moyenne entre les principaux centres économiques 1,2,32 Investissements les destinataires facilités pour Effet de levier (dépense du secteur privé venant en contrepartie du soutien financier perçu) 16, 21, 22, 24, 39, 46, 47 E n c a d ré 38 - Propositions d'indicateurs clés : I m p a c ts Intérêt Indicateur Voir exemple ** * ***. **. Succès durable Taux de placement (ex : % de stagiaires employés après 12 mois et qui sont toujours dans leur emploi après 24 mois Taux de survie (ex : des exploitations aidées toujours actives au bout de 24/36 mois) Impact perçu par les destinataires Valeur ajoutée générée (ex :après 24 mois en terme d'euro/an/employé) Emploi créé ou sauvegardé (ex : après 12 mols FTE) 10,36,48 23,37 7, 8, 9, 13, 14, 16, 1 8 , 2 1 , 2 4 , 2 6, 31, 38, 39, 40, 42, 46, 47 7, 8, 9, 13, 14, 16, 1 8 , 2 0 , 2 3 , 2 4, 35, 37, 38, 39, 42, 49 Impact globalement perçu dans la zone Attrait résidentiel (ex : % d'habitants des villages réhabilités souhaitant rester dans la zone ) Impact indirect Effets indirects régionaux (ex : % d'entreprises régionales parmi les fournisseurs des entreprises aidées après 12 mois) 25, 51 24, 39 Production et utilisation des indicateurs Mesurer la performance pour une meilleure gestion De plus en plus de systèmes d'indicateurs sont créés dans la perspective d'une « gestion de la performance ». Ces systèmes s'inscrivent parmi les nouvelles formes de gestion publique (New Public Management) qui impacts obtenus par opposition aux privilégient anciennes formes de gestion qui sont fondées sur l'attribution des ressources et le contrôle des réalisations. les résultats et les Gérer la performance plutôt que les ressources l'emploi de Dans un esprit de gestion de la performance, les opérateurs se voient dotés d'une plus grande autonomie pour leurs ressources. En contrepartie, ils séngagent sur des objectifs clairs quant aux résultats et aux Impacts à obtenir. Ils doivent mesurer leur performance pour s'auto- évaluer et pour rendre compte périodiquement. Ce nouvel équilibre entre déconcentration et mesure des performances est à la base de nombreux développements dans l'administration publique. Ainsi, le « Government Performance and Results Act (GPRA) » de 1993, impose l'utilisation de nouveaux indicateurs à toute l'administration publique des Etats Unis. L'encadré suivant décrit le système d'indicateurs du service britannique de l'Emploi qui a été conçu dans cet esprit. Il met l'accent sur la mesure des résultats et des impacts, plutôt que sur celle des ressources et des réalisations. Encadré 39 - Décentralisation et développement des indicateurs Le Service de l'Emploi au Royaume Uni (Employment Service) a pour mission de développer un marché du travail compétitif, efficace et flexible. En particulier, il doit favoriser l'Insertion des chômeurs les plus démunis, grâce à un système d'allocations spécifiques. Le réseau national du Service de l'Emploi compte plus de 1 000 agences. Depuis 1994, le degré d'autonomie des agences a été augmenté. En contrepartie chaque agence doit calculer une série d'indicateurs de résultat et d'impact et comparer ses performances à celle des agences voisines. Les Indicateurs sont agrégés par région et au niveau national dans le cadre d'un rapport annuel du Service de l'Emploi. Par exemple, en Irlande du Nord, le coût de fonctionnement des agences rapporté au nombre de chômeurs placés a évolué de la façon suivante : 1992-93 1993-94 1994-95 Point zéro 6% 7% 1995-96 + 6% Indicateurs pour le suivi et l'évaluation Dans beaucoup de réglons européennes, la culture administrative reste peu perméable à la décentralisation et à la gestion de la performance. Il n'est donc pas étonnant que le développement des indicateurs de résultat et d'Impacts soit généralement considéré comme difficile alors que les autorités gestionnaires des programmes sont plus familières avec les indicateurs de ressources et de réalisation. Les changements culturels sont lents mais ils sont à l'œuvre dans certains pays sous la pression des réformes administratives les gouvernements nationaux. L'activité de suivi et d'évaluation des programmes cofinancés par l'Union européenne est un facteur qui favorise la gestion des performances en termes de résultats et d'impacts. initiées par Dans une perspective de gestion de la performance, les indicateurs jouent un rôle de plus en plus important pour les opérateurs et ¡I convient alors de les utiliser avec précaution. Interpréter et comparer les indicateurs Il existe des situations où les indicateurs parlent d'eux-mêmes mais ces cas sont exceptionnels. En général, il faut interpréter les indicateurs en faisant des rapprochements ou des décompositions pertinentes. Dans l'exemple qui suit, le rapprochement de trois indicateurs a montré que les formations les financées par l'aide européenne n'atteignaient pas suffisamment chômeurs de longue durée. Encadré 40 - Rapprocher plusieurs indicateurs pour révéler un phénomène Dans le cadre de son évaluation à mi-parcours du Fonds social européen dans les régions italiennes d'objectif 1, l'ISFOL a rassemblé et Interprété une série d'indicateurs de suivi. Dans certains cas, les rapprochements réalisés entre ces indicateurs conduisent à des conclusions fortes et claires. Par exemple, la part du programme bénéficiant aux chômeurs de longue durée peut être mesurée avec trois indicateurs : dépenses programmées en faveur des chômeurs de longue durée : 18% des dépenses totales programmées dépenses engagées en faveur des chômeurs de longue durée : 1 1% des dépenses totales engagées dépenses payées en faveur des chômeurs de longue durée : 8% des dépenses totales payées Production et utilisation des indicateurs Le rapprochement de ces chiffres montre clairement que les chômeurs de longue durée sont écartés du programme à chaque étape de sa mise en oeuvre. Pour un lecteur qui parcourrait un tableau d'indicateurs et qui lirait ces trois chiffres isolément, l'information n'aurait aucune signification. Pour révéler le problème de mauvaise atteinte du public prioritaire, il a fallu que les trois la durée de chômage des indicateurs soient décomposés selon destinataires directs et que trois informations. l'ISFOL pense à rapprocher les Chaque fois que possible, il est intéressant de rapprocher les Indicateurs de programme (ex : nombre de chômeurs formés) avec des indicateurs de contexte appropriés (ex : nombre de chômeurs dans la région). Ce type d'information peut être présenté d'une manière concise par l'intermédiaire d'indicateurs dérivés exprimant les réalisations ou les effets du programme en pourcentage d'un indicateur de contexte comme ceux qui sont décrits dans l'encadré ci-dessous. Encadré 41 CCA (objectif 1) 1989-93 - Rapprochement des indicateurs de programme et de contexte - Espagne Nombre de lignes installées téléphone digital Universités subventionnées Données constatées 1989-93 239 800 Données en pourcentage 6 % des lignes digitales de en Espagne pendant la période 20 91 % des Universités dans les réglons d'Objectif 1 Création et amélioration de terres irriguées (en ha) Nombre d exploitations modernisées 34 236 107 000 1,5 % des surfaces irriguées dans les régions d'Objectif 1 4,8 % des exploitations agricoles en Espagne (1992) Nombre de jeunes agriculteurs subventionnés 11 000 0,5 % des exploitations agricoles en Espagne (1992) Nombre de personnes formées 2 693 000 17,7 % de la population active en Espagne les La plupart des professionnels de indicateurs doivent être interprétés en s'appuyant également sur des il faut donc informations qualitatives. Pour interpréter reconnaissent que les indicateurs, l'évaluation Indicateurs pour le suivi et l'évaluation considérer l'ensemble du contexte, les facteurs qui contribuent à faciliter ou à freiner les performances du programme, la raison d'être du programme, les processus de mise en œuvre et toutes sortes d'éléments qualitatifs (Burt Perrin Associates, 1997). interpréter les mesures de Une technique originale consiste à faire performance par un panel d'experts capables d'intégrer les éléments quantitatifs et qualitatifs de la situation. Cette technique est employée depuis une dizaine d'année pour évaluer la performance des centres de recherche universitaires au Royaume Uni. Dans ce pays, les travaux de tous les centres de recherche font l'objet à la fois d'un suivi quantitatif et d'évaluations périodiques par des panels d'experts. Dans leur évaluation, les experts prennent en compte (ex : nombre de publications) mais aussi des éléments purement qualitatifs (ex : qualité des quatre meilleures publications de chaque chercheur). L'évaluation débouche sur un classement des équipes de recherche (notées sur une échelle de 1 à 5). L'attribution des fonds publics est directement liée à ce classement (Bone & Carter, 1997). indicateurs les L'interprétation des indicateurs fait souvent appel à des comparaisons qui permettent de rapprocher les performances de deux interventions. Ce type de comparaison porte en priorité sur les indicateurs d'efficience par exemple : coût d'un stagiaire formé, coût d'un emploi créé, coût d'un logement desservi par le système de traitement des eaux usées, etc. Cependant, les comparaisons ne sont pas toujours acceptables pour les opérateurs et pour les gestionnaires des programmes. En particulier, les Injustes aux autorités comparaisons de performances paraîtront gestionnaires qui travaillent dans les contextes les plus difficiles. Pour rendre les comparaisons acceptables, ¡I faut affiner considérablement les procédures de comparaisons dans le but de mettre sur un pied d'égalité les interventions dont l'environnement est plus ou moins similaire. Une technique le champ de Intéressante a été expérimentée dans l'éducation. Il s'agit de reconstituer, pour chaque intervention à comparer, un groupe de quelques interventions similaires, mises en œuvre dans d'autres régions, et dont l'environnement présente le même degré de difficulté. La comparaison est effectuée avec la moyenne des interventions de ce « groupe étalon ». Cette approche suppose que l'on dispose d'un indicateur de performance, mesuré de façon comparable, pour un grand nombre d'interventions. La Production et utilisation des indicateurs méthode est difficile à appliquer si la performance se juge sur plusieurs critères, et encore plus lorsque la performance n'est pas complètement mesurable. On doit alors adopter une approche globale dans laquelle la comparaison englobe les indicateurs mais ne se limite pas aux indicateurs. l'étalonnage La technique appropriée, dans cette situation est celle de (benchmarking) qui consiste à comparer une intervention à un modèle extérieur au programme et reconnu pour sa bonne performance. L'usage de cette technique suppose que l'on puisse trouver une référence de comparaison, par exemple dans une banque de données des « meilleures pratiques ». L'étalonnage est un outil qui produit des conclusions acceptables car il peut prendre en compte des éléments de comparaison multiples et pas seulement quantitatifs. Un des avantages de l'étalonnage est qu'il oriente les comparaisons vers les meilleures pratiques et qu'il évite donc la convergence vers les performances moyennes. La technique de l'étalonnage est décrite dans le Volume 3 de la Collection MEANS. Encadré 42 - Exemple de comparaison des performances acceptée par les opérateurs La comparaison des performances entre organismes de formation achoppe souvent sur le fait que tous les publics formés ne présentent pas les mêmes difficultés. Il y a quelques années, une équipe d'évaluation avait à comparer 133 organismes de formation (districts scolaires) dans différents Etats américains. L'équipe a décidé de comparer chaque organisme à un « groupe étalon » de 14 autres organismes présentant le plus de ressemblances du point de vue des caractéristiques du public scolarisé (pauvreté, langue maternelle, niveau scolaire des parents, appartenance à une minorité, etc. ). Pour former les groupes étalons, l'évaluation a combiné une analyse factorlelle et des panels d'experts. A la fin de l'évaluation, les comparaisons de performance ont été acceptées sans contestation. Henry & al, 1992 Eviter les effets pervers des indicateurs L'usage des indicateurs est souvent freiné par la crainte de provoquer des effets pervers. Un exemple d'effet pervers est l'effet "d'écrémage" qui apparaît lorsque la performance des organismes de formation est mesurée par le taux de placement des stagiaires. Pour obtenir un meilleur taux de placement de leurs stagiaires, les organismes ont intérêt à recruter des tout en personnes qui disposent de la meilleure situation possible Indicateurs pour le suivi et l'évaluation satisfaisant aux critères d'éligibilité. Les opérateurs ont donc tendance à « écrémer » les destinataires directs potentiels en privilégiant ceux qui ont la meilleure employabilité. Cet effet est pervers car il contribue à focaliser l'aide sur ceux qui en ont relativement moins besoin. Un autre exemple d'effet pervers est apparu après quelques années de mise en œuvre du système d'indicateurs de l'Audit Commission britannique (voir annexe 2). Ce système organise la quantification d'environ deux cents indicateurs de réalisations et de résultats relatifs aux services offerts par les municipalités. Les indicateurs sont comparables d'une ville à l'autre et font l'objet d'une publication annuelle dans la presse locale. Ce système crée une très forte pression sur une ville lorsqu'un de ses services obtient des performances faibles. Ainsi de nombreuses municipalités ont augmenté le budget de leurs services peu performants avec l'espoir de les remettre à niveau. Dans ces cas, les ressources financières ont parfois été prélevées sur les services les plus performants. L'usage des indicateurs a donc poussé à réduire les différences par convergence vers la moyenne. Il s'agit d'un effet pervers car on aurait pu espérer que les indicateurs fassent converger les performances vers l'excellence. Un effet pervers apparaît indicateur encourage des lorsqu'un comportements contre-performants. Cela arrive si l'indicateur récompense des résultats non voulus, ou si le système conduit les opérateurs à travailler pour l'indicateur plutôt que pour le résultat. Il est inévitable que des effets pervers apparaissent au bout de deux ou trois ans de fonctionnement d'un système d'indicateurs, aussi bien conçu soit-il. Ces dérives ne sont généralement pas prévisibles. L'apparition probable d'effets pervers ne doit pas être un argument pour refuser de mesurer les performances. En effet, il est relativement facile de s'en protéger, soit en modifiant l'indicateur qui pose problème, soit en l'indicateur par des panels créant une procédure d'interprétation de d'experts. L'important est donc de surveiller l'apparition des effets pervers et de corriger le système lorsque ces effets apparaissent. Créer des incitations à la performance Il existe plusieurs l'amélioration des performances des opérateurs. On peut citer modalités suivantes : façons d'utiliser des indicateurs pour inciter à les • Les opérateurs qui ont des performances faibles reçoivent une assistance technique spécifique pour les aider à progresser. Si la Production et utilisation des indicateurs s i t u a t i on ne s ' a m é l i o re p a s, il y a restriction b u d g é t a i r e. Cette m o d a l i té f o n c t i o n ne selon le p r i n c i pe q u ' il ne faut p as punir l'erreur, m a is plutôt l ' i n c a p a c i té à corriger ses erreurs. Les o p é r a t e u rs q ui o nt les meilleures p e r f o r m a n c es bénéficient d ' u ne a u t o n o m ie plus g r a n de et d ' un a l l é g e m e nt d es c o n t r ô l e s. Les o p é r a t e u rs qui o nt les meilleures p e r f o r m a n c es reçoivent u ne aide à présenter leurs réalisations et leurs résultats au g r a nd p u b l i c. Les o p é r a t e u rs q ui n'ont p as o b t e nu pas d ' a s s ez b o n n es p e r f o r m a n c es s o nt écartés d es p r o c é d u r es de s é l e c t i on d es projets à venir, c o m me d a ns l ' e x e m p le de l'encadré suivant. Les o p é r a t e u rs q ui o b t i e n n e nt les meilleures p e r f o r m a n c es se voient p r o p o s er u ne allocation b u d g é t a i re s u p p l é m e n t a i r e. E n c a d ré 43 - S é l e c t i on d es p r o j e ts en f o n c t i on de l'efficacité Dans le cadre du programme d'Objectif 2 pour la période 1989-93 dans la Région Pays-de-la-Loire, les actions du FSE étalent gérées par le Conseil régional. Les services du Conseil régional ont appliqué à la gestion du FSE une méthode de sélection des projets qui était en vigueur pour leurs propres actions de formation. Cette méthode repose sur une gestion de la performance et fonctionne de la façon suivante. Les organismes de formation qui font une première demande de subvention sont sélectionnés de façon peu sévère sur la base de la qualité de leur projet. Ce mécanisme de sélection est exceptionnel, les « demandes primaires » étant rares. Les organismes qui ont déjà reçu une aide et qui sollicitent une nouvelle le mécanisme normal de subvention (demandes secondaires) entrent dans sélection des projets. Dans cette procédure normale, les subventions sont attribuées en priorité aux organismes qui obtiennent les meilleurs taux de placement. Le système de suivi Impose à tout organisme qui met en œuvre une formation subventionnée de fournir à la Région une évaluation du taux de placement de ses stagiaires après six mois. Ce mécanisme a pour effet de privilégier les organismes qui sont les plus à l'écoute des besoins des entreprises et qui ont les meilleurs impacts. Conclusion Indicateurs pour le suivi et l'évaluation Le schéma qui suit rassemble les principaux messages qui résument cet ouvrage. Il se présente sous la forme d'un jeu d'hypothèses qui sont faites, souvent implicitement, lorsqu'on crée un système d'indicateurs avec l'intention d'améliorer les performances d'un programme. Encadré 44  L'utilité d 'un système d'indicateurs Le système d'indicateurs est construit ^ Il produit l'information désirée 1 r L'Information est interprétée correctement ' r L'information est utilisée pour inciter à de meilleures performances 1 r Les effets pervers sont surveillés ' Γ Les responsables prennent de meilleures decisions / ' ' Le programme est plus performant / ' X^ Il reflète les objectifs et les rend plus lisibles • L'information est diffusée au public / / / / 1 Les citoyens sont I à même de se faire ! une opinion L'intérêt de ce schéma est de montrer que la construction d'un système d'Indicateurs n'est qu'une première étape. Au moins six autres étapes interviennent pour que le système soit véritablement utile. Il faut donc traiter la première étape de façon simple et pragmatique en gardant toujours la perspective de poursuivre l'effort jusqu'au bout de toutes les autres étapes. Annexes Annexe 1 : Bibliographie générale La bibliographie relative aux indicateurs est immense. Les titres qui figurent ci-dessous ont été sélectionnés en raison de leur caractère général et de leur publication récente. Auditor General of Canada the Expenditure Mangagement Sysytem, Report of the Auditor General of Canada to the House of Commons, Chapter 5. (1997), Reporting Performance in Auditor General of Canada (1997), Moving towards Managing for Results, Report of the Auditor General of Canada to the House of Commons, Chapter 11. Bone, J. , Carter, N. (1997), On the Performance of Performance Indicators, Communication au colloque l'évaluation des politiques publiques de l'école normale supérieure de Cachan, 5 / 6 Février 1997. International sur Boyle, R. (1996), Designing and using performance indicators, Dublin : Institute of Public Administration. Burt Perrin Associates (1997), ' Evaluation ¡n Partnership : The May, 1997 Canadian Evaluation Society Conference ' in : Evaluation 3(3), 377- 379. Carter, N. , Klein, R. and Day, P. (1992), How Organisations Measure in Government, the Use of Performance Indicators Success : London : Routledge. Commission européenne (1994), Le rapport européen sur les indicateurs scientifiques et technologiques, Série : Sciences et technologies nucléaires, Luxembourg : Office des publications officielles des Communautés européennes. Commission européenne (1995), Orientations communes pour le suivi et les intermédiaires, Luxembourg : Office des publications évaluations officielles des Communautés européennes. Conseil du Trésor du Canada (1997), Rendre compte des résultats, Rapport annuel au Parlement, Direction des affaires publiques, Secrétariat du Conseil du Trésor du Canada. Indicateurs pour le suivi et l'évaluation Derosières, A. (1997), ' Refléter ou instituer : l'Invention des indicateurs statistiques ', in : Dupoirier E. et Parodo J. L. Les indicateurs socio- économiques aujourd'hui, Paris : L'Harmattan, 15-34. Halachml, Α. , Bouckaert, G. (Eds) (1995), Public Productivity through Quality and Strategic Management, Amsterdam : IOS press. Hatry, H. R, Fall, M. , Singer, TO. , Liner, E. B. (1990), Monitoring the outcomes of economic development programs. A manual, Washington, D. C. : The Urban Institute Press. Henry, G. , McTaggart, M. , Macmillan, J. (1992) 'Establishing benchmarks for outcome Indicators, a statistical approach to developplng performance standards', in : Evaluation review, 16(2), 131-150. Innés De Neufvllle, J. E. (1994), Knowledge and Policy, the Search for Meaningful Indicators, New Brunswick : Transaction Publishers. Kumar, K. (1995) , Measuring the Performance of Agricultural and Rural Development Programs in Evaluation And Development. The proceedings of the 1994 World Bank Conference, Washington, D. C. : The International Bank for Reconstruction and Development. OCDE (1994), 'Mesure des performances et gestion axée sur les résultats', Gestion publique : La gestion des performances dans l'administration, Collection Etudes Hors Série, 3. Paris : OCDE. OCDE (1994), Créer des indicateurs ruraux pour étayer la politique territoriale, Paris : OCDE. OCDE (1994), Making Education Count : Developing and Using International Indicators. Washington, D. C. : Centre for Educational Research and Innovation. Polliti, C. (1986), 'Performance Measurement in the Public Services : Some Political Implications', in : Parlamentary Affairs, 39 (3) pp 315-329. Oxford University Press. Polliti, O, Summa, H. (1995), Performance Audit : Travellers' Tales', paper presented at The Canadian Evaluation Society and the American Evaluation Society Conference, Octobre 1995. Newcomer, K. E. (1997) 'Using Performance Measurement to Improve Programs', in : New Directions for Evaluation, (75), 5-14. Annexes Salzer, M. , Nixon, CT. , Schut, L. J. A. , Karver, M. S, Bickman, L. (1997), between in : Evaluation Review, 21(3), Validating qualtiy structure, process, and outcome, London : Sage Publications, 292-309. indicators. Quality as relationship Sorber, A. (1993), 'Performance measurement in the Central Government in : Public Productivity and the Netherlands', Departments of Management Review, 17(1). United Nations Development Programme Results-oriented Monitoring and Evaluation, New York : UNDR OESP Handbook Series. (1997), Vakkuri, J. , Meklin, P. (1997), Risks in value for money-related performance measurement, Leuven : Conférence annuelle du Groupe Européen d'Administration Publique. Wholey, U. S. , Newcomer, K. E. (1997) 'Clarifying Goals, Reporting Results', in : New Directions for Evaluation, (75), 91-98. Wishlade, R, Yuill, D. (1997), Measuring disparities for area designation purposes : issues for the European Union, Regional and Industrial Research Paper Series, N°24. Glasgow : European Policies Centre, University of Strathclyde. World Bank - Operations Evaluation Department (1997), Evaluating Development Operations: Methods for Judging Outcomes and Impacts, in : Lessons & Practices, (10), Washington: World Bank, OED. Annexe 2 : Leçons de l'expérience internationale L'expérience internationale en matière d'indicateurs est vaste et ancienne. A l'origine de tous les développements, on retrouve le succès de quelques grands indicateurs macroéconomiques (PIB, indice des prix, taux de chômage). Dans les années 70, ce succès a suscité un mouvement pour le développement d'indicateurs sociaux qui a mobilisé une énergie considérable et a conduit à des déceptions de même ampleur. Les leçons de cette longue expérience sont abondantes et ont été solidement établies. On pourrait presque les résumer par les titres des trois publications marquantes de Judith Innés de Neufville : Social indicators and public policy: interactive processes of design and application (1975) ; Disappointments and Legacies of Social Indicators. (1989) ; Knowledge and Policy : the Search for Meaningful Indicators (1994). Tandis que de nouveaux développements plus récents apparaissent sous la bannière de la « mesure des performances », certaines institutions publiques continuent d'investir dans les Indicateurs, parfois massivement. Par exemple, l'ONU et la Banque Mondiale ont lancé un projet de 2 millions d'euros pour développer un système d'Indicateurs du milieu urbain. Les pays qui suivent ne peuvent donner qu'une vision très partielle de l'expérience accumulée. Les exemples choisis ont été sélectionnés en raison de similitudes avec le thème de cet ouvrage. les Indicateurs de la Science et de la Technologie à la Commission ♦ Investissement massif Dans un premier temps, de 1988 à 1992, la Commission européenne (DG XII) a constitué un réseau d'experts sur la base d'un spécialiste par pays. Ce réseau a tenu deux réunions par an pendant quatre ans sous l'égide du programme MONITOR. Deux grandes conférences ont été organisées à Paris et à Leiden (environ 100 participants). L'investissement de la Commission dans ce réseau représentait environ 4 personne χ mois par an. Une partie de l'animation du réseau était soustraitée à un consultant externe. La Commission a cessé de financer le réseau à la fin du programme MONITOR, mais une nouvelle réunion s'est cependant tenue à Anvers récemment, sans le soutien de la Commission. A la suite de ce premier Investissement, la DG XII a créé une unité « Indicateurs » qui représente un Investissement de 30 à 70 personne χ mois selon les années et qui soustraite des tâches à de nombreux Indicateurs pour le suivi et l'évaluation consultants. L'unité édite un rapport d'environ 400 pages tous les deux ans (dernières éditions en 1994 et 1996). Ce rapport présente des Indicateurs du contexte de la recherche dans 50 pays ainsi que des indicateurs de ressources, réalisations, résultats et impact de la politique européenne (programme cadre). Il s'appuie en partie sur les travaux d'Eurostat qui consacre un part. importante de ses ressources aux indicateurs de la science et de la technologie (ex REDIS News, Research and Development : annual statistics). Environnement international très favorable Il existe une forte convergence d'intérêt entre la Commission et certains pays membres. La France a créé un Observatoire de la Science et de la Technologie qui publie un rapport similaire à celui de la Commission, les Pays Bas font également un investissement important avec le programme MERIT, l'Allemagne a développé des enquêtes systématiques sur l'effort de recherche et d'Innovation. Par ailleurs, la Commission et les pays européens ont été précédés sur beaucoup de plans par les Etats Unis qui ont investi de façon publique (NSF) ou privée (Science Citation Index) dans les indicateurs de la S&T. L'OCDE a également investi depuis plus de vingt ans dans la mesure de la science et de la technologie (manuels Frascati et manuel d'Oslo). On constate donc que lés efforts de la Commission dans le domaine des indicateurs de la science et de la technologie ont été aidés et encouragés par les efforts au moins aussi importants et souvent antérieurs qui ont été faits aux USA, dans certains Etats membres et à l'OCDE. Difficultés de la régionalisation des indicateurs En 1993 et 1994, une commission interservices a fait un inventaire complet des possibilités de régionaliser les indicateurs de la R&D. Ces travaux ont fait l'objet d'un rapport et ont permis d'insérer dans les publications de la DG XII un chapitre sur les indicateurs régionaux de la R&D. interservices a sélectionné attentivement La commission les indicateurs qui pouvaient être quantifiés au niveau régional et qui avaient un potentiel d'information pour les politiques régionales. En fin de compte, relativement peu d'indicateurs ont pu être régionalisés : Dépenses de R&D, emploi de R&D, brevets, et la quantification a rarement été décomposée en dessous du niveau NUTS 2. Ces résultats limités reflètent la difficulté du travail de régionalisation des indicateurs. tous Annexes Les indicateurs internationaux de l'OCDE Vingt ans d'efforts dans le champ de l'éducation L'OCDE a investi de façon massive dans le champ des indicateurs de l'éducation par l'intermédiaire de son Centre for Educational Research and Innovation. L'effort remonte au début des années 70 et prenait place dans le mouvement des indicateurs sociaux. Les ambitions initiales étaient très grandes. Les déceptions qui sont apparues à la fin des années 70 ont failli coûter la vie au programme. L'analyse actuelle de ce revers est la suivante : les préoccupations de recherche ont prédominé, les indicateurs voulaient montrer trop de choses et ils n'avaient pas assez de lien direct avec des enjeux politiques majeurs. Le travail a repris à l'initiative du gouvernement américain qui s'est fortement impliqué dans l'amélioration de l'efficacité de l'éducation à partir de 1983. Vers la fin des années 80, l'OCDE a relancé son programme de développement d'indicateurs par l'Intermédiaire d'une série de conférences (USA, internationales avec France,. ). Le programme a abouti à de nombreux résultats en 4 ans (au moins 7 publications significatives dont « Education at a Glance, OECD indicators »). fortement volontaires le support de pays A l'inverse des ambitions Initiales, les travaux actuels sont considérés par l'OCDE comme très pragmatiques. Le système d'indicateurs a été construit en l'absence de tout modèle théorique cohérent. La théorie reste à faire, si tant est qu'elle soit faite un jour dans un champ aussi sensible. Les autres champs dans lesquels l'OCDE a fait un investissement important en termes d'indicateurs sont les suivants : Science et Technologie, Santé, Aide au développement, Environnement, Tourisme, Pêche. La méthode de travail est à peu près la même que celle qui a été suivie dans le champ de l'éducation : • l'Initiative est appuyée par un ou plusieurs pays fortement impliqués dans le développement d'un système d'indicateurs pour leur propre compte ; • un groupe de travail international est constitué pour négocier un langage commun et fixer des objectifs pragmatiques, ce groupe se réunit pendant plusieurs années ; • un questionnaire détaillé est envoyé aux Etats membres qui fournissent la meilleure quantification possible des indicateurs sélectionnés par le groupe de travail ; Indicateurs pour le suivi et l'évaluation • un premier annuaire est publié avec des informations partiellement ou totalement manquantes pour plusieurs pays ; • tous les pays complètent progressivement leurs statistiques pour se joindre au projet. Le développement. des systèmes d'indicateurs est très progressif. Par exemple, les premiers annuaires du champ de l'environnement contiennent des indicateurs qui sont nouveaux pour beaucoup de pays. La qualité de les annuaires agissent leur quantification est très inégale. Cependant les Etats membres s'équipent comme des modèles à suivre et progressivement pour être en mesure de répondre aux questionnaires de l'OCDE et obtenir ainsi des références de comparaison internationales. Régionalisation et territorialisation des statistiques L'OCDE a un service du développement territorial qui est potentiellement intéressé par les indicateurs développés pour les Fonds Structurels. Cependant, la seule avancée de l'OCDE dans ce champ a concerné le développement rural. Le Programme de Développement rural de l'OCDE a été lancé en 1991. l ia mis au point un ensemble d'indicateurs concernant la population (densité, évolution, structure, ménages), de l'économie (population active, emploi, structure sectorielle, productivité et investissement), du bien-être social (revenu, logement, éducation, santé et sécurité) et de l'environnement (topographie et climat, utilisation des sols, habitats et espèces, sols et eau, qualité de l'air). Une informations base de internationalement comparables pour des catégories de territoires correspondant essentiellement à des degrés de densité de population. d'indicateurs donnée ruraux donne des indicateurs Si l'OCDE n'a pas développé d'autres territoriaux, c'est probablement parce que l'Organisation est composée d'Etats et n'a pas pour vocation à s'Intéresser au niveau régional. La régionalisation des systèmes d'indicateurs pourrait se justifier dans le cadre d'une coopération dans le champ des politiques régionales des Etats membres, mais cette coopération est assez réduite. La raison en est que si l'Europe et le Canada ont des politiques régionales significatives, les Etats Unis n'en ont pas. Les Indicateurs de suivi et d'évaluation à la Banque Mondiale Les opérations financées par la Banque représentent un montant de dépenses annuelles sensiblement équivalent à celui des Fonds structurels. Annexes Les opérations font l'objet de rapports d'autoévaluation systématiques par les départements opérationnels en fin de réalisation. Ces rapports sont confrontés à rapports d'autoévaluation sont produits tous les ans. l'avis des Etats emprunteurs. Environ 280 La Banque a un département d'évaluation des opérations (OED) dont les principales activités sont la « contre-évaluation » (environ un quart des rapports fournis par les départements opérationnels font l'objet d'une vérification sur le terrain), les « retours sur le terrain » après cinq ans (environ 10% des opérations), l'approfondissement de certains thèmes (ex : participation des femmes), les évaluations par pays et la vérification périodique des procédures de suivi et d'évaluation. Le système d'information de la Banque a longtemps privilégié le volume des engagements financiers et les indicateurs de réalisations physiques. Un tournant a été pris en 1992 à la suite du rapport Wapenhans qui recommandait de mieux prendre en compte les « résultats sur le terrain ». La Banque a alors entrepris d'établir des menus d'indicateurs de résultat et d'impact par champ. Chaque service sectoriel a publié son menu d'indicateurs dans recueil d'indicateurs génériques. les années 1993-94, auquel s'ajoute un Ces travaux ont été consultés et utilisés dans le cadre de la présente étude. Leur qualité est peu homogène, beaucoup sont plus orientés vers la description du contexte que vers que les résultats et les impacts sur le terrain. Par ailleurs, ces menus sont généralement abondants mais peu reliés aux objectifs de la Banque. L'OED a fait récemment un audit de la pratique de suivi / évaluation de la Banque. Il en ressort que l'utilisation des indicateurs a été très en dessous des ambitions affichées. Cependant, en quelques années, la proportion des opérations utilisant des indicateurs de résultat et d'impact est passée de 12 à 36%. l'accent sur Sans renoncer à faire progresser ses menus d'indicateurs sectoriels, la Banque met maintenant l'emploi d'un nombre minimum d'indicateurs spécifiques à chaque opération et construits par référence à la logique propre à chaque opération, avec l'aide de la méthode du cadre logique. Les efforts vont dans le sens d'une très forte déconcentration du développement des les systèmes les démarches de construction des d'indicateurs, indicateurs par les responsables d'opérations. Dans cette démarche Indicateurs. Plutôt que d'unifier il s'agit d'unifier Indicateurs pour le suivi et l'évaluation « bottom-up », le souci de comparabilité vient maintenant au second plan. Les consignes données par l'OED sont actuellement les suivantes : • utiliser un très petit nombre d'Indicateurs pour chaque opération (entre dix et vingt), ces indicateurs devant couvrir toutes les étapes logiques : moyens, réalisations, résultats et impact, • privilégier les indicateurs de risque, ceux qui sont susceptibles de donner l'alerte en cas de défaillance de l'opération. Les Indicateurs de performance à l'Audit Commission Développement combinant l'obligation et le partenariat En juillet 1991, le gouvernement britannique a lancé les « Chartes du Citoyen », une Initiative dont le but était d'améliorer la qualité des services dans le secteur public. L'un des points clés de cette initiative était la mise au point et l'utilisation d'indicateurs de réalisation et de résultat. L'Audit Commission est responsable du développement et du pilotage d'un système d'indicateurs qui s'applique à environ mille autorités locales en Angleterre et Pays de Galles. Les rôles de la Commission et des autorités locales varient selon les cas : En premier abord, les autorités locales sont toujours encouragées à fixer elles-mêmes leurs objectifs de réalisations et de résultats et à choisir les indicateurs appropriés pour en assurer le suivi. Dans certains cas, la Commission fixe les indicateurs et la manière de les quantifier, mais ne définit pas d'objectifs. La Commission peut aussi, de façon plus autoritaire, décider que certains indicateurs doivent être quantifiés et que les autorités locales doivent fixer leurs propres objectifs pour ces indicateurs. En dernier ressort, la Commission peut décider à la fois des indicateurs et des objectifs. Chaque année, l'Audit Commission publie un manuel avec la liste détaillée des Indicateurs qui devront être mesurés par les autorités locales pendant l'année fiscale à venir. Leur nombre total est de l'ordre de 200. Aucune autorité n'est tenue de quantifier plus de 130 indicateurs. Les autorités locales sont légalement tenues de publier leurs mesures de performance dans les journaux locaux. La Commission se donne, de façon régulière, les les systèmes adéquats sont en place et moyens de s'assurer que produisent une information exacte. Annexes La Commission produit un rapport annuel en trois volumes (Local Authority Performance), qui présente et synthétise toutes les données liées à la performance, et donne les moyennes au niveau national. Les indicateurs de performance sont aussi disponibles sur disquette informatique. Un rapport restreint se concentre sur une quarantaine d'Indicateurs comparables agrégés au niveau national. Ce rapport comprend entre un et cinq indicateurs pour chacun des quinze champs suivants : Education, Social, Bibliothèques, Gestion des dépenses, Logement social, Recyclage, Planification, Recouvrement de l'impôt, Inspection des locaux alimentaires, Qualité du traitement des plaintes, des appels de la Police et des Urgences, Crimes et Recherches, Ressources de la Police et des Pompiers. Pour prendre un exemple, le pourcentage de déchets ménagers recyclés est un des indicateurs du champ « Recyclage ». Délai de mise en place des nouveaux indicateurs les autorités Pour mettre à jour et améliorer le système, la Commission procède à des échanges approfondis avec les groupes de consommateurs, les services gouvernementaux, les corps professionnels, et autres parties prenantes. Elle fait aussi appel à des consultants pour mener des enquêtes nationales destinées à connaître ce qu'il est important de mesurer, ce qu'on entend par bonne performance, ce qu'il convient de publier etc. locales, L'introduction d'un nouvel indicateur demande environ quatre ans selon le calendrier suivant : Année 1 Septembre Consultation et enquête Décembre Edition de la ligne à suivre par la Commission Année 2 Mars Début de la mesure de performance par les Autorités Locales Année 3 Mars Première mesure de performance Décembre Publication des mesures de performance dans les journaux locaux Année 4 Mars Apparition des mesures de performance dans le rapport annuel national Les indicateurs d'éligibilité de la politique régionale allemande Il semble que l'Allemagne soit le pays européen le plus en avance pour ce qui est de l'utilisation des statistiques à des fins de politique régionale. Indicateurs pour le suivi et l'évaluation Depuis des années, les statistiques locales et régionales ont fait l'objet d'un investissement à long terme et d'une utilisation effective dans la conception des politiques. Les lignes qui suivent tentent de résumer une pratique ancienne et variée. i Utilisation des indicateurs pour l'éligibilité la Planification Territoriale est en partie Le Ministère allemand de responsable de la « Tâche commune » (Gemeinschaftsaufgabe), qui constitue la Politique Régionale Allemande. Cette politique est menée de façon intergouvernementale par l'intermédiaire d'un comité de planification qui rassemble les ministres des deux niveaux (Fédéral et Länder). les zones éllgibles à un soutien Traditionnellement, régional sont déterminées de façon rigoureuse sur la base d'un système d'indicateurs. Ce système est périodiquement révisé sous la responsabilité du comité de planification et d'un sous-comité d'experts. La dernière révision a mobilisé plusieurs für Landeskunde und Raumordnung (BFLR) - Bonn, Institut für Raumplanung - Dortmund, et Institut für Arbeitsmarkt und Berufsforschung - Nürnberg. : Bundesforschungsanstalt instituts Le système actuel comprend quatre indicateurs clés : taux de chômage, niveau des salaires, index des infrastructures (voir ci après) et prévisions de la demande en main d'oeuvre. L'index des infrastructures est un des indicateurs clés de la politique régionale depuis les années 1980. Dans sa forme originelle, l'index était composé de 22 sous-indicateurs. Le nouvel index ne mérite plus tout à fait son appellation initiale. Il comprend 10 sous- indicateurs : 4 dans le champ du transport, 5 dans le champ des ressources humaines, et un indicateur de densité de population. Pour le transport, les quatre indicateurs sont les suivants : accessibilité en voiture au centre régional le plus proche, accessibilité en train au centre régional le plus proche, accessibilité par tout moyen aux principales métropoles européennes (voir paragraphe suivant), temps d'accès au centre d'échange rail/route le plus proche. Pour les ressources humaines, les cinq Indicateurs sont les suivants : nombre de jeunes en formation professionnelle excédant les capacités de l'industrie locale, nombre de place de formation professionnelle dans les établissements publics régionaux, pourcentage de la population active régionale ayant bénéficié d'une formation professionnelle, pourcentage de la population active régionale ayant bénéficié d'une formation technique. Annexes ♦ Les indicateurs d'accessibilité Le BFLR calcule un indicateur d'accessibilité aux 34 villes européennes les plus importantes, par le moyen de transport le meilleur. L'indicateur est calculé au moyen d'un modèle associé à une base de donnée européenne. Il s'applique aux villes principales de toutes les zones NUTS 3 dans tous les Etats membres. Cet indicateur apparaissait déjà dans une étude pour la DG XVI en 1992. La dernière quantification date de 1995. Les indicateurs d'accessibilité sont utilisés à des fins d'éligibilité. Ils sont aussi très utiles lors des évaluations ex ante. Par exemple, une étude récente du BFLR estimé le gain d'accessibilité résultant de deux programmes d'infrastructures de base dans les nouveaux Länder. Le premier programme concernait 11 nouvelles lignes de chemin de fer reliant les Länder de l'Ouest et ceux de l'Est. Le second programme était composé de projets autoroutiers. L'évaluation a montré une augmentation d'accessibilité beaucoup plus grande dans le cas du premier programme que dans le cas du second. Il n'y a pas d'exemple d'utilisation des indicateurs d'accessibilité pour des évaluations intermédiaires ou ex post. Une approche originale pour la régionalisation des statistiques En plus de ses responsabilités relatives aux indicateurs de Politique Régionale, le BFLR gère une base régionale de données statistiques, semblable à la base de données REGIO d'Eurostat. Ces statistiques régionales sont nées en 1975. A cette époque, on s'est aperçu que les offices statistiques allemands étaient organisés d'une façon qui empêchait toute comparaison au niveau inférieur à la Région. De fait, l'office fédéral est seulement responsable de la comparabilité des statistiques au niveau des Länder. Seuls les offices des Länder sont compétents pour harmoniser les définitions au niveau sousrégional. Aujourd'hui, en partie grâce aux efforts du BFLR, 95% des données locales sont comparables. Le BFLR commande aux offices statistiques des Länder des séries temporelles spéciales (par exemple : flux migratoire entrant / sortant). Ces commandes se montent à environ 100. 000 euro/an. Le BFLR apporte également son soutien à la collecte des données au niveau sousrégional. Les données régionales sont diffusées par plusieurs canaux : publication d'un rapport statistique de 300 pages tous les deux ans, fourniture de données aux différents ministères et aux sociétés privées et centres académiques qui peuvent se procurer des disquettes mises à jour à un prix raisonnable (env. 100 clients/an). Indicateurs pour le suivi et l'évaluation La base de données repose en partie sur un système régional d'observation qui rassemble les données au travers d'enquêtes régulières sur des échantillons d'environ 4 000 ménages. Les questions concernent la population, la mobilité, le logement, l'environnement social, les étrangers, e t c. Du fait de la méthode utilisée pour rassembler les données, le système ne fournit pas de statistiques sur des zones particulières, mais seulement pour un petit nombre de catégories de zones. Les principales catégories (type d'habitat) combinent le caractère plus ou moins central de la région et la densité de la population locale. En restant proche du champ de la Politique Régionale, le BFLR entreprend actuellement un travail très intéressant sur les statistiques intra urbaines. Le but de ce travail est de fournir des données sur la population, le logement, l'utilisation des terres et la mobilité selon les différentes catégories de zones urbaines (centre ville, banlieues etc. ). Le BFLR a créé un réseau de 60 villes volontaires et mis au point une première liste de séries statistiques à collecter. Au bout de quelques années de partenariat, 35 villes fournissent les données nécessaires. Ce projet produit des données toutes comparables et des moyennes nationales. Il attire de plus en plus de villes volontaires. Un processus similaire a été lancé par Eurostat dans le même champ à l'échelle européenne. Annexe 3 Indicateurs des programmes de la période 1994-99: un état de l'art Les éléments présentés dans cette annexe proviennent d'un recensement des indicateurs qui sont cités le plus fréquemment dans les documents de programmation de l'Objectif 1 et de l'Objectif 5b pour la période 1994-99. Ce recensement s'est limité à treize interventions typiques couvrant et les secteurs les plus importants au plan budgétaire. La liste ainsi constituée a été soumise à l'avis d'une cinquantaine de professionnels connaissant bien les Fonds structurels auxquels qui il a été demandé de sélectionner les indicateurs considérés comme réalistes et pertinents. Cette sélection donne une vue de l'état de l'art sur la question des indicateurs au niveau des années 90. Infrastructures de base Indicateur Définition - Unité Application Longueur de voies Temps de parcours Heures de transport Population desservie Km de voies réalisés /améliorés décomposé par type de voie : route, autoroute, voie ferrée standard, voie ferrée grande vitesse, etc. Heures de parcours entre deux points. Diminution de temps en % Nombre total d'heures gagnées par an par les utilisateurs Mombre de ménages desservis. Transport Route, autoroute, chemin de fer Transport tous modes Transport tous modes Eau & environnement Réseaux de distribution d'eau / réseaux de gaz / réseaux d'électricité Consom mation d'eau M3 (milliers) d'eau consommés par année par ménage. Eau & environnement Réseaux de distribution d'eau Equipements de traitement de matières résiduelles Volume de matières résiduelles Nombre d'unités de traitement installées. Eau & environnement Traitement de déchets/ des eaux réslduaires Tonnes de matières résiduelles traitées par an Décomposé par type de traitement (incinération, recyclage) Eau & environnement Traitements de déchets Indicateurs pour le suivi et l'évaluation Ressources humaines Indicateur Définition - Unité Heures de formation proposées Stagiaires ayant suivi la formation Taux de placement Taux de couverture Durée (heures) des formations financées Décomposé par type de programmes de formation Nombre de stagiaires Décomposé par statut du stagiaire sur le marché du travail (chômeurs, chômeurs de longue durée, salariés, employeurs) Proportion de stagiaires qui ont trouvé un emploi Décomposé par type de bénéficiaire (homme / femme, âge,. ) Proportion du public eligible (ex : chômeurs de longue durée qui a été recrutée par le programme) Application Formation Formation / R&D Formation Formation Annexes Environnement productif Indicateur Définition - U n i té Application Partenariats entre recherche et entreprise Surface de zones d'activité aménagée Taux d'occupation des zones d'activité Taux de survie des entreprises Investissement généré Valeur ajoutée / salarié Chiffre d'affaires à l'exportation Unités économiques aidées Opérations de promotion de la qualité Surface de sites protégés Visiteurs des sites protégés Emplois créés Nombre d'entreprises participant à des projets conjoints de recherche, en partenariat avec un centre de Recherche & Développement. Hectares Décomposé par type de zones (aménagement nouveau ou réaménagement de friches) Superficie construite en pourcentage de la superficie constructible. Nombre d'entreprises qui restent en activité par rapport au total des entreprises aidées Décomposé selon la durée de la période d'observation (2 ans, 5 ans) En euro, montant des investissements générés par les unités économiques aidées En euro, valeur ajoutée générée par les unités économiques aidées En euro, montant de chiffre d'affaires généré à l'exportation dans les unités économiques aidées Décomposé par taille (PME, autres) et par secteur d'activité Nombre Décomposé partaille (PME, autres) Nombre Superficie en hectares Nombre de visiteurs par an Nombre d'emplois créés grâce à l'aide octroyée aux unités économiques aidées Mesures de promotion de la recherche et de l'innovation Mesures pour l'aménagement des zones d'activité Mesures pour l'aménagement des zones d'activité Mesures d'aide à la création d'entreprises Toutes mesures Toutes mesures Mesures de promotion des exportations Toutes mesures comportant une aide Mesures de promotion de la qualité Mesures de protection de l'environnement rural Mesures de protection de l'environnement rural Toutes mesures comportant une aide Annexe 4 : Grille d'appréciation de la qualité d'un système d'indicateurs Cette annexe propose une procédure pour l'analyse du système d'indicateurs d'un programme et pour l'appréciation de sa qualité. La procédure se déroule en sept étapes. Délimiter le système à apprécier (1) Préciser le document sur lequel porte l'analyse. Ces documents peuvent comprendre par exemple : • du document de programmation (DOCUP) et de ses annexes • d'une base de données utilisée par les gestionnaires du programme • d'un ou de plusieurs rapports remis au Comité de suivi • d'un rapport publié par un observatoire Découper le système en composantes homogènes (2) Une composante est homogène si : • il est possible d'appliquer un même indicateur de réalisation à tous les projets ; • tous les projets s'adressent à un même public cible. Les composantes homogènes sont généralement actions. les mesures ou les Pour chaque composante homogène, on note le budget qui lui est alloué dans le programme et son poids budgétaire en %. Les étapes suivantes de 3 à 6 se font pour chaque composante homogène. Identifier et compter les indicateurs (3) On recherche dans les documents analysés toutes les informations qui peuvent être qualifiées d'Indicateurs. Toute information quantitative est susceptible d'être un indicateur. Indicateurs pour le suivi et l'évaluation Comment compter les indicateurs d'un système ? On adopte les conventions suivantes : • un indicateur décomposé est compté comme un seul indicateur (ex. : tableau du nombre de dossiers décomposé par an et par public cible) • si un indicateur fait l'objet d'une deuxième décomposition, on compte un deuxième indicateur (ex. : ° tableau du nombre de dossiers décomposé par an et par territoire) • un indicateur composite est compté comme un seul indicateur si ses composantes ne sont pas quantifiées séparément et comme plusieurs indicateurs dans le cas contraire. A la suite de cette étape, on calcule, pour chaque composant, le ratio de totale « densité d'indicateurs » (nombre d'indicateurs programmée en centaines de millions d'euros. Ce ratio est un élément d'appréciation de la pertinence du système. La densité d'indicateurs doit en effet être homogène. Elle peut aussi être plus importante pour les mesures les plus stratégiques. / dépense Classer les indicateurs par catégorie (4) Lorsque l'on a identifié un indicateur, il convient de le ranger dans une des impacts : quatre catégories conformément aux définitions de cet ouvrage. réalisations, ressources, résultats, A la suite de cette étape, on peut compter, pour l'ensemble du programme, le pourcentage des composantes qui ont au moins un indicateur de résultat ou d'impacts. Attribuer une note de qualité à chaque indicateur (5) indicateur est noté de 0 à 3 selon les critères de qualité Chaque applicables : disponibilité, fraîcheur, sensibilité, fiabilité, comparabilité, normativité, signification. Notation multicritère de chaque composante (6) Pour chaque composante, on fait la moyenne des notes par critère (disponibilité, fraîcheur, sensibilité, fiabilité, comparabilité, normativité, signification) et par catégorie d'indicateurs (ressources, réalisations, résultats, impacts), puis la moyenne des notes par catégories. Le résultat se représente, par exemple, sous la forme du tableau suivant : Annexes Note moyenr e des indi cateurs d'une composante Catégorie Nombre d'indie. Note moyenne par critère et par catégorie Note par catégorie crit. 1 cht. 2 crit. 7 Ressources Réalisations Résultats Impacts 1 10 3 0 3,0 3,0 2,1 / 3. 0 2,5 1,1 / 3,0 2 0,9 / Moyenne 3,0 2,2 1,2 0,0 1,6 Cette procédure permet de donner la note maximum à une composante qui n'a qu'un seul indicateur dans chacune des quatre catégories, à condition que ces indicateurs soient de bonne qualité. La note moyenne diminue si on ajoute des indicateurs supplémentaires et qu'ils sont de moins bonne qualité. Cette procédure de notation privilégie donc la qualité du système et non la quantité d'indicateurs. Par ailleurs, la note moyenne diminue fortement s'il n'y a pas d'indicateur de résultat ou d'Impact. Attribuer une note globale à l'ensemble du système (7) La note globale de l'ensemble du système est la note moyenne pondérée des indicateurs de toutes les composantes. Il s'agit des notes obtenues à le poids budgétaire des composantes l'étape 6 pondérées par correspondantes (cf. étape 2). La procédure d'appréciation décrite ci-dessus intègre, dans sa construction même, les critères d'appréciation d'ensemble du système : couverture, équilibre, sélectivité et pertinence (cf. Encadré 33). Annexe 5 : Liste des exemples Exemple 1 : Nouvelle section d'autoroute assurant la connexion entre A et Β 57 Exemple 2 : Amélioration d'une ligne de chemin de fer entre A et B, permettant la circulation de trains à grande vitesse 58 Exemple 3 : Extension d'un aéroport régional 59 Exemple 4 : Amélioration d'un terminal de conteneurs de port maritime 60 Exemple 5 : Amélioration d'une ligne ferroviaire pour des activités de fret 61 Exemple 6 : Construction d'une plateforme intermodale (rail / route) 61 Exemple 7 : Nouvelle usine électrique utilisant les gaz fossiles 68 Exemple 8 : Construction ou amélioration d'un réseau de distribution d'électricité 69 Exemple 9 : Amélioration d'un réseau de distribution de gaz 70 Exemple 10 : Financement de l'apprentissage d'un nouveau métier pour des chômeurs de longue durée 76 Exemple 11 : Programme de certification pour des jeunes de faible niveau de qualification 77 Exemple 12 : Aide aux entreprises pour l'adaptation des compétences de leurs salariés 78 Exemple 13 : Aide à la création et à l'amélioration des hébergements. 84 Exemple 14 : Aide à la création d'équipements (musées, parcs d'attraction etc. ) 85 Exemple 15 : Financement de formations aux langues 86 Exemple 16 : Subventions pour les exploitations aquacoles 92 Exemplei7 : Subventions pour le désarmement des bateaux de pêche 93 Exemplei8 : Modernisation d'un port de pêche 94 Exemple 19 : Formations suivies par des pêcheurs en reconversion 95 Exemple 20 : Aide à un parc scientifique et technologique pour les PME 104 Indicateurs pour le suivi et l'évaluation Exemple 21 : Aide financière et informationnelle à l'acquisition de technologie par les PME 105 Exemple 22 : Aide à la recherche universitaire 106 Exemple 23 : Aide financière à l'installation de jeunes agriculteurs 113 Exemple 24 : Investissement aidé dans les usines de transformation de produits agricoles 114 Exemple 25 : Réhabilitation de village - projets publics et privés 115 Exemple 26 : Aide à la création d'hébergement touristique dans les fermes 116 Exemple 27 : Création ou réhabilitation de malsons de quartiers 122 Exemple 28 : Amélioration du système de distribution d'eau 128 Exemple 29 : Construction de stations d'épuration 129 Exemple 30 : Amélioration d'installations de traitement des déchets Exemple 31 : Aide aux nouvelles PME fournissant des biens et ménagers 130 services environnementaux 131 Exemple 32 : Construction d'une liaison interurbaine entre A et Β 132 Exemple 33 : Déploiement d'un réseau à large bande hybride fibre coaxial (HFC) 138 Exemple 34 : Amélioration d'un réseau existant à bande étroite avec la technologie ASDL 139 Exemple 35 : Installation d'un centre de télétravail en banlieue 140 Exemple 36 : Projet de formation professionnelle en ligne 141 Exemple 37 : Aide aux créateurs d'entreprises 151 Exemple 38 : Aide informationnelle aux PME pour la promotion des exportations 152 Exemple 39 : Infrastructures subventionnées pour l'installation d'entreprises 153 Exemple 40 : Aide aux projets de centres de recherche régionaux 154 Exemple 41 : Création d'associations d'aide aux personnes surendettées et de programmes de crédits locaux 162 Exemple 42 : Réhabilitation d'une zone urbaine dégradée 163 Annexes Exemple 43 : Aide aux associations de quartier Exemple 44 : Programmes de formation pour chômeurs de longue durée Exemple 45 : Aide à la construction d'un centre de conférence et d'exposition Exemple 46 : Aide directe à l'investissement de capitaux dans les entreprises Exemple 47 : Programme de capital risque pour le développement des petites entreprises Exemple 48 : Programme de retour à l'emploi pour chômeurs de longue durée Exemple 49 : Aide à un centre équestre (support permanent et événementiel) Exemple 50 : Construction d'un nouvel hôpital Exemple 51 : Amélioration du réseau de bus d'une zone urbaine difficile 164 165 175 175 176 182 183 189 190 INDEX (les champs d'intervention figurent avec une majuscule) Index acteur 30 agrégation 214 Agriculture et développement rural 111 Β base de données ELIZE 209 base de données QUID 209 base de données REGIO 208, 209 bénéficiaire final 30 besoin 26 cadre logique 29 champ 45 comparabilité 211, 213 Compétitivité des PME 147 couverture 212 décomposition 21 désagrégation 21 descripteur 18 destinataire 30 destinataire direct 30 destinataire indirect 31 Développement économique 169 Développement urbain 159 disparité 26 disponibilité 210 dotation 26, 55, 126 effet 34, 149 effet brut 34, 182 effet d'aubaine 35 effet d'écrémage 75, 223 effet de déplacement 35 effet de substitution 35 effet net 34, 182 effet pervers 223 efficacité 35, 225 efficience 36 Egalité des chances 121 Emploi 179 emploi temporaire 56 employabilité 74 Environnement 125 équilibre 212 étalonnage (benchmarking) 223 externalité 34 facteur concurrent 25 facteur exogène 25 fiabilité 211 financeur 30 formation 73, 86 fraîcheur 211 gestion par les résultats 38 groupe étalon 222 H harmonisation 205 I impact 33 impact attendu 33 impact global 29 impact spécifique 29 indicateur clé 22 indicateur composé 20 Indicateurs pour le suivi et l'évaluation point zéro 26 principe d'intégration (mainstreaming) 121, 122, 147, 172, 173 priorité 45 Qualité de la vie 187 raison dêtre 24 réalisation 29, 32 réalisation physique 41 Recherche et Développement Technologique 99 rendre des comptes 215 responsabilité 38 ressource 32 résultat 29, 33 retombée 33 retour d'information 198, 206 secteur 45 sélectivité 213 sensibilité 211 service immatériel 41 signification 212 Société de l'information 135 système d'information (GISCO) 210 Indicateur de contexte 24, 26, 200, 221 indicateur de programme 25, 221 indicateur de structure 210 indicateur de suivi 36 indicateur dérivé 20. Indicateur d'évaluation 38 indicateur élémentaire 20 indicateur générique 2 1, 202, 215 indicateur spécifique 21 Indicateur standard 214, 215 information qualitative 221 Infrastructures de transport 53 Infrastructures d'énergie 65 interpolation 209 interprétation 220 M meilleure correspondance 209 meilleures pratiques 223 N normativité 211 objectif global 29 observatoire 215 opérateur 30, 204, 224 panel dexperts 222 Pêche 89 performance 36, 219, 224 pertinence 35, 213 tableau de bord 204 thème Voir champ Tourisme 81 Remerciements La préparation de ce Volume s'est étalée sur plusieurs années, de 1996 à 1998. Les travaux préparatoires ont comporté les étapes suivantes : • Plusieurs ateliers ont réuni des experts, et des fonctionnaires européens sur le thème des indicateurs de suivi et d'évaluation • Une enquête a été conduite auprès de plusieurs institutions ayant mis en œuvre des systèmes d'indicateurs. • Une enquête par questionnaire a été réalisée sur le thème des indicateurs à l'occasion de la seconde conférence MEANS de Berlin. La coordination des travaux de ce volume a été assurée par Andrea Malrate (D. G. XVI. G. 2 : Coordination de l'évaluation) et a impliqué plusieurs Directions Générales de la Commission Européenne, notamment les D. G. Il, V, VI, XIV et XVI et en particulier Philippe Goybet, Anne Bucher, Anastasslos Bougas, Miguel Benito Alonso, Sylvie Finne, Olivler Rouland et Patrick Salez. Ce Volume a été rédigé par notamment avec la participation de Cristina Diaz Gomez et Kevin Williams. le Centre Européen d'Expertise en Evaluation, Les auteurs souhaitent remercier toutes celles et tous ceux qui ont contribué, soit directement, soit indirectement, à la production de ce Volume et en particulier les experts dont les noms suivent : Infrastructures de transport : José Viegas, Cesur, Lisbonne Energie : Maurizio di Palma, Ecoter, Rome Formation : Patrick Werquin, Cereq, Marseille Tourisme : Daniel Poulenard, Parcourir, Toulouse Agriculture et Développement rural : Gunter Tlssen, Fal, Braunschweig Société de l'information : Paolo Manacorda, Reseau, Rome Compétitivité des entreprises et des PME : Ivan Turock, Université de Glasgow Développement urbain : Tony Bovalrd, Université d'Aston, Birmingham Développement économique : Henri Capron, Université Libre de Bruxelles Qualité de la Vie : Sanjlv Lingayah et Alex Macglllivray, New Economies Foundation, Londres. Commission européenne Evaluer les programmes socio-économiques Choix et utilisation des indicateurs pour le suivi et l'évaluation Luxembourg: Office des publications officielles des Communautés européennes 1999 — 261 p. — 14,8 χ 21 cm ISBN 92-828-6627-0 Venta · Salg · Verkauf · Πωλήσεις · Sales · Vente · Vendita · Verkoop · Venda · Myynti · Försäljning BELGIQUE/BELGIÉ OSTERREICH TM (322)538 43 08 F« (322) 538 0β 41 Email jean delannoyOintoDoardbe URL: http. /rwwwieandelannoy De La librairie européenne/ De Europese Boekhandel Rue de IB La 244/Wetstraat 244 β1040 Bru χ e I lo sBrussel Tel (32-2)295 26 39 Fu (32-2) 735 08 60 Email. mailOlibeurop be URL: http //www libeurop be Moniteur beige/Belg lac h Staatsblad Roe de Louvam 4042/Leuvenseweg 4042 B1000 Bruì el les/Brussel Tei (322)552 22 11 Fax (3221 511 01 B4 DANMARK J. H. Schultz Information A/S Hersledvang 1012 0K2620 Altwflsiund TH. [45)43 63 23 00 Fax (45) 43 63 19 69 Email: Schultz β Schultz * URL: mtp ■■■■www Schultz dk DEUTSCHLAND Β unde tanze Iger Verlag GmbH Vartnebsabteilung Amsterdamer Straße 192 D50735 Köln Tel (49221) 97 66 BO Fax (49221)97 66 82 78 EMail: vertnobObundasanzaigoi do URL: http //www bundesanzoigei uo ΕΛΛΑΔΑ/GREECE Q. C. Eleflheroudakis SA International Bookstore PanepHStmlou 17 GR10584 Alhina Tel. (301)331 41 80/1/2/3/475 Fax (301)323 98 21 Email: elebooksOnelor gr ESPAÑA Boletín Olici«! del Estado Trafalgar. 27 E28071 Madrid Tel. (34) 915 38 21 11 (Libros). 913 84 17 15(Suscnp) Fax (34) 915 38 21 21 (Libros). 913 84 17 14 (Suscrip. ) Email cítenles O com. boe es URL: htip //www boe. es Mundi Prensa Libros, SA Cisiono. 37 E28001 Madnd Tal (34) 914 36 37 00 Fax (34 915 75 39 98 Email: libreriaOmundiprensaes URL: hit ρ //www mu ndip re n sa com FRANCE Journal officiel Service des publications des CE 26, rue Desa ι χ F75727 Pans Cede* 15 Tèi (33) 140 58 77 31 Fax(33) 140 58 77 00 URL: hftpVnvww journalofficiel gouv. fr IRELAND Government Supplies Agency Publications Section 45 Harcourt Road Dublin 2 Tel (3531)661 31 11 Fax 3531)475 27 60 ITALIA Licosa SpA Via Duca di Calabria, 1/1 Casella postala 552 150125 Fu erve Tel (39)055 84 83 1 Fa« (39) 055 84 12 57 EmaiVtaotaOftbccit URL: http//www ftbec itlicosa LUXEMBOURG Messageries du livra SARL 5, rue Raiffeisen L241t Luxembourg Tel (352)40 10 20 Fa«(352)49 0 e 6l Email: martOmdt lu URL: http ; Www mal lu NEDERLAND SDU Servicecentrum Uitgever· ChnstoMel Plantimstraat 2 Poatbus 20014 2500 EA Den Haag Tel (3170)378 98 80 Fa» (3170) 378 97 83 Email: sduOsdu nl URL. http www sdu nl UnlversJÜbtsbuchhandlung GmbH Konimarkt 16 A1014 Wien Tel (431) 53 1611 00 Fa* (431) 53 1611 67 EMail bestellen O mani. co at URL: httpJVwwwmanz. at/index, htm PORTUGAL DistribultJora de Livros Bertrand L d. ' Grupo Benrand. SA Rua das Terras dos Vales. 4A Apartado 60037 Ρ2700 Amadora Tel. (351-1)495 90 50 Fax (3511) 496 02 55 Imprensa NacionalCasa da Moeda, EP Rua Marqués Sá da Bandeira. 16A Ρ1050 Lisboa Codex Tel (3511)353 03 99 Fax (3511)353 02 94 Email: del incmOmail telepac p( URL: http V/www. inem pl SUOML/FIMLAND Akateeminen Kirjakauppa/ Akademiska Bokhandeln Keskuskatu 1 /CenWalgalan 1 PL/PB 128 FINO0101 Heisi nki/Helsinglors ΡΛΙΠ (3589) 121 44 1θ F/tax (3589)121 44 35 Sa n koposti : aka IHaus Q aka teem ι rven. corn U RL http /. www akaleerr. ncn corn SVERIGE BTJ AB Tiaktorvâgen 11 S221 82 Lund TIn (4646) IB 00 00 Fax (4646) 30 79 47 Eposi: btjeupubOblj. se URL: http://www. bg se UNITED KINGDOM The Stationery Office Ltd I nie mattonai Sales Agency 51 Nine Elms Lane London SW8 5DR Tel. (44171)873 90 90 Fax(44171)873 84 63 Email ipa. enquiries O theso. CO. uk URL: bnpJtwYtvt thestaboneryorfice. co. uk ISLAND Bokabud Larusar Blondel S kó lavó r d ustig. 2 IS101 Reykjavik Tel (354) 551 56 50 Fax (354) 552 55 60 NORGE S w e ll Norge AS Ostenpveien IB Boks 6512 Etterstad N0606Osk> Tel. (47-22) 97 45 00 Fax (4722) 97 45 45 SCHWEIZ SU1SSE. SVI7/Ë RA Euro Info Center Schweiz C/0 OSEC Si a m pf on bacìi si rafle 85 P F 4 92 CH8035 Zurich Tei. (411)365 53 15 Fax (411)365 54 11 Email etcsOosec. cn URL: http '. www osee eh ees BALGARUA Europres» Euromedia Ltd 59. blvd Vitosha BG1000 Soda Tel. (3592)980 37 66 Fax (3592) 980 42 30 Email: MiienaOmbox. cit. bg ¿ESKÁ REPUBLIKA NlSprodejna Haveikova 22 CZ130 00 Praha 3 Tet (4202)24 23 14 60 Fax (4202)24 23 11 14 Email: nkpospOoec nis ci URL· h t t p / / u n s e r. « CYPRUS Cyprus Chamber of Commerce and Industry PO Bo»1455 C Y1509 Nicosia Tel (357-2)66 95 00 Fax (3572)66 10 44 Email: demetrapOccci org cy HRVATSKA Mediatrade Ltd Pavia Hatza 1 HR 10O0O Zagreb Tel. (3851)481 94 11 Fax (3851)481 94 11 MAGYARORSZAG Euro Into Service Europa Haz Uai ·. : ■.  afri PO Box 475 H1396 Budapest 62 Tel. (361)350 80 25 Fax (361) 350 90 32 Email: euroinfo β ma il. malav. hu URL: http, "www ouromlo huìndex h MALTA Miller Distributors Ltd Mana Intetnational Airport PO BOX 25 Luqa LOA 05 Tel. (356) 66 44 88 Fax (356) 67 67 99 Email: gwirmeusa. net POLSKA A rs Polona Krakowskie Przedmiescie 7 Skr. poeztowa 1001 PL00950 Warszawa Tel. (4822) 826 12 01 Fax (4822) 826 62 40 Email: ars_potObevy. hsn. coi ROMANIA E uro media Str. Gral Benhelot Nr 41 RO70749 Bucuresti Tet. (4011315 44 03 Fax (401) 314 22 88 ROSSI YA CC EC 60letiya Oktyabrya Av. 9 117312 Moscow Tel. (7095) 135 52 27 Fax (7095) 135 52 27 Centrum VTI SR Nam. Stobody. 19 SK81223 Bratislava Tel. (4217) 54 41 83 64 Fax (4217) 54 41 83 64 Email: europOtbbi. sltk. stuba. sk URL· ht:p /www silk siuba. sk SLOVENIJA Gos poda rskl Ves In I k Dunajska cesta 5 S LO 1000 Ljubljana Tol. (386) 613 09 16 40 Fax (386) 613 09 16 45 Email: europe gvoslmk si URL: http /. www gv est π ι k. s t TÚRKIYE Du nya Infoiai AS tOO. Vil Mahallessi 34440 TR80050 Bagcilarlstanbul Tel (90212)629 46 89 Fax (90212) 629 46 27 Email: inlotelOdunyagazete. com. tr AUSTHALIA Hunter Publications PO Bo«404 3067 Abbotsfort. Vidona Tel (613)94 17 53 61 Fax (613) 94 19 71 54 Email: jpdav1esO02email. com. au CANADA Lea éditions La Liberie Inc. 3020. chemm SainteFoy G l X 3V SamteFoy. Quebec Tel. (1418)658 37 63 Fax(1B00)567 54 49 Email: liuerteOrrcodiom oc. ca Renouf Publishing Co. Lid 5369 Chemm Canotek Road Unit 1 KU 9J3 Ottawa. Ontano Tel. (1813)745 26 65 Fa*(1613) 745 78 60 Email: order, de pl O re n out book s. com URL httpJ/www. renoulbooks. com EGYPT The Middle East Observer 41 Sherif Street Cairo Tel. (202) 392 69 19 Fax (202) 393 97 32 Email matcudaOmeobserver com eg URL: httpJ/www. meobserver. com eg EESTI INDIA Eesti KaubandiiiTooilusfcoda (Estonian Chamber of Commerce and Industry) ToomKooli 17 EE0001 Tallinn Tel. (372) 646 02 44 Fax (372)646 02 45 Email einloOkoda ee URL: http. /. www koda ee EBIC India 3rd Floor. Υ. B Chavan Centre Gen J, Bhosale Marg 400 021 Mumbai Tel (9122)282 60 64 Fax (91-22) 2B5 45 64 Email: ebicOckasbmOl. vsnl. netm URL: http /. \vww ebicindia. com ROY International 41. Mishmar Hayarden Street PO Bon 13056 61 130 Tel Aviv Tel (972-3)649 94 69 Fax (9723) 648 60 39 E mail : tov il β netvision. net. ¡I URL· http://www. rOyinLco. il Subagent for the Palestinian Authority: Index Information Services PO Box 19502 Jerusalem Tel. (9722)62716 34 Fax (9722) 627 12 19 PSIJapan Asahi Sanbancno Plaza «206 71 Sanbartcho. Cnryodaku Tokyo 102 Tel. (813) 32 34 69 21 Fax(B13)32 34 69 15 Email: books O psijapan co jp URL· hCtpJrwwwpsi|apan. com MALAYSIA EBIC Malaysia Level 7, Wtsma Hong Leong 18 Jalan Po rak 50450 Kuala Lumpur Tel. (603)262 82 98 Fax (603) 262 61 98 Email: ebtckJOmoi. net. my Mundi Prensa Mexico, SA de CV Rio Panuco No 141 Colonia Cuauhtemoc MX06500 Mexico. DF Tol. (525)533 56 58 Fax (525) 514 67 99 Email: 101545. 23810compuserve. o PH,l. :PrJlNÍ:£, EBIC Philippines 19th Floor. PS Bank Tower Sen. Gil J. Puyat Ave. cor. Tindalo St. Makati City Melro Manilla Tel. 1632)759 66 80 Fan ¡632) 759 66 90 Email: eccpcom Ogtobe com. ph URL: http7Avww. occp. com EBIC Sri Lanka Trans Asia Hotel 115 Sir chittampalam A Gardiner Mawatha Colombo 2 Tel (941)074 71 50 76 Fax (941) 44 B7 79 Email. ebicslOitmm com EBIC Thailand 29 Vanissa Building. 8th Root SoiChidlom Ploenchit 10330 Bangkok Tel, (66-2) 655 06 27 Fax (662) 655 06 28 Email; et)>cbkkOksc15,tn. com URL· http:/www ebicbkx. org UNITED STATESOF AMERICA Bernan Associates 4611 F Assembly Dnve Lanham MD20706 Tel. (1 800) 274 44 47 (toll tree telephone) Fax (1 800) 865 34 50 (toll tree lax) Email. queryObeman. com URL· hrtp^nwww. bernan com Bitte wenden Sie sich an ein Büro Ihrer Wahl/ Please contact the sales office of your choice/ Veuillez vous adreseer au bureau de v e n t· de votre choix Office for Official Publications of the European Communities 2. rue Mercier L2985 Luxembourg Tel (352)29 2942455 Fax (352) 29 2942758 Email: info mloOopoce cec be URL· httpy/europ. eu ini La collection MEANS : "Évaluer les programmes socio-économiques" Cette collection en six volumes met à la disposition d'un public élargi les enseignements du programme MEANS, lancé par la Commission européenne en vue d'améliorer et de promouvoir les méthodes d'évaluation. Cette publi cation répond au besoin de plus en plus manifeste de disposer de références solides pour traiter de façon efficace les problèmes d'évaluation rencontrés dans la mise en œuvre de l'action publique en général et en particulier dans le domaine des Fonds Structurels. De ce point de vue, cet ouvrage constitue un guide méthodologique original qui fournit des solutions à des problèmes techniques et organisationnels rencontrés par l'évaluation auxquels la littérature existante apporte peu de solutions. La collection s'adresse non seulement aux évaluateurs professionnels pour qui elle constituera un vade-mecum précieux, mais aussi aux non-spécialistes et en particulier aux autorités de gestion et aux membres des comités de suivi des programmes structurels. Chaque volume est conçu de manière à être lu indépendamment des autres, mais tous sont complémentaires et traitent conjointement la totalité des aspects de l'évaluation des programmes socio-économiques : I. Conception et conduite d'une évaluation II. Choix et utilisation des indicateurs pour le suivi et l'évaluation III. Principales techniques et outils d'évaluation IV. Solutions techniques pour évaluer dans un cadre de partenariat V Évaluation transversale des impacts sur l'environnement, l'emploi et les autres priorités d'intervention VI. Glossaire de 300 concepts et termes techniques OFFICE DES PUBLICATIONS OFFICIELLES DES COMMUNAUTÉS EUROPÉENNES L-2985 Luxembourg