Législation communautaire en vigueur Document 398Y1116(01) Chapitres du répertoire où le document peut être trouvé: [ 14.60 - Fonds de cohésion économique et sociale ] [ 14.50 - Coordination des instruments structurels ] [ 14.20 - Fonds européen de développement régional (FEDER) ] [ 01.60.60 - Contrôle financier ] 398Y1116(01) Rapport spécial n° 15/98 sur l'évaluation des interventions des Fonds structurels concernant les périodes 1989-1993 et 1994-1999, accompagné des réponses de la Commission (présenté en vertu de l'article 188 C, paragraphe 4, deuxième alinéa, du traité CE) Journal officiel n° C 347 du 16/11/1998 p. 0001 - 0047 Texte: RAPPORT SPÉCIAL N° 15/98 sur l'évaluation des interventions des Fonds structurels concernant les périodes 1989-1993 et 1994-1999, accompagné des réponses de la Commission (présenté en vertu de l'article 188 C, paragraphe 4, deuxième alinéa, du traité CE) (98/C 347/01) 1. INTRODUCTION 1.1. La réforme des Fonds structurels (FS) de 1988 a prévu l'obligation pour la Commission et les États membres d'évaluer les politiques structurelles européennes. En 1993, la réglementation modifiée dans le cadre de la révision de la réforme des FS (1994-1999), ainsi que les clauses standard des nouveaux Cadres Communautaires d'Appui (CCA) et des Documents uniques de programmation (DOCUP), ont renforcé cette obligation d'évaluer. 1.2. L'évaluation, instrument indispensable pour une bonne gestion des FS, est définie dans les principales dispositions réglementaires (1) comme une appréciation de l'efficacité à trois niveaux: a) l'impact d'ensemble des actions structurelles sur les objectifs visés à l'article 130A du Traité; b) l'impact d'ensemble des actions prévues dans les CCA; c) l'impact spécifique de chaque intervention opérationnelle (programmes et autres formes d'intervention). 1.3. La mise en oeuvre de l'évaluation comprend principalement trois phases:a) l'appréciation ex ante (2), qui permet d'identifier correctement les problèmes socio-économiques à résoudre et les objectifs à atteindre, d'une part, et la stratégie adoptée avec les moyens disponibles pour y répondre, d'autre part; b) l'évaluation intermédiaire, qui permet lors de l'exécution d'un programme de vérifier si les objectifs sont encore adaptés et les résultats souhaités en bonne voie d'être atteints; c) l'évaluation ex post, qui intervient une fois le programme terminé et qui sert à analyser si les résultats et effets obtenus peuvent être considérés comme positifs, étant entendu que les effets à long terme d'une action structurelle ne peuvent être appréhendés que plusieurs années après sa finalisation. 1.4. La réglementation, telle que modifiée en 1993, souligne la responsabilité tant des États membres que de la Commission en matière d'évaluation, laquelle s'inscrit dans le cadre du partenariat (3). Dans ce contexte, la Commission a pris l'initiative de l'encadrement et de la coordination générale de la mise en oeuvre de l'évaluation et présente un rapport triennal d'évaluation, prévu par l'article 16 du règlement (CEE) n° 2052/88, sur les progrès accomplis en matière de cohésion économique et sociale et sur la façon dont notamment les Fonds et le cofinancement national y ont contribué. 2. PORTÉE DE L'AUDIT 2.1. L'objectif général de l'enquête de la Cour (4) a été de vérifier les progrès réalisés en matière d'évaluation des interventions structurelles communautaires, tant sur le plan des systèmes et des procédures d'évaluation que sur le plan méthodologique. L'examen a porté sur les modalités de la mise en oeuvre de l'évaluation des interventions structurelles tant par la Commission que dans le cadre du partenariat. L'utilisation légale et régulière des crédits du budget des Communautés européennes destinés à l'évaluation ainsi que la qualité de leur gestion financière ont été examinées. 2.2. L'enquête a aussi consisté à apprécier les techniques d'évaluation de l'impact socio-économique des actions structurelles. Bien que l'enquête n'ait pas prétendu constituer une évaluation directe des programmes produisant de nouveaux résultats scientifiques, elle évoque certains de ces résultats constatés par des experts, en vue de mieux cerner la relation entre les instruments de politique économique utilisés et les résultats obtenus. 2.3. Des enquêtes spécifiques ont porté sur les évaluations ex post des CCA et programmes opérationnels (PO) des objectifs 1 et 2 pour la période de programmation 1989-1993 et sur les évaluations intermédiaires des CCA, DOCUP et PO de la période de programmation 1994-1999. La totalité des évaluations ex post des CCA 1989-1993 de l'objectif 1 a été prise en compte, ainsi qu'environ 20 % des rapports d'évaluation ex post des CCA 1989-1993 de l'objectif 2 et 15 % des rapports d'évaluation intermédiaire des CCA 1994-1999, sélectionnés en fonction de leur répartition géographique et de la nature des interventions (CCA, DOCUP, PO). Par ailleurs, sur 25 rapports d'évaluation traitant principalement des aspects macro-économiques, 15 ont été analysés. L'enquête a été menée auprès des services de la Commission et dans huit États membres (Belgique, Grèce, Espagne, France, Irlande, Italie, Pays-Bas, Portugal), où les évaluateurs et les responsables des administrations nationales concernées ont été consultés. 3. RÉSUMÉ DES PRINCIPALES OBSERVATIONS 3.1. L'évaluation s'est surtout développée et diffusée, sous l'impulsion de la Commission, au cours de la période de programmation 1994-1999, notamment dans le cadre du FEDER, débouchant aussi sur la reconnaissance de cet instrument dans le domaine de la gestion et de la programmation. À partir de cette période de programmation 1994-1999, l'évaluation est appliquée systématiquement aux deux premières phases (ex ante, intermédiaire), et le sera en fin de période (ex post) (voir points 4.2-4.8). 3.2. La Commission, bien que connaissant ses dépenses directes pour l'évaluation, ne dispose pas toujours de la totalité des informations en ce qui concerne les dépenses relatives à l'évaluation dans le cadre du partenariat (voir points 4.9-4.11). 3.3. La Commission a fortement contribué à diffuser la culture de l'évaluation, bien qu'elle n'ait pas apporté un encadrement suffisant concernant les indicateurs et la méthodologie d'évaluation dans son programme «Méthodes d'évaluation des actions de nature structurelle» (MEANS). Compte tenu de la complexité des aspects méthodologiques liés à l'évaluation, une méthodologie unique applicable à toute situation spécifique n'existe pas. Il est cependant important que la Commission soit en position de fournir des encadrements méthodologiques permettant de disposer d'orientations appropriées pour mener à terme des évaluations adaptées aux situations spécifiques (voir points 4.12-4.13). 3.4. La qualité des indicateurs est étroitement liée à la fiabilité des données résultant du suivi des interventions et des bases statistiques existantes, lesquelles, relevant de la responsabilité des États membres, s'avèrent souvent insuffisantes; les États membres devraient en améliorer la qualité (voir points 4.14-4.21). 3.5. Beaucoup d'évaluations sont achevées tardivement, ce qui peut retarder d'autant les ajustements des programmes. Par ailleurs, les résultats d'évaluation en termes de performance ou d'efficacité des formes d'intervention pourraient être mieux pris en compte par le système décisionnel en ce qui concerne les reprogrammations (voir points 4.22-4.27). 3.6. En ce qui concerne l'objectivité des évaluations, aucun contrôle sur place de la cohérence et de la fiabilité des indicateurs ou des systèmes qui les produisent n'est effectué par la Commission (voir points 4.29-4.30). 3.7. Les procédures de passation de contrats de consultants en matière d'évaluation présentent encore des faiblesses importantes au niveau de la Commission. La sélection des consultants n'est pas toujours clairement justifiée. Les cahiers des charges restent très généraux sur la technique liée à la méthodologie, sur les indicateurs ou sur les obligations de résultat. Il s'ensuit des retards et des perturbations lors de la production des rapports d'évaluation, une qualité variable de l'analyse et parfois des recommandations vagues (voir points 4.31-4.36). 3.8. L'application des méthodologies relatives aux évaluations ex post des objectifs 1 et 2 1989-1993 a été confrontée à des lacunes statistiques, à l'absence d'objectifs et d'indicateurs prévisionnels quantifiés, à un suivi des effets inefficace et elle n'a pas toujours été réalisée de manière suffisamment rigoureuse. Ces évaluations ont néanmoins mis en évidence une valeur ajoutée communautaire des FS tant sur le plan des réalisations, des résultats et des effets des CCA, PO et mesures que sur celui de la programmation, de l'organisation, du suivi, de la coordination, du partenariat et de l'additionnalité (voir points 4.15-4.19, 5.1, 5.4, 5.10-5.16). 3.9. En ce qui concerne les évaluations intermédiaires relatives aux interventions des FS 1994-1999, mises en oeuvre en partenariat dans le cadre des comités de suivi, la priorité accordée aux différents objectifs d'évaluation est variable, l'examen des réalisations physiques et financières ayant néanmoins une place importante dans toute évaluation intermédiaire. L'évaluation des effets est entravée par des problèmes au niveau notamment des indicateurs et de la modélisation des effets. Ces évaluations n'ont souvent encore qu'une utilité relative pour le processus décisionnel, la gestion des projets, la reprogrammation ou la préparation des interventions à venir (voir points 4.16-4.21, 6.5, 6.7, 6.14-6.26). 3.10. En ce qui concerne l'objectif 2 (O2) spécifiquement, l'évaluation a mis en évidence, notamment, les faiblesses suivantes: a) une inadéquation entre la réalisation des programmes et le financement communautaire, puisque les reports de crédits d'un programme à un autre restent importants, de l'ordre de 12 % en moyenne pour le passage de la période 1994-1996 à celle de 1997-1999 (voir point 6.27); b) la succession de courtes périodes de programmation ne permet pas l'utilisation optimale des résultats provenant de l'évaluation (voir point 4.23); c) les effets indirects restent insuffisamment mesurés pour cerner l'impact des interventions structurelles, notamment concernant l'emploi (voir points 5.12-5.15). 3.11. Les évaluations macro-économiques réalisées ont mis en évidence des résultats positifs, notamment sur le plan de l'impact des actions structurelles (accroissement du PIB, effets sur l'offre et la demande, amélioration de l'emploi et de la convergence, efficacité des instruments des CCA), malgré des lacunes dans les systèmes de programmation, de mise en oeuvre et de suivi de ces actions (voir points 7.1-7.14). 3.12. Les évaluations au niveau des sous-programmes ou mesures restent insuffisantes. Elles se heurtent par ailleurs à des difficultés techniques dues à la dispersion et au manque de cohérence d'un grand nombre de mesures et de sous-programmes (voir point 7.17). 4. PROBLÈMES GÉNÉRAUX Introduction 4.1. L'évaluation a pour but de déterminer les effets socio-économiques des actions mises en oeuvre, c'est-à-dire d'examiner les résultats obtenus, de les confronter aux ressources investies et d'en analyser le coût; et tous ces points devront faire aussi l'objet d'une analyse par rapport aux prévisions envisagées. Or, afin de mener à bien cette tâche d'évaluation, il est indispensable de disposer d'une bonne base statistique, d'établir des objectifs quantifiés sur la base d'un système d'indicateurs et de développer le cadre méthodologique et analytique, tout en s'appuyant sur une analyse des relations entre moyens utilisés, résultats finals et résultats intermédiaires. La Cour a constaté des défaillances à tous ces niveaux, qui ont limité, jusqu'à présent, l'utilité des évaluations réalisées dans le cadre des fonds structurels, même si de réels progrès ont été observés, contribuant à consolider la dynamique de l'évaluation. 4.2. Dès la réforme de 1988, l'évaluation s'est inscrite explicitement dans le cadre du partenariat [article 26 du règlement (CEE) n° 4253/88 - précisé dans le règlement modifié du 20 juillet 1993]. Au cours de la première période de programmation et jusqu'en 1995, les évaluations ont cependant été effectuées surtout à l'initiative de la Commission (5). Ces évaluations - notamment celles ayant un caractère ex post - ont été entravées par des stratégies de développement peu précises et par un suivi non satisfaisant; elles n'ont d'ailleurs en général pas fait l'objet d'une réelle prise en compte et d'une discussion approfondie au niveau des comités de suivi. 4.3. La Commission a surtout veillé dans un premier temps à mettre en place son propre dispositif d'évaluation pour l'ensemble des CCA couvrant les cinq objectifs prioritaires de la réforme (6). Parmi les initiatives de la Commission liées au développement des évaluations et des méthodes afférentes, il convient de citer notamment la création en 1992 du groupe technique «Évaluation des politiques régionales» et, sur le plan méthodologique, le lancement du Programme «Méthodes d'évaluation des actions de nature structurelle» (MEANS) en 1994. 4.4. Pour la période de programmation 1994-1999, la Commission a été à la base d'une nouvelle dynamique de l'évaluation, qui se traduit désormais par son application systématique aux deux premières phases (ex ante, intermédiaire) et ultérieurement à la phase ex post. 4.5. L'évaluation intermédiaire, alors que non prévue explicitement dans les règlements des FS, a été appliquée à partir de 1995-1996 à tous les CCA, DOCUP et PO de la période de programmation 1994-1999. Elle s'inscrit concrètement dans le cadre du partenariat, permettant aux comités de suivi d'en faire un outil de gestion intégrée et contribuant ainsi à une très large diffusion de la culture de l'évaluation. La Commission a préparé pour l'évaluation intermédiaire un dispositif en phases successives pour sa mise en oeuvre auprès des États membres (7). 4.6. Ce dispositif n'a toutefois pas précisé les modalités concrètes du processus (définition du cahier des charges, critères de sélection de l'évaluateur, structure du rapport d'évaluation, collecte des données, normes de qualité exigées, calendrier, etc.). 4.7. En parallèle, des manifestations complétées par de nombreuses publications ont été organisées par la Commission (8). En rassemblant les professionnels de l'évaluation et les gestionnaires des FS, ces manifestations ont contribué au développement de la culture de l'évaluation et à la sensibilisation des gestionnaires à ce sujet. L'évaluation a été présentée essentiellement comme un processus d'apprentissage issu de l'expérience. 4.8. La Commission a présenté en mai 1998 dans le cadre de l'avant-projet de budget général des Communautés européennes pour l'exercice 1999 le document de travail «Bilan d'évaluation 1996/1997», où elle décrit les activités d'évaluation menées en 1996-1997, évoque la liste des évaluations réalisées et en cours de réalisation et fournit une synthèse des résultats des évaluations réalisées en 1996-1997. 4.9. Les dépenses concernant l'évaluation peuvent être financées soit directement par la Commission, soit cofinancées en partenariat avec les États membres. Les tableaux 1 et 2 indiquent les dépenses directement effectuées par la DG XVI dans le domaine de l'évaluation pour les deux périodes de programmation 1989-1993 et 1994-1999. 4.10. Pour la période 1989-1993, les dépenses consacrées à l'évaluation sont de l'ordre de 10 Mio ECU, comme le montre le tableau 1. Les deux tiers environ de ces dépenses ont été effectués dans deux domaines qui relèvent directement de la responsabilité de la Commission et qui ressortent de sa propre initiative: d'une part, les initiatives communautaires au titre de l'article 11 du règlement (CEE) n° 4253/88 pour un montant de 3,1 Mio ECU et d'autre part, les évaluations transversales et thématiques telles que les PME, les télécommunications, l'environnement ou les ressources humaines pour un montant de 3,2 Mio ECU. Les montants destinés à l'évaluation des O1 et O2 des FS sont cependant restés relativement faibles compte tenu du fait qu'à la même période le partenariat a été peu développé dans le domaine de l'évaluation. Pour la période 1994-1999, le montant consacré à l'évaluation est de 25,2 Mio ECU en avril 1998 comme le montre le tableau 2. Cette augmentation par rapport à la période précédente s'explique par le développement de l'évaluation intermédiaire et de la méthodologie y afférente dans le cadre du partenariat. 4.11. En ce qui concerne les dépenses effectuées par la Commission et les États membres dans ce cadre, fortement augmentées depuis 1996, la Commission ne dispose pas toujours de la totalité des informations afférentes, notamment lorsque les évaluations sont incluses dans la mesure «assistance technique» des programmes opérationnels qui peut comprendre aussi d'autres dépenses. Un montant spécifiquement alloué aux besoins de l'évaluation pourrait être prévu dès la phase initiale de programmation, ce qui rendrait son coût plus transparent. Cadre de référence 4.12. Dans le processus de développement de l'évaluation, le programme MEANS (1995-1998), d'un montant total de 2,8 Mio ECU, occupe une place spécifique (9). La démarche appliquée vise à susciter un développement méthodologique uniforme et cohérent, à travers l'inventaire des méthodologies utilisées par les États membres et la mise en évidence d'exemples valables. Cette approche, essentiellement incitative et empirique, ne permet pas à la Commission de se prononcer sur les modalités concrètes de mise en oeuvre des méthodes d'évaluation ou sur le choix d'indicateurs, notamment ceux visant à mesurer les impacts socio-économiques dans le domaine du développement régional. Compte tenu de la complexité des aspects méthodologiques liés à l'évaluation, une méthodologie unique applicable à toute situation spécifique n'existe pas. Il est cependant important que la Commission soit en position de fournir des encadrements méthodologiques permettant de disposer d'orientations appropriées pour mener à terme des évaluations adaptées aux situations spécifiques. 4.13. Les résultats du programme MEANS ont servi jusqu'à présent à établir les premiers fondements d'une nouvelle démarche en matière d'évaluation, notamment en introduisant un langage commun, et ont permis de préparer l'évaluation intermédiaire dans le cadre du partenariat. Les tableaux 3 et 4 montrent la démarche généralement acceptée pour l'évaluation. Toutefois, le programme MEANS n'a pas encore répondu de manière approfondie aux questions relatives aux aspects pratiques ou opérationnels liés à l'évaluation. Ainsi, deux questions fondamentales restent encore sans réponse: d'une part, quel système d'indicateurs est le plus approprié pour formuler un jugement global sur un programme structurel communautaire et, d'autre part, quelle approche d'évaluation est la plus appropriée pour mesurer l'impact socio-économique d'un programme structurel donné dans le cadre du développement régional. La Commission n'est pas encore en mesure de formuler des instructions précises quant aux techniques concrètes à appliquer dans chaque situation spécifique d'évaluation. Cette lacune pèse notamment sur la mise en oeuvre des évaluations intermédiaires des formes d'intervention de la période de programmation 1994-1999. Bases statistiques et informations relatives aux objectifs poursuivis 4.14. Les évaluations, qu'elles soient ex ante, intermédiaires ou ex post, sont souvent confrontées à des objectifs formulés de manière trop générale, même au niveau des objectifs de mesures. 4.15. Le niveau de développement des bases statistiques existantes constitue un frein au suivi et à l'évaluation des programmes et des mesures cofinancées par les Fonds structurels. Les lacunes visent notamment le manque de couverture statistique limitée aux zones concernées, l'absence de statistiques pour certains aspects et une périodicité de collecte des informations inadéquate par rapport aux besoins de suivi et d'évaluation. Indicateurs 4.16. L'existence de systèmes d'indicateurs fiables et appropriés est un élément indispensable du processus de programmation. Pour les besoins de l'évaluation, les programmes structurels doivent contenir des informations sur la réalisation financière et physique ainsi que sur les résultats ou performances des actions. Ces indicateurs doivent pouvoir renseigner les gestionnaires sur les effets immédiats ou durables des actions mises en oeuvre et d'autre part, permettre de mesurer les progrès réalisés par rapport aux objectifs globaux des programmes, tels que la croissance régionale ou la réduction du chômage. 4.17. La fiabilité des indicateurs financiers est étroitement liée à celle des certificats de dépenses envoyés à la Commission pour déclencher le paiement communautaire y afférent. Les indicateurs physiques sont souvent indiqués comme un complément d'information et leur fiabilité est relative. Les bases de données existantes ne permettent pas toujours d'enregistrer l'évolution physique des réalisations et les bénéficiaires finals n'informent pas toujours les gestionnaires de manière périodique sur l'état des réalisations physiques. L'évaluation intermédiaire du PO Lisboa e Vale do Tejo au Portugal fait état d'indicateurs physiques strictement proportionnels aux dépenses, sans mentionner aucune variation liée à des retards de réalisation ou à d'autres causes. Les États membres devraient améliorer leurs mécanismes de suivi et les bases de données soutenant les indicateurs. 4.18. La mesure des résultats et des effets au niveau des sous-programmes et des mesures d'une part, de l'impact au niveau des programmes d'autre part, est confrontée aux incertitudes pesant sur l'identification des chaînes de causalité entre les différents niveaux d'objectifs et entre les objectifs et les mesures et projets, et sur celle des relations horizontales de complémentarité et de synergie entre mesures et entre objectifs. Ainsi l'effet spécifique d'une mesure sur le développement régional, ou l'impact d'un investissement sur la demande ou a fortiori sur l'offre, sont difficiles à concrétiser. Dans ce cadre, la recherche d'indicateurs constituant un outil adéquat pour l'évaluation des résultats et de l'impact s'avère encore inachevée en ce qui concerne le CCA 1994-1999 (voir 6.23). 4.19. L'exercice d'appréciation ex ante du CCA est indispensable aux évaluations ultérieures, veillant à ce que tous les indicateurs de résultats et d'impact soient établis et quantifiés pour permettre un jugement sur l'impact prévisionnel du programme et la comparaison avec les effets réels. Dans ce contexte, l'approche de la gestion par objectifs n'a pas toujours été appliquée de manière harmonisée ou satisfaisante, ce qui a eu un impact dans le domaine des indicateurs nécessaires à l'évaluation. Ainsi, le CCA 1994-1999 italien contient un faible nombre d'indicateurs, ce qui pourrait entraver ses évaluations ultérieures. Par contre, le CCA 1994-1999 portugais, approuvé par la Commission sans grandes modifications, comporte un nombre trop grand d'indicateurs, de l'ordre de 300, ce qui compliquerait également l'exercice d'évaluation. Cette divergence dans l'établissement des indicateurs d'un CCA à un autre souligne le manque de cohérence de la programmation. La présence de nombreux objectifs généraux et peu quantifiables conduisent parfois à revoir, lors de l'évaluation intermédiaire, le système des indicateurs approuvé par la Commission au stade de l'appréciation ex ante, car celui-ci était insuffisamment défini et opérationnel. 4.20. Les interventions structurelles et les situations socio-économiques sur lesquelles elles agissent, donnent lieu à une grande variété d'indicateurs souvent établis de façon décentralisée. La Commission n'a pas développé de listes d'indicateurs qu'elle considère comme indispensables et représentatifs sur le plan du développement régional ou dans le cadre des différents types d'actions, même si des listes partielles ont bien été communiquées à certaines instances nationales ou régionales et ont déjà fait l'objet de discussions. 4.21. Une quantification accrue des indicateurs de résultats et d'impact devrait être développée dans le cadre du suivi, sans oublier la fiabilité de cette quantification. Il arrive en effet qu'elle ne soit pas fiable, n'évitant pas dans certains cas le double comptage d'emplois créés ou ne permettant pas de distinguer les effets bruts des effets nets sur l'emploi. Ceci a été constaté en comparant le rapport d'évaluation intermédiaire du PO Brandebourg avec les statistiques concernant l'inscription des personnes à la sécurité sociale. Prise en compte de l'évaluation 4.22. La contribution de l'évaluation à l'utilisation efficace des fonds communautaires dépend largement de la qualité du contenu, ainsi que de la date de réception des résultats et de celle de la décision visant à modifier la stratégie. Toutefois, un certain nombre d'évaluations intermédiaires des CCA, DOCUP et PO de la période de programmation 1994-1999, ont été finalisées assez tardivement, retardant ainsi les ajustements éventuels. 4.23. En ce qui concerne la programmation de l'O2, la succession des périodes de programmation plus courtes que celle de l'O1 rend particulièrement difficile la coïncidence des dates auxquelles les résultats des évaluations sont disponibles pour tirer les enseignements du passé et pour adapter les interventions suivantes et les dates auxquelles les décisions de programmation doivent être prises. Il y a un certain déphasage entre le cycle de la programmation de l'O2 et son cycle d'évaluation; ainsi, la version finale du rapport de synthèse de l'évaluation ex post de l'O2 pour la période 1989-1993 a été remise à la Commission en été 1997, alors que l'appréciation ex ante de la programmation 1997-1999 était en cours et que l'évaluation ex post de la période 1994-1996 n'avait pas démarré. 4.24. Quels que soient les résultats des programmes structurels mis en évidence par les rapports d'évaluation, la dotation budgétaire en faveur de ces programmes ou des suivants reste souvent inchangée. Les évaluations ont été très rarement prises en compte lors de la première période de programmation dans le système décisionnel, les reprogrammations ayant été généralement fondées essentiellement sur le degré d'absorption financière. Ainsi, en était-il des recommandations utiles faites par le consultant principal dans le cadre de l'évaluation ex post des CCA objectif 1 1989-1993 (voir point 5.7). 4.25. Les aspects plus qualitatifs de performance ou d'efficacité des programmes identifiés dans des évaluations intermédiaires ou des rapports d'exécution n'ont pas eu suffisamment d'incidence sur la gestion opérationnelle des FS, ni sur le processus de responsabilisation des partenaires concernés par le développement des programmes. 4.26. Les résultats de l'évaluation intermédiaire des DOCUP, CCA et PO de l'objectif 2 (1994-1996), de même que du suivi, mettent en évidence une inadéquation entre le financement programmé et la réalisation des programmes. Cette situation conduit à rendre prépondérant le souci de l'absorption des crédits et peut déboucher sur une sous-estimation du rôle de l'évaluation dans l'analyse de la zone considérée, notamment en ce qui concerne la cohérence entre les objectifs, les ressources affectées et l'impact des interventions structurelles. 4.27. Les conclusions et recommandations des évaluations sont souvent évidentes pour les gestionnaires des formes d'interventions bien qu'elles puissent être utiles pour d'autres partenaires. Cela vaut tant pour les évaluations ex post (voir point 5.8) que pour les évaluations intermédiaires dans le cadre du partenariat. Objectivité des évaluations 4.28. Le manque de cadre de référence précis entrave l'application de techniques appropriées et applicables de manière objective aux situations d'évaluation spécifique, les résultats pouvant ainsi être facilement contrôlés et garantissant l'indépendance de l'évaluateur. Il arrive cependant que la méthode préconisée ne soit pas objectivement motivée, que l'évaluateur adapte son approche trop facilement aux difficultés rencontrées ou choisisse les indicateurs en fonction de l'information disponible. 4.29. L'indépendance vis-à-vis des gestionnaires ne paraît pas non plus toujours assurée, notamment sur le plan des informations (voir point 6.11), tandis que les rapports d'évaluation n'indiquent pas toujours la source des informations sur lesquelles se fondent leurs constatations. Cette lacune peut conduire à douter de la fiabilité et de la validité des informations présentées dans les rapports d'évaluation. 4.30. Alors que l'objectivité devrait être garantie par un système de contrôle visant la qualité des indicateurs (de réalisation, de résultat et d'impact), la fiabilité des informations de base et le degré de mise en oeuvre de la méthodologie, les services de la Commission analysent les informations et les résultats présentés dans le cadre de l'évaluation, mais ne font aucun contrôle sur place ou vérification du bon fonctionnement des systèmes d'évaluation existant dans les États membres. Les contrats d'évaluation passés par la Commission 4.31. L'examen des procédures de passation de contrats relatifs aux évaluations que la Commission a fait effectuer, a identifié des faiblesses: procédures de sélection insatisfaisantes, cahiers des charges trop flous, retards et faible qualité des rapports. 4.32. Les éléments d'appréciation ou d'analyse déterminant le choix du consultant par la Commission ne figurent pas toujours de manière précise dans les procès-verbaux de réunions relatifs à la procédure d'appel d'offres. L'audit réalisé par la Cour n'a pas pu assurer que les meilleurs experts du domaine de compétence le plus approprié ont été sélectionnés. 4.33. Dans les cas de l'évaluation ex post de l'ensemble des CCA 1989-1993 de l'O1 et de celle de l'O2, la sélection a porté respectivement sur un consultant principal accompagné d'autres consultants nationaux et sur des consultants coordinateurs qui, eux-mêmes, ont par la suite sous-traité les études à d'autres consultants. Dans cette chaîne de consultants, la Commission peut perdre la maîtrise des modalités de mise en oeuvre de l'évaluation garantissant la cohérence, l'homogénéité et la qualité des résultats. 4.34. Le cahier des charges est parfois imprécis en ce qui concerne la description des travaux à exécuter et les obligations de résultat attendues. Les termes du contrat restent très généraux. Souvent, les modalités de mise en oeuvre de l'évaluation restent ouvertes à un accord ultérieur sur le cadre méthodologique restant à convenir avec la Commission. 4.35. S'agissant de l'échéancier de remise des rapports, des retards sont souvent constatés. Ainsi, concernant l'évaluation de l'ensemble des CCA 1989-1993 O1, les clauses contractuelles prévoyaient une remise du rapport le 28 février 1995, lequel n'a en fait été complété qu'en novembre 1995. Aucune sanction quant à la non-observation des obligations contractuelles en matière de délai n'avait été prévue par la Commission qui a, par contre, versé le paiement final de 40 % le 11 juillet 1995 en vertu de l'article 4 du contrat. 4.36. L'absence de termes de référence contractuels précis et clairs en ce qui concerne la démarche méthodologique à suivre et les résultats escomptés permet des réactions variables des services de la Commission aux rapports. Ainsi, certains rapports se limitant à de simples descriptions ou à des analyses vagues de l'utilité des réalisations, ou fondés sur des affirmations génériques de personnes interrogées, ou encore débouchant sur des recommandations trop générales, sont néanmoins agréés. Dans le cas de l'évaluation ex post du CCA 1989-1993 Irlande, un service préconise de résilier le contrat avec le consultant en raison de la mauvaise qualité, alors qu'un autre service l'a approuvé. Dans le cas de l'évaluation ex post du CCA 1989-1993 Portugal, les services concernés s'accordent à préciser que le rapport ne contient pas d'éléments d'évaluation, mais se contente de répéter les éléments des réalisations physiques déjà présentés par l'État membre. De même, il est souligné que le rapport d'évaluation ex post du CCA 1989-1993 Espagne est trop descriptif et contient peu d'analyses. Pour l'évaluation ex post du CCA 1989-1993 Irlande du Nord, il est jugé incomplet. Pour l'évaluation ex post du CCA 1989-1993 Italie, le rapport est considéré comme mal structuré et organisé. Pour l'évaluation du CCA 1989-1993 Grèce, la conclusion générale manque, alors que des conclusions par chapitre y figurent. 5. ÉVALUATIONS EX POST DES CCA OBJECTIFS 1 ET 2 (1989-1993) Introduction 5.1. Les évaluateurs sont souvent confrontés aux difficultés suivantes: a) une programmation initiale qui s'est souvent déroulée dans la hâte et en l'absence d'évaluations ex ante des programmes, notamment des fondements économiques inhérents surtout en ce qui concerne les régions de l'O1; b) l'absence d'objectifs quantifiés et d'indicateurs de résultat; c) des lacunes statistiques en ce qui concerne la situation socio-économique à la veille de l'intervention des FS dans le cadre de l'O2 et celle après l'intervention, notamment en ce qui concerne le tissu industriel, les investissements et le produit régional brut. Les outils statistiques ne correspondent pas toujours au périmètre d'analyse retenu (commune, arrondissement, bassin d'emploi); d) le non-achèvement de certaines actions; e) l'existence de facteurs exogènes contribuant à expliquer l'évolution de la situation socio-économique; f) le caractère hétérogène des projets et de leurs objectifs, lorsque l'attribution des aides n'est pas suffisamment liée aux besoins régionaux ou locaux; g) des effets inhérents aux mesures et au programme difficilement identifiables, en raison de l'arsenal d'actions bénéficiant à la même région ou zone; h) la difficulté pour mesurer des effets indirects du programme (notamment en matière d'emploi), aucun élément d'observation y relatif n'ayant été mis en place dès le lancement des programmes et aucune enquête approfondie n'ayant été réalisée à ce sujet depuis leur achèvement. Évaluation ex post des CCA objectif 1 (1989-1993) 5.2. L'évaluation ex post des CCA O1 a été coordonnée par un consultant central et se compose d'évaluations ex post des CCA concernés menées par des consultants nationaux entre janvier 1994 et juin 1995. Le consultant assurant la coordination a mis au point la démarche méthodologique à appliquer, qui fait appel à des méthodes d'analyse tant macro-économique que de mesures et projets. Cette démarche vise d'une part l'analyse de la stratégie et de la logique inhérente aux CCA, PO et mesures, d'autre part un premier bilan des réalisations physiques et de l'impact, et enfin un examen des mécanismes de mise en oeuvre. La synthèse de cette démarche figure en annexe I. 5.3. Bien que cohérente dans l'ensemble, la méthodologie proposée montre des faiblesses. Ainsi, elle prévoit que l'analyse de la stratégie et de la logique inhérente aux CCA, PO et mesures s'appuie sur une structure d'objectifs harmonisée, liée à une nomenclature standard d'activités. Cette approche permettrait la comparaison entre États membres, mais ne donne cependant pas nécessairement lieu à une hiérarchisation des objectifs, bâtie à la fois sur les priorités telles que perçues par les États membres et sur les critères de hiérarchie, de complémentarité, de substituabilité et de synergie. Aussi, ne permet-elle pas une identification de toutes les faiblesses de cohérence dans la stratégie propre à chacun des CCA et PO. En outre, les indicateurs physiques et d'impact repris dans le document méthodologique ne permettent souvent pas de répondre aux questions pertinentes sur les effets prévus et non prévus auxquelles la méthodologie prévoit de répondre. 5.4. La Cour a par ailleurs constaté des lacunes telles que: a) l'évolution de l'environnement socio-économique des CCA et des PO n'a pas toujours fait l'objet d'une comparaison entre la situation initiale sur laquelle l'intervention communautaire devait agir (1988-1989) et la situation de fin de mise en oeuvre (1993-1994); parfois les données sont trop anciennes, notamment celles qui concernent les disparités régionales; b) la hiérarchisation des objectifs prévue dans la méthodologie n'a souvent pas été suffisamment analysée; soit elle n'était pas établie, soit elle n'était que partielle, se limitant aux PO et mesures choisis pour un examen spécifique, ou n'appliquant pas de manière systématique les critères de structuration; il est arrivé ainsi que la hiérarchisation des objectifs et des instruments n'ait pas débouché sur une meilleure identification des problèmes de cohérence et de pertinence des priorités et de leurs poids relatifs; c) les ajustements apportés aux CCA et PO n'ont parfois pas fait l'objet d'une analyse approfondie des causes; d) alors que l'exécution financière et les mécanismes de mise en oeuvre, de même que les réalisations physiques, sont généralement bien traités dans les rapports d'évaluation, les effets des programmes ou mesures, n'ont, dans certains cas, pas fait l'objet de recherche, à l'exception des emplois créés, ou sont formulés en termes non quantitatifs. Les seuls effets quantifiés sont parfois fournis par l'application de modèles macro-économiques et concernent l'accroissement du PIB, la création d'emplois, la compétitivité. Cela a montré l'insuffisance des données fournies par les gestionnaires dans le cadre des systèmes de suivi; e) les analyses de type bottom-up n'ont généralement pas abouti à tirer des conclusions en termes d'impact au niveau des programmes; f) la valeur ajoutée communautaire ne s'exprime parfois qu'en termes qualitatifs (par exemple, la prise en compte de la logique de programme, la mise en oeuvre d'une stratégie intégrée, l'effet sur le processus d'organisation); elle n'a d'ailleurs pas toujours été examinée de manière systématique; g) les effets attendus à long terme n'ont pas été abordés ou ne l'ont été qu'en termes qualitatifs. 5.5. Le CCA O1 Espagne a fait l'objet à la fois d'une évaluation ex post commandée par la Commission et d'une autre initiée par les autorités nationales et bénéficiant d'un cofinancement communautaire. Élaborées dans la même période et poursuivant les mêmes objectifs, les deux études ont été développées de manière indépendante et séparée. 5.6. En matière de résultats et d'impact, les évaluations ex post mettent en évidence les réalisations physiques dues aux CCA O1, les impacts macro-économiques des CCA retenus par certaines évaluations nationales, et les progrès en matière de planification, bien qu'en ce domaine l'approche par programme ait rencontré certains obstacles (10). Elles soulignent également les contributions des CCA en matière de structures organisationnelles innovantes, de gestion financière, de suivi, de systèmes d'information, de coordination et de partenariat, bien qu'à chacun de ces niveaux des progrès substantiels restent à réaliser. 5.7. La synthèse effectuée en 1995 par le consultant principal comportait quelques recommandations utiles auxquelles la Commission n'a pas pu donner pleinement suite: par exemple, une meilleure clarification, lors de l'élaboration de la programmation, entre les interventions structurelles communautaires encourageant les facteurs endogènes de croissance et celles ayant pour objectif le rééquilibre régional ou l'augmentation du bien-être; ou bien un équilibrage entre la priorité octroyée aux investissements en infrastructure et les spécificités régionales qu'il conviendrait de développer, ou entre la lutte contre le chômage et la nécessité d'accroître la productivité et la compétitivité; ou enfin une meilleure prise en compte de l'emploi dans les politiques régionales. 5.8. L'évaluation ex post de l'ensemble des CCA 1989-1993 O1 conduite par les évaluateurs nationaux a principalement porté sur l'amélioration des systèmes de suivi et de gestion des États membres, plutôt que sur un réel exercice d'évaluation de l'impact des FS. Évaluations ex post objectif 2 (1989-1993) 5.9. Les évaluations ex post des programmes de l'O2 pour la période 1989-1993 ont été coordonnées par un évaluateur externe dans les 60 régions éligibles. Chaque région a fait l'objet d'une analyse générale, tandis que des études approfondies ont porté sur 22 régions. Ces évaluations avaient pour objet principal d'analyser l'impact de ces interventions structurelles sur le processus de reconversion industrielle dans ces régions et de dégager les leçons pour la programmation suivante. Une synthèse de l'approche d'évaluation figure en annexe II. 5.10. Bien qu'un cadre commun ait été prévu, les approches retenues sont très hétérogènes, notamment en ce qui concerne les priorités et le niveau de développement de l'analyse, son caractère descriptif ou critique, les méthodes et techniques utilisées. 5.11. L'analyse de la stratégie et du caractère approprié des CCA et des PO et des modifications qu'ils ont subies par rapport à l'environnement socio-économique a rarement conduit à reformuler la structure des objectifs, des sous-programmes et des mesures en fonction de la logique de développement ou de reconversion régionale et sur la base des critères de hiérarchie, de complémentarité et de substituabilité. Une telle reformulation, à un niveau élaboré, devrait permettre d'identifier de manière plus systématique les lacunes de la stratégie mise en oeuvre en ce qui concerne la cohérence, le poids relatif adéquat des priorités, les synergies, les complémentarités, l'efficacité face à l'environnement socio-économique, alors que beaucoup d'analyses de stratégie, partant de la structure des CCA et des PO, sont partielles et peu critiques à l'égard de cette stratégie. 5.12. En ce qui concerne l'impact des interventions des FS, les évaluateurs ne parviennent pas, sur base d'un échantillon de projets et de l'examen de leurs résultats, de leur valeur ajoutée et de leur additionnalité, à agréger les observations au niveau de la mesure et de l'impact socio-économique du programme. 5.13. Peu d'évaluations se sont basées en matière d'impact sur une véritable combinaison des approches top down et bottom up. Cette combinaison a notamment été utilisée pour l'évaluation relative aux interventions O2 en faveur de la Toscane. Dans ce cas, l'approche top down permettait, en s'appuyant sur un modèle économétrique birégional Toscane - reste de l'Italie, d'estimer l'impact global de l'accroissement de la demande sur la production par secteur, sur les niveaux de consommation, et sur la valeur ajoutée, à la fois au niveau de la Toscane et du reste de l'Italie. Le modèle permet également d'estimer les multiplicateurs d'effet par types d'intervention (infrastructures, services aux entreprises, aides aux investissements privés) et les effets sur l'emploi (11). Les effets directs sur l'emploi ont été estimés à l'aide d'une technique de coefficients standards concernant les différentes typologies d'intervention. Cette approche top down concerne donc les effets directs à court terme, liés à la demande. L'approche bottom up partant d'un échantillon de projets et de mesures est plus à même de traduire les effets à long terme, plus structurants et indirects, concernant surtout l'offre et les économies externes permettant de réduire les coûts de production. Même si ces effets sont plus difficiles à isoler et à quantifier et même si cette approche ne permet pas d'agréger les effets au niveau des mesures et du programme - ce qui était pourtant le but de l'évaluation approfondie - les considérations qualitatives sur l'efficacité des mesures et sur le niveau d'additionnalité des interventions communautaires constituent un complément utile à l'approche top down. La combinaison des deux approches peut fournir une réelle valeur ajoutée en matière d'analyse, notamment si elle s'appuie sur des techniques de modélisation ou de formalisation. 5.14. Les évaluations qui font appel en matière d'impact à des enquêtes systématiques - telles que plusieurs enquêtes sur l'additionnalité des mesures ou l'application d'une méthode spécifique d'estimation des emplois nets créés liés aux mesures en comparant un groupe expérimental et un groupe de contrôle - sont également rares. Elles fournissent pourtant une réelle valeur ajoutée au niveau de l'évaluation de l'impact. L'efficacité des mesures et des programmes aurait été mieux évaluée si les évaluateurs avaient effectué des enquêtes statistiques sur certains indicateurs de résultat, qu'ils avaient d'ailleurs parfois souhaité pouvoir réaliser. Ainsi, on ne trouve pas toujours des données sur le nombre d'entreprises implantées dans les nouvelles zones industrielles dont l'aménagement bénéficie d'aides des FS, ou sur les transferts technologiques des instituts de recherche vers les entreprises. Les entretiens avec des gestionnaires de mesures et de projets généralement prévus dans les approches d'évaluation ne permettent que rarement d'obtenir des informations précises sur les réalisations, les résultats et l'impact des opérations. 5.15. Les résultats en matière d'emplois créés ne sont pas certains quant au caractère durable des emplois et à la part spécifiquement attribuable aux actions structurelles. Par ailleurs, les rapports d'évaluation produisent quelquefois des données contradictoires. 5.16. En matière d'impact des programmes O2, les évaluations ex post permettent notamment de retenir que: a) les PO O2, s'ils n'ont pas souvent permis d'améliorer la situation socio-économique, ont pour le moins contribué à éviter une nouvelle dégradation de cette situation, notamment en ce qui concerne le maintien de l'emploi (12), et à jeter les bases de la reconversion; la plupart des régions cherchent en effet à diversifier leur économie et leur tissu industriel, éventuellement à se défaire de l'image de zone exclusivement industrielle; b) malgré la démarche intégrée, basée sur le concept de programme, les PO consistent parfois en un amendement de politiques nationales et régionales déjà mises en place et ne constituent pas toujours un outil de programmation; c) l'existence simultanée de PO O2 et d'initiatives communautaires a donné lieu à des confusions et à des superpositions d'aides; d) l'intervention des FS a eu des effets positifs sur la programmation, les modalités de mise en oeuvre, le partenariat, les synergies, la coordination et l'évaluation. Le défaut de synergie et d'échanges entre gestionnaires et actions FEDER et FSE est cependant souvent souligné; e) en matière d'additionnalité, les FS permettent d'aborder de nouveaux créneaux, de réaliser des projets qui ne l'auraient pas été sans aide communautaire, d'accélérer la mise en oeuvre ou de réaliser des projets plus ambitieux, ou encore de donner un caractère structurant au projet initial. L'additionnalité des typologies de mesures (aides aux infrastructures, services aux entreprises, aides aux investissements privés) peut s'avérer assez différente; f) les FS ne constituent pas souvent un levier pour la participation des fonds privés ou, pour le moins, les évaluations omettent de traiter cet aspect; g) les évaluations soulignent que les études et négociations préparatoires, et les procédures administratives relatives à l'adoption et à la mise en oeuvre de certains projets, de même que l'intégration des nouvelles politiques nationales impliquent des délais souvent sous-estimés. 5.17. En matière de gestion, il découle notamment des évaluations que certaines pratiques de suivi des programmes se sont avérées insuffisantes et que les ajustements internes pendant la période de programmation avaient trait essentiellement à la maximisation du taux d'absorption des crédits et pas à une révision des axes prioritaires de développement régional. 6. ÉVALUATIONS INTERMÉDIAIRES (1994-1999) Développement et intégration des principes d'évaluation intermédiaire 6.1. L'évaluation intermédiaire est prévue dans le chapitre sur les dispositions de mise en oeuvre repris dans chaque CCA, DOCUP et autre forme d'intervention visant à renforcer le suivi. Il est souligné que les évaluations intermédiaires comportent une analyse critique des données collectées dans le cadre du suivi, expliquent les écarts éventuels par rapport aux objectifs poursuivis et estiment les résultats escomptés de l'intervention. Elles contiennent également un avis sur la validité de l'intervention en cours et la pertinence des objectifs retenus. 6.2. Dans des notes adressées aux États membres au cours de l'exercice 1995, la Commission a souligné que les évaluations intermédiaires devaient «fournir aux comités de suivi les signaux adéquats sur le bon fonctionnement des programmes, proposer d'éventuelles actions de reprogrammation et présenter une image objective indépendante des avancées réalisées». Il y était proposé également de se concentrer, dans une première phase, sur les conditions de fonctionnement des formes d'intervention et notamment sur les indicateurs, les capacités de gestion des responsables et les procédures de sélection des projets. Dans une deuxième phase, le rapport d'évaluation intermédiaire devait, en vue de suggérer les changements nécessaires et d'adapter la programmation, traiter de la pertinence de la stratégie et du bien-fondé des objectifs des interventions mises en oeuvre, de l'efficacité du programme par comparaison des réalisations et des premiers résultats par rapport aux objectifs, de l'efficience du programme, de l'application correcte des politiques communautaires (environnement, marchés publics, etc.) et de la mesure des résultats en matière d'emploi et de PME. 6.3. Par ailleurs, la Commission suggérait que l'évaluation soit globale et que des évaluations thématiques sur un secteur ou une zone géographique particuliers soient développées dans une phase ultérieure. 6.4. Certains États membres, notamment l'Espagne (13), la France (14), l'Irlande (15) et les Pays-Bas (16), ont également défini un cadre pour l'évaluation intermédiaire. Ils retiennent tous que l'évaluation intermédiaire doit porter sur: a) l'évolution du contexte socio-économique; b) l'analyse de la stratégie et de la cohérence interne et externe; c) les conditions de mise en oeuvre incluant la programmation et les critères de sélection, l'organisation administrative, le dispositif de suivi, les circuits de financement des projets; d) la mise en oeuvre et les réalisations en tenant compte des résultats prévus; e) les premiers effets obtenus complétés par une estimation de ceux à attendre; f) les coûts en vue de mesurer l'efficience, c'est-à-dire le rapport entre les moyens et les résultats, et déboucher, le cas échéant, sur des propositions de modification en matière de priorités ou d'actions prévues. 6.5. Le principe du partenariat a été introduit en 1988 comme un des moyens d'assurer l'efficacité des FS, mais il ne joue pleinement son rôle dans le système de gestion décentralisée qu'à partir de 1995 avec l'évaluation intermédiaire de l'ensemble des CCA 1994-1999. Il a été défini à cette occasion qu'il appartient aux comités de suivi «d'arrêter les objectifs de l'évaluation, les normes de qualité escomptées garantissant la cohérence d'ensemble de la démarche, d'adapter le cahier des charges aux particularités des régions en cause, en respectant la finalité de l'exercice, de sélectionner les évaluateurs sur la base de listes restreintes préparées par des responsables de l'évaluation (membre du comité de suivi et rapporteur communautaire) après appel d'offre publique». L'évaluation intermédiaire a contribué à renforcer réellement le partenariat, en le faisant intervenir dans l'analyse causale des interventions structurelles. Les tableaux 5 et 6 montrent la mise en oeuvre opérationnelle des évaluations intermédiaires, de même que l'engagement important des États membres dans le cadre du partenariat visant à l'identification de l'impact des FS. 6.6. L'approche de l'évaluation intermédiaire dans le cadre du partenariat a également fortement influencé les structures institutionnelles et les traditions nationales ou régionales dans les administrations responsables. Elle a permis une meilleure diffusion de la culture de la programmation pluriannuelle, dont l'évaluation est un élément indispensable, pour dresser un bilan critique des interventions structurelles et préparer les ajustements nécessaires. Le partenariat en matière d'évaluation est particulièrement bien développé dans le cadre de l'O1. 6.7. Actuellement, les travaux d'évaluation intermédiaire ont pour ambition d'apporter des réponses globales à l'ensemble des partenaires, du concepteur de programme au responsable politique en passant par le gestionnaire. Ils se traduisent par des rapports très volumineux comprenant des informations provenant du programme lui-même, de l'appréciation ex ante, des rapports annuels d'exécution, des évaluations intermédiaires ou ex post. Or, selon des interlocuteurs rencontrés au cours des contrôles, une partie seulement des résultats ou des recommandations a une réelle utilité pour l'aide à la décision, à la gestion des projets, à la reprogrammation ou pour préparer la génération des interventions à venir. Procédures de mise en oeuvre 6.8. Sur les 389 évaluations intermédiaires engagées, 320 concernent les objectifs 1, 2, 5b et 6 (17). L'exécution de ces évaluations connaît un retard assez important dans plusieurs États membres. 6.9. Le processus d'évaluation intermédiaire était à l'origine prévu en deux étapes distinctes. La première concernait l'évaluabilité, permettant l'identification des problèmes y afférents. La deuxième était l'évaluation proprement dite, aboutissant à l'élaboration d'un rapport. Dans la pratique, ce schéma n'a été appliqué que dans de rares cas. 6.10. De manière générale, la Commission a insisté pour que les évaluations intermédiaires soient effectuées par des experts de l'extérieur en vue de garantir la crédibilité d'un savoir-faire particulier, d'une part, et l'impartialité des conclusions liées à la conformité de la stratégie, à la cohérence entre les analyses socio-économiques et à la quantification objective des effets escomptés, d'autre part. Les besoins en matière d'évaluation dans le domaine des FS ont créé en quelques années une filière d'évaluateurs externes connus de la Commission et des États membres, ce qui présente l'avantage de générer une plus grande expertise dans ce domaine, mais délimite un marché spécifique. 6.11. Dans la pratique, les contrôles sur place de la Cour ont mis en évidence les limitations qui réduisent l'indépendance du consultant externe. Compte tenu du temps limité dont l'évaluateur dispose, et de la dépendance existant de facto vis-à-vis des gestionnaires des programmes pour obtenir les informations nécessaires, la séparation des fonctions respectives est peu nette. Les résultats obtenus en matière de performance se limitent trop souvent à reproduire et à actualiser les informations du système de suivi en les présentant comme une contribution externe. 6.12. Par ailleurs, la procédure habituelle d'appel d'offres ouverte avec publication au journal officiel n'a pas toujours été appliquée en vue de sélectionner un consultant en matière d'évaluation. Aux Pays-Bas, elle consistait à inviter un nombre limité de consultants qui figuraient sur une liste d'évaluateurs potentiels en leur demandant de soumettre une offre. La sélection a été ensuite opérée parmi ces offres. 6.13. Alors que la Commission participe régulièrement aux réunions des comités de suivi et qu'elle a la possibilité d'y faire prévaloir ses critères en matière de sélection de consultants, son intervention dans ce processus n'est pas toujours identique. Ainsi, la participation des services de la Commission est active en Belgique, en Grèce, et au Portugal dès la procédure de sélection de l'évaluateur dans le cadre des groupes techniques ou du comité d'accompagnement technique ad hoc qui préparent le choix du consultant et suivent l'exécution de l'évaluation. Par contre, en France, les services de la Commission ne sont informés officiellement qu'après le choix des deux offres jugées les meilleures, accompagnées de la proposition finale pour laquelle le Préfet de région, maître d'ouvrage en la matière, demande de faire connaître les observations éventuelles. Pour les Pays-Bas, la Commission, qui participe aux travaux du comité d'accompagnement national pilotant les évaluations ex ante, intermédiaires et ex post des régions concernées par les objectifs 1 et 2 et aux travaux des comités de suivi, n'a réagi que tardivement au contenu du projet de rapport d'évaluation intermédiaire du DOCUP O1 Flevoland. Priorités accordées aux objectifs d'évaluation 6.14. En ce qui concerne la mise en oeuvre des évaluations intermédiaires, la priorité accordée aux objectifs d'évaluation est variable, à l'exception de l'examen des réalisations physiques et financières au niveau des interventions, qui a une place importante dans toute évaluation intermédiaire. Les développements prioritaires correspondent souvent à un réel besoin régional, comme dans le cas de la Corse où l'accent est principalement mis sur le traitement des problèmes de gestion, de suivi et de lien entre évaluation et suivi. La poursuite de certains objectifs d'évaluation est d'ailleurs entravée par des problèmes techniques, comme la mesure des indicateurs pour l'évaluation de l'impact. 6.15. Souvent les évaluations intermédiaires ne donnent pas assez d'importance à l'appréciation critique de la stratégie de développement régional retenue, à la viabilité des projets financés par aux FS, aux critères de sélection des projets, aux effets et à l'impact au regard des objectifs spécifiques et généraux des programmes. 6.16. La valeur ajoutée communautaire, dont l'analyse constituait un des objectifs des évaluations ex post des CCA O1 et O2 pour la période de programmation 1989-1993, n'est traitée qu'exceptionnellement dans le cadre des évaluations intermédiaires.6.17. L'évolution du contexte socio-économique, sur lequel l'intervention communautaire agit et dont le suivi et l'actualisation sont généralement prévus dans les contrats d'évaluation, est traitée de manière systématique dans certains cas (par exemple par le biais de tableaux de bord très élaborés en ce qui concerne la région wallonne) et de manière insatisfaisante dans d'autres cas, ce qui influence directement la qualité et l'actualisation des analyses forces/faiblesses généralement effectuées dans le cadre de l'évaluation intermédiaire. 6.18. Le respect et le maintien dans le temps de la cohérence interne et externe de chaque programme dans toutes ses composantes (objectifs du programme, des sous-programmes et des mesures, relations de complémentarité et de synergie entre objectifs et entre mesures) ne sont que rarement examinés de manière systématique. Ainsi, pour le PO Brandebourg, les engagements financiers en faveur des axes 1.1 (investissements productifs) et 1.2 (infrastructures) représentent pour la période 1994-1996 respectivement 138 % et 242 % de la prévision initiale, sans qu'aucune justification en matière de stratégie de développement régional ait été apportée par l'évaluateur. Les synergies font parfois l'objet d'analyses, qui sont d'ailleurs souvent incomplètes. Cet aspect mériterait un traitement plus systématique, notamment en ce qui concerne les synergies entre les activités du FEDER et celles du FSE. 6.19. De même, lorsque la réorientation des priorités du programme et de l'affectation des moyens est un objectif explicite de l'évaluation, les travaux d'évaluation ne donnent pas toujours lieu à une présentation globale et cohérente des modifications proposées, ni à un exposé des motifs. Les implications des extensions ou contractions proposées au niveau des mesures ne sont pas non plus toujours précisées. 6.20. Beaucoup d'évaluations examinées montrent que l'évaluateur n'a pas été en mesure d'atteindre tous les objectifs prévus dans le contrat, notamment en ce qui concerne l'évaluation de l'impact. Le temps et les moyens disponibles n'étaient pas non plus toujours proportionnés aux objectifs. Approches, méthodes et techniques 6.21. Comme les objectifs d'évaluation et les approches à appliquer restent souvent formulés en termes généraux dans les contrats, le choix des approches, méthodes et techniques est souvent laissé aux évaluateurs, qui parfois les adaptent en cours d'exécution aux difficultés rencontrées. Ainsi, il arrive que ceux-ci transforment en indicateurs la seule information disponible. 6.22. Les techniques et méthodes n'ont pas toujours été développées de manière à pouvoir répondre aux objectifs d'évaluation. Il n'existe d'ailleurs pas encore de véritable consensus sur la méthodologie opérationnelle appropriée pour évaluer le développement régional, et la Commission se contente de diffuser «les meilleures pratiques» en termes généraux sans véritablement coordonner ou harmoniser concrètement leur mise en oeuvre. Cette imprécision, liée aux disparités entre États membres en matière de programmation, de mise en oeuvre ou d'évaluation, génère des rapports d'évaluation de qualité variable et rend très difficile la comparabilité des résultats sur le plan européen. 6.23. La mesure de l'impact montre ainsi des lacunes dans les techniques appliquées, liées notamment à la spécificité et la complexité des effets à évaluer: a) une recherche approfondie d'indicateurs encore plus pertinents n'a pas toujours été effectuée, parfois les indicateurs prévus ne servant qu'à mesurer la réalisation physique et financière; b) les indicateurs d'impact n'ont pas toujours été renseignés; c) l'évaluation de l'impact socio-économique ou de développement régional paraît entravée par la multiplication des actions, sous-programmes et mesures (objectif 1), tandis que de nombreux programmes visant à aider à la reconversion et/ou à la redynamisation du tissu industriel (PO, initiatives communautaires, programmes nationaux) peuvent être mobilisés conjointement. Par ailleurs, les actions communautaires et nationales ont parfois des couvertures différentes et les dates de lancement des actions diffèrent. Enfin, les objectifs sont souvent non quantifiés et formulés de manière trop générale (18). Dans ce contexte, les liens entre le diagnostic des problèmes socio-économiques à résoudre et les objectifs de l'ensemble des mesures, sous-programmes et projets mis en oeuvre, d'une part, et d'autre part, entre les objectifs de cet ensemble, ne paraissent pas toujours évidents compte tenu aussi du fait que les indicateurs physiques et d'impact affectés aux différents niveaux d'un programme ne reflètent pas complètement les besoins d'évaluation du programme. De même, il s'avère difficile d'identifier les résultats de chaque programme et de les séparer de ceux d'autres actions privées, régionales ou nationales; d) la modélisation qui permet d'estimer les effets et impacts attendus sur la base des réalisations à mi-parcours et des réalisations encore escomptées, reste peu appliquée. L'évaluation intermédiaire de certains CCA nationaux s'est appuyée sur un modèle input-output (Portugal) ou sur un modèle macro-économétrique (Espagne, Irlande), tandis que la modélisation régionale reste très marginale. L'exemple du modèle de développement pour la province du Hainaut (Belgique) utilisé dans le cadre de l'évaluation intermédiaire mérite à ce titre d'être cité. La modélisation des effets dans le cadre des mesures n'est pas non plus très répandue, sauf dans le domaine des infrastructures de transport. Il convient de citer l'application du modèle input-output au projet de l'Expo 1998 (Portugal) dans le cadre des évaluations ex ante et intermédiaire, même si les prévisions doivent être considérées avec précaution; e) l'estimation des effets sur l'emploi reste également précaire. L'application de modèles et d'autres techniques d'analyse et d'enquête ne fournissent pas de précisions suffisantes concernant d'une part, le volume net d'emplois créés prenant notamment en compte les nouveaux emplois qui auraient été créés en dehors de l'action concernée, ainsi que les effets de substitution, d'autre part, le degré de durabilité des emplois. De plus, leur application n'a généralement pas donné d'indications sur les emplois créés non attribuables à la mise en oeuvre du programme. 6.24. Certains contrats d'évaluation prévoient, dans le cadre de l'approche bottom-up, des enquêtes à mener auprès de partenaires du développement économique local et de bénéficiaires finals, y compris des entreprises bénéficiaires d'aides communautaires, en vue d'apprécier quantitativement ou qualitativement la contribution du programme communautaire. Les résultats des enquêtes souffrent parfois de sous-représentativité compte tenu du nombre des entreprises et partenaires ayant répondu aux enquêtes, et d'une fiabilité incertaine, car ils ne font pas toujours l'objet de contrôles. 6.25. S'agissant des indicateurs de résultat et d'impact, il est constaté que: a) les délais pour obtenir les données et les statistiques sont souvent longs; b) les données existantes couvrent des zones géographiques qui ne correspondent pas aux zones ou bassins visés; c) les données concernant les entreprises ne sont pas saisies au niveau des établissements, ce qui fausse les statistiques locales, lorsqu'un seul établissement est présent sur la zone alors que l'entreprise possède une multi-implantation sur le territoire national; d) beaucoup d'organismes de statistiques ne peuvent segmenter les données globales de façon plus fine pour cibler une zone, un bassin ou une problématique donnée. 6.26. Au cas où l'évaluateur présente des indicateurs plus adéquats sous l'angle de la mesure de l'impact, que ce soit pour combler une lacune ou les substituer aux indicateurs prévus, il ne les renseigne pas et laisse planer des doutes quant au caractère opérationnel de ces indicateurs. De plus, il ne mentionne pas toujours les enquêtes restant à faire pour les concrétiser, ni n'estime leur coût. Il est également souligné que la quantification des indicateurs concernant les objectifs de programme peut être difficilement conduite sans information sur des séries historiques. Réalisation des programmes de l'objectif 2 (1994-1996) 6.27. Les résultats de l'évaluation intermédiaire des DOCUP, CCA et PO de la période 1994-1996, de même que du suivi, mettent en évidence une inadéquation entre le financement programmé et la réalisation des programmes. Malgré de très nombreuses adaptations des programmes lors de la dernière phase de programmation 1994-1996 visant à absorber les montants des concours financiers, des transferts de crédits de la programmation 1994-1996, de l'ordre de 12 % en moyenne, ont été effectués vers la programmation 1997-1999. Cette situation risque de conduire à rendre prépondérant le souci de l'absorption des crédits et de sous-estimer le rôle de l'évaluation, notamment en ce qui concerne la cohérence entre les objectifs, les ressources affectées et l'impact des interventions structurelles. 7. IMPACT DES FONDS STRUCTURELS ET MODÈLES D'ÉVALUATION Impact au niveau des CCA et des programmes Résultats des modèles en matière d'impact des Fonds structurels 7.1. Les modèles utilisés dans le cadre de l'évaluation macro-économique dans le domaine des FS (voir annexe III), compte tenu de leurs caractéristiques propres, apprécient de manière différenciée l'impact des FS en ce qui concerne: a) la réalisation des objectifs des FS en matière de croissance du PIB, de convergence réelle du PIB per capita, d'emploi et de chômage; b) le respect des conditions liées à la mise en oeuvre des FS, telles que l'additionnalité, le développement durable référant notamment à la maîtrise de la dette publique et de la balance des paiements, à la distribution des revenus, au respect de l'environnement; c) les effets en termes de demande et d'offre; d) l'efficacité des instruments des FS, tels que les investissements publics, les investissements en ressources humaines et les aides aux entreprises privées. Croissance du PIB 7.2. Comme le montre le tableau 7, il ressort de la démarche visant à apprécier l'impact des FS que les résultats des principaux modèles utilisés (HERMIN, OGM et DIO) indiquent pour les pays de la cohésion un accroissement positif du PIB et par conséquent une amélioration de la convergence. Ainsi, la croissance cumulative de l'économie des pays de la cohésion de 1994 à 1999 due aux actions structurelles inscrites dans les CCA serait en termes réels du PIB de 5,5 % pour le Portugal, 5,9 % pour la Grèce, 2,6 % pour l'Espagne et 3,3 % pour l'Irlande. Ces résultats supposent que le principe de l'additionnalité soit totalement respecté, et peuvent par conséquent être modifiés en cas de non-respect (voir points 8.11 à 8.13). Par ailleurs, les différents modèles macro-économiques ont produit des résultats suffisamment cohérents pour que l'impact des CCA 1994-1999 sur la croissance en termes réels de PIB annuel puisse être jugé comme vraisemblable. Toutefois, les effets liés à la demande restent majoritairement dominants à court terme, les effets sur l'offre ne se produisant que beaucoup plus tard. De même, le modèle régional HELM utilisé pour la région du Hainaut évalue l'impact du DOCUP en termes de croissance annuelle de la valeur ajoutée totale comme représentant une augmentation de 1,7 à 2,5 % si l'on prend la période 1994-2002. Par contre, dans le cas du Mezzogiorno en Italie, l'impact des FS sur la croissance semble très limité, voire proche de zéro. Le modèle QUEST de la Commission, en introduisant des hypothèses sur les anticipations des entreprises et des consommateurs, aboutit à des estimations sur les effets sur la croissance et l'emploi plus faibles que dans les modèles précédents. Les gains montrés par ce modèle concernant le potentiel de croissance et la réduction du chômage ne se manifestent qu'à plus long terme. 7.3. En termes d'accélération moyenne de la croissance annuelle due aux actions structurelles inscrites dans les CCA, le tableau 8 montre que les effets multiplicateurs d'une croissance de 1 % de la part des CCA dans le PIB aboutissent pour la période 1994-1999 à un supplément de croissance annuelle de 0,2 % à 0,3 % pour les effets de demande et de 0,2 % au plus pour les effets d'offre. Sur le plan économique, la dominance, mise en évidence par le modèle HERMIN, des effets sur la demande, qui disparaîtraient avec l'arrêt de l'aide communautaire, ne contribue à réaliser les objectifs de l'article 130 A du traité que si les effets sur l'offre se développent de manière durable et renforcent les capacités productives des régions concernées. Dans la mesure où les effets sur l'offre se développent beaucoup plus tard que ceux sur la demande, il est possible que les effets multiplicateurs correspondants soient sous-estimés. Convergence réelle en termes de PIB per capita 7.4. Les modèles utilisés dans le cadre des FS montrent que le processus de convergence n'est pas toujours garanti et que certaines programmations de CCA peuvent au mieux réduire la divergence plutôt que développer la convergence. 7.5. En ce qui concerne l'Irlande, Bradley (HERMIN 1994) et Honohan (HERMIN 1997) prévoient ce que pourrait être l'effet de l'aide des CCA 1989-1993 et 1994-1999 sur le PIB per capita. Le premier estime que la contribution des CCA 1994-1999 à ce rattrapage s'avère modeste tandis que pour le second, les CCA jouent un rôle significatif dans le processus de convergence. Beutel (1997) prédit que l'Irlande rattrapera le reste de l'Europe même sans CCA 1994-1999, qui augmenterait le taux annuel de croissance de 0,6 %. De même, l'Espagne, le Portugal et la Grèce verraient leurs taux annuels de croissance augmenter respectivement de 0,4 %, 1,1 % et 1 % pour la période de 1994-1999 grâce aux FS, ce qui a eu dans tous les cas un effet positif sur la convergence réelle en termes de PIB per capita. 7.6. Les simulations prévisionnelles effectuées avec le modèle OGM portant sur la convergence en PIB réel per capita par rapport à la moyenne de l'Union montrent des estimations qui soulignent que, même si les tendances projetées en 1995 sont trop pessimistes pour l'Irlande (voir tableau 9), la contribution nette des CCA à la convergence reste modeste pour les pays de la cohésion. 7.7. En ce qui concerne le Hainaut, le modèle HELM prend en considération les aspects de la convergence réelle pour l'évaluation intermédiaire et estime que son taux annuel prévisionnel de croissance serait d'environ 1,4 % à 1,6 % supérieur à la moyenne européenne grâce aux FS, ce qui permettrait un réel rattrapage. 7.8. Ces estimations mettent en évidence que, compte tenu des différences dans les structures régionales ou sectorielles productives des États membres de l'O1, les concours des FS produisent des effets variables. Elles confirment également que la qualité de la programmation des FS doit être améliorée, afin que, dans un but de convergence, les interventions des FS permettent d'améliorer les capacités productives de l'économie. Emploi et chômage 7.9. Le tableau 10 résume les résultats des évaluations en matière d'impact des FS sur l'emploi et le chômage. Pour toutes les études, les CCA génèrent des emplois nets. Ces nouveaux emplois sont souvent créés dans le secteur des services non marchands, alors que les effets de productivité des CCA sont principalement concentrés dans le secteur industriel. Enfin, certaines études relèvent une réduction de l'emploi industriel due à une augmentation de la productivité du travail. Efficacité des instruments des CCA 7.10. Les évaluations HERMIN pour l'Espagne, l'Irlande et le Portugal montrent que les aides aux investissements publics, notamment ceux de l'infrastructure, sont plus productives en termes de croissance que les aides aux investissements en ressources humaines (à l'exception de l'Espagne) et celles aux investissements privés. Cela est mis en évidence dans le tableau 11 qui montre, par instrument, l'accroissement du PIB national résultant de l'augmentation de 1 % de la part du CCA dans le PIB cumulé de la période 1994-1999. L'étude HERMIN pour la Grèce arrive également à la conclusion que les investissements en infrastructure («hard infrastructure») repris dans les CCA contribuent davantage à la croissance du PIB que les investissements en ressources humaines. L'application du modèle OGM (Pereira 1991) pour évaluer les effets du remplacement d'aides aux investissements privés ou aux investissements en ressources humaines par des aides additionnelles aux investissements en infrastructure montre une amélioration des gains en croissance de PIB et dans le processus de convergence induits par les FS. Obligation d'additionnalité et de cofinancement 7.11. Les modèles ont également permis d'évaluer l'importance de l'additionnalité et du cofinancement public. Ainsi, Honohan (HERMIN 1997) estime que, sans l'obligation de cofinancement public, le taux de croissance de l'économie irlandaise aurait été inférieur de 1 % à l'impact du CCA, de même que l'emploi se serait accru dans une moindre mesure. Par contre, Honohan prévoit une réduction plus sensible du rapport dette publique/PIB et de l'excédent de la balance des paiements en l'absence d'obligation de cofinancement public. Pour le Portugal, l'exigence de cofinancement conduit, selon l'évaluation HERMIN, à un gain additionnel cumulé de 1,3 % pour le PIB, mais donne également lieu à une évolution moins positive en matière de dette publique. 7.12. L'évaluation HELM pour le Hainaut attribue une grande importance à l'additionnalité. Le taux de croissance moyen de la valeur ajoutée pour la période 1994-1999 des trois scénarios - la politique régionale comprenant le DOCUP, la poursuite de la politique régionale sans aide communautaire, la politique régionale dont on a déduit le DOCUP - s'élève selon l'évaluation HELM à 2,5 %, 1,7 % et 0,1 % respectivement, de même que le taux de croissance de l'emploi tomberait de 0,8 % à 0,2 %. La situation de l'industrie se serait également détériorée de manière substantielle. L'évaluation HELM permettait également, en faisant varier le taux de subvention, de constater qu'un taux d'aide à l'investissement ne stimule pas celui-ci dans la même mesure et que de nombreux investissements seraient réalisés avec des niveaux d'aides plus bas. Développement durable 7.13. Le tableau 10 montre que les effets des FS sur le solde de la balance commerciale, de la balance courante ou du déficit public, ne sont pas toujours évalués. Les différentes études débouchent par ailleurs sur des conclusions divergentes; ainsi l'expansion économique induite par les CCA conduit dans certains cas à améliorer les finances publiques à travers la fiscalité, alors que les CCA créent des déficits budgétaires selon d'autres modèles. Rôle de l'évaluation au niveau macro-économique dans le processus décisionnel des Fonds structurels 7.14. Compte tenu des effets à court terme des FS sur la demande, l'évaluation intermédiaire a tendance à surestimer les problèmes d'absorption des fonds communautaires auprès des autorités politiques et à sous-estimer les effets à plus long terme sur l'offre. Les réorientations ou reprogrammations des PO ou CCA peuvent ainsi être biaisées. En effet, des mesures ou projets qui n'absorbent pas assez vite les crédits communautaires risquent d'être supprimés, notamment dans des domaines complexes à mettre en oeuvre comme l'innovation ou les technologies nouvelles, au profit de structures déjà existantes à productivité beaucoup plus faible, sans que les aspects macro-économiques de développement durable soient toujours considérés. 7.15. Dans ce contexte, les évaluations macro-économiques complémentaires qui intègrent les aspects de durabilité, de croissance ou de convergence sont indispensables avant toute prise de décision au niveau de la programmation initiale et de son réaménagement. Or, dans de nombreux cas comme en Espagne, en Grèce ou dans les nouveaux Länder allemands, des reprogrammations dans le cadre de l'évaluation intermédiaire ont déjà été effectuées sans analyse globale macro-économique sérieuse. En ce qui concerne les régions de l'O1 en Allemagne, aucune analyse macro-économique de l'impact n'a été effectuée lors de l'évaluation intermédiaire. Impact au niveau des sous-programmes, mesures et projets 7.16. Au niveau des sous-programmes et mesures, il existe très peu d'évaluations, malgré le fait que les sous-programmes ou mesures constituent le moteur de la programmation des FS. La dispersion, le manque de définition et de cohérence de beaucoup de sous-programmes ou mesures, ainsi que la quantification insuffisante des objectifs spécifiques y relatifs peuvent contribuer à expliquer cette difficulté à mesurer l'impact. 7.17. Cette lacune rend difficile tout effort visant à identifier et à mesurer la synergie et la complémentarité des mesures entre elles ou entre différents programmes. Par ailleurs, les liens entre les objectifs généraux du programme et ceux spécifiques des sous-programmes ou des mesures sont très souvent peu évidents. Ainsi, de nombreux problèmes de cohérence dans les programmes des CCA 1994-1999 O1 ont été relevés dans les rapports d'évaluation intermédiaire. 7.18. Rares sont d'ailleurs les techniques adaptées pour mesurer l'impact d'un sous-programme ou d'une mesure spécifique. Ainsi, les modèles macro-économiques décrits ci-avant ne permettent de fournir une évaluation de l'efficacité des principaux instruments des CCA - les investissements publics, les investissements privés et les investissements en ressources humaines - qu'en ce qui concerne leur contribution respective à la croissance du PIB. Les dépenses d'infrastructure, étant complémentaires du capital privé, semblent augmenter le rendement de ce dernier et auraient un effet d'accélération de la vitesse de la convergence supérieur à d'autres formes d'investissement (voir tableau 11). 7.19. Néanmoins, le choix des mesures ou sous-programmes constituant le programme et leur financement n'est pas neutre en ce qui concerne l'impact du développement régional en termes de croissance endogène durable. Les travaux d'évaluation engagés par la Commission ou les États membres dans le cadre du partenariat au niveau des sous-programmes ou mesures sont d'ailleurs encore insuffisants pour permettre d'examiner les conséquences d'une mesure spécifique sur d'autres zones ou secteurs ou de la comparer avec d'autres mesures poursuivant des objectifs similaires. De plus, l'analyse de l'impact des mesures ou sous-programmes devra également prendre en considération l'arbitrage initial entre croissance et égalité interrégionale qui a prédéterminé son choix, afin de pondérer les gains d'efficacité attendus et réalisés. 7.20. Au niveau des projets, l'analyse coûts/avantages des projets est en principe élaborée en vue de l'approbation du financement du projet. Cette analyse est obligatoire conformément à l'article 5 du règlement n° 2083/93 (FEDER) pour les grands projets dont le coût total est supérieur à 25 Mio ECU pour les investissements en infrastructure et à 15 Mio ECU pour les investissements productifs. Ces appréciations ex ante des grands projets font partie de l'instruction des demandes de concours communautaires et déterminent l'enveloppe de financement, mais leurs évaluations ex post ne sont pas prévues dans les règlements des FS et ne peuvent être exigées par la Commission pour vérifier la réalisation effective des avantages socio-économiques attendus au regard des ressources communautaires mobilisées à cet effet. Cette déficience dans le processus de l'évaluation en matière de grands projets rend le concept même d'évaluation inopérant à ce niveau, car une appréciation ex ante ne peut se justifier que s'il y a effectivement une évaluation ex post. De plus, ces études micro-économiques et sectorielles pourraient aussi estimer l'impact potentiel des FS sur la productivité et devenir ainsi un instrument performant pour l'analyse à court ou à moyen terme de cet impact. 7.21. Les synergies et les complémentarités doivent être aussi prises en considération lors de l'évaluation de projets. Elles sont encore évaluées insuffisamment ou de façon superficielle. Une adéquation des complémentarités et synergies entre projets est indispensable pour ne pas fragiliser l'impact prévisible. 7.22. L'évaluation intermédiaire aborde souvent les problèmes de gestion des programmes, mais ne tient pas souvent compte des critères qui ont déterminé la sélection des projets, tels que la durabilité du projet ou la contribution du projet au développement régional. Or, le système de gestion des programmes doit pouvoir garantir que les critères de sélection des projets sont utilisés de manière à optimiser les résultats du programme. Il faudrait éviter notamment les projets ayant une très faible valeur ajoutée en matière de développement, même si ceux-ci présentent l'avantage de consommer très vite les crédits. Le système de sélection de projets doit être plus transparent afin de permettre son contrôle et d'assurer son évaluabilité. 8. CONCLUSION 8.1. La démarche d'évaluation des interventions structurelles communautaires découle des obligations réglementaires issues des décisions du Conseil et se trouve actuellement largement utilisée dans le cadre du partenariat. L'évaluation est devenue un système d'aide à la conception et à la gestion des interventions, contribuant à une meilleure connaissance de leurs effets et de leur utilité. Pour la période 1994-1999, plus de 250 évaluations à mi-parcours ont été finalisées au niveau des comités de suivi (19) au cours de l'année 1997. 8.2. Avec la révision de la réforme des FS, l'évaluation entre dans une phase de maturité qu'il convient dès à présent de consolider à travers un meilleur encadrement méthodologique. Un effort important doit encore porter sur les méthodes d'évaluation les plus appropriées pour mesurer l'impact socio-économique des programmes, dans le cadre du développement régional, le programme MEANS n'ayant pas pu y donner une réponse satisfaisante. 8.3. Un autre effort soutenu devrait être fourni dans le domaine des indicateurs à tous les niveaux en ce qui concerne la pertinence, les modes de renseignement et le coût y afférent. Un effort de formalisation devrait également porter sur les aspects qualitatifs. Sans nouveaux progrès dans ces domaines, le processus d'évaluation risque de stagner. 8.4. Il en est de même en ce qui concerne les bases statistiques dont la faiblesse met en question la validité des indicateurs et conditionne fortement le processus de suivi et d'évaluation. 8.5. L'actuelle multiplicité des indicateurs, plus ou moins pertinents, nuit à la qualité de l'évaluation et empêche de la rendre opérationnelle. Un petit nombre d'indicateurs d'impact indispensables pour justifier ou réorienter une politique structurelle devrait être soigneusement sélectionné en tenant compte des contraintes de la régionalisation des données et des possibilités matérielles de collecte d'informations. La fiabilité de ces indicateurs devrait être contrôlée. La comparabilité entre indicateurs et leur agrégation à l'échelle européenne devraient être améliorées. 8.6. Pour que l'évaluation puisse être prise en compte pleinement dans le processus décisionnel et la gestion opérationnelle des FS, il conviendrait d'assurer la transparence et l'objectivité des évaluations, la correspondance de leurs objectifs aux besoins et une date de finalisation adéquate. 8.7. Pour garantir l'objectivité des résultats de l'évaluation, l'indépendance des évaluateurs doit être préservée par rapport aux gestionnaires et aux autorités publiques concernés. 8.8. L'utilisation d'un cadre de référence commun faciliterait la lisibilité et la comparabilité des rapports d'évaluation ainsi que les échanges d'expériences. 8.9. Pour chaque évaluation, il conviendrait de définir des objectifs plus opérationnels. Les termes de référence et le cahier des charges, généralement approuvés par la Commission, devraient clairement indiquer la méthodologie la plus appropriée selon qu'elle s'adresse aux aspects régionaux, sectoriels ou nationaux ou selon qu'elle doit porter particulièrement sur les effets à court terme ou à long terme. Toute autre méthodologie devrait faire l'objet d'une analyse forces/faiblesses en comparaison avec la méthodologie de la Commission. De même, le cadre de référence de chaque évaluation devrait comprendre une liste minimale d'indicateurs proposée par la Commission pour mesurer la performance des objectifs des programmes, afin d'assurer une cohérence indispensable à l'analyse. D'autres indicateurs de situation socio-économique et structurelle peuvent naturellement être utilisés pour compléter et affiner cette analyse. 8.10. Compte tenu de la diversité des approches liées à l'évaluation, la Commission doit exiger que les évaluateurs explicitent beaucoup mieux leur approche dans la phase de l'appel d'offres, notamment le type d'effets ou d'impact qu'elle est supposée mesurer et sur quelle durée, afin de pouvoir apprécier le degré d'exhaustivité des méthodologies utilisées. De plus, l'évaluation devrait contenir une analyse détaillée des liens entre les objectifs des programmes et les axes et mesures mises en oeuvre pour réaliser ces objectifs, ainsi que la nécessaire articulation en cascade des objectifs/résultats/réalisations des programmes, des axes et des mesures. 8.11. Dans ce contexte, une meilleure segmentation de l'évaluation en fonction des destinataires concernés est nécessaire pour en accroître l'efficacité et pour mieux répondre à leurs attentes spécifiques, notamment dans le domaine des évaluations intermédiaires. De même, une meilleure maîtrise du coût devrait être recherchée, car la Commission ne connaît pas toujours les dépenses affectées à l'évaluation dans le cadre du partenariat. 8.12. La Commission devrait également indiquer les aspects de la politique régionale qui doivent être plus particulièrement évalués: additionnalité, convergence, partenariat, concentration, emploi, développement économique endogène ou bien-être social. La mesure du PIB per capita ne doit pas être la seule référence pour juger de l'efficacité des interventions structurelles. 8.13. L'estimation des effets, de l'impact et de la valeur ajoutée communautaire devrait pouvoir s'appuyer sur des modèles de développement national et régional au niveau du programme, ainsi que sur des modèles d'impact concernant des mesures. 8.14. Les résultats macro-économiques des actions structurelles devraient être affinés en tenant compte des imperfections des modèles qui les sous-tendent, des effets secondaires provoqués par ces mêmes actions et de tous leurs effets sur le bien-être social. 8.15. La modélisation macro-économique fait une distinction fondamentale entre les effets sur la demande à plus court terme et les ajustements structurels de l'offre. La programmation des interventions des FS devrait davantage viser à améliorer la capacité productive de l'économie, afin d'assurer la permanence des effets et d'éviter une dépendance trop marquée vis-à-vis de la demande qui conduirait à une situation où l'aide communautaire resterait indispensable à long terme. 8.16. Comme les effets sur l'offre ne se matérialisent que sur une période plus longue, l'évaluation intermédiaire est en général amenée à accorder plus d'attention aux effets sur la demande. La Commission devrait mener une action visant à développer les instruments nécessaires au suivi et à l'évaluation des effets structurants sur l'économie. 8.17. Il se dégage également des modèles macro-économiques qu'une politique de croissance économique n'est pas toujours compatible avec un développement durable. Il conviendrait d'analyser encore davantage les relations entre l'impact sur la croissance et les effets sur le développement durable et de tenir compte de manière systématique de cette dualité dans la programmation des interventions des FS. 8.18. Les effets de l'obligation d'additionnalité et de cofinancement public ne sont pas faciles à cerner et ne sont pas toujours examinés. Des analyses plus systématiques et plus approfondies devraient y être consacrées. 8.19. L'évaluation en soi ne prétend pas remplacer le processus de décision politique, lequel intègre des considérations plus larges, mais doit constituer un outil indispensable à une gestion saine et efficace des interventions structurelles communautaires qui tienne compte des résultats socio-économiques. Le présent rapport a été adopté par la Cour des comptes à Luxembourg en sa réunion du 23 septembre 1998. Par la Cour des comptes Bernhard FRIEDMANN Président >EMPLACEMENT TABLE> >EMPLACEMENT TABLE> >EMPLACEMENT TABLE> >EMPLACEMENT TABLE> >EMPLACEMENT TABLE> >EMPLACEMENT TABLE> >EMPLACEMENT TABLE> >EMPLACEMENT TABLE> >EMPLACEMENT TABLE> >EMPLACEMENT TABLE> >EMPLACEMENT TABLE> (1) Il s'agit particulièrement de: a) l'article 6 du règlement cadre [règlement (CEE) n° 2052/88 tel que modifié par le règlement (CEE) n° 2081/93] concernant les missions des Fonds à finalité structurelle, leur efficacité ainsi que la coordination de leurs interventions; b) l'article 26 du règlement de coordination des Fonds [règlement (CEE) n° 4253/88 tel que modifié par le règlement (CEE) n° 2082/93]. (2) L'«appréciation ex ante» est parfois également appelée «évaluation ex ante». Dans le présent rapport, la Cour a préféré retenir les termes réglementaires d'«appréciation ex ante». (3) L'action communautaire structurelle est conçue comme un complément aux actions nationales correspondantes ou une contribution à celles-ci. Elle s'établit par une concertation étroite, dénommée «partenariat», entre la Commission, l'État membre, les autorités régionales et locales, les autres autorités compétentes, les partenaires économiques et sociaux et les autres organismes compétents. Le partenariat est mené en plein respect des compétences institutionnelles, juridiques et financières respectives de chacun des partenaires. (4) Dans ses rapports annuels relatifs notamment aux exercices 1990 (chapitre 7), 1993 (chapitres 6, 7, 8 et 9) et 1994 (chapitre 4), la Cour faisait déjà état de nombreuses carences dans le domaine de l'évaluation pour la période de programmation de 1989 à 1993. (5) Il s'agit des évaluations suivantes: a) pour la période de programmation 1989-1993: - appréciations ex ante des CCA O1 et O5b (1990-1991), - évaluations ex post des CCA O1 (1994-1995), - évaluations ex post des CCA O2 (1996-1997), - évaluations thématiques (PME, télécommunications); b) pour la période de programmation 1994-1999: - appréciations ex ante des plans de développement régional O1, - appréciations ex ante des programmes O5b, - appréciations ex ante des DOCUP O2 1994-1996, - appréciations ex ante des DOCUP O2 1997-1999, - analyses critiques des DOCUP et CCA O1 (1995). Des évaluations par État membre de l'impact des politiques structurelles européennes sur la cohésion économique et sociale de l'Union ont aussi été commandées par la Commission. (6) Note de la DG XXII du 14 mars 1991. (7) a) L'élaboration en 1994 des premiers «termes de référence pour l'évaluation on going des CCA et des formes d'intervention objectif 1». Ils confirment le rôle de l'évaluation intermédiaire comme outil d'aide à la décision pour les comités de suivi et sa réalisation en partenariat. Ils précisent également ses modalités de mise en oeuvre, notamment le profil de l'équipe d'évaluation et ses tâches; b) la diffusion en 1995 des «orientations communes pour le suivi et les évaluations intermédiaires» pour les FS communautaires, qui définissent les éléments d'analyse (objectifs globaux et spécifiques, indicateurs), ainsi que le lien entre le suivi et l'évaluation intermédiaire; c) l'envoi de lettres aux États membres (1995) rappelant l'obligation de l'évaluation intermédiaire et précisant de nouveau les modalités de mise en oeuvre souhaitées. (8) Telles que: a) la conférence de Bruxelles sur l'évaluation de la politique régionale européenne (16 novembre 1995) concernant principalement les résultats des évaluations ex post de l'O1 1989-1993 et des appréciations ex ante 1994-1999; b) la conférence européenne sur les méthodes d'évaluation des interventions des FS (Berlin, 2 et 3 décembre 1996) portant essentiellement sur les problèmes d'évaluation d'impact aux niveaux micro-économique, macro-économique et thématique; c) la conférence de Séville en mars 1998 visant à favoriser les échanges d'expérience en matière d'évaluation dans le cadre du partenariat. (9) Ce programme est géré conjointement par la Commission et un consultant externe, dont la participation est financée sur la ligne B2-1820 pour un montant annuel de 932 000 ECU. (10) L'approche par programme a été entravée par: i) les courts délais de planification impliquant notamment l'absence d'évaluation ex ante; ii) l'absence d'objectifs concrets, d'indicateurs quantifiés en matière de réalisation, de résultat et d'impact; iii) des contraintes administratives, notamment lorsque des sous-programmes d'un même programme dépendent d'administrations différentes, ou lorsque les approches sectorielles et régionales se croisent; iv) des faiblesses dans les règles communautaires, aboutissant notamment à agréer dans le cadre d'initiatives communautaires des projets rejetés par les PO O1; v) l'approche par projet du Fonds de cohésion, qui ne joue pas non plus en faveur d'une application harmonieuse de l'approche par programme. (11) Cela ne signifie cependant pas qu'il s'agisse de créations d'emploi, le modèle économétrique étant basé sur l'hypothèse du plein emploi et les entreprises disposant, en période de basse conjoncture, de sur-capacités de production. (12) Le 8ème rapport annuel sur les FS fait état d'effets de levier importants qui se réfèrent à des résultats bruts tels que la création d'emplois ou d'entreprises. (13) Evaluación intermedia de programas operativos regionales del objetivo n° 2 (fase 1994-1996). Orientaciones sobre contenidos comunes a recoger en los pliegos de condiciones técnicas, 23 mai 1996. (14) DATAR, Calendrier réglementaire et administratif. (15) General criteria to underpin Terms of Reference for Mid-Term Evaluation of Operational Programmes/Community Initiatives. (16) Evaluatiekader voor de programma's van de Europese Structuurfondsen, Terp Advies-CBEA Pieter van Run, décembre 1997. (17) Dont 36 ont été examinées sur place et/ou auprès de la Commission. (18) Par exemple: revitalisation du monde rural, renforcement du tissu économique dans la région, modifications structurelles liées au développement régional. (19) Les comités de suivi comprennent des représentants des instances nationales concernées et de la Commission. ANNEXE I SYNTHÈSE DE LA MÉTHODOLOGIE À APPLIQUER DANS LE CADRE DE L'ÉVALUATION EX POST DES CCA OBJECTIF 1 1989-1993 1. L'évaluation ex post des CCA O1 1989-93 avait explicitement pour but de: a) apprécier la stratégie et les objectifs retenus dans les CCA et en tirer des enseignements pour la future action. Analyser les conséquences, sur les objectifs initialement fixés, de la redéfinition et adaptation des interventions pendant la période de la mise en oeuvre; b) faire un premier bilan au niveau des CCA et des PO des réalisations physiques pour les actions significatives et procéder à une première appréciation de leur impact; c) analyser l'efficacité des mécanismes de la mise en oeuvre et tirer des enseignements pour d'éventuelles adaptations dans l'avenir. 2. Des approches méthodologiques ont été élaborées par le consultant principal chargé de la coordination des évaluations effectuées par d'autres consultants pour les États membres concernés: a) pour le premier objectif, afin d'évaluer la logique inhérente aux CCA et PO et aux ajustements dont les CCA et PO ont fait l'objet depuis 1989 - et plus spécifiquement pour analyser les causes de ces ajustements, la valeur ajoutée communautaire, la cohérence interne, la cohérence externe, la pertinence de la stratégie face aux problèmes et l'adéquation des financements - les tâches suivantes, qui relèvent d'une approche top-down, devaient être menées: - collecte d'informations et de données clés: données financières, objectifs ex ante, outputs/effets escomptés, groupes et domaines cibles, instruments principaux utilisés, nombre de projets/mesures approuvés, nombre de projets réalisés, - description de l'environnement du programme et de son évolution (situation initiale - situation actuelle); identification des facteurs externes influençant l'évolution du programme et son succès/échec; analyse des problèmes et des causes de base; concrétiser les indicateurs clés du développement régional, incluant des indicateurs du changement des disparités, - identification des instruments de politique (prêts, subventions, assistance technique), - hiérarchisation des objectifs, identification des niveaux de hiérarchie, et des liens entre objectifs et instruments; b) pour le second objectif, les analyses à développer relevaient à la fois d'approches top-down et bottom-up: - analyse des outputs et des effets au niveau de PO, de mesures et de projets, compte tenu de «pertes sèches» et d'effets de substitution et de multiplication, - analyse de l'efficacité relative de mesures et de combinaisons de mesures; analyse des facteurs causals de succès/échecs, - comparaison d'outputs et d'inputs; il s'agissait également de concrétiser des indicateurs clés et facultatifs; c) pour le troisième objectif, on visait à analyser l'efficacité des mécanismes de mise en oeuvre au niveau du CCA et des PO et d'un nombre réduit de mesures, et à identifier les améliorations apportées et à apporter dans le processus de programmation, de mise en oeuvre, de suivi et d'évaluation; on examinerait pour chaque État membre les mécanismes de prise de décision, de planification, de contrôle financier, de mise en oeuvre, de suivi, de contrôle et les circuits financiers, le partenariat, l'additionnalité, la coordination des fonds, le processus de simplification et d'harmonisation, de plus grande flexibilité, de meilleure transparence; on analyserait en profondeur la mise en oeuvre et le suivi pour un petit échantillon de mesures/grands projets; d) des échantillons ad hoc de programmes, mesures et projets étaient choisis dans le but d'une part de renseigner un nombre limité d'indicateurs physiques et d'impact, d'autre part d'effectuer des analyses approfondies. ANNEXE II SYNTHÈSE DE L'APPROCHE DE L'ÉVALUATION EX POST DE L'OBJECTIF 2 1989-1993 L'évaluation ex post des interventions communautaires dans le cadre de l'objectif 2 pour la période de programmation 1989-1993 comprenant généralement des composantes FEDER et FSE, comportait: a) des analyses générales portant sur toutes les régions et zones O2 : elles visaient la comparaison entre la situation socio-économique à la veille de l'intervention des FS dans le cadre de l'O2 et la situation socio-économique après ces interventions; elles devaient également donner lieu à une analyse de la stratégie mise en place, de la hiérarchie des objectifs, priorités et mesures, des indicateurs, des effets planifiés et non planifiés, des synergies entre composantes des programmes, de l'intégration des différents fonds. Ces analyses devaient se baser sur le contenu des CCA et des PO, sur les rapports d'exécution annuels ou rapports soumis au comité de suivi et sur des évaluations ex ante et ex post, lorsqu'elles étaient disponibles; b) des études approfondies portant sur 22 régions et ayant pour but de: - étudier en profondeur les CCA, les PO et les types de mesures adaptés; - analyser les structures institutionnelles et les modalités de gestion des programmes; - évaluer les impacts et les effets de «valeur ajoutée» susceptibles d'être attribués aux CCA et aux PO; - évaluer le coût et l'efficacité des impacts; - étudier les contributions de l'intervention du programme O2 dans le processus de développement régional. Les évaluations approfondies relèvent de l'approche bottom-up, le but étant -à partir d'un examen du processus de choix des opérations, de leur typologie, du processus de gestion dont ils font l'objet, de leur impact et effet de valeur ajoutée, des synergies et de l'additionnalité- de remonter et d'agréger au niveau de la mesure et finalement au niveau du programme. ANNEXE III CARACTÉRISTIQUES DES MODÈLES MACRO-ÉCONOMIQUES UTILISÉES DANS LE CADRE DE L'ÉVALUATION DES FS 1. Les principaux modèles utilisés dans le cadre de l'évaluation macro-économique dans le domaine des FS sont constitués: a) de modèles économétriques, tels que HERMIN (1), HELM (2) et QUEST II (3); b) de modèles d'équilibre général calculable tels que OGM (4) et BBM (5); c) de modèles input-output tels que DIO (6) et FIDIMI (7); d) de l'analyse structurelle-résiduelle. Les caractéristiques de l'application de ces modèles dans les cas examinés sont présentées schématiquement dans les tableaux III 1 et III 2. Le tableau III 3 indique quant à lui la modélisation des caractéristiques des CCA. 2. Par ailleurs, la possibilité de simuler l'évolution de l'économie des pays de l'O1 sur un intervalle temporel de plus de dix ans et sur des bases plurisectorielles permet d'appréhender le changement structurel engendré par les FS et d'évaluer la solidité du processus de rattrapage que l'aide communautaire doit soutenir et renforcer. 3. Dans le cadre de son enquête, la Cour a fait effectuer une analyse (8) pour estimer dans quelle mesure ces techniques au niveau macro-économique sont appropriées pour mesurer l'impact des interventions structurelles et peuvent contribuer de manière efficace au processus décisionnel et stratégique de la programmation. 4. Il ressort de cet exercice que les éclairages concernant les facteurs endogènes ou exogènes conditionnant le succès des programmes structurels varient en fonction des méthodologies et approches conceptuelles utilisées. En effet, les modèles macro-économiques visent à représenter les mécanismes du système économique d'un pays ou d'une région et à capter ou simuler les effets d'un choc exogène comme celui constitué par l'intervention des programmes structurels. Or, il n'existe pas une représentation unique et complète de la réalité économique. 5. Le modèle économétrique HERMIN, qui prend en compte les spécificités de chaque État membre et agrège les effets au niveau national, part de l'hypothèse que les économies n'opèrent pas en pleine utilisation de leur capacité de production et que, par conséquent, les effets multiplicateurs et accélérateurs liés aux accroissements en investissement créent une expansion de la production et de l'emploi, et semble donner des résultats satisfaisants en termes d'effets sur la demande. En ce qui concerne les effets sur l'offre, la baisse du chômage induit, selon le modèle, un accroissement de salaires en prenant en compte la relation de Phillips tout en limitant l'effet sur l'inflation; par ailleurs les effets sur la productivité sont explicitement pris en compte en modélisant les effets d'économies externes que l'accroissement et l'amélioration du capital humain et du capital physique public et privé ont sur la productivité. Cette prise en compte est cependant différente d'un pays à l'autre. Le modèle ne fournit que des informations partielles en matière de développement durable, ne considérant notamment pas les aspects de variation du taux de change en vue de garantir l'équilibre de la balance des paiements, ou des variations de transferts fiscaux. 6. Le modèle macro-économétrique HELM, qui a été mis en oeuvre pour l'évaluation intermédiaire du DOCUP 1994-1999 O1 de la Province du Hainaut (Belgique), est l'un des seuls à prendre en compte spécifiquement l'approche régionale de développement en considérant les effets de la croissance endogène liés à la productivité à long terme, bien que l'amélioration de la productivité due à l'intervention des FS soit largement limitée au secteur industriel et concerne seulement la productivité du travail. Partant du même type de prémisse que le modèle HERMIN quant à l'utilisation des capacités de production et aux effets multiplicateurs et accélérateurs des investissements sur la demande, il indique des effets globaux et agrégés du DOCUP sur l'économie du Hainaut tels que l'investissement cumulé généré, la valeur ajoutée ou l'emploi dans les secteurs de l'industrie manufacturière et des services marchands pendant la période 1994 jusqu'à l'horizon 2002 ou 2005. Il est à noter que le modèle HELM prend bien en compte les exportations régionales, mais pas les importations en provenance d'autres régions, risquant ainsi de surestimer les effets sur la demande. Cette demande est encore renforcée par le fait que n'ont été pris en compte ni les ajustements de salaires liés à la baisse du chômage, ni des coûts plus élevés ou des contraintes de capacité. Le modèle HELM donne également peu d'indications sur l'évolution du chômage ou sur l'offre de l'emploi. Enfin, il se base sur des informations statistiques historiques, mais celles-ci n'ont pas fait l'objet d'un test de corroboration avec d'autres séries d'informations pertinentes. 7. Les modèles d'équilibre général calculable s'appliquent plus particulièrement au niveau national. Ils mettent en évidence les effets d'offre sur le long terme provenant des interventions structurelles communautaires. Le modèle OGM qui a adopté un cadre de croissance endogène intertemporelle, considère que les marchés des facteurs de production sont en équilibre et que l'économie opère en pleine utilisation de la capacité de production. Des changements dans la demande n'ont aucun effet sur la production et l'emploi, et les programmes des FS ne peuvent stimuler la croissance qu'en augmentant la productivité; ces effets de productivité sont clairement spécifiés dans la fonction de production. Le modèle vise à déterminer un optimum pour le pays en maximisant une fonction de bien être social intertemporel. Partant de l'hypothèse d'une situation sans incertitude, les agents économiques, anticipant parfaitement le volume des fonds qui leur sera alloué et la période sur laquelle l'aide s'étalera, sont censés prendre des décisions optimales de consommation et d'investissement par rapport à ces données. Enfin, le modèle OGM prévoit à long terme l'équilibre de la balance de paiement et l'équilibre budgétaire. 8. Le modèle BBM prévoit pour certains secteurs que les marchés du travail sont en équilibre et que, dès lors, les effets de demande n'influent pas sur la production et l'emploi, tandis que pour d'autres secteurs une expansion de la demande est censée générer de la croissance. Le modèle incorpore également des effets de productivité liés aux changements technologiques induisant des réductions d'inputs. 9. Le modèle entrées-sorties DIO cherche à représenter les liens entre toutes les ressources dont dispose une économie et toutes les consommations finales. Elle détermine ainsi des interdépendances au niveau des différents secteurs d'un pays, reliés entre eux sur la base de consommations intermédiaires. L'approche entrées-sorties maximalise les effets des interventions structurelles sur la demande et ignore ceux sur l'offre (effets sur la productivité, sur les salaires, ajustement inflatoire). Le développement durable n'y est pas traité. Le modèle FIDIMI est une combinaison de modèle d'équilibre général et de modèle entrées-sorties et permet d'analyser les effets sur le Nord de l'Italie d'interventions communautaires réalisées dans le Sud de l'Italie. 10. Parmi les autres techniques existantes pour évaluer les effets des politiques régionales, Eurostat utilise surtout l'analyse structurelle - résiduelle pour évaluer l'impact des FS dans certaines zones éligibles de l'O1 ou de l'O2. Cette analyse s'attache à identifier le résidu, qui est donné par la différence entre la situation réelle et la situation contre-factuelle issue de l'application des tendances nationales estimées. Toutefois, l'impact ainsi délimité mélange à la fois les résultats du programme en cours d'évaluation, des autres actions politiques nationales et européennes ainsi que la trajectoire passée de la politique régionale. De plus, les études effectuées par Eurostat en 1997 comprennent des données concernant des indicateurs dont les plus récentes sont en date de 1993, ce qui relativise beaucoup la valeur de leurs conclusions. 11. Le modèle QUEST II cherche à analyser les économies des États membres, et leurs interactions avec le reste du monde, notamment avec les États-Unis et le Japon. Le modèle s'intéresse plus particulièrement à la transmission des effets de la politique économique sur le plan national et international. Il a été initialement conçu pour servir comme outil de simulation et moins pour la prévision. Le modèle QUEST II intègre maintenant plus les effets de l'offre que le précédent et prend plus en considération les interactions en termes de stocks. Toutefois, les implications en termes de changement de comportement des agents économiques sont peu ou insuffisamment prises en compte dans QUEST II. >EMPLACEMENT TABLE> >EMPLACEMENT TABLE> >EMPLACEMENT TABLE> (1) HERMIN: Modèle économétrique qui se base sur le modèle original HERMES (Harmonised Econometric Research for Modelling Economic Systems) mais ayant la particularité d'être de taille minimum (Min), d'où (HER)MIN. (2) HELM: Hainaut Economic Lead-in Model (3) QUEST II: A Multy Country Business Cycle and Growth Model - Economic Papers n° 123 - October 1997. DG II - Affaires économiques et financières. (4) Optimal Growth Model (OGM) de Pereira (1991 et 1995). (5) Bourguignon, Branson et de Melo model (BBM) de Lolos et Zonzilas (1992). (6) Dynamic Input-output model (DIO) de Beutel (1995, 1996 et 1997). (7) FIDIMI Consulting Company, Évaluation de l'impact macro-économique du CCA Objectif 1 - Italie et des mécanismes de mise en oeuvre. (8) La Cour a bénéficié des services d'un évaluateur externe hautement spécialisé dans le domaine des modèles macro-économiques et de l'économie européenne. RÉPONSES DE LA COMMISSION I. COMMENTAIRE GÉNÉRAL La Commission reconnaît que la démarche d'évaluation, ayant un caractère novateur pour beaucoup, souffre encore d'approximation quant à son contenu et l'emploi qui peut en être fait, mais rappelle qu'en l'espace de quelques années, des progrès remarquables ont été obtenus. Consciente des difficultés restant encore à vaincre, la Commission a multiplié ses efforts tant sur le plan organisationnel que méthodologique afin de se rapprocher d'une situation aussi satisfaisante que possible, menant un dialogue constant avec tous ceux qui, dans les différents pays de l'Union, réfléchissent et développent des recherches dans ce domaine. Trois grandes étapes caractérisent le développement de la démarche d'évaluation des interventions des Fonds structurels, liées aux 3 périodes de programmation: Période 1989-1993: Les règlements de la 1ère réforme des Fonds structurels n'ont été adoptés par le Conseil qu'en décembre 1988; les plans nationaux déposés début 1989, ne reflétaient qu'en partie les exigences en matière de vision stratégique, choix des objectifs à atteindre et quantification des impacts escomptés. Dès lors, les travaux d'évaluation ex-post ont tenté de pallier ces carences en comparant les résultats obtenus avec des objectifs reconstitués. Ce travail considérable comporte ses propres limites qui se reflètent dans des rapports consacrés aux interventions dans les zones de l'Objectif 1 et l'Objectif 2. Il constitue néanmoins la première tentative d'analyse cohérente de l'impact de cette réforme sur la cohésion économique et sociale. Période 1994-1999: Tant à la demande de certains États membres qu'à celle de la Commission, un renforcement de la réglementation en matière de suivi et d'évaluation, a suivi cette première expérience, avec la fixation des trois phases, ex ante, intermédiaire et ex post. Le succès de la phase intermédiaire n'est pas contestable. Allant au-delà même d'une stricte application des règlements, pour la première fois, les évaluations à mi-parcours ont été organisées par et au niveau de chaque comité de suivi, rapprochant évaluateur et bénéficiaires de l'évaluation. Les rapports qui ont été préparés ont fait l'objet de présentation et de débat au sein de chaque comité, donnant à cette démarche une fonction à la fois pédagogique et opérationnelle à laquelle les travaux organisés et conduits par la Commission peuvent difficilement prétendre. Il peut exister des discordances dans les méthodes utilisées, le choix des évaluateurs, le coût des travaux, le degré de détail des résultats, même si la coordination et l'encadrement général étaient assurés par l'unité de coordination de l'évaluation des services de la Commission et leurs correspondants nationaux au sein du groupe technique d'évaluation. Cependant, en dépit de certaines différences liées à la marge de manoeuvre dont dispose chaque État membre dans le cadre de la subsidiarité, la Commission estime que cette démarche a joué un rôle essentiel dans la diffusion d'une véritable culture de l'évaluation. La démonstration a ainsi été faite auprès des bénéficiaires qu'ils disposaient d'un outil opérationnel afin de mieux gérer les interventions financées par des sources tant nationales que communautaires. Les futures évaluations auront tout à gagner de cet état d'esprit car la qualité de leurs conclusions dépend autant de la qualité des informations détenues et délivrées par les gestionnaires que du degré d'expertise des évaluateurs indépendants. Période 2000-2006: Les nouvelles propositions de règlements visent en particulier à réduire encore les facteurs qui limitent la portée de la démarche d'évaluation, le souci principal étant d'accroître l'efficacité dans l'utilisation des Fonds structurels. C'est ainsi, notamment, que sont proposés: - une véritable incorporation de l'évaluation ex ante dans les plans que devront déposer les États membres avec une quantification rigoureuse des objectifs à atteindre; - la prise en compte des résultats des évaluations déjà réalisées soit thématiques, soit spécifiques par programme, de la période précédente; - l'établissement d'un lien étroit entre reprogrammation à mi-parcours et conclusions des évaluations intermédiaires. Dans un souci d'assurer une plus grande efficacité à l'utilisation des Fonds structurels, la Commission a proposé que 10 % du montant des Fonds structurels soit attribué à mi-parcours en fonction des performances réalisées, les critères de performance étant étroitement liés à la qualité de la programmation, du suivi et des évaluations ex ante et à mi-parcours. Enfin, dans un domaine plus strictement méthodologique, la Commission entend publier d'ici l'automne l'ensemble des travaux réalisés dans le cadre de MEANS (1) lui permettant d'assurer une harmonisation accrue de la démarche d'évaluation au sein de l'Union. Ceci concernera: - la description précise d'un cahier des charges et de la méthodologie pour une évaluation ex ante, intermédiaire ou ex post; - la présentation des différentes méthodes d'évaluation existantes dans la littérature et leurs conditions d'emploi; - l'analyse des systèmes d'indicateurs par domaine d'intervention. Harmonisation des concepts et liste indicative d'indicateurs; - la méthodologie des évaluations thématiques et leur organisation; - un glossaire multilingue des principaux concepts de l'évaluation; - une présentation des expériences nationales ou communautaires les plus innovantes. Les remarques suivantes montrent que, dans un certain nombre de cas, la Commission peut partager les observations de la Cour. Mais il convient de toujours prendre en compte les difficultés et les limites inhérentes à toute démarche d'évaluation même si celles-ci sont progressivement surmontées ou dépassées. En tout état de cause, cependant, il ne doit jamais être perdu de vue que l'évaluation est d'abord un outil technique d'aide à la décision ou à la gestion et qu'elle n'a pas pour vocation de se substituer aux décideurs politiques. Elle vise à éclairer, toujours partiellement, les conséquences des choix à prendre ou déjà décidés. Elle doit, en outre, conserver une nécessaire flexibilité quant aux méthodes retenues afin de tenir compte de contextes toujours différents d'une évaluation à l'autre. Enfin, la Commission rappelle que depuis le début de la réforme des Fonds, en 1988, les responsabilités réciproques des administrations nationales et de la Commission en matière de gestion des Fonds structurels et notamment en matière d'évaluation ne font que se préciser. En effet, les États Membres sont de plus en plus appelés à assumer une responsabilité principale et à réaliser leur propre évaluation. II. COMMENTAIRES SPÉCIFIQUES 2. PORTÉE DE L'AUDIT 2.3 La Cour n'a pas couvert, par son audit, des pays comme l'Allemagne et le Royaume-Uni, États membres présentant une attitude par rapport à l'évaluation particulièrement contrastée. 3. RÉSUMÉ DES PRINCIPALES OBSERVATIONS 3.2 La Commission estime que les cas d'évaluation pour lesquels elle ne disposerait pas d'éléments budgétaires sont marginaux en termes de coût. L'évaluation intermédiaire étant en plein développement et étant réalisée à un niveau décentralisé, le volume des dépenses qui leur est consacré est en pleine évolution. Les montants consacrés à l'évaluation sont ventilés par pays, objectif et type d'intervention. Des données ont aussi été publiées dans le bilan annuel de la Commission sur l'évaluation. La Commission poursuivra son action pour obtenir une identification systématique de la dépense réservée à l'évaluation dans les montants alloués à l'assistance technique et gérée au sein du partenariat. 3.3 Les règlements et le principe de subsidiarité n'accordent pas à la Commission des compétences pour un encadrement précis en termes de méthodologie d'évaluation et d'indicateurs. La Commission, dans son souci de faire évoluer les pratiques nationales et d'améliorer la qualité de l'évaluation, a: - mis en place le programme MEANS et diffusé huit cahiers de questions méthodologiques; - organisé trois conférences européennes sur les techniques et la pratique de l'évaluation; - diffusé des documents comme, par exemple, le cadre de référence pour les évaluations ex ante et un guide pour l'évaluation des grands projets; - mis en place des Groupes Techniques d'Evaluation avec la participation des États membres et organisé plusieurs séminaires. 3.5 Il existe une difficulté objective d'assurer une articulation entre l'évaluation ex post et les différentes phases de programmation des interventions structurelles. Une réelle évaluation ex post doit être menée deux ou trois ans après la fin de la programmation. Afin de résoudre cette difficulté, la Commission a poussé à la réalisation d'évaluations intermédiaires et d'évaluations thématiques. Ainsi, par exemple, des évaluations thématiques menées en 1992 et 1993 ont permis de disposer d'éléments pour la préparation de la programmation 1994-99. Pour la préparation de la programmation après 2000 les évaluations intermédiaires seront disponibles car elles sont déjà réalisées et des bilans d'évaluation, qui constituent un approfondissement et une actualisation des évaluations intermédiaires, se mettent actuellement en place pour chaque objectif. En outre, quatre évaluations thématiques ont également déjà été lancées. La Commission a, d'autre part, introduit ce dispositif dans ses propositions de modification des règlements. 3.6 Il convient de distinguer objectivité des évaluations et suffisance et qualité des données. La question des données est souvent mise en exergue dans le cadre de l'évaluation. Rares sont les rapports qui n'épinglent pas cette difficulté. On observe, néanmoins, une amélioration sensible de la situation au niveau des données grâce notamment aux exigences de l'évaluation. La Commission n'est pas satisfaite de l'état de la situation des données, mais cela ne doit pas être considéré comme une critique de l'évaluation, mais des systèmes de suivi. La Commission souligne le fait que le problème de la pertinence des données de monitorage et des indicateurs est d'ailleurs une question relevant principalement de l'audit du suivi. La Commission poursuit son action en vue d'améliorer la situation et donnera suite à l'observation de la Cour concernant une évaluation plus systématique de la fiabilité des données. Les activités menées au titre de l'audit et du contrôle permettront également de renforcer l'amélioration de la situation constatée sur le terrain depuis quelques années. 3.7 Les services concernés respectent les procédures de passation des contrats prévues par les directives en la matière et la procédure établie par la CCAM. Il n'est cependant pas possible de négocier le mandat avant la signature du contrat. Cela nécessite parfois des clarifications qui gênent la gestion des calendriers mais ce problème reste marginal. Par ailleurs, les services de la Commission ne peuvent être rendus seuls responsables de cette difficulté. Tant la compétence des consultants que la qualité des données disponibles peuvent être à l'origine des faiblesses de certains rapports d'évaluation: sur la base des mêmes termes de référence, certains rapports dans un pays peuvent être excellents alors que dans d'autres cas, ils sont insuffisants. 3.8 La Commission partage l'avis de la Cour sur les difficultés rencontrées par les premières évaluations organisées notamment dans un climat peu enthousiaste dans les États membres. Les évaluations ex post des Objectifs 1 et 2 ont été menées par des sociétés de consultants de renommée internationale et des experts de haut niveau et à partir d'une méthodologie commune. La deuxième partie du point 3.7 justifie tant la démarche que l'utilité de l'exercice, malgré ces contraintes. Les critiques de la Cour portent sur des évaluations menées en 1993-94, mais depuis, et à l'initiative de la Commission, beaucoup de travaux ont été menés pour le développement des méthodologies. La critique de la Cour sur l'évaluation ex post Objectif 2 est également en partie pertinente. Une vision plus pragmatique doit être cependant conservée quant à la possibilité de parvenir à une mesure quantitative précise de l'impact ou de la valeur ajoutée communautaire. 3.9 L'évaluation intermédiaire a porté sur l'analyse des réalisations des interventions. L'évaluation des effets sera plutôt conduite dans le cadre des bilans et des évaluations ex post. Cependant, ces évaluations ne sont pas toujours liées à la mise en place de modèles économétriques - souvent très coûteux - et pas toujours les plus adaptés à la mesure des impacts. L'évaluation est un instrument de support à la gestion et en tant que tel, ne constitue qu'un système d'aide relatif au processus décisionnel. 3.10 La Commission a constaté que le découpage en deux périodes de programmation de l'objectif 2 ne correspond pas de manière satisfaisante aux besoins des zones concernées et complique la mise en oeuvre des programmes. Les propositions de la Commission en mars 1998 pour la réforme des Fonds structurels retiennent une seule phase de programmation pour l'Objectif 2, comme c'est le cas pour les autres objectifs. 3.11 - 3.12 Afin d'éviter une multiplication d'évaluation de programmes ou de sous-programmes difficilement gérable, une approche plus sélective dans certains domaines clefs peut être parfois une solution mieux adaptée. La Commission partage l'avis de la Cour sur l'opportunité de réduire le nombre des mesures et sous-programmes, voire le nombre des programmes. Elle a d'ailleurs fait des propositions concrètes en ce sens dans le cadre de la réforme des Fonds. 4. PROBLEMES GENERAUX Introduction 4.1 La Commission, à plusieurs reprises, a regretté que certains États membres n'aient pas suffisamment quantifié leurs objectifs. L'absence d'une gestion par objectifs de la dépense publique nationale entrave également le développement des systèmes de gestion à base d'indicateurs. Par conséquent, il s'agit moins d'une défaillance du cadre méthodologique ou analytique que d'un problème de conception des programmes et de l'état de développement des statistiques nationales. 4.3 La Commission rappelle que: - dès 1994, elle a transmis aux États membres des «orientations communes pour le suivi et les évaluations intermédiaires»; - en décembre 1994, elle a présenté au Groupe Technique d'Evaluation - responsables de l'évaluation des États membres - un document cadre sur la finalité, le contenu et la démarche de la mise en oeuvre des évaluations intermédiaires. Cette première concertation a été suivie de quatre autres réunions au sein du même groupe; - en 1995, elle a mis à la disposition des administrations un cahier MEANS «organiser l'évaluation intermédiaire dans le cadre du partenariat» dont trois chapitres sur cinq traitent de «l'élaboration du cahier des charges et des appels d'offre», «la sélection des évaluateurs» et «la gestion de la qualité de l'évaluation»; - en 1996 et avant réception des premières évaluations, elle a mis à la disposition des administrations un cahier MEANS sur «l'appréciation de la qualité des rapports d'évaluation» avec une grille détaillée. 4.5 Il est cependant rappelé que certaines évaluations ont été menées dans le cadre du partenariat, même au cours de la période 1989-93. Ainsi les États membres et les comités de suivi ont activement participé à plusieurs évaluations initiées par la Commission - évaluations thématiques ou ex post. 4.10 La Cour note la faiblesse des montants destinés à l'évaluation des Objectifs 1 et 2 au cours de la première période de programmation. La quasi totalité des États membres n'ayant pas mené d'évaluation, seule, en fait la Commission a pris l'initiative d'une première évaluation de l'ensemble des CCA Objectif 1 et de 15 DOCUP de l'Objectif 2 au début de la période. Au-delà des évaluations thématiques qui concernent aussi la période 1989-93, la Commission a mené en outre une évaluation ex post pour l'ensemble des CCA et DOCUP Objectifs 1 et 2 de la période 1989-93. 4.11 La question de la connaissance du coût a été évoquée au point 3.2. Seules certaines évaluations lancées à la seule initiative d'État membre et financées par l'assistance technique pourraient ne pas être reprises dans le bilan financier des évaluations établi par la Commission. Il ne s'agit cependant que de montants marginaux par rapport à l'ensemble des autres travaux. Cadre de référence 4.12 - 4.13 Les documents MEANS ont été conçus comme des textes pédagogiques destinés à des administrations dont le niveau d'expertise est souvent en pleine évolution sur le domaine technique. La Commission a considéré comme une priorité de relever le niveau moyen de l'évaluation et pas celui des experts déjà spécialisés. Bases statistiques et informations relatives aux objectifs poursuivis 4.14 - 4.15 La Commission partage le constat de la Cour. Indicateurs 4.16 - 4.21 La Cour reconnaît les efforts entrepris par la Commission pour faire évoluer la question des indicateurs. Ainsi, les dispositions réglementaires ont été renforcées en 1993 et l'exercice de quantification des disparités a été lancé avec chaque État membre. Lors de l'évaluation ex ante la question de quantification des objectifs a été une priorité et des progrès ont été réalisés - les interventions 1994-99 sont nettement mieux quantifiées que les précédentes. La première tâche des évaluations intermédiaires a été l'amélioration des indicateurs et de leur efficacité. La Commission souligne que le problème n'est pas uniquement de compléter ou de réduire le nombre d'indicateurs, mais plutôt la difficulté rencontrée par les systèmes de suivi pour assurer la quantification régulière des indicateurs convenus et déjà existants dans les programmes. Il ne s'agit pas non plus d'un manque de cohérence de programmation, mais c'est le droit des autorités régionales et locales, au titre de la subsidiarité, de décider de leurs propres priorités et de l'ampleur de la programmation dans leurs pays. Toutefois, des progrès sont en cours sous la pression et les exigences de l'évaluation. L'analyse de la Commission étant qu'un simple encadrement méthodologique ne suffit pas, celle-ci compte prendre des initiatives plus poussées dans le cadre de la réforme des Fonds. Prise en compte de l'évaluation 4.23 La double phase de programmation n'a pas, en effet, facilité l'articulation évaluation/programmation et pour ces raisons, entre autres, la Commission a proposé une seule phase de programmation pour l'avenir. Néanmoins, la programmation 1997-99 a profité d'une évaluation ex post de la période 1989-93, et d'une appréciation ex ante des DOCUP menée sur l'initiative de la Commission, sur des questions relevant de sa compétence et des priorités de l'Union. S'agissant de l'évaluation ex post de la période 1994-96, la Commission estime que les évaluations menées dans le cadre de la reprogrammation et les évaluations thématiques relatives aux PME et R& D couvrent une partie importante de la question. La Commission discute, actuellement, avec les États membres le lancement d'une évaluation-bilan au deuxième semestre 1998, portant sur la période à partir de 1994. Cette évaluation (bilan) serait valorisée dans le cadre de la future programmation. 4.24 - 4.27 La Commission est en train d'établir un rapport, pays par pays, sur la qualité de l'évaluation et son apport à l'adaptation des interventions. Un rapport de synthèse reprendra l'essentiel de la révision à mi-parcours. Les éléments dont la Commission dispose ne corroborent pas les affirmations de la Cour couvrant des situations très différentes et des centaines de programmes. La Commission établira un bilan, lors de la présentation du rapport sur la révision à mi-parcours. Pour l'instant, la position de la Cour semble prématurée. La Commission rappelle également que les évaluations sont utiles, non seulement aux gestionnaires, mais aussi pour mieux rendre compte à l'autorité budgétaire et notamment au Parlement européen ainsi qu'aux citoyens. Objectivité des évaluations 4.28 - 4.30 Dans ces paragraphes, la Cour semble ne pas prendre suffisamment en compte la complexité du partenariat, malgré les positions positives exprimées aux points 6.5-6.7. Le débat sur l'objectivité et l'indépendance des évaluations est plus large que les questions liées à l'existence d'un cadre de référence précis d'application de méthodologies et du contrôle des données sur place. La qualité de l'évaluation est plus concernée par le degré de professionnalisme, l'éthique de la profession, l'interférence des intérêts des États membres etc. La Cour ne mentionne pas que le cahier MEANS N° 5 sur l'appréciation de la qualité des rapports d'évaluation prévoit explicitement - trois critères sur huit retenus - l'adéquation de la méthodologie, la fiabilité des données et la crédibilité des résultats. La Commission est engagée dans un effort d'amélioration constante des normes et du niveau d'exigence, tout en tenant compte des réalités sur le terrain. Dans ce sens-là, la Commission va s'engager plus dans l'appréciation du fonctionnement sur place des systèmes d'évaluation. Les contrats d'évaluation passés par la Commission 4.31 - 4.32 La Commission applique les normes et les procédures de passation du marché établies dans le cadre de la CCAM. Ainsi, la sélection des experts se fait sur la base des critères de sélection et des critères d'attribution publiés au Journal officiel des Communautés européennes. Leur application et les résultats de cet exercice font partie du rapport soumis au CCAM. En ce qui concerne le degré de précision des contrats, il y a lieu de tenir compte du fait que la Commission achète une expertise et elle a tout intérêt à ce que les contrats soient rédigés de façon à permettre aux experts engagés de déployer pleinement leurs connaissances en la matière. 4.33 La méthode suivie pour l'Objectif 1 n'est pas appropriée pour l'Objectif 2 qui comporte 60 programmes. Elle conduirait, vu le montant en cause et le nombre d'équipes, à un morcellement de l'appel d'offre qui irait à l'encontre de la lettre et de l'esprit de la directive sur les procédures de passation des marchés publics de travaux. La Commission, dans ces cas, a respecté les règles et elle était soucieuse de ne pas perdre la maîtrise des modalités de mise en oeuvre de l'évaluation. A cette fin, des «comités de pilotage» qui accompagnaient l'évaluation ont été mis en place et des réunions périodiques ont été organisées avec les équipes d'évaluation. Les rapports ont été par la suite validés avec les services gestionnaires. 4.34 La définition du cahier des charges dépend des besoins et des demandes d'information du commanditaire. Il convient au commanditaire de les définir et les unités de l'évaluation ont veillé sur leur contenu. Les termes de contrat, sauf le contenu du mandat, sont standardisés sur initiative de la CCAM. Comme cela a déjà été souligné, il n'y a pas une méthodologie généralement acceptée pour l'évaluation des programmes. Dans ce contexte et afin de ne pas perdre la maîtrise de l'approche retenue, la Commission discute la méthodologie et sa pertinence par rapport aux questions posées et l'applicabilité des techniques proposées. Les approches méthodologiques générales font partie du cahier des charges mais leurs spécifications et les outils techniques sont laissés à la discussion. 4.35 Dans ce cas concret, la Commission, avec l'accord des consultants de l'évaluation, a cherché à améliorer la qualité du rapport en organisant une rencontre/discussion sur le contenu et les enseignements, avec l'ensemble des unités et des fonctionnaires concernés. Le rapport final a été remis en mai 1995 (trois mois après la date prévue), accepté après consultation officielle en juin 1995 et payé en juillet 1995. Le rapport sur lequel la Cour appuie sa critique n'est qu'une mise au point par le consultant, sans budget supplémentaire. 4.36 La Commission souligne que les termes de référence ont été structurés autour de trois questions majeures et bien définies: la pertinence de la stratégie, le bilan et l'efficacité au niveau réalisations et l'efficacité des mécanismes de la mise en oeuvre (pages 2-4 du document). La Commission a expliqué au point 4.12 sa position sur la question des méthodologies. Les différents services sont consultés et le service chef de file prend ses responsabilités en décidant s'il accepte le rapport. 5. ÉVALUATIONS EX-POST DES CCA OBJECTIFS 1 et 2 (1989-1993) Introduction 5.1 La Commission partage les observations de la Cour sur les difficultés rencontrées par ces évaluations liées à la conception des programmes de la première génération. Évaluation ex post des CCA Objectif 1 (1989-1993) 5.4 Certaines remarques de la Cour sur ce point méritent d'être nuancées. a) Si les données sur les disparités régionales «sont trop anciennes», la critique concerne les offices statistiques mais pas la méthodologie de l'évaluation. b) Les évaluateurs ont adopté des techniques d'échantillonnage généralement pratiquées dans le cadre d'évaluation, ainsi que les études de cas pour des approfondissements spécifiques. Ces techniques bien utilisées apportent des enseignements pertinents. e) La Cour constate que l'analyse bottom-up n'a pas toujours permis de tirer des conclusions en termes d'impact au niveau des programmes. L'impact sur les politiques communautaires, l'impact sur l'amélioration de la gestion, sur la transparence, etc., ne peuvent cependant pas se faire top down, ni sur la base des modèles économétriques. g) La Cour avance des critiques sur des questions qui ne faisaient pas partie du mandat de l'évaluation. 5.7 La Commission confirme que, dans le cadre de sa responsabilité de rendre compte à l'autorité budgétaire, ainsi que dans le cadre des travaux au titre du rapport sur la Cohésion Economique et Sociale, les évaluations en question ont été pleinement utilisées. 5.8 L'un des trois objectifs du mandat de l'évaluation était, en effet, d'émettre des suggestions quant à l'amélioration du système de suivi et de gestion. La pertinence de la stratégie a également été analysée et un bilan de réalisation a été dressé qui a permis les analyses sur l'efficacité des interventions. Évaluations ex post Objectif 2 (1989-1993) 5.13 L'application systématique des modèles économétriques ne se justifie pas dans tous les cas, soit parce que le niveau de l'aide n'est pas élevé, soit parce que les séries statistiques régionalisées font défaut. La plupart des appréciations sur la politique figurent dans le rapport sur la Cohésion Économique et Sociale. La Commission a suggéré des adaptations dans le cadre de la nouvelle proposition pour la réforme des Fonds Structurels à partir de l'an 2000. 5.16 La Commission a déjà inclus dans ses propositions pour les nouveaux règlements un certain nombre des recommandations de cette évaluation. 6. ÉVALUATIONS INTERMÉDIAIRES (1994-1999) Développement et intégration des principes d'évaluation intermédiaire 6.1 - 6.20 La Commission partage le jugement de la Cour dans cette partie du rapport. Elle porte à l'attention de la Cour quelques clarifications: - Au point 6.15: La Commission considère que l'appréciation critique de la stratégie de développement, l'impact au regard des objectifs et la viabilité des projets relèvent plus particulièrement soit de l'évaluation ex ante, soit de l'évaluation ex post. - Au point 6.16: Le mandat des évaluations intermédiaires vise à l'adaptation des interventions et l'amélioration de la gestion. L'analyse de la valeur ajoutée communautaire fera plutôt partie des évaluations/bilan et des évaluations ex post. Néanmoins, l'analyse de l'impact des priorités communautaires à l'adaptation des interventions apporte, dans plusieurs cas, des informations utiles quant à la valeur ajoutée communautaire. - Au point 6.18: La Commission a cherché à travers l'évaluation intermédiaire, à saisir - dans la mesure du possible - la synergie entre les actions financées au titre des différents Fonds, notamment dans des pays avec des programmations séparées, comme c'est le cas des DOCUP Objectif 1 allemands. A cette fin, les évaluateurs nommés pour les actions FEDER ont fait la synthèse des évaluations menées au titre de chacun des Fonds. La Commission reconnaît que l'évaluation de la région, citée par la Cour, est particulièrement faible, mais qu'en tant que telle, elle n'est pas représentative de l'ensemble des évaluations réalisées dans ce pays. Il est exact de constater par exemple que l'évaluation intermédiaire n'a pas analysé les changements du plan financier indicatif qui résultaient d'une demande de changement du P.O. de la part du Land Brandebourg. En ce qui concerne le taux d'absorption des crédits élevé des actions citées, les adaptations successives des mesures ont été faites lors des Comités de suivi des 12/6/1996 et 5/8/1996. Approches, méthodes et techniques 6.21 La Cour critique une formulation vague des objectifs des évaluations intermédiaires dans les contrats. La Commission a bien donné des orientations mais dans certains cas, elles n'ont pas été suivies au niveau décentralisé. L'évaluation de l'efficacité et de l'efficience se fait sur la base d'approches bottom-up. Pour les grands CCA, pour lesquels se posait la question de cerner les conséquences de la reprogrammation sur les impacts globaux, des techniques relevant de la modélisation économétrique, ont été utilisées en Irlande, Espagne, Grèce, Portugal et Italie. 6.22 La Commission a mobilisé les meilleures expertises au niveau européen et aux États-Unis pour dégager les meilleures approches possibles sur l'évaluation des programmes. Les difficultés méthodologiques objectives, et souvent une insuffisance des systèmes de suivi, limitent la comparabilité des résultats au niveau européen. 6.23 En général les évaluations intermédiaires n'ont pas pour objectif la mesure de l'impact des programmes. Il s'agit d'un choix délibéré, car ces impacts ne sont pas concrétisés dès la première phase des interventions, l'enchaînement étant d'abord réalisations, ensuite résultats et enfin impacts. La question de l'estimation de l'impact global des grands CCA a été évoquée au point 6.21. 7. IMPACT DES FONDS STRUCTURELS ET MODÈLES D'ÉVALUATION Impact au niveau des CCA et des programmes 7.1 - 7.15 Dans cette partie du rapport, la Cour présente les résultats des différents modèles économétriques et macro-économiques ce qui, sans en expliquer ni la portée ni la nature, risque de créer une certaine confusion. Ces données figurent déjà dans le rapport sur la Cohésion Economique et Sociale d'une manière structurée, et avec l'encadrement approprié. Impact au niveau des sous-programmes, mesures et projets 7.16 - 7.19 La Cour semble critiquer l'absence d'évaluation au niveau sous-programmes ou mesures mais l'évaluation du programme, en général bottom-up, s'appuie forcément sur l'évaluation des mesures et des sous-programmes. De même, les évaluations thématiques, en cours, lancées par la Commission, visent plus spécifiquement et d'une manière horizontale certaines catégories de mesures et/ou de sous-programmes, comme c'est le cas des mesures PME, R& D, environnement, etc. 8. CONCLUSION 8.1 - 8.19 La Commission estime que les conclusions de la Cour représentent une critique constructive sur des questions sur lesquelles la Commission s'efforce de progresser depuis des années et sur lesquelles elle continue à travailler. La Commission admet que la Cour puisse pointer des faiblesses tout en constatant également les progrès réalisés. L'action menée par la Commission, au titre des Fonds structurels, confortée par l'exercice SEM 2000, conduit au développement d'une culture d'évaluation sans précédent. Rares sont les régions qui n'ont pas mené des évaluations et qui ne sont pas engagées dans ce processus. Tant le principe de subsidiarité que les difficultés et l'hétérogénéité des contextes tant géographiques que thématiques sont des facteurs qu'il convient aussi de prendre en considération. (1) Programme pluriannuel d'analyses et de propositions sur les méthodologies d'évaluation. Fin du document Document livré le: 11/03/1999

[ Enregistrement ] - [ Plan du site ] - [ Recherche ] - [ Aide ] - [ Commentaires ] - [ © ]