title: Informe especial n° 15/98 sobre la evaluación de las intervenciones de los Fondos Estructurales para los períodos 1989-1993 y 1994-1999, acompañado de las respuestas de la Comisión (presentado de conformidad con el segundo párrafo del apartado 4 del artículo 188 C del Tratado CE)

eurovoc_concepts:
Community support framework
Structural Funds
impact study
management
operational programme
project evaluation

text: 16. 11. 98 ES Diario Oficial de las Comunidades Europeas C 347/1 I (Comunicaciones) TRIBUNAL DE CUENTAS INFORME ESPECIAL No 15/98 sobre la evaluación de las intervenciones de los Fondos Estructurales para los períodos 1989-1993 y 1994-1999, acompañado de las respuestas de la Comisión (presentado de conformidad con el segundo párrafo del apartado 4 del artículo 188 C del Tratado CE) (98/C 347/01) ÍNDICE Puntos Página 1. INTRODUCCIÓN. 1. 1 — 1. 4 2. ALCANCE DE LA AUDITORÍA. 2. 1 — 2. 3 3. RESUMEN DE LAS PRINCIPALES OBSERVACIONES. 3. 1 — 3. 12 4. PROBLEMAS GENERALES. 4. 1 — 4. 36 Introducción. 4. 1 — 4. 11 Marco de referencia. 4. 12 — 4. 13 Bases estadísticas e información relativa a los objetivos perseguidos. 4. 14 — 4. 15 Indicadores. 4. 16 — 4. 21 Consideración de la evaluación. 4. 22 — 4. 27 Objetividad de las evaluaciones. 4. 28 — 4. 30 Contratos de evaluación celebrados por la Comisión. 4. 31 — 4. 36 5. EVALUACIONES POSTERIORES DE LOS MCA DE LOS OBJETIVOS 1 y 2 (1989-1993). 5. 1 — 5. 17 Introducción. 5. 1 Evaluación posterior de los MCA del objetivo 1 (1989-1993). 5. 2 — 5. 8 Evaluaciones posteriores del objetivo 2 (1989-1993). 5. 9 — 5. 17 3 3 4 5 5 6 7 7 8 8 9 9 9 10 11 C 347/2 ES Diario Oficial de las Comunidades Europeas 16. 11. 98 Puntos Página 6. EVALUACIONES INTERMEDIAS (1994-1999). 6. 1 — 6. 27 Desarrollo e integración de los principios de evaluación intermedia. 6. 1 — 6. 7 Procedimientos de aplicación. 6. 8 — 6. 13 Prioridad concedida a los objetivos de evaluación. 6. 14 — 6. 20 Enfoques, me´todos y te´cnicas. 6. 21 — 6. 26 Realización de los programas del objetivo 2 (1994-1996). 6. 27 7. IMPACTO DE LOS FONDOS ESTRUCTURALES Y MODELOS DE EVA- LUACIÓN. 7. 1 — 7. 22 Impacto de los MCA y de los programas. 7. 1 — 7. 15 Resultados de los modelos en materia de impacto de los Fondos. estructurales 7. 1 — 7. 13 Crecimiento del PIB. 7. 2 — 7. 3 Convergencia real en te´rminos de PIB per capita. 7. 4 — 7. 8 Empleo y desempleo. Eficacia de los instrumentos de los MCA. 7. 9 7. 10 Obligación de adicionalidad y de cofinanciación. 7. 11 — 7. 12 Desarrollo sostenible. 7. 13 Papel de la evaluación en el ámbito macroeconómico en el proceso de toma de decisiones de los fondos estructurales. 7. 14 — 7. 15 Repercusión en el ámbito de los subprogramas, medidas y proyectos. 7. 16 — 7. 22 8. CONCLUSIÓN. 8. 1 — 8. 19 TABLAS. ANEXOS. Respuestas de la Comisión. 13 13 14 15 15 16 17 17 17 17 17 18 18 18 18 19 19 20 22 31 40 16. 11. 98 ES Diario Oficial de las Comunidades Europeas C 347/3 1. INTRODUCCIÓN 1. 1. La reforma de los Fondos Estructurales de 1988 introdujo la obligación para la Comisión y los Estados miembros de evaluar las políticas estructurales europeas. En 1993, se reforzó esta obligación mediante la reglamen- tación modificada con motivo de la revisión de la reforma de los Fondos Estructurales (1994–1999), y las cláusulas normalizadas de los nuevos Marcos comunita- rios de apoyo (MCA) y de los documentos únicos de programación (DOCUP). 1. 2. La evaluación, instrumento indispensable para una buena gestión de los Fondos Estructurales, se define en las principales disposiciones reglamentarias (1) como una apreciación de la eficacia a tres niveles: a) el impacto del conjunto de las acciones estructurales sobre los objetivos contemplados en el artículo 130 A del Tratado; b) el impacto del conjunto de las acciones previstas en los MCA; c) el impacto específico de cada intervención operativa (programas y otras formas de intervención). 1. 3. La ejecución de la evaluación consta de tres fases principales: a) la apreciación previa (ex ante) (2), durante la cual han de identificarse correctamente, por una parte, los problemas socioeconómicos existentes y los objetivos a alcanzar y, por otra, la estrategia adoptada con los medios disponibles para responder a ellos; b) la evaluación intermedia, que permite comprobar, durante la ejecución de un programa, si los objetivos siguen teniendo validez y si los resultados deseados llevan camino de alcanzarse; c) la evaluación posterior (ex post), que se emprende cuando ha concluido el programa y sirve para anali- zar si los resultados y efectos obtenidos pueden consi- derarse positivos, teniendo en cuenta por supuesto que los efectos a largo plazo de una acción estructural no pueden comprenderse hasta varios años despue´s de su finalización. (1) Se trata concretamente de: a) el artículo 6 del Reglamento marco [Reglamento (CEE) no 2052/88, modificado por el Reglamento (CEE) no 2081/93], relativo a las funciones de los Fondos con finalidad estructural y a su eficacia, así como a la coordinación entre sí de sus intervenciones; b) el artículo 26 del Reglamento de coordinación de los Fondos [Reglamento (CEE) no 4253/88, modificado por el Reglamento (CEE) no 2082/93]. (2) La apreciación previa se denomina en ocasiones evaluación previa. En el presente informe, el Tribunal ha preferido emplear los te´rminos reglamentarios de «apreciación pre- via». 1. 4. La reglamentación, modificada en 1993, subraya la responsabilidad tanto de los Estados miembros como de la Comisión en materia de evaluación, que se inscribe en el marco de la cooperación (3). En este contexto, la Comisión ha tomado la iniciativa de la dirección y coordinación general de la ejecución de la evaluación y presenta un informe trienal de evaluación, previsto en el artículo 16 del Reglamento (CEE) no 2052/88, sobre los progresos realizados en materia de cohesión económica y social y sobre la contribución a ellos de los fondos y la cofinanciación nacional. 2. ALCANCE DE LA AUDITORÍA 2. 1. El objetivo general de la encuesta del Tribunal (4) era comprobar los progresos realizados en materia de evaluación de las intervenciones estructurales comunita- rias tanto en lo que se refiere a los sistemas y procedi- mientos de evaluación como desde el punto de vista metodológico. El examen se centró en las modalidades de ejecución de la evaluación tanto por parte de la Comisión como en el marco de la cooperación. Se examinaron la utilización legal y regular de los cre´ditos del presupuesto de las Comunidades Europeas destinados a la evaluación, así como la calidad de la gestión financiera. 2. 2. En el marco de la encuesta se examinaron tambie´n las te´cnicas de evaluación de la repercusión socioeconó- mica de las acciones estructurales. Aunque no se preten- día realizar una evaluación directa de los programas que produjese nuevos resultados científicos, se mencionan algunos de los resultados comprobados por expertos con el fin de captar mejor la relación existente entre los instrumentos de política económica utilizados y los resul- tados obtenidos. 2. 3. Se realizaron encuestas específicas sobre las evalua- ciones posteriores de los MCA y los programas operati- vos (PO) de los objetivos 1 y 2 para el período de programación de 1989–1993 y sobre las evaluaciones intermedias de los MCA, DOCUP y PO del período de programación de 1994–1999. Se tuvieron en cuenta todas las evaluaciones posteriores de los MCA 1989–1993 del (3) La acción estructural comunitaria se concibe como comple- mento de las acciones nacionales correspondientes o como contribución a e´stas. Se establece mediante una estrecha concertación, denominada «cooperación», entre la Comisión, el Estado miembro, las autoridades regionales y locales, otras autoridades competentes, los interlocutores económicos y sociales y demás organismos competentes. La cooperación se lleva a cabo dentro del pleno respeto de las competencias institucionales, jurídicas y financieras de cada parte. (4) En sus informes anuales relativos concretamente a los ejerci- cios 1990 (capítulo 7), 1993 (capítulos 6, 7, 8 y 9) y 1994 (capítulo 4), el Tribunal comentaba ya la existencia de numerosas carencias en materia de evaluación para el perío- do de programación de 1989 a 1993. C 347/4 ES Diario Oficial de las Comunidades Europeas 16. 11. 98 objetivo 1, así como en torno al 20 % de los informes de evaluación posterior de los MCA 1989–1993 del objetivo 2 y el 15 % de los informes de evaluación intermedios del MCA 1994–1999, seleccionados en función de su distri- bución geográfica y de la naturaleza de las intervenciones (MCA, DOCUP, PO). Por otra parte, de los 25 informes de evaluación relativos principalmente a aspectos macroe- conómicos se analizaron 15. La encuesta se llevó a cabo entre los servicios de la Comisión y en ocho Estados miembros (Be´lgica, Grecia, España, Francia, Irlanda, Ita- lia, Países Bajos, Portugal), donde se consultó a los evaluadores y a los responsables de las administraciones nacionales. 3. RESUMEN DE LAS PRINCIPALES OBSERVACIONES 3. 1. La evaluación se desplegó y difundió por impulso de la Comisión en el curso del período de programación 1994–1999, especialmente en el marco del FEDER. Ello tuvo como consecuencia el reconocimiento de dicho ins- trumento en el marco de la gestión y la programación. A partir de este período de programación (1994–1999) se aplica sistemáticamente la evaluación en las dos primeras fases (previa e intermedia) y tambie´n al final del período (evaluación posterior) (ve´anse los puntos 4. 2–4. 8). 3. 2. La Comisión, aun conociendo sus gastos directos para la evaluación, no dispone siempre de la totalidad de las informaciones concernientes a los gastos correspon- dientes a la evaluación en el marco de la cooperación (ve´anse los puntos 4. 9–4. 11). 3. 3. La Comisión ha contribuido decisivamente a difun- dir la cultura de la evaluación, aun cuando no ha ofrecido una definición suficiente sobre los indicadores ni sobre la metodología de evaluación en su programa «Me´todos de evaluación de las acciones de naturaleza estructural» (MEANS). Habida cuenta de la complejidad de los aspectos metodológicos de la evaluación, no existe una única metodología aplicable a toda situación específi- ca. Sin embargo, es importante que la Comisión este´ en condiciones de ofrecer directrices metodológicas que per- mitan disponer de las orientaciones adecuadas para llevar a cabo evaluaciones adaptadas a situaciones concretas (ve´anse los puntos 4. 12–4. 13). 3. 4. La calidad de los indicadores está estrechamente ligada a la fiabilidad de los datos resultantes del segui- miento de las intervenciones y de las bases estadísticas existentes, las cuales, al ser competencia de los Estados miembros, resultan a menudo insuficientes; los Estados miembros deberían mejorar su calidad (ve´anse los puntos 4. 14–4. 21). 3. 5. Muchas evaluaciones concluyen tarde, lo que puede retrasar los ajustes de los programas. Por otra parte, los resultados de la evaluación en te´rminos de rendimiento o de eficacia de las formas de intervención podrían tenerse más en cuenta en el sistema de toma de decisiones relativo a los puntos las reprogramaciones (ve´anse 4. 22–4. 27). 3. 6. En cuanto a la objetividad de las evaluaciones, la Comisión no procede a ningún control sobre el terre- no de la coherencia y la fiabilidad de los indicadores o de los sistemas que los puntos 4. 29–4. 30). los producen (ve´anse 3. 7. Los procedimientos empleados por la Comisión para la celebración de los contratos de consultores en materia de evaluación siguen presentando importantes puntos de´biles. La elección de los consultores no siempre está claramente justificada. Los pliegos de condiciones siguen siendo muy generales por lo que respecta a la te´cnica propia de la metodología, los indicadores o las obligaciones de resultado. De ello se derivan retrasos y trastornos en la elaboración de los informes de evalua- ción, una calidad variable del análisis y, a veces, recomen- daciones vagas (ve´anse los puntos 4. 31–4. 36). 3. 8. La aplicación de las metodologías relativas a las evaluaciones posteriores de los objetivos 1 y 2 (1989–1993) tuvo que hacer frente a lagunas estadísticas, a una ausencia de objetivos e indicadores de previsiones cuantificados y a un seguimiento de los efectos ineficaz, y no siempre se ha llevado a cabo de manera suficiente- mente rigurosa; además, se realizó de forma imperfecta y heteroge´nea. Con todo, dichas evaluaciones pusieron de manifiesto la existencia de un valor añadido comunitario de los Fondos Estructurales tanto en lo que se refiere a realizaciones, resultados y efectos de los MCA, los PO y las medidas como en materia de programación, organiza- ción, seguimiento, coordinación, cooperación y adiciona- lidad los puntos 4. 15–4. 19, 5. 1, 5. 4 y 5. 10–5. 16). (ve´anse las intervenciones de 3. 9. Por lo que respecta a las evaluaciones intermedias de los Fondos Estructurales 1994–1999, realizadas en cooperación en el marco de los comite´s de seguimiento, la prioridad concedida a los distintos objetivos de evaluación es variable, aunque en todas ellas ocupe un importante lugar el examen de las realizaciones físicas y financieras. La evaluación de los efectos se vio obstaculizada por problemas relativos a los indicadores y a la modelización de los efectos. Muy a menudo, no deja de ser relativa la utilidad de estas evaluaciones para el proceso de toma de decisiones, la gestión de los proyectos, la reprogramación o la prepara- ción de los puntos futuras 4. 16–4. 21, 6. 5, 6. 7 y 6. 14–6. 26). intervenciones (ve´anse 16. 11. 98 ES Diario Oficial de las Comunidades Europeas C 347/5 3. 10. En lo que se refiere concretamente al objetivo 2, la evaluación ha puesto de manifiesto los siguientes puntos de´biles: a) la inadecuación entre la realización de los programas y la financiación comunitaria; en efecto, las prórrogas de cre´ditos de un programa a otro siguen siendo importantes, del orden del 12 % en promedio en el paso del período de 1994–1996 a 1997–1999 (ve´anse los puntos 6. 27–6. 28); b) la sucesión de períodos de programación cortos no permite una utilización óptima de los resultados de la evaluación (ve´ase el punto 4. 23); c) siguen midie´ndose insuficientemente los efectos indi- rectos para determinar la repercusión de las interven- ciones estructurales, en particular en materia de empleo (ve´anse los puntos 5. 12–5. 15). 3. 11. Las evaluaciones macroeconómicas realizadas han arrojado resultados positivos, en particular en cuanto a la repercusión de las acciones estructurales (incremento del PIB, efectos sobre la oferta y la demanda, mejora del empleo y de la convergencia, eficacia de los instrumentos de los MCA), a pesar de las lagunas existentes en los sistemas de programación, aplicación y seguimiento de dichas acciones (ve´anse los puntos 7. 1–7. 14). 3. 12. Las evaluaciones sobre subprogramas o medidas siguen siendo insuficientes, pues tropiezan con dificulta- des te´cnicas derivadas de la dispersión y la falta de coherencia de gran número de medidas y subprogramas (ve´ase el punto 7. 17). 4. PROBLEMAS GENERALES Introducción 4. 1. El objetivo de la evaluación es determinar los efec- tos socioeconómicos de las acciones emprendidas, es decir, examinar los resultados obtenidos, compararlos con los recursos invertidos y analizar su coste; y todos estos puntos deben ser objeto tambie´n de un análisis con relación a las previsiones. Ahora bien, para llevar a cabo esta tarea de evaluación, es indispensable disponer de una buena base estadística, establecer unos objetivos cuantifi- cados sobre la base de un sistema de indicadores y desarrollar el marco metodológico y analítico; hay que apoyarse además en el análisis de las relaciones existentes entre medios utilizados, resultados finales y resultados intermedios. El Tribunal ha detectado fallos en todos estos ámbitos que hasta ahora han limitado la utilidad de las evaluaciones realizadas en el marco de los Fondos Estructurales, aun cuando se hayan registrado verdaderos progresos que contribuyen a consolidar la dinámica de la evaluación. 4. 2. Desde la reforma de 1988, la evaluación se inscribe explícitamente en el marco de la cooperación [artículo 26 del Reglamento (CEE) no 4253/88, precisado en el Regla- mento (CEE) no 2082/93. En el curso del primer período de programación y hasta 1995, las evaluaciones se han efectuado sin embargo por iniciativa de la Comisión (5). Dichas evaluaciones —especialmente las de carácter pos- terior— se han visto lastradas por estrategias de desarro- llo poco precisas y por un seguimiento insatisfactorio; por lo demás, generalmente no han sido objeto de una consideración detallada y de una profunda discusión en los comite´s de seguimiento. 4. 3. En un primer momento, la Comisión procuró sobre todo crear su propio dispositivo de evaluación para el conjunto de los MCA, que contemplaba los cinco objeti- vos prioritarios de la reforma (6). Entre las iniciativas de la Comisión relacionadas con el desarrollo de las evalua- ciones y su metodología, cabe citar en particular la creación en 1992 del grupo te´cnico «Evaluación de las políticas regionales» y, en el plano metodológico, el lanzamiento en 1994 del programa «Me´todos de evalua- ción de las acciones de naturaleza estructural» (ME- ANS). 4. 4. Para el período de programación 1994–1999, la Comisión ha estado en la base de una nueva dinámica de evaluación, reflejada desde entonces en su aplicación sistemática a las dos primeras fases (anterior e interme- dia) y finalmente a la fase posterior. 4. 5. La evaluación intermedia, si bien no prevista de manera expresa en los reglamentos de los Fondos Estruc- turales, fue aplicada a partir de 1995–1996 en todos los MCA, DOCUP y PO del período de programación 1994–1999. Esta se inscribe en particular en el marco de la cooperación, proporcionando a los comite´s de segui- (5) Se trata de las siguientes evaluaciones: a) para el período de programación 1989–1993: — apreciaciones previas de los MCA de los objetivos 1 y 5b (1990–1991), — evaluaciones posteriores de los MCA del objetivo 1 (1994–1995), — evaluaciones posteriores de los MCA objetivo 2 (1996–1997), — evaluaciones temáticas (PYME, telecomunicacio-nes); b) para el período de programación 1994–1999: — apreciaciones previas de los planes de desarrollo regional del objetivo 1, — apreciaciones previas de los programas del objetivo 5b, — apreciaciones previas de los DOCUP del objetivo 2 1994–1996, — apreciaciones previas de los DOCUP del objetivo 2 1997–1999, — análisis críticos de los DOCUP y MCA del objetivo 1 (1995) La Comisión ha encargado tambie´n evaluaciones por Estado miembro de la repercusión de las políticas estructurales europeas sobre la cohesión económica y social de la Unión. (6) Nota de la DG XXII del 14 de marzo de 1991. C 347/6 ES Diario Oficial de las Comunidades Europeas 16. 11. 98 miento una herramienta de gestión integrada y contri- buyendo con ello a una amplia difusión de la cultura de la evaluación. Para la evaluación intermedia, la Comisión preparó un mecanismo en fases sucesivas para su aplica- ción en los Estados miembros (7). 4. 6. Sin embargo, este dispositivo no precisaba las modalidades concretas del proceso (definición del pliego de condiciones, criterios de selección del evaluador, estructura del informe de evaluación, recogida de los datos, normas de calidad exigidas, calendario, etc. ). 4. 7. Paralelamente, la Comisión organizó manifestacio- nes que completó con numerosas publicaciones (8). En dichas manifestaciones tuvieron ocasión de reunirse los profesionales de la evaluación y los gestores de los Fondos Estructurales, lo que contribuyó al desarrollo de la cultura de la evaluación y a la sensibilización de los gestores. La evaluación se presentó esencialmente como un proceso de aprendizaje nacido de la experiencia. 4. 8. La Comisión presentó en mayo de 1998 en el marco del anteproyecto de presupuesto general de las Comunidades Europeas para el ejercicio de 1999 el documento de trabajo «Balance de evaluación 1996/ 1997», en el que describe las actividades de evaluación realizadas en 1996–1997, ofrece una lista de las evalua- ciones realizadas y en curso de realización y hace una (7) a) Elaboración en 1994 de los primeros te´rminos de referen- cia para la evaluación intermedia de MCA y de las formas de intervención del objetivo 1. Confirman el papel de la evaluación intermedia como instrumento de ayuda a la toma de decisiones para los comite´s de seguimiento y su realización en cooperación. Precisan asimismo las modalidades de aplicación, en particular el perfil del equipo de evaluación y sus tareas. b) Difusión en 1995 de las «orientaciones comunes para el seguimiento y las evaluaciones intermedias» de los FE comunitarios que definen los elementos de análisis (obje- tivos globales y específicos, indicadores), así como el vínculo entre el seguimiento y la evaluación intermedia. c) Envío de cartas a los Estados miembros (1995) recor- dando la obligación de efectuar la evaluación intermedia y precisando de nuevo las modalidades de aplicación deseadas. (8) Como las siguientes: a) la conferencia de Bruselas sobre la evaluación de la política regional europea (16 de noviembre de 1995) relativa, en particular, a los resultados de las evaluaciones posteriores del objetivo 1 1989–1993 y de las apreciacio- nes previas 1994–1999; b) la conferencia europea sobre los me´todos de evaluación de las intervenciones de los Fondos Estructurales (Berlín, 2 y 3 de diciembre de 1996) que versó esencialmente sobre los problemas de evaluación de la repercusión en los ámbitos microeconómico, macroeconómico y temáti- co; c) la conferencia de Sevilla de marzo de 1998 orientada a favorecer los intercambios de experiencia en materia de evaluación en el marco de la cooperación. síntesis de los resultados de las evaluaciones emprendidas en 1996–1997. 4. 9. Los gastos de evaluación pueden ser o bien finan- ciados directamente por la Comisión, o bien cofinancia- dos con los Estados miembros. En las tablas 1 y 2 se indican los gastos directamente efectuados por la DG XVI en materia de evaluación durante los dos períodos de programación de 1989–1993 y 1994–1999. 4. 10. En el período de 1989–1993, dichos gastos ascen- dieron a 10 millones de ecus, como se muestra en la tabla 1. Alrededor de las dos terceras partes se efectuaron en dos ámbitos que son responsabilidad directa de la Comi- sión y pertenecen a su propia iniciativa: las iniciativas comunitarias en virtud del artículo 11 del Reglamento (CEE) no 4253/88 por un importe de 3,1 millones de ecus, y las evaluaciones transversales y temáticas, como las PYME, las telecomunicaciones, el medio ambiente o los recursos humanos, por un importe de 3,2 millones de ecus. Los importes destinados a la evaluación de los objetivos 1 y 2 de los Fondos Estructurales siguieron siendo sin embargo relativamente bajos, habida cuenta que en el mismo período la cooperación se desarrolló escasamente en el ámbito de la evaluación. En abril de 1998, el gasto en evaluación para el período de 1994–1999 ascendía a 25,2 millones de ecus, como se muestra en la tabla 2. Este aumento con respecto al período anterior se explica por el desarrollo de la evalua- ción intermedia y de la metodología correspondiente en el marco de la cooperación. 4. 11. Por lo que respecta a los gastos efectuados por la Comisión y los Estados miembros en este marco, que se han incrementado mucho desde 1996, la Comisión no siempre dispone de la totalidad de las informaciones correspondientes, especialmente cuando las evaluaciones se incluyen en la medida «asistencia te´cnica» de los programas operativos, que puede abarcar tambie´n otros gastos. Podría preverse la concesión de un importe especí- fico para las necesidades de evaluación desde la fase inicial de programación, lo que haría su coste más transparente. Marco de referencia 4. 12. En el proceso de desarrollo de la evaluación, el programa MEANS (1995–1998), con un importe total de 2,8 millones de ecus, ocupa un lugar específico (9). El procedimiento aplicado tiene por objeto propiciar un desarrollo metodológico uniforme y coherente mediante el inventario de las metodologías utilizadas por los Esta- (9) Este programa fue gestionado conjuntamente por la Comi- sión y un consultor externo, cuya participación se financió con cargo a la línea B2-1 8 2 0 por un importe anual de 932 000 ecus. 16. 11. 98 ES Diario Oficial de las Comunidades Europeas C 347/7 dos miembros y la presentación de ejemplos válidos. Este enfoque, esencialmente incitativo y empírico, no permite a la Comisión pronunciarse sobre las modalidades con- cretas de aplicación de los me´todos de evaluación o sobre la elección de indicadores, en particular los dirigidos a medir la repercusión socioeconómica en el campo del desarrollo regional. Habida cuenta de la complejidad de los aspectos metodológicos de la evaluación, no existe una única metodología aplicable a toda situación específi- ca. Sin embargo, es importante que la Comisión este´ en condiciones de ofrecer directrices metodológicas que per- mitan disponer de las orientaciones adecuadas para llevar a cabo evaluaciones adaptadas a situaciones concretas. 4. 13. Los resultados del programa MEANS han servido hasta ahora para sentar los cimientos de un nuevo procedimiento de evaluación, en particular mediante la introducción de un lenguaje común, y han permitido preparar la evaluación intermedia en el marco de la cooperación. En las tablas 3 y 4 se muestra el procedi- miento de evaluación generalmente aceptado. Ahora bien, el programa MEANS no ha respondido en profundidad a las cuestiones relativas a los aspectos prácticos y operati- vos de la evaluación. Así, todavía quedan por responder dos cuestiones fundamentales: por una parte, que´ sistema de indicadores es más adecuado para formular un juicio global sobre un programa estructural comunitario y, por otra, que´ enfoque de evaluación es el más conveniente para medir la repercusión socioeconómica de un pro- grama estructural dado en el marco del desarrollo regio- nal. La Comisión no está en condiciones aún de dar instrucciones precisas sobre las te´cnicas concretas que deben aplicarse en cada situación concreta de evaluación. Esta laguna afecta especialmente a la ejecución de las evaluaciones intermedias de las formas de intervención del período de programación de 1994–1999. Bases estadísticas e información relativa a los objetivos perseguidos 4. 14. Las evaluaciones, ya sean previas, intermedias o posteriores, tropiezan a menudo con una formulación de los objetivos demasiado general, incluso en lo que se refiere a los objetivos de medidas. Indicadores 4. 16. La existencia de sistemas de indicadores fiables y adecuados es un elemento indispensable del proceso de programación. Para atender a las necesidades de evalua- ción, los programas estructurales deben contener infor- mación sobre la realización financiera y material, así como sobre los resultados y el rendimiento de las accio- nes. Dichos indicadores deben informar a los gestores de los efectos inmediatos o duraderos de las acciones emprendidas y, además, hacer posible una medición de los progresos realizados con respecto a los objetivos globales de los programas, como el crecimiento regional o la reducción del desempleo. 4. 17. La fiabilidad de los indicadores financieros está estrechamente ligada a la de los certificados de gastos enviados a la Comisión para desencadenar el correspon- diente pago comunitario. Los indicadores materiales se facilitan a menudo como un complemento de informa- ción y su fiabilidad es relativa. Las bases de datos existentes no siempre permiten registrar la evolución material de las realizaciones y los beneficiarios finales no siempre informan a los gestores de forma periódica sobre el estado de las realizaciones concretas. En la evaluación intermedia del PO Lisboa e Vale do Tejo en Portugal se ofrecen indicadores materiales estrictamente proporciona- les a los gastos, sin mencionar ninguna variación ligada a retrasos en la realización o a otras causas. Los Estados miembros deberían mejorar sus mecanismos de segui- miento y las bases de datos de apoyo a los indicadores. 4. 18. La medición de los resultados y los efectos de los subprogramas y medidas, por una parte, y de la repercu- sión de los programas, por otra, tropieza con las incerti- dumbres relativas a la identificación de las cadenas de causalidad entre los distintos niveles de objetivos y entre los objetivos y las medidas y proyectos, y a la determina- ción de las relaciones horizontales de complementariedad y sinergia entre medidas y entre objetivos. Así, resultan difíciles de concretar el efecto específico de una medida sobre el desarrollo regional, o la repercusión de una inversión sobre la demanda o, con mayor motivo, sobre la oferta. En este marco, la búsqueda de indicadores que constituyan un instrumento adecuado para la evaluación de los resultados y de la repercusión todavía no ha concluido en lo que concierne al MCA 1994–1999 (ve´ase el punto 6. 23). 4. 15. El nivel de desarrollo de las bases estadísticas existentes pone freno al seguimiento y la evaluación de los programas y las medidas cofinanciadas por los Fon- dos Estructurales. Entre las lagunas observadas hay que citar, en particular, la falta de una cobertura estadística limitada a las zonas afectadas, la ausencia de estadísticas sobre determinados aspectos y una periodicidad de reco- gida de la información inadecuada para las necesidades de seguimiento y de evaluación. 4. 19. El ejercicio de apreciación previa del MCA es indispensable para las evaluaciones posteriores, al velar por la definición y cuantificación de todos los indicadores de resultados y de repercusión para permitir un juicio sobre la repercusión prevista del programa y su compara- ción con los efectos reales. En este contexto, el enfoque de la gestión por objetivos no se ha aplicado siempre de manera armonizada o satisfactoria, lo cual ha tenido C 347/8 ES Diario Oficial de las Comunidades Europeas 16. 11. 98 repercusiones en el ámbito de los indicadores necesarios para la evaluación. Así, el MCA 1994–1999 italiano contiene un pequeño número de indicadores, lo que podría obstaculizar las evaluaciones posteriores. En cam- bio, el MCA 1994–1999 portugue´s, aprobado por la Comisión sin grandes modificaciones, contiene un núme- ro demasiado elevado, del orden de 300, lo que complica- rá del mismo modo el ejercicio de evaluación. Esta divergencia en la determinación de los indicadores de un MCA a otro pone de manifiesto la falta de coherencia de la programación. La presencia de numerosos objetivos generales y poco cuantificables lleva a veces a revisar, durante la evaluación intermedia, el sistema de indica- dores aprobado por la Comisión en la fase de apreciación previa por insuficientemente definido y operativo. resultar 4. 20. Las intervenciones estructurales y las situaciones socioeconómicas en que se inscriben dan lugar a una gran variedad de indicadores que a menudo se determinan de forma descentralizada. La Comisión no ha elaborado listas de los indicadores que considera indispensables y representativos desde el punto de vista del desarrollo regional o para los distintos tipos de acciones, aun cuando se han comunicado listas parciales a determina- dos organismos nacionales o regionales y han sido ya objeto de debates. 4. 21. En el marco del seguimiento debería procederse a una cuantificación mayor de los indicadores de resultados y de repercusión, sin olvidar la fiabilidad de dicha cuanti- ficación. Puede ocurrir, en efecto, que no sea fiable, por no evitar en determinados casos el doble recuento de los puestos de trabajo creados o no permitir distinguir los efectos brutos sobre el empleo con respecto a los netos. Así se ha observado comparando el informe de evalua- ción intermedia del PO Brandemburgo con las estadísti- cas relativas a la inscripción de las personas en la seguridad social. Consideración de la evaluación 4. 22. La contribución de la evaluación a un empleo eficaz de los fondos comunitarios depende en gran medida de la calidad de su contenido, así como de la fecha de recepción de los resultados y la de la decisión dirigida a modificar la estrategia. No obstante, un cierto número de evaluaciones los MCA, DOCUP y PO del período de programación 1994–1999 finalizaron demasiado tarde, lo que retrasó los posibles ajustes. intermedias de 4. 23. En cuanto a la programación del objetivo 2, la sucesión de períodos de programación más cortos que en el objetivo 1 dificulta mucho la coincidencia de las fechas las en que están disponibles resultados de los evaluaciones para extraer enseñanzas del pasado y ade- cuar las intervenciones siguientes y las fechas en que han de tomarse las decisiones de programación. Existe cierto desfase entre el ciclo de la programación del objetivo 2 y su ciclo de evaluación; así, la versión final del informe de síntesis de la evaluación posterior del objetivo 2 para el período 1989–1993 se envió a la Comisión en verano de 1997, cuando estaba en curso la apreciación previa de la programación 1997–1999 y no se había inciado aún la evaluación posterior del período 1994–1996. 4. 24. Cualesquiera que sean los resultados de los pro- gramas estructurales expuestos en los informes de evalua- ción, a menudo no se modifica la dotación presupuestaria en favor de dichos programas o de los siguientes. Las evaluaciones rara vez se han tenido en cuenta en el primer período de programación del sistema de toma de decisiones, dado que las reprogramaciones han solido basarse esencialmente en el grado de absorción financiera. Así ocurrió con las útiles recomendaciones hechas por el consultor principal en el marco de la evaluación posterior de los MCA objetivo 1 (1989–1993) (ve´ase el punto 5. 7). 4. 25. Los aspectos más cualitativos de rendimiento o eficacia de los programas identificados en evaluaciones intermedias o en informes de ejecución no han tenido suficiente influencia en la gestión operativa de los Fondos Estructurales, ni en el proceso de responsabilización de los cooperadores afectados por el desarrollo de los pro- gramas. 4. 26. Los resultados de la evaluación intermedia de los DOCUP, MCA y PO del objetivo 2 (1994–1996), así como del seguimiento, ponen de manifiesto la existencia de una inadecuación entre la financiación programada y la realización de los programas. Esta situación hace predominante el deseo de absorción de los cre´ditos y puede conducir a una infravaloración del papel de la evaluación en el análisis de la zona considerada, en particular en lo que se refiere a la coherencia entre los objetivos, los recursos asignados y la repercusión de las intervenciones estructurales. 4. 27. A menudo, las conclusiones y recomendaciones de las evaluaciones son evidentes para los gestores de las acciones de intervención, aun cuando puedan ser de utilidad para otros asociados. Esto vale tanto para las evaluaciones posteriores (ve´ase el punto 5. 8) como para las evaluaciones intermedias en el marco de la coope- ración. Objetividad de las evaluaciones 4. 28. La falta de un marco de referencia preciso dificulta la aplicación de te´cnicas apropiadas y aplicables de manera objetiva a las situaciones específicas de evalua- ción, de forma que los resultados puedan ser fácilmente controlados y quede garantizada la independencia del evaluador. Ocurre, sin embargo, que el me´todo preconi- 16. 11. 98 ES Diario Oficial de las Comunidades Europeas C 347/9 zado no está motivado objetivamente, que el evaluador adecua su enfoque demasiado fácilmente a las dificultades encontradas o que selecciona los indicadores en función de la información disponible. 4. 29. Tampoco aparece garantizada la independencia respecto a los gestores, en particular en el plano de la información (ve´ase el punto 6. 11), mientras que los informes de evaluación no siempre indican la fuente de información en que se basan sus afirmaciones. Esta laguna puede llevar a poner en duda la fiabilidad y validez de la información presentada en los informes de evaluación. 4. 30. Mientras que la objetividad debería quedar garan- tizada mediante un sistema de control de la calidad de los indicadores (de realización, resultado y de repercusión) de la fiabilidad de los datos de base y del grado de aplica- ción de la metodología, los servicios de la Comisión analizan las informaciones y los resultados presentados en el marco de la evaluación, pero sin efectuar un control sobre el terreno o comprobar el buen funcionamiento de los sistemas de evaluación existentes en los Estados miembros. Contratos de evaluación celebrados por la Comisión 4. 31. Del examen de los procedimientos de celebración de contratos de las evaluaciones encargadas por la Comi- sión se desprenden los siguientes puntos de´biles: procedi- mientos de selección insatisfactorios, pliegos de condicio- nes demasiado vagos, retrasos y escasa calidad de los informes. 4. 32. Los elementos de apreciación o de análisis que han determinado la elección del consultor por parte de la Comisión no siempre figuran de forma clara en las actas de las reuniones relativas al procedimiento de licitación. La auditoría realizada por el Tribunal no ha podido asegurar la selección de los mejores expertos en el ámbito de competencia más apropiado. 4. 33. En los casos de evaluación posterior del conjunto de los MCA 1989–1993 de los objetivos 1 y 2, la selección versó respectivamente en un consultor principal acompañado de otros consultores nacionales y en consul- tores coordinadores que, a su vez, subcontrataron des- pue´s los estudios a otros consultores. En esta cadena de consultores, la Comisión puede perder el control de las modalidades de ejecución de la evaluación que garantizan la coherencia, la homogeneidad y la calidad de los resul- tados. 4. 34. Con frecuencia, el pliego de condiciones resulta impreciso en cuanto a la descripción de los trabajos que deben realizarse y las obligaciones de resultado esperadas. Los te´rminos del contrato siguen siendo muy generales. Con frecuencia, las modalidades de ejecución de la eva- luación quedan abiertas a un acuerdo posterior sobre el marco metodológico pendiente de celebrar con la Comi- sión. 4. 35. En cuanto al calendario de entrega de los infor- mes, a menudo se observan retrasos. Así, para la evalua- ción del conjunto de MCA 1989–1993 del objetivo 1, las cláusulas contractuales preveían la entrega del informe el 28 de febrero de 1995, pero de hecho no se concluyó hasta noviembre de 1995. La Comisión no había previsto ninguna sanción por la inobservancia de las obligaciones contractuales en materia de plazo y abonó el pago final del 40 % el 11 de julio de 1995 con arreglo al artículo 4 del contrato. 4. 36. La ausencia de unos te´rminos contractuales de referencia precisos y claros sobre el procedimiento meto- dológico a seguir y los resultados esperados hace que las reacciones de los servicios de la Comisión a los informes sean variables. Así, por ejemplo, se autorizan informes que se limitan a ofrecer simples descripciones o vagos análisis de la utilidad de las realizaciones, o están basados en afirmaciones gene´ricas de personas encuestadas, o incluso conducen a recomendaciones demasiado genera- les. En el caso de la evaluación posterior del MCA 1989–1993 Irlanda, un servicio considera que debe res- cindirse el contrato con el consultor por su mala calidad, mientras que otro servicio lo aprueba. En la evaluación posterior del MCA 1989–1993 para Portugal, los servi- cios competentes coinciden en precisar que el informe no contiene elementos de evaluación, sino que se limita a repetir los datos sobre las realizaciones materiales ya presentados por el Estado miembro. Del mismo modo, se observa que el informe de evaluación posterior del MCA 1989–1993 para España es demasiado descriptivo y con- tiene pocos análisis. En cuanto a la evaluación posterior del MCA 1989–1993 para Irlanda del Norte, el informe se considera incompleto. El relativo a la evaluación posterior del MCA 1989–1993 para Italia está mal estructurado y organizado. Y en la evaluación del MCA 1989–1993 Grecia, falta la conclusión general, cuando se ofrecen conclusiones por capítulos. 5. EVALUACIONES POSTERIORES DE LOS MCA DE LOS OBJETIVOS 1 Y 2 (1989–1993) Introducción 5. 1. A menudo, los evaluadores se enfrentan a las difi- cultades siguientes: a) una programación inicial formulada a menudo de manera apresurada y a falta de evaluaciones previas de los programas, especialmente de los fundamentos económicos inherentes, sobre todo en lo concerniente a las regiones del objetivo 1; b) la falta de objetivos cuantificados y de indicadores de resultado; c) lagunas estadísticas relativas a la situación socioeco- nómica antes de la intervención de los Fondos Estruc- turales en el marco del objetivo 2 y despue´s de la intervención, especialmente en lo relativo al tejido C 347/10 ES Diario Oficial de las Comunidades Europeas 16. 11. 98 industrial, las inversiones y el producto regional bruto. Las herramientas estadísticas no corresponden siempre al perímetro de análisis correspondiente (ba- rrio, distrito, cuenca de empleo); d) la falta de conclusión de ciertas acciones; e) la existencia de factores exógenos que contribuyen a explicar la evolución de la situación socioeconómica; f) el carácter heteroge´neo de los proyectos y de sus objetivos, cuando la asignación de ayudas no está suficientemente ligada a las necesidades regionales o locales; g) los efectos inherentes a las medidas y al programa difícilmente identificables, en razón de la multitud de acciones que benefician a una misma región o zona; h) la dificultad de medir los efectos indirectos del pro- grama (especialmente en materia de empleo), al no haberse instituido ningún elemento de observación sobre el particular desde el lanzamiento de los progra- mas ni haberse llevado a cabo un estudio en profundi- dad sobre el particular desde su conclusión. Evaluación posterior de (1989–1993) los MCA del objetivo 1 5. 2. La evaluación posterior de los MCA del objetivo 1 fue coordinada por un consultor central a partir de las evaluaciones posteriores de los MCA realizadas por con- sultores nacionales entre enero de 1994 y junio de 1995. El consultor encargado de la coordinación elaboró el procedimiento metodológico que debía aplicarse, utili- zando me´todos de análisis tanto macroeconómicos como de medidas y proyectos. Dicho procedimiento compren- día el análisis de la estrategia y la lógica inherente a los MCA, PO y medidas, un primer balance de las realizacio- nes materiales y de su repercusión, y por último un examen de los mecanismos de aplicación. En el anexo I se ofrece una síntesis del procedimiento. 5. 3. Aunque coherente en su conjunto, la metodología propuesta tiene sus puntos de´biles. En efecto, preve´ que el análisis de la estrategia y de la lógica inherentes a los MCA, PO y medidas se apoye en una estructura de objetivos armonizada, vinculada a una nomenclatura estándar de actividades. Este enfoque permite la compa- ración entre Estados miembros, pero no da lugar necesa- riamente a una jerarquización de los objetivos, construida a su vez a partir de las prioridades tal como las perciben los Estados miembros y de los criterios de jerarquía, complementariedad, sustituibilidad y sinergia. Por ello, no permite identificar todas las faltas de coherencia en la estrategia propia de cada MCA y PO. Además, a menudo, los indicadores materiales y de repercusión recogidos en el documento metodológico no permiten responder a cuestiones pertinentes sobre los efectos pre- vistos y no previstos a los que está llamada a responder la metodología. 5. 4. El Tribunal ha constatado además lagunas como: a) la evolución del entorno socioeconómico de los MCA y los PO no siempre es objeto de una comparación entre la situación inicial sobre la cual debe actuar la intervención comunitaria (1988–1989) y la situación al final de la aplicación (1993–1994); a veces, los datos son demasiado antiguos, en particular los relati- vos a las disparidades regionales; b) a menudo, la jerarquización de los objetivos prevista en la metodología no se ha analizado suficientemente; o bien no se había establecido, o bien era parcial, por limitar el examen específico a PO y medidas elegidos o no aplicar de forma sistemática los criterios de estructuración; así ha ocurrido que la jerarquización de los objetivos y los instrumentos no ha conducido a una mejor identificación de los problemas de coheren- cia y pertinencia de las prioridades y de su importan- cia relativa; c) a veces, los ajustes efectuados a los MCA y PO no se basaron en un análisis en profundidad de las causas; d) mientras que la ejecución financiera y los mecanismos de aplicación, al igual que las realizaciones físicas, suelen tratarse bien en los informes de evaluación, los efectos de los programas o medidas no han sido objeto, en algunos casos, de investigación, con excep- ción de los puestos de trabajo creados, o se han formulado en te´rminos no cuantitativos. Los únicos efectos cuantificados proceden a veces de la aplicación de modelos macroeconómicos y conciernen al incre- mento del PIB, la creación de puestos de trabajo y la competitividad. Ello ha demostrado la insuficiencia de los datos facilitados por los gestores en el marco de los sistemas de seguimiento; e) los análisis de tipo bottom-up (de abajo a arriba) no han permitido, por lo general, extraer conclusiones relativas a la repercusión de los programas; f) el valor añadido comunitario sólo se expresa a veces en te´rminos cualitativos (por ejemplo, la considera- ción de la lógica de programa, la aplicación de una estrategia integrada, el efecto sobre el proceso de organización); por otra parte, no siempre se examina de forma sistemática; 16. 11. 98 ES Diario Oficial de las Comunidades Europeas C 347/11 g) los efectos esperados a largo plazo no se tratan, o sólo son tratados en te´rminos cualitativos. 5. 5. El MCA del objetivo 1 para España ha sido objeto de una evaluación posterior encargada por la Comisión y de otra emprendida por las autoridades nacionales y beneficiaria de una cofinanciación comunitaria. Elabora- dos en el mismo período y con los mismos objetivos, los dos estudios se desarrollaron de forma independiente y separada. 5. 6. En lo que se refiere a resultados y repercusión, las evaluaciones posteriores recogen las realizaciones mate- riales resultantes de los MCA del objetivo 1, las repercu- siones macroeconómicas de los MCA a partir de determi- nadas evaluaciones nacionales, y los progresos en materia de planificación, aunque en este ámbito el enfoque por programas haya tropezado con algunos obstáculos (10). Tambie´n destacan las contribuciones de los MCA en materia de estructuras organizativas innovadoras, de ges- tión financiera, de seguimiento, de sistemas de informa- ción, de coordinación y de cooperación, aun cuando deben realizarse progresos sustanciales en cada uno de estos ámbitos. 5. 7. La síntesis efectuada en 1995 por el consultor principal recogía algunas recomendaciones útiles a las que la Comisión no pudo dar totalmente curso: por ejemplo, una mejor distinción durante la elaboración de la progra- mación entre las intervenciones estructurales comunitarias de fomento de los factores endógenos de crecimiento y las que tienen por objetivo el reequilibrio regional o el aumento del bienestar; o bien un equilibrio entre la prioridad concedida a las inversiones en infraestructura y las características específicas regionales que convendría desarrollar, o entre la lucha contra el desempleo y la necesidad de incrementar la productividad y la competiti- vidad; o por último, una mejor consideración del empleo en las políticas regionales. (10) El enfoque por programas se ha visto obstaculizado por: i) ii) iii) unos plazos de planificación cortos, que conducen en particular a la falta de apreciación previa; falta de objetivos concretos, de indicadores cuantifica- dos en materia de realización, resultado y repercusión; limitaciones administrativas, en especial cuando subpro- gramas de un mismo programa dependen de administra- ciones diferentes, o cuando se cruzan los enfoques sectoriales y regionales; iv) puntos de´biles en las normas comunitarias, que condu- cen en particular a autorizar en el marco de iniciativas comunitarias proyectos rechazados por los PO del obje- tivo 1; el enfoque por proyectos del Fondo de Cohesión, que tampoco juega a favor de una aplicación armónica del enfoque por programas. v) 5. 8. La evaluación posterior del conjunto de los MCA 1989–1993 del objetivo 1, llevada a cabo por evaluadores nacionales, versó principalmente en la mejora de los sistemas de seguimiento y gestión de los Estados miem- bros, más que sobre un ejercicio real de evaluación de la repercusión de los Fondos Estructurales. Evaluaciones posteriores del objetivo 2 (1989–1993) 5. 9. Las evaluaciones posteriores de los programas del objetivo 2 para el período de 1989–1993 fueron coordi- nadas por un evaluador externo en las 60 regiones subvencionables. Se realizó un análisis general de cada región y estudios en profundidad de 22 regiones. El principal objetivo de las evaluaciones era analizar el impacto de las intervenciones estructurales sobre el pro- ceso de reconversión industrial en estas regiones y extraer enseñanzas para la programación siguiente. En el anexo II se ofrece una síntesis del enfoque de evaluación. 5. 10. Aunque se ha previsto un marco común, los enfoques elegidos son muy heteroge´neos, en particular en lo que se refiere a las prioridades y el nivel de desarrollo del análisis, su carácter descriptivo o crítico, los me´todos y las te´cnicas utilizadas. 5. 11. El análisis de la estrategia y la pertinencia de los MCA y los PO y de las modificaciones introducidas con respecto al entorno socioeconómico rara vez lleva a reformular la estructura de objetivos, los subprogramas y las medidas en función de la lógica de desarrollo o de reconversión regional y sobre la base de los criterios de jerarquía, complementariedad y sustituibilidad. Dicha reformulación, a un nivel elaborado, debería permitir identificar de forma más sistemática las lagunas existentes en la estrategia aplicada en cuanto a coherencia, ade- cuada importancia relativa de las prioridades, sinergias, complementariedades y eficacia frente al entorno socioe- conómico, mientras que muchos análisis de estrategia, partiendo de la estructura del MCA y de los PO, son parciales y poco críticos respecto de esta estrategia. 5. 12. En cuanto al impacto de las intervenciones de los Fondos Estructurales, los evaluadores no consiguen, a partir de una muestra de proyectos y del examen de sus resultados, de su valor añadido y de su adicionalidad, agregar las observaciones en el ámbito de la medida y de la repercusión socioeconómica del programa. 5. 13. Pocas evaluaciones se han basado en materia de impacto en una aute´ntica combinación de los enfoques top down y bottom up. Esta combinación se ha utilizado, en particular, para la evaluación de las intervenciones C 347/12 ES Diario Oficial de las Comunidades Europeas 16. 11. 98 del objetivo 2 en favor de Toscana. En este caso, el enfoque top down permitía estimar, al apoyarse en un modelo econome´trico birregional Toscana-resto de Italia, la repercusión global del incremento de la demanda sobre la producción por sectores, sobre los niveles de consumo y sobre el valor añadido, tanto en Toscana como en el resto de Italia. El modelo tambie´n permite estimar los multiplicadores de efecto por tipos de intervención (infra- estructuras, servicios a las empresas, ayudas a la inversión privada) y los efectos sobre el empleo (11). Los efectos directos sobre el empleo se estimaron utilizando una te´cnica de coeficientes estándar relativos a las distintas tipologías de intervención. El enfoque top down afecta, pues, a los efectos directos a corto plazo vinculados a la demanda. El enfoque bottom up, al partir de una muestra de proyectos y medidas, puede traducir mejor los efectos a largo plazo, más estructuradores e indirectos, relativos sobre todo a la oferta y las economías externas que permiten reducir los costes de producción. Aun cuando estos efectos son más difíciles de aislar y cuantificar y este enfoque no permite agregar los efectos a escala de medidas y de programa —lo que constituía el objetivo de la evaluación en profundidad—, las consideraciones cuali- tativas sobre la eficacia de las medidas y el nivel de adicionalidad de las intervenciones comunitarias constitu- yen un complemento útil al enfoque top down. La combinación de ambos enfoques puede aportar un valor añadido real al análisis, en particular si se apoya en te´cnicas de modelización o de formalización. 5. 14. Son igualmente raras las evaluaciones en materia de impacto que recurren a encuestas sistemáticas —como las encuestas sobre la adicionalidad de las medidas o la aplicación de un me´todo específico de estimación de los puestos de trabajo netos creados en virtud de las medidas mediante la comparación de un grupo experimental y un grupo de control. Sin embargo, aportan un valor añadido real a la evaluación del impacto. Se habría evaluado mejor la eficacia de las medidas y los programas si los evaluadores hubieran llevado a cabo encuestas estadísti- cas sobre determinados indicadores de resultado, como en ocasiones desearon poder realizar. Así, no siempre se encuentran datos sobre el número de empresas implanta- das en las nuevas zonas industriales cuya ordenación se beneficia de ayudas de los Fondos Estructurales, o sobre las transferencias tecnológicas de los institutos de investi- gación a las empresas. Las conversaciones con gestores de medidas y de proyectos generalmente previstas en los enfoques de evaluación rara vez permiten obtener datos precisos sobre las realizaciones, los resultados y la reper- cusión de las operaciones. 5. 15. Los resultados en materia de creación de puestos de trabajo no son seguros en cuanto al carácter duradero de los puestos y a la parte específicamente atribuible a las acciones estructurales. Por otra parte, los informes de evaluación producen a veces datos contradictorios. 5. 16. En materia de impacto de los programas del objetivo 2, las evaluaciones posteriores permiten conside- rar que: a) los PO del objetivo 2, si bien muchas veces no permitieron mejorar la situación socioeconómica, al menos contribuyeron a evitar una nueva degradación de la misma, en particular en lo que se refiere al mantenimiento del empleo (12), y a sentar las bases de la reconversión; en efecto, la mayoría de las regiones tratan de diversificar su economía y su tejido indus- trial, liberándose en su caso de la imagen de zona exclusivamente industrial; b) a pesar del enfoque integrado, basado en el concepto de programa, los PO consisten a veces en una modifi- cación de políticas nacionales y regionales ya estableci- das, y no siempre constituyen una herramienta de programación; c) la existencia simultánea de PO del objetivo 2 y de iniciativas comunitarias ha dado lugar a confusiones y superposiciones de ayudas; d) la intervención de los Fondos Estructurales ha tenido efectos positivos sobre la programación, las modalida- des de aplicación, la cooperación, las sinergias, la coordinación y la evaluación. Con todo, a menudo se destaca la falta de sinergia y de intercambios entre gestores y acciones FEDER y FSE; e) en materia de adicionalidad, los Fondos Estructurales permiten abordar nuevos sectores, realizar proyectos que no se habrían emprendido sin ayuda comunitaria, acelerar la aplicación o realizar proyectos más ambi- ciosos, o incluso dar un carácter estructurador al proyecto inicial. La adicionalidad de las tipologías de medidas (ayudas a las infraestructuras, servicios a las empresas, ayudas a la inversión privada) puede resul- tar bastante diferente; (11) Ahora bien, esto no significa que se trate de creaciones de empleo, dado que el modelo econome´trico se basa en la hipótesis del pleno empleo y las empresas disponen en período de coyuntura baja de sobrecapacidades de produc- ción. (12) El octavo informe anual sobre los Fondos Estructurales constata los importantes efectos de palanca referidos a resul- tados brutos como la creación de empleos o de empresas. 16. 11. 98 ES Diario Oficial de las Comunidades Europeas C 347/13 f) los Fondos Estructurales no constituyen a menudo una palanca para la participación de los fondos priva- dos o, al menos, no se trata este aspecto en las evaluaciones; g) en las evaluaciones se destaca que los estudios y negociaciones preparatorios, y los procedimientos administratitvos para la adopción y la aplicación de determinados proyectos, así como la integración de las nuevas políticas nacionales, requieren a menudo pla- zos infravalorados. 5. 17. En materia de gestión, se desprende de las evalua- ciones que determinadas prácticas de seguimiento de los programas han resultado insuficientes y que los ajustes internos durante el período de programación estaban esencialmente encaminados a maximizar la tasa de absor- ción de los cre´ditos y no a revisar los ejes prioritarios de desarrollo regional. 6. EVALUACIONES INTERMEDIAS (1994–1999) Desarrollo e integración de los principios de evaluación intermedia 6. 1. La realización de una evaluación intermedia se preve´ en el capítulo relativo a las disposiciones de aplica- ción de cada MCA, DOCUP y otras formas de interven- ción con objeto de reforzar el seguimiento. Se destaca que las evaluaciones intermedias deben incluir un análisis crítico de los datos recogidos en el marco del segui- miento, explicar las posibles desviaciones de los objetivos perseguidos y estimar los resultados esperados de la intervención. Han de contener asimismo un dictamen sobre la validez de la intervención en curso y la pertinen- cia de los objetivos seleccionados. 6. 2. En unas notas dirigidas a los Estados miembros en el ejercicio 1995, la Comisión indicaba que las evaluacio- nes intermedias debían «aportar a los comite´s de segui- miento señales adecuadas sobre el buen funcionamiento de los programas, proponer posibles acciones de repro- gramación y presentar una imagen objetiva e indepen- diente de los progresos realizados». Proponía asimismo concentrarse, en una primera fase, en las condiciones de funcionamiento de las formas de intervención y, en particular, en los indicadores, la capacidad de gestión de los responsables y los procedimientos de selección de los proyectos. En una segunda fase y con vistas a sugerir los cambios necesarios y adecuar la programación, el informe de evaluación intermedia debía abordar la pertinencia de la estrategia y la legitimidad de los objetivos de las intervenciones aplicadas, la eficacia del programa habida cuenta de las realizaciones y los primeros resultados con relación a los objetivos, la eficiencia del programa, la aplicación correcta de las políticas comunitarias (medio ambiente, contratos públicos, etc. ) y la medición de los resultados en materia de empleo y de PYME. 6. 3. Por otra parte, la Comisión sugería que la evalua- ción fuera global y que en una fase posterior se desarro- llasen evaluaciones temáticas sobre un sector o una zona geográfica concretas. 6. 4. Algunos Estados miembros, en particular Espa- ña (13), Francia (14), Irlanda (15) y los Países Bajos (16), definieron asimismo un marco para la evaluación inter- media. Todos ellos consideran que en la evaluación intermedia debe abordarse: a) la evolución del contexto socioeconómico; b) el análisis de la estrategia y de la coherencia interna y externa; c) las condiciones de aplicación, incluida la programa- ción y los criterios de selección, la organización administrativa, el mecanismo de seguimiento, los cir- cuitos de financiación de los proyectos; d) la aplicación y las realizaciones, teniendo en cuenta los resultados previstos; e) los primeros efectos obtenidos, completados con una estimación de los que cabe esperar; f) los costes, con vistas a medir la eficiencia, es decir, la relación entre medios y resultados, y presentar, en su caso, propuestas de modificación de las prioridades o las acciones previstas. 6. 5. El principio de cooperación fue introducido en 1988 como un medio de garantizar la eficacia de los Fondos Estructurales, pero no desempeñó plenamente su papel en el sistema de gestión descentralizada hasta 1995 con la evaluación intermedia del conjunto de los MCA 1994–1999. En tal ocasión, se estipuló que corresponde a los comite´s de seguimiento «adoptar los objetivos de evaluación y las normas de calidad esperadas para garan- tizar la coherencia global del ejercicio, adecuar el pliego de condiciones a las peculiaridades de las regiones respe- tando la finalidad del ejercicio, seleccionar los evaluado- res a partir de listas restringidas preparadas por responsa- bles de la evaluación (miembro del comite´ de seguimiento (13) Evaluación intermedia de programas operativos regionales del objetivo 2 (fase 1994–1996). Orientaciones sobre conte- nidos comunes a recoger en los pliegos de condiciones te´cnicas, 23 de mayo de 1996. (14) DATAR, Calendrier re´glementaire et administratif. (15) General Criteria to Underpin Terms of Reference for Mid- Term Evaluation of Operational Programmes/Community Initiatives. (16) Evaluatiekader voor de programma’s van de Europese Struc- tuurfondsen, Terp Advies-CBEA Pieter van Run, diciembre 1997. C 347/14 ES Diario Oficial de las Comunidades Europeas 16. 11. 98 y ponente comunitario) tras una licitación pública». La evaluación intermedia ha contribuido realmente a refor- zar la cooperación al hacerla intervenir en el análisis causal de las intervenciones estructurales. En las tablas 5 y 6 se muestra la aplicación operativa de las evaluaciones intermedias, así como el importante compromiso de los Estados miembros en el marco de la cooperación con el fin de identificar la repercusión de los Fondos Estructura- les. credibilidad de una te´cnica en concreto y, por otra, la imparcialidad de las conclusiones sobre la conformidad de la estrategia, la coherencia entre los análisis socioeco- nómicos y la cuantificación objetiva de los efectos espera- dos. Las necesidades en materia de evaluación en el ámbito de los Fondos Estructurales han conformado en unos años un sector de evaluadores externos conocidos de la Comisión y los Estados miembros, lo que presenta la ventaja de generar más conocimientos expertos en este ámbito, pero delimita un mercado específico. 6. 6. El enfoque de la evaluación intermedia en el marco de la cooperación tambie´n ha influido mucho en las estructuras institucionales y en las tradiciones nacionales o regionales de las administraciones responsables. Ha permitido dar una mayor difusión a la cultura de la programación plurianual, en la que la evaluación es un elemento indispensable para hacer un balance crítico de las intervenciones estructurales y preparar los ajustes necesarios. La cooperación en materia de evaluación está especialmente bien desarrollada en el marco del obje- tivo 1. 6. 7. Actualmente, los trabajos de evaluación intermedia aspiran a aportar respuestas globales al conjunto de los cooperadores, desde el diseñador del programa al respon- sable político, pasando por el gestor. Se traducen en informes muy voluminosos que incluyen información procedente del propio programa, de la apreciación previa, de los informes anuales de ejecución y de las evaluaciones intermedias o posteriores. Ahora bien, según interlocuto- res entrevistados en el curso de los controles, sólo una parte de los resultados o de las recomendaciones tienen una utilidad real y sirven de ayuda a la decisión, a la gestión de proyectos, a la reprogramación o para prepa- rar intervenciones futuras. Procedimientos de aplicación 6. 8. De las 389 evaluaciones intermedias realizadas, 320 se refieren a los objetivos 1, 2, 5b y 6 (17). Su ejecución presenta un retraso considerable en varios Estados miem- bros. 6. 9. Inicialmente, el proceso de evaluación intermedia debía constar de dos etapas diferenciadas. En la primera debían abordarse las posibilidades de evaluación, identifi- cando los problemas correspondientes. La segunda era la evaluación propiamente dicha y conducía a la elaboración de un informe. En la práctica, este esquema sólo se ha aplicado en raras ocasiones. 6. 10. De forma general, la Comisión ha insistido en que las evaluaciones intermedias fueran efectuadas por exper- tos externos a fin de garantizar, por una parte, la (17) De ellas, 36 fueron examinadas sobre el terreno y/o por la Comisión. 6. 11. En la práctica, los controles sobre el terreno del Tribunal han puesto de manifiesto limitaciones que redu- cen la independencia del consultor externo. Habida cuenta del plazo limitado de que dispone el evaluador y de la dependencia existente de hecho respecto de los gestores de los programas para obtener la información necesaria, la separación entre las funciones respectivas es poco clara. Muy a menudo, los resultados obtenidos en materia de rendimiento no son más que una reproducción y una actualización de los datos del sistema de segui- miento, que se presentan como una contribución externa. 6. 12. Por otra parte, no siempre se ha aplicado el procedimiento habitual de licitación abierta con publica- ción en el Diario Oficial para seleccionar los consultores en materia de evaluación. En los Países Bajos, se pidió a un número limitado de consultores que figuraban en una lista de posibles evaluadores que presentaran una oferta. A continuación, se realizó la selección entre esas ofertas. 6. 13. Si bien la Comisión participa regularmente en las reuniones de los comite´s de seguimiento y puede hacer prevalecer su criterio en materia de selección de consulto- res, su intervención en este proceso no siempre es la misma. Así, los servicios de la Comisión participan acti- vamente en Be´lgica, Grecia y Portugal desde el procedi- miento de selección del evaluador en el marco de los grupos te´cnicos o del comite´ de acompañamiento te´cnico ad hoc, que preparan la elección del consultor y siguen la ejecución de la evaluación. En cambio, en Francia, sólo se informa oficialmente a los servicios de la Comisión tras la elección de las dos ofertas que se consideran mejores, acompañadas de la propuesta final, respecto de la cual el Prefecto de la región, que es responsable último en la materia, solicita conocer las posibles observaciones. En los Países Bajos, la Comisión, que participa en los traba- jos del comite´ de acompañamiento nacional, que dirige las evaluaciones previa, intermedias y posteriores de las regiones incluidas en los objetivos 1 y 2, y en los trabajos de los comite´s de seguimiento, reaccionó tarde al conte- nido del proyecto de informe de evaluación intermedia del DOCUP del objetivo 1 Flevoland. 16. 11. 98 ES Diario Oficial de las Comunidades Europeas C 347/15 Prioridad concedida a los objetivos de evaluación en lo que se refiere a las sinergias entre las actividades del FEDER y las del FSE. 6. 14. En la ejecución de las evaluaciones intermedias, la prioridad concedida a los objetivos de evaluación es variable, con excepción del examen de las realizaciones materiales y financieras de cada intervención, que ocupa un importante lugar en todas las evaluaciones interme- dias. A menudo, se da prioridad a desarrollos que corres- ponden a una necesidad regional real; así, en Córcega, se presta especial atención al tratamiento de los problemas de gestión, seguimiento y vinculación entre evaluación y seguimiento. Por lo demás, la persecución de determina- dos objetivos de evaluación se ha visto obstaculizada por problemas te´cnicos, como la medición de los indicadores para la evaluación del impacto. 6. 15. A menudo, en las evaluaciones intermedias no se concede suficiente importancia a la consideración crítica de la estrategia de desarrollo regional elegida, a la viabili- dad de los proyectos financiados por los Fondos Estruc- turales, a los criterios de selección de los proyectos, y a sus efectos e impacto con relación a los objetivos específi- cos y generales de los programas. 6. 16. El valor añadido comunitario, cuyo análisis consti- tuía uno de los objetivos de las evaluaciones posteriores de los MCA de los objetivos 1 y 2 para el período de programación 1989–1993, sólo se trató excepcionalmente en el marco de las evaluaciones intermedias. 6. 17. La evolución del contexto socioeconómico, sobre el que actúa la intervención comunitaria y cuyo segui- miento y actualización suelen preverse en los contratos de evaluación, se estudia de forma sistemática en determina- dos casos (por ejemplo, a trave´s de tableros de bordo muy elaborados para la región valona) y de forma insatisfactoria en otros, lo que influye directamente en la calidad y actualización de los análisis de puntos fuertes y de´biles que suelen efectuarse en el marco de la evaluación intermedia. 6. 18. El respeto y el mantenimiento en el tiempo de la coherencia interna y externa de cada programa en todos sus componentes (objetivos del programa, los subprogra- mas y las medidas, relaciones de complementariedad y de sinergia entre objetivos y entre medidas) sólo raras veces se examinan de forma sistemática. Así, en el PO Bran- demburgo, los compromisos financieros en favor de los ejes 1. 1 (inversiones productivas) y 1. 2 (infraestructuras) representan para el período 1994–96 el 138 % y el 242 % respectivamente de la previsión inicial, sin que el evaluador aporte ninguna justificación en te´rminos de estrategia de desarrollo regional. Las sinergias se analizan en ocasiones, aunque de forma incompleta. Este aspecto merecería un tratamiento más sistemático, en particular 6. 19. Del mismo modo, si bien la reorientación de las prioridades del programa y de la asignación de los medios es un objetivo explícito de la evaluación, los trabajos de evaluación no siempre dan lugar a una presentación global y coherente de las modificaciones propuestas, ni a una exposición de motivos. Tampoco se precisan siempre las consecuencias de las ampliaciones o contracciones de medidas propuestas. 6. 20. En muchas de las evaluaciones examinadas se observa que el evaluador no ha sido capaz de alcanzar todos los objetivos del contrato, en particular en lo relativo a la evaluación del impacto. El tiempo y los medios disponibles tampoco han sido siempre proporcio- nados a los objetivos. Enfoques, me´todos y te´cnicas 6. 21. Como en los contratos los objetivos de evaluación y los enfoques que deben aplicarse siguen formulándose en te´rminos generales, la elección de los enfoques, me´to- dos y te´cnicas se deja a menudo a los evaluadores, que a veces los adecuan durante la ejecución a las dificultades encontradas. Así ocurre que transforman en indicadores la única información disponible. 6. 22. Las te´cnicas y me´todos no siempre se desarrollan de forma que puedan responder a los objetivos de evalua- ción. Además, aún no se ha llegado a un consenso sobre la metodología operativa adecuada para evaluar el des- arrollo regional, y la Comisión se limita a difundir «las mejores prácticas» en te´rminos generales, sin coordinar o armonizar verdaderamente su aplicación. Esta impreci- sión, sumada a las disparidades entre Estados miembros en materia de programación, aplicación o evaluación, genera unos informes de evaluación de calidad variable y hace muy difícil la comparabilidad de los resultados a escala europea. 6. 23. Así, para la medición del impacto, las te´cnicas aplicadas presentan lagunas debidas en particular al carácter específico y a la complejidad de los efectos que deben evaluarse: a) no siempre se procede a una búsqueda en profundi- dad de indicadores aún más pertinentes, ya que a veces los indicadores previstos sólo sirven para medir la realización física y financiera; b) no siempre se determinan los indicadores de impacto; c) la evaluación del impacto socioeconómico o del des- arrollo regional se ve obstaculizada por la multiplica- ción de las acciones, subprogramas y medidas (obje- tivo 1), mientras que muchos programas que tienen C 347/16 ES Diario Oficial de las Comunidades Europeas 16. 11. 98 por objeto contribuir a la reconversión y la redinami- zación del tejido industrial (PO, iniciativas comunita- rias, programas nacionales) pueden movilizarse con- juntamente. Por otra parte, las acciones comunitarias y nacionales tienen a veces coberturas diferentes y distintas fechas de lanzamiento. Por último, a menudo no se cuantifican los objetivos y se formulan de forma demasiado general (18). A este respecto, no siempre parece clara la relación existente, por una parte, entre el diagnóstico de los problemas socioeconómicos por resolver y los objetivos del conjunto de las medidas, subprogramas y proyectos aplicados y, por otra, entre los objetivos de dicho conjunto, habida cuenta tam- bie´n del hecho de que los indicadores físicos y de impacto asignados a los distintos niveles de un pro- grama no reflejan por completo las necesidades de evaluación del programa. Del mismo modo, es difícil identificar los resultados de cada programa y separar- los de los de otras acciones privadas, regionales o nacionales; d) la modelización, que permite estimar los efectos y repercusiones esperados a partir de las realizaciones a medio camino y de las realizaciones esperadas, sigue aplicándose poco. La evaluación intermedia de deter- minados MCA nacionales se basa en un modelo input-output (Portugal) o en un modelo macroecono- me´trico (España, Irlanda), mientras que la modeliza- ción regional sigue siendo muy marginal. A este respecto, merece la pena citar el ejemplo del modelo de desarrollo para la provincia de Hainaut (Be´lgica) utilizado en el marco de la evaluación intermedia. La modelización de los efectos en el marco de las medi- das tampoco está muy extendida, excepto en el ámbi- to de las infraestructuras de transporte. Es conve- niente citar la aplicación del modelo input-output al proyecto de Expo 1998 (Portugal) en el marco de las evaluaciones previa e intermedia, aun cuando las previsiones deban considerarse con cautela; e) la estimación de los efectos sobre el empleo tambie´n es precaria. La aplicación de modelos y de otras te´cnicas de análisis y estudio no aportan precisiones suficientes en relación a dos aspectos: por un lado, sobre el volumen neto de empleos creados, teniendo especialmente en cuenta los nuevos empleos que podrían haberse creado al margen de la acción en cuestión, así como los efectos de sustitución; y por otro lado, sobre el grado de duración de los empleos. Además, su aplicación no ha ofrecido por lo general indicaciones sobre los puestos creados no atribuibles a la aplicación del programa. (18) Por ejemplo: revitalización del mundo rural, reforzamiento del tejido económico en la región, modificaciones estructura- les ligadas al desarrollo regional. 6. 24. Algunos contratos de evaluación contemplan la realización, en el marco del enfoque de bottom-up, de encuestas a interlocutores del desarrollo económico local y a los beneficiarios finales, incluidas empresas beneficia- rias de ayudas comunitarias, con el fin de apreciar cuantitativa o cualitativamente la contribución del pro- grama comunitario. En ocasiones, los resultados de las encuestas son poco representativos, debido al número de empresas e interlocutores que responden a las encuestas, y su fiabilidad es incierta, pues no siempre son objeto de controles. 6. 25. Por lo que se refiere a los indicadores de resultado y de impacto, se ha comprobado que: a) los plazos de obtención de datos y estadísticas suelen ser largos; b) los datos existentes se refieren a zonas geográficas que no se corresponden con las zonas o cuencas contem- pladas; c) los datos relativos a las empresas no se recogen por establecimientos, lo que falsea las estadísticas locales cuando una empresa con varias implantaciones en el territorio nacional sólo posee un establecimiento en la zona; d) muchos institutos de estadísticas no pueden segmentar los datos globales de forma más fina para enfocar una zona, una cuenca o un problema determinado. 6. 26. Cuando el evaluador presenta indicadores más adecuados desde el punto de vista de la medición del impacto, ya sea para colmar una laguna o para sustituir- los por los indicadores previstos, no los determina, lo que pone en duda su carácter operativo. Además, no siempre menciona las encuestas que quedan por hacer para con- cretarlos, ni estima su coste. Se destaca asimismo la dificultad de cuantificar los indicadores relativos a los objetivos de programa sin información sobre series histó- ricas. Realización de (1994–1996) los programas del objetivo 2 6. 27. Los resultados de la evaluación intermedia de los DOCUP, MCA y PO del período 1994–1996, así como el seguimiento, ponen de manifiesto una inadecuación entre la financiación programada y la realización de los progra- mas. A pesar de las numerosas adaptaciones de los programas de la última fase de programación 1994–1996 con la finalidad de absorber los importes de las ayudas financieras, se realizaron transferencias de cre´dito de la programación 1994–1996, del orden del 12 % en prome- dio, a la programación 1997–1999. Esta situación supone el riesgo de volver preponderante el deseo de absorción 16. 11. 98 ES Diario Oficial de las Comunidades Europeas C 347/17 de los cre´ditos y de infravalorar del papel de la evalua- ción, en particular en materia de coherencia entre los objetivos, recursos asignados e impacto de las interven- ciones estructurales. 7. IMPACTO DE LOS FONDOS ESTRUCTURALES Y MODELOS DE EVALUACIÓN Impacto de los MCA y de los programas Resultados de los modelos en materia de impacto de los Fondos Estructurales 7. 1. Los modelos empleados para la evaluación macroe- conómica de los Fondos Estructurales (ve´ase el anexo III), habida cuenta de sus características específicas, esti- man de modo diferente su impacto en lo que se refiere a: a) la realización de los objetivos de los Fondos Estructu- rales en materia de crecimiento del PIB, convergencia real del PIB per capita, empleo y desempleo; b) la observancia de las condiciones de aplicación de los Fondos Estructurales, como la adicionalidad y el desarrollo sostenible, especialmente en lo que se refiere al control de la deuda pública y de la balanza de pagos, a la distribución de la renta y al respeto del medio ambiente; c) los efectos en te´rminos de demanda y oferta; d) la eficacia de los instrumentos de los Fondos Estruc- turales, como las inversiones públicas, las inversiones en recursos humanos y las ayudas a las empresas privadas. Crecimiento del PIB 7. 2. Como se muestra en la tabla 7, en el ejercicio de evaluación del impacto de los Fondos Estructurales, los resultados de los principales modelos utilizados (Hermin, OGM y DIO) indican para los países de la cohesión un incremento positivo del PIB y, por consiguiente, una mejora de la convergencia. Así, el crecimiento acumula- tivo de la economía de los países de la cohesión de 1994 a 1999 resultante de las acciones estructurales inscritas en los MCA sería en te´rminos reales del PIB del 5,5 % para Portugal, 5,9 % para Grecia, 2,6 % para España y 3,3 % para Irlanda. Estos resultados presuponen la plena obser- vancia del principio de adicionalidad, y pueden ser modi- ficados en caso contrario (ve´anse los puntos 8. 11 a 8. 13). Por otra parte, los distintos modelos macroeconómicos han arrojado resultados suficientemente coherentes para que pueda considerarse verosímil la repercusión de los MCA 1994–1999 sobre el crecimiento en te´rminos reales del PIB anual. No obstante, los efectos vinculados a la demanda siguen siendo mayoritariamente dominantes a corto plazo, mientras que los efectos sobre la oferta sólo se producen mucho más tarde. Del mismo modo, según el modelo regional Helm utilizado en la región de Hainaut, la repercusión del DOCUP en te´rminos de crecimiento anual del valor añadido total representa un aumento del 1,7 al 2,5 % si se considera el período 1994–2002. En cambio, en el caso del Mezzogiorno, Italia, la repercusión de los Fondos Estructurales sobre el crecimiento parece muy limitado, incluso próximo a cero. El modelo QUEST de la Comisión, al introducir hipótesis sobre las anticipa- ciones de las empresas y de los consumidores, da como resultado estimaciones acerca de los efectos sobre el crecimiento y el empleo más fiables que en los modelos precedentes. Los beneficios que muestra este modelo relativos al potencial de crecimiento y la reducción del desempleo sólo se evidencian a largo plazo. 7. 3. En te´rminos de aceleración media del crecimiento anual como resultado de las acciones estructurales inscri- tas en los MCA, la tabla 8 muestra que los efectos multiplicadores de un crecimiento del 1 % del PIB por parte de los MCA generan, para el período 1994–1999, un suplemento de crecimiento anual del 0,2 % al 0,3 % para los efectos de la demanda y del 0,2 % como mucho para los efectos de la oferta. En el plano económico, la dominancia, puesta de manifiesto por el modelo HER- MIN, de los efectos sobre la demanda, que desaparece- rían con el cese de la ayuda comunitaria, sólo contribuye a realizar los objetivos del artículo 130 A del Tratado si los efectos sobre la oferta se desarrollan de forma dura- dera y refuerzan las capacidades productivas de las regio- nes afectadas. En la medida en que los efectos sobre la oferta se desarrollan mucho más tarde que los que inciden sobre la demanda, es posible que los efectos multiplicadores correspondientes este´n subestimados. Convergencia real en te´rminos de PIB per capita 7. 4. Los modelos utilizados en el marco de los Fondos Estructurales muestran que el proceso de convergencia no siempre está garantizado y que algunas programaciones de MCA pueden, como mucho, reducir la divergencia en vez de desarrollar la convergencia. 7. 5. Con respecto a Irlanda, Bradley (Hermin 1994) y Honohan (Hermin 1997) calculan lo que podría ser el efecto de la ayuda de los MCA 1989–1993 y 1994–1999 sobre el PIB per capita. El primero estima que la contri- bución de los MCA 1994–1999 a esta recuperación es modesta, mientras que para el segundo los MCA desem- peñan un papel significativo en el proceso de convergen- cia. Beutel (1997) predice que Irlanda alcanzará al resto de Europa incluso sin MCA 1994–1999, que aumentaría la tasa anual de crecimiento en un 0,6 %. Del mismo modo, la tasa anual de crecimiento prevista de España, Portugal y Grecia registrará aumentos, respectivamente, del 0,4 %, 1,1 % y 1 % durante el período de C 347/18 ES Diario Oficial de las Comunidades Europeas 16. 11. 98 1994–1999 en virtud de los Fondos Estructurales, lo que en todos los casos ha tenido un efecto positivo sobre la convergencia real en te´rminos de PIB per cápita. 7. 6. Las simulaciones predictivas efectuadas con el modelo OGM sobre la convergencia en PIB real per cápita con respecto a la media de la Unión muestran estimaciones que subrayan el hecho de que, aun cuando las tendencias proyectadas en 1995 son demasiado pesi- mistas para Irlanda (ve´ase la tabla 9), la contribución neta de los MCA a la convergencia sigue siendo modesta para los países de la cohesión. 7. 7. En cuanto a Hainaut, el modelo Helm toma en consideración los aspectos de la convergencia real para la evaluación intermedia y estima que la tasa anual prevista de crecimiento sería en torno a un 1,4 % o 1,6 % superior a la media europea gracias a los Fondos Estruc- turales, lo que permitiría una recuperación real. 7. 8. Estas estimaciones ponen de manifiesto que, habida cuenta de las diferencias en las estructuras productivas regionales o sectoriales de los Estados miembros del objetivo 1, las ayudas de los Fondos Estructurales produ- cen efectos variables. Confirman asimismo que la calidad de la programación de los Fondos Estructurales debe mejorarse, para que, con un objetivo de convergencia, las intervenciones de los Fondos Estructurales permitan mejorar las capacidades productivas de la economía. Empleo y desempleo 7. 9. En la tabla 10 se resumen los resultados de las evaluaciones de repercusión de los Fondos Estructurales sobre el empleo y el desempleo. Para todos los estudios, los MCA generan empleo neto. Los nuevos puestos se crean a menudo en el sector de los servicios no comercia- les, mientras que los efectos de productividad de los MCA se concentran principalmente en el sector indus- trial. Por último, determinados estudios ponen de mani- fiesto una reducción del empleo industrial debido a un aumento de la productividad del trabajo. Eficacia de los instrumentos de los MCA 7. 10. Las evaluaciones Hermin para España, Irlanda y Portugal muestran que las ayudas a la inversión pública, en particular en infraestructuras, son más productivas en te´rminos de crecimiento que las ayudas a las inversiones en recursos humanos (exceptuando en España) y que las destinadas a las inversiones privadas. Así se observa en la tabla 11, que muestra, por instrumentos, el aumento del PIB nacional resultante del aumento de un 1 % de la parte del MCA en el PIB acumulado del período 1994–1999. El estudio Hermin para Grecia llega tambie´n a la conclusión de que las inversiones en infraestruc- turas («hard infrastructure») recogidas en los MCA con- tribuyen más al crecimiento del PIB que las inversiones en recursos humanos. La aplicación del modelo OGM (Pe- reira 1991) para evaluar los efectos de la sustitución de ayudas a la inversión privada o a la inversión en recursos humanos por más ayudas a la inversión en infraestructu- ras arroja una mejora del crecimiento del PIB y del proceso de convergencia inducido por los Fondos Estruc- turales. Obligación de adicionalidad y de cofinanciación 7. 11. Los modelos han permitido asimismo evaluar la importancia de la adicionalidad y la cofinanciación públi- ca. Así, Honahan (Hermin, 1997) estima que, sin una obligación de cofinanciación pública, la tasa de creci- miento de la economía irlandesa habría sido inferior en un 1 % a la repercusión del MCA, del mismo modo que el empleo habría aumentado en menor medida. En cam- bio, el mismo autor preve´ una reducción más sensible de la relación deuda pública/PIB y del excedente de la balanza de pagos en ausencia de una obligación de cofinanciación pública. En Portugal, la exigencia de cofi- nanciación conduce, según la evaluación Hermin, a un aumento adicional acumulado del 1,3 % del PIB, pero da lugar asimismo a una evolución menos positiva en mate- ria de deuda pública. 7. 12. La evaluación Helm para Hainaut atribuye una gran importancia a la adicionalidad. La tasa de creci- miento medio del valor añadido durante el período 1994–1999 de los tres escenarios —la política regional incluido el DOCUP, la prosecución de la política regional sin la ayuda comunitaria, la política regional previa deducción del DOCUP— se eleva según la evaluación Helm al 2,5 %, 1,7 % y 0,1 % respectivamente, del mismo modo que la tasa de crecimiento del empleo caería del 0,8 % al 0,2 %. La situación de la industria se deterioraría tambie´n de forma considerable. La evalua- ción Helm permite comprobar asimismo, introduciendo variaciones en el tipo de la subvención, que un tipo determinado de ayuda a la inversión no estimula e´sta en la misma medida que otro y que muchas inversiones se llevarían a cabo con niveles de ayuda más bajos. Desarrollo sostenible 7. 13. En la tabla 10 se observa que los efectos de los Fondos Estructurales sobre el saldo de la balanza comer- cial, la balanza corriente o el de´ficit público no siempre se evalúan. Por lo demás, los distintos estudios llegan a conclusiones divergentes; así, la expansión económica inducida por los MCA conduce en determinados casos a mejorar la hacienda pública a trave´s de la fiscalidad, mientras que según otros modelos los MCA generan de´ficit presupuestarios. 16. 11. 98 ES Diario Oficial de las Comunidades Europeas C 347/19 Papel de la evaluación macroeconómica en el proceso de toma de decisiones de los Fondos Estructurales 7. 14. Habida cuenta de los efectos a corto plazo de los Fondos Estructurales sobre la demanda, la evaluación intermedia tiende a sobrestimar los problemas de absor- ción de los fondos comunitarios por las autoridades políticas e infravalorar los efectos a más largo plazo sobre la oferta. Las reorientaciones o reprogramaciones de los PO o MCA pueden así resultar equivocadas. De este modo, pueden suprimirse medidas o proyectos que no absorben suficientemente rápido los cre´ditos comuni- tarios, en particular en ámbitos difíciles de aplicar como la innovación o las nuevas tecnologías, en beneficio de estructuras ya existentes de productividad mucho más baja, sin que siempre se consideren los aspectos macroe- conómicos de desarrollo duradero. 7. 15. En este contexto, es indispensable realizar evalua- ciones macroeconómicas complementarias que integren los aspectos de durabilidad, crecimiento o convergencia antes de cualquier toma de decisión en materia de progra- mación inicial y de su reordenación. Ahora bien, en muchos casos, como España, Grecia o los nuevos Länder alemanes, se han efectuado ya reprogramaciones en el marco de la evaluación intermedia sin un análisis global macroeconómico serio. En cuanto a las regiones del objetivo 1 en Alemania, no se ha llevado a cabo ningún análisis macroeconómico de repercusión durante la eva- luación intermedia. Repercusión en el ámbito de subprogramas, medidas y proyectos 7. 16. Hay muy pocas evaluaciones en el ámbito de subprogramas y medidas, a pesar de que constituyen el motor de la programación de los Fondos Estructurales. La dispersión, la falta de definición y coherencia de muchos subprogramas o medidas, así como una cuantifi- cación insuficiente de los objetivos específicos y relativos pueden explicar esta dificultad para medir la repercu- sión. 7. 17. Esta laguna dificulta cualquier esfuerzo encami- nado a identificar y medir la sinergia y la complementa- riedad de las medidas entre sí o entre distintos progra- mas. Por otra parte, los vínculos entre los objetivos generales del programa y los específicos de los subprogra- mas o medidas son a menudo poco evidentes. Así, en los informes de evaluación intermedia se pusieron de mani- fiesto muchos problemas de coherencia en los programas del MCA 1994–1999 del objetivo 1. anteriormente descritos sólo aportan una evaluación de la eficacia de los principales instrumentos de los MCA —las inversiones públicas, las inversiones privadas y las inver- siones en recursos humanos— en lo que se refiere a su contribución respectiva al crecimiento del PIB. Los gastos en infraestructura, al ser complementarios del capital privado, parecen aumentar el rendimiento de este último y tendrían un efecto de aceleración de la velocidad de la convergencia superior a otras formas de inversión (ve´ase la tabla 11). 7. 19. No obstante, la elección de las medidas o subpro- gramas constitutivos de un programa y de su financiación no es neutra para el desarrollo regional en te´rminos de crecimiento endógeno duradero. Ahora bien, los trabajos de evaluación emprendidos por la Comisión o los Estados miembros en el marco de la cooperación a escala de subprogramas o medidas son aún insuficientes para examinar las consecuencias de una medida concreta sobre otras zonas o sectores o compararla con otras medidas que persigan objetivos similares. Además, en el análisis de la repercusión de las medidas o subprogramas deberá tenerse en cuenta tambie´n el arbitraje inicial entre creci- miento e igualdad interregional que ha predeterminado su elección, a fin de ponderar las ganancias de eficacia esperadas y obtenidas. 7. 20. A escala de proyectos, se lleva a cabo un análisis costes/ventajas que en principio tiene por objetivo la aprobación de la financiación del proyecto. Este análisis es obligatorio con arreglo al artículo 5 del Reglamento (CEE) no 2083/93 (FEDER) para los grandes proyectos cuyo coste total sea superior a 25 millones de ecus para las inversiones en infraestructuras y a 15 millones de ecus para las inversiones productivas. Estas apreciaciones pre- vias de los grandes proyectos forman parte de la instruc- ción de las solicitudes de ayuda comunitaria y determinan la dotación de financiación, pero sus evaluaciones poste- riores no están contempladas en los reglamentos de los Fondos Estructurales y no pueden ser exigidas por la Comisión para comprobar la realización efectiva de las ventajas socioeconómicas esperadas a la vista de los recursos comunitarios movilizados a tal fin. Esta deficien- cia en el proceso de evaluación de los grandes proyectos hace inoperante el concepto mismo de evaluación a este nivel, ya que una apreciación previa sólo puede justifi- carse si hay efectivamente una evaluación posterior. Ade- más, en estos estudios microeconómicos y sectoriales podría estimarse tambie´n la repercusión potencial de los Fondos Estructurales sobre la productividad, de forma que se conviertan en un buen instrumento para el análisis a corto o medio plazo de la repercusión. 7. 18. Raras son por lo demás las te´cnicas adecuadas para medir la repercusión de un subprograma o una medida específica. Así, los modelos macroeconómicos 7. 21. Al efectuar la evaluación de los proyectos, hay que tomar en consideración tambie´n las sinergias y comple- mentaridades, que todavía se evalúan de forma insufi- C 347/20 ES Diario Oficial de las Comunidades Europeas 16. 11. 98 ciente o superficial. Es indispensable adecuar las comple- mentariedades y sinergias entre proyectos para no debili- tar la repercusión previsible. 8. 4. Lo mismo ocurre en lo que se refiere a las bases estadísticas, cuya debilidad pone en duda la validez de los indicadores y condiciona mucho el proceso de segui- miento y de evaluación. 7. 22. En la evaluación intermedia se abordan a menudo los problemas de gestión de los programas, pero no se tienen un cuenta los criterios que han determinado la selección de los proyectos, como la durabilidad del pro- yecto o su contribución al desarrollo regional. Ahora bien, el sistema de gestión de los programas debe garanti- zar que los criterios de selección de los proyectos se utilicen para optimizar los resultados del programa. En particular, habría que evitar los proyectos que tienen un valor añadido muy bajo en materia de desarrollo, aun cuando presenten la ventaja de consumir los cre´ditos muy rápido. El sistema de selección de proyectos debe ser más transparente para permitir su control y garantizar su evaluabilidad. 8. CONCLUSIÓN 8. 1. El ejercicio de evaluación de las intervenciones estructurales comunitarias se inscribe en las obligaciones reglamentarias derivadas de las decisiones del Consejo y actualmente es ampliamente realizado en el marco de la cooperación. La evaluación se ha convertido en un sis- tema de ayuda al diseño y la gestión de las intervencio- nes, que contribuye a un mejor conocimiento de sus efectos y su utilidad. Para el período 1994–1999, se concluyeron más de 250 evaluaciones intermedias a escala de los Comite´s de seguimiento (19) en el curso del año 1997. 8. 2. Con la revisión de la reforma de los Fondos Estruc- turales, la evaluación ha entrado en una fase de madurez que desde ahora conviene consolidar mediante un mejor encuadramiento metodológico. Todavía hay que realizar un esfuerzo importante en lo relativo a los me´todos de evaluación más adecuados para medir la repercusión socioeconómica de los programas en el marco del des- arrollo regional, dado que el programa MEANS no ha aportado una respuesta satisfactoria. 8. 3. Debería realizarse tambie´n un esfuerzo sostenido en materia de indicadores a todos los niveles, en lo que se refiere a su pertinencia, los modos de cálculo y su coste. Asimismo, un esfuerzo de formalización debería centrarse en los aspectos cualitativos. Sin nuevos progresos en estos ámbitos, el proceso de evaluación puede estancarse. 8. 5. La multiplicidad actual de indicadores más o menos pertinentes perjudica la calidad de la evaluación e impide hacerla operativa. Debería seleccionarse cuidadosamente un pequeño número de indicadores de repercusión indis- pensables para justificar o reorientar una política estruc- tural teniendo en cuenta las limitaciones de la regionaliza- ción de los datos y las posibilidades materiales de reco- gida de información. La fiabilidad de estos indicadores debería controlarse. Es necesario mejorar la comparabili- dad entre indicadores y su agregación a escala europea. 8. 6. Para que la evaluación pueda tenerse plenamente en cuenta en el proceso de toma de decisiones y en la gestión operativa de los Fondos Estructurales, sería conveniente garantizar la transparencia y la objetividad de las evalua- ciones, la correspondencia entre sus objetivos y las necesi- dades y una fecha de conclusión adecuada. 8. 7. Para garantizar la objetividad de los resultados de evaluación, debe preservarse la independencia de los evaluadores con respecto a los gestores y las autoridades públicas competentes. 8. 8. La utilización de un marco de referencia común facilitaría la legibilidad y comparabilidad de los informes de evaluación, así como los intercambios de experien- cias. 8. 9. Para cada evaluación, sería conveniente definir unos objetivos más operativos. En los te´rminos de referencia y en el pliego de condiciones, generalmente aprobados por la Comisión, debería indicarse claramente la metodología más adecuada, dependiendo de que contemple aspectos regionales, sectoriales o nacionales o de que se centre especialmente en los efectos a corto o largo plazo. Cualquier otra metodología debería ser objeto de un análisis de puntos fuertes/de´biles en comparación con la metodología de la Comisión. Del mismo modo, el marco de referencia de cada evaluación debería incluir una lista mínima de indicadores propuesta por la Comisión para medir el rendimiento de los objetivos de los programas, a fin de garantizar una coherencia indispensable para el análisis. Naturalmente, pueden utilizarse otros indicado- res de situación socioeconómica y estructural para com- pletar y afinar el análisis. (19) Los Comite´s de seguimiento están formados por represen- tantes de las instancias nacionales competentes y de la Comisión. 8. 10. Dada la diversidad de enfoques de evaluación existentes, la Comisión debe exigir que los evaluadores expliquen mucho mejor su enfoque en la fase de licita- ción, en particular el tipo de efectos o de repercusión que 16. 11. 98 ES Diario Oficial de las Comunidades Europeas C 347/21 pretenden medir y durante que´ período, para poder estimar el nivel de exhaustividad de la metodología utilizada. Además, la evaluación debería incluir un análi- sis detallado de los vínculos existentes entre los objetivos de los programas y los ejes, y las medidas aplicadas para realizar dichos objetivos, así como la necesaria articula- ción en cascada de los objetivos/resultados/realizaciones de los programas, ejes y medidas. 8. 11. En este contexto, es necesaria una mejor segmenta- ción de la evaluación en función de sus destinatarios para aumentar la eficacia y responder mejor a sus expectativas específicas, en particular en el ámbito de las evaluaciones intermedias. Del mismo modo, debería buscarse un mejor control del gasto, ya que la Comisión no siempre conoce los gastos asignados a la evaluación en el marco de la cooperación. 8. 15. La modelización macroeconómica hace una distin- ción fundamental entre los efectos sobre la demanda a más corto plazo y los ajustes estructurales de la oferta. La programación de las intervenciones de los Fondos Estruc- turales debería tender más a mejorar la capacidad pro- ductiva de la economía, a fin de garantizar la permanen- cia de los efectos y evitar una dependencia demasiado marcada de la demanda que conduzca a una situación en que la ayuda comunitaria siga siendo indispensable a largo plazo. 8. 16. Como los efectos sobre al oferta se materializan transcurrido un período más largo, la evaluación interme- dia debe conceder más atención en general a los efectos sobre la demanda. La Comisión debería emprender una acción dirigida a mejorar los instrumentos necesarios para el seguimiento y la evaluación de los efectos estruc- turadores sobre la economía. 8. 12. La Comisión debería indicar asimismo los aspectos de la política regional que deben evaluarse más especial- mente: adicionalidad, convergencia, cooperación, concen- tración, empleo, desarrollo económico endógeno o bien- estar social. La medición del PIB per cápita no debe ser la única referencia para juzgar la eficacia de las intervencio- nes estructurales. 8. 17. De los modelos macroeconómicos se desprende asimismo que una política de crecimiento económico no siempre es compatible con un desarrollo sostenible. Sería conveniente analizar más las relaciones entre la repercu- sión sobre el crecimiento y los efectos sobre el desarrollo sostenible, y tener en cuenta de forma sistemática esta dualidad en la programación de las intervenciones de los Fondos Estructurales. 8. 13. La estimación de los efectos, de la repercusión y del valor añadido comunitario debería basarse en mode- los de desarrollo nacional y regional a escala de progra- mas, así como en modelos de repercusión relativos a las medidas. 8. 18. Los efectos de la obligación de adicionalidad y de cofinanciación pública no son fáciles de determinar y no siempre se examinan. Deberían dedicarse a ello análisis sistemáticos y más profundos. 8. 14. Los resultados macroeconómicos de las acciones estructurales deberían afinarse teniendo en cuenta las imperfecciones de los modelos subyacentes, los efectos secundarios provocados por esas mismas acciones y todos sus efectos sobre el bienestar social. 8. 19. La evaluación en sí misma no pretende sustituir el proceso de decisión política, que abarca consideraciones más amplias, pero debe ser una herramienta indispensa- ble para una gestión sana y eficaz de las intervenciones estructurales comunitarias que tenga en cuenta los resul- tados socioeconómicos. El presente Informe ha sido aprobado por el Tribunal de Cuentas en Luxemburgo en su reunión del 23 de septiembre de 1998. Por el Tribunal de Cuentas Bernhard FRIEDMANN Presidente Coste de la evaluación financiada directamente por la Comisión (DG XVI) del primer MCA Tabla 1 País Objetivo 1 1989-1993 Objetivo 2 Iniciativas comunitarias Temática Otros Total Previa Posterior Previa Posterior Previa Posterior (en ecus) Be´lgica Dinamarca Alemania Grecia España Francia Irlanda Italia Luxemburgo Países Bajos Portugal Reino Unido CE 35 000 31 000 42 000 35 000 35 000 35 000 53 000 150 172 207 372 97 662 109 572 150 552 193 022 72 572 17 500 35 000 17 500 70 000 35 000 35 000 17 500 35 000 122 500 69 040 25 520 138 570 117 090 253 185 96 580 15 880 47 925 131 500 14 815 65 963 10 514 143 480 526 347 739 274 197 228 201 915 395 955 15 128 46 816 452 706 223 428 98 400 35 395 25 000 593 350 260 977 104 371 464 064 390 156 25 000 625 169 626 694 77 500 151 845 30 000 151 845 151 845 35 000 550 256 187 898 96 034 299 550 1 456 714 1 455 713 881 291 810 551 1 255 088 48 508 154 741 1 340 897 1 229 694 740 971 Total 266 000 980 924 385 000 910 105 3 117 154 3 227 676 1 070 791 9 957 650 Fuente: Comisión Europea. C 3 4 7 2 2 / E S D i a r i o O f i c i a l d e l a s C o m u n i d a d e s E u r o p e a s 1 6. 1 1. 9 8 Coste de la evaluación directamente financiada por la Comisión (DG XVI) del segundo MCA hasta el 1 de abril de 1998 Tabla 2 País 1994-1999 Objetivo 1 1994-1996 1997-1999 1994-1999 Objetivo 2 Objetivo 2 IC Temática Estudios de cohesión Desarrollo meto- dológico y otros Total Previa Intermedia Previa Intermedia Previa Previa (en ecus) Be´lgica Dinamarca Alemania Grecia España Francia Irlanda Italia Luxemburgo Países Bajos Austria Portugal Finlandia Suecia Reino Unido CE 24 000 352 527 38 940 108 303 68 995 86 841 56 000 83 809 19 000 17 671 60 000 71 774 49 150 1 030 037 4 171 941 1 382 117 481 092 1 067 557 1 514 311 37 499 11 827 1 631 604 339 214 281 295 70 885 26 530 23 312 94 784 85 102 186 122 105 287 9 143 46 431 33 000 16 750 27 000 154 591 127 300 611 348 9 278 128 450 209 078 807 462 722 690 61 741 104 924 171 201 326 614 247 636 10 600 9 600 29 200 19 000 45 600 31 169 10 600 10 600 30 000 1 559 39 702 23 286 29 725 36 091 4 326 33 185 460 4 406 245 35 247 35 845 4 314 127 986 2 576 126 19 417 33 357 62 217 55 167 48 367 56 967 52 317 49 417 14 597 46 817 38 417 52 122 90 000 4 030 438 1 045 981 75 547 1 551 316 4 358 697 1 842 384 1 700 175 1 180 200 2 539 868 96 541 269 677 233 944 1 765 268 682 578 555 931 415 217 6 877 328 Total 684 483 12 371 906 935 352 3 400 422 196 369 248 391 2 704 112 619 179 4 030 438 25 190 652 Fuente: Comisión Europea. 1 6 1 1 9 8. E S D i a r i o O f i c i a l d e l a s C o m u n i d a d e s E u r o p e a s C 3 4 7 / 2 3 C 347/24 ES Diario Oficial de las Comunidades Europeas 16. 11. 98 Tabla 3 Articular el control, el seguimiento y la evaluación Medios RR Realizaciones RR Repercusiones Input Output Outcome Referentes Conformidad a los textos administrativos Normas de buena gestión Satisfacción de los ciudadanos rr Control RR rr rr Seguimiento (de gestión) RR Evaluación (de los efectos) RR Fuente: MEANS Tabla 4 Juzgar el valor de un programa Repercusiones qq QQ QQ Resultados qq QQ QQ Sociedad Necesidades Bazas QQ QQ QQ Acción pública Objetivos específicos globales RR Medios Recursos RR Interven- ciones Realizaciones Pertinencia Evaluación Fuente: MEANS Eficiencia Eficacia Utilidad 16. 11. 98 ES Diario Oficial de las Comunidades Europeas C 347/25 Tabla 5 Número de evaluaciones intermedias por país y por objetivo País Objetivo 1 Objetivo 2 Objetivo 3 Objetivo 4 Objetivo 5a Objetivo 5b Objetivo 6 Total Be´lgica Dinamarca Alemania Grecia España Francia Irlanda Italia Luxemburgo Países Bajos Austria Portugal Finlandia Suecia Reino Unido Total 1 8 28 27 6 11 24 1 1 25 12 144 4 2 9 9 27 11 1 5 4 1 5 13 91 5 1 13 12 1 1 1 1 1 4 1 1 5 1 1 2 1 1 1 1 1 4 1 42 19 1 1 1 1 1 1 1 1 8 3 1 8 7 20 13 1 5 7 2 5 11 83 19 6 40 28 58 55 11 50 4 13 15 25 13 14 38 389 1 1 2 En el ámbito del MCA se han emprendido cinco evaluaciones intermedias —España, Grecia, Irlanda, Italia y Portugal— y se ha llevado a cabo asimismo una síntesis de los trabajos de evaluación en relación a las acciones del Objetivo 1 en Alemania. Fuente: Comisión Europea. Estado de avance de las evaluaciones intermedias de los objetivos 1, 2 y 6 Tabla 6 Estado miembro Comite´s de seguimiento Licitación Organismo seleccionado Número de informes presentados o previstos Obj. 1 País Cohesión España Grecia Irlanda Portugal Obj. 1 Otros países Alemanha 1 comite´ MCA 12 subcomite´s regionales 7 subcomite´s sectoriales FEDER 1 regional/central (Canta- bria) concluida 12 concluidas 7 concluidas 1 externo 12 externos 7 externos 1 informe previsto para 7. 1997 12 informes previstos para 5. 1997; 1 informe presentado 7 informes previstos 5-6. 1997; 1 informe presentado 1 concluida 1 externo informe previsto 5. 1997 1 comite´ MCA 13 subcomite´s regionales 17 subcomite´s sectoriales en curso de selección 13 concluidas 7 concluidas 3 publi- cadas 6 ofertas recibidas 13 externos designación en curso — — 13 informes presentados 6. 1997 1 comite´ MCA 9 comite´s sectoriales lanzada en 1996 1 externo 9 externos 1 informe intermedio presentado 3. 1997 9 informes intermedios presentados 3. 1997 1 comite´ MCA 7 subcomite´s regionales 3 subcomite´s plurirregio- nales 7 subcomite´s sectoriales concluida concluida concluida concluida 1 externo 7 externos 3 externos 14 externos informe previsto para finales de 1997 7 informes presentados el 1er trimestre 1997 3 informes presentados el 1er trimestre 1997 12 informes presentados el 1er trimestre 1997 — 1 informe previsto 7. 1997 — 1 informe previsto 9. 1997 1 comite´ MCA 6 subcomite´s regionales 3 subcomite´s FSE-FE- OGA-IFOP 1997 (restringida) 1996 — 1 externo 6 externos — 1 informe final previsto 8. 1997 6 informes presentados 5. 1997 — Be´lgica 1 comite´ DOCUP 3. 9. 1994 1 externo informe final presentado 5. 1997 C 3 4 7 2 6 / E S D i a r i o O f i c i a l d e l a s C o m u n i d a d e s E u r o p e a s 1 6. 1 1. 9 8 Estado miembro Comite´s de seguimiento Licitación Organismo seleccionado Número de informes presentados o previstos Francia 6 comite´s DOCUP 6 concluidas 6 externos Córcega: informe intermedio presentado 12. 1996 Hainaut: informe previsto para 7. 1997 Martinica/Guadalupe: informes previstos 6. 1997 Reunión/Guyana: informes previstos para finales 1997 Italia 1 comite´ MCA 8 subcomite´s regionales 12 subcomite´s multirre- gionales short list disponible, selección prevista 11. 1997 lanzadas publicación en curso, selección prevista (verano 1997) 0 evaluación interna: informe previsto para 7. 1997 evaluación externa: informe previsto para 6. 1998 2 sobre 8 externos 0 informes previstos para principios 1998 — Países Bajos 1 comite´ DOCUP 3. 1996 1 externo informe previsto para finales 1997 Reino Unido 2 comite´s DOCUP 1:2. 1996 (Merseyside 2:1996 (H&I) 1 externo 1 externo 1 informe presentado a principios 1997 1 informe previsto verano 1997 Irlanda del Norte 1 comite´ MCA 9 subcomite´s sectoriales 1:6. 1996 mayo 1996 1 externo 9 externos informe presentado en mayo 1997 9 informes presentados 1er semestre 1997 Austria 1 comite´ concluida 1 externo informe previsto otoño 1997 Obj. 6 Finlandia 1 comite´ DOCUP concluida 1 externo informe previsto para 10. 1997 Suecia 1 comite´ DOCUP concluida 1 externo informe previsto 6. 1997 Fuente: Comisión Europea. 1 6 1 1 9 8. E S D i a r i o O f i c i a l d e l a s C o m u n i d a d e s E u r o p e a s C 3 4 7 / 2 7 C 347/28 ES Diario Oficial de las Comunidades Europeas 16. 11. 98 Incidencia de los segundos programas MCA (incluida la cofinanciación nacional) sobre el crecimiento del PIB Tabla 7 FEC 1994-1999 como % del PIB HERMIN (1) (tasas de crecimiento anual medias en % para 1994-1999) Demanda Oferta Total OGM (2) (tasas de crecimiento anual medias en % para 1994-1999) DIO (3) (tasas de crecimiento anual medias en % para 1994-1999) Grecia España(4) Portugal Irlanda 5,9 2,6 5,5 3,3 0,9 0,6 1,6 0,5 0,9 0,3 0,2 0,2 1,8 0,8 1,8 0,7 0,6 0,2 0,4 0,1 1 0,5 1 0,6 (1) HERMIN: Modelo econome´trico basado en el modelo original HERMES (Harmonised Econometric Research for Modelling Economic Systems), pero con la particularidad de ser de tamaño mínimo (Min), y de ahí el (HER)MIN. Ve´ase el capítulo 7 y más en particular los puntos 7. 2, 7. 5, 7. 10, 7. 11, así como el punto 5 del anexo III. (2) Optimal Growth Model (OGM) de Pereira (1991 y 1995). Ve´ase el capítulo 7 y más en particular los puntos 7. 2, 7. 6, 7. 10, así como el punto 7 del anexo III. (3) Modelo input-output dinámico (DIO) de Beutel (1995, 1996 y 1997). Ve´ase el punto 6. 23 d), así como el punto 9 del anexo III. (4) Por lo que respecta a España, no todas las regiones son elegibles para el objetivo 1. Fuente: Evaluaciones sobre la base de los modelos macroeconómicos en cuestión, cofinanciadas por la Comisión. Multiplicadores de crecimiento anual del programa MCA en 1994-1998 Tabla 8 HERMIN Demanda Oferta Total OGM DIO Grecia España Portugal Irlanda 0,2 0,2 0,3 0,2 0,2 0,1 0 0,1 0,4 0,3 0,3 0,3 0,1 0,1 0,1 0 0,2 0,2 0,2 0,2 Fuente: Evaluaciones basadas en los modelos macroeconómicos en cuestión, cofinanciados por la Comisión. Tabla 9 Convergencia real del PIB per cápita en el enfoque OGM 9 0 90 8 0 80 7 0 70 60 6 0 50 5 0 40 4 0 E U a l e d a i d e m a l e d % Grecia G r e e c e I r e l a n d Irlanda P o r t u g a l Portugal S p a i n España 30 3 0 1993 1 9 9 3 1995 1 9 9 5 1997 1 9 9 7 1999 1 9 9 9 2003 2 0 0 3 2007 2 0 0 7 Nota: De estas simulaciones previsibles realizadas sobre la base de datos relativamente poco recientes, no debe retenerse más que la orientación de las tendencias, y no los valores absolutos de unas proyecciones que resultan excesivamente pesimis- tas, especialmente en el caso de Irlanda. Fuente: Evaluaciones basadas en el modelo OGM (Pereira, 1995). 16. 11. 98 ES Diario Oficial de las Comunidades Europeas C 347/29 Repercusión de los programas de los MCA sobre el empleo y la sostenibilidad en el período 1989-1999 Tabla 10 Autores Empleo y desempleo Bradley y cols. [HERMIN] — Aumentos del empleo total — El empleo fabril disminuye parcialmente de- bido a los aumentos de productividad Sostenibilidad Finanzas públicas Balanza de pagos La balanza comercial se de- teriora — Las necesidades de en- deudamiento público aumentan al comienzo del programa y dismi- nuyen despue´s, cuando se hacen notar los efec- tos del lado de la oferta — Los efectos sobre el cre- cimiento son menores cuando la necesidad de endeudamiento del sec- tor público no cambia Honohan (dir. ) [HERMIN] Herce y Sosvilla- Rivero [HERMIN] Christodoulakis y Kalyvitis [HERMIN] Sema Group [HELM] Pereira (1995) [OGM] Lolos y Zonallas [BBM] Beutel [DIO] — El empleo en los sectores no comerciales au- menta — Aumentos del empleo total — Ve´ase estudio previo — Aumentos del empleo total — El desempleo disminuye — La razón endeuda- miento/PNB disminuye sustancialmente — Ve´ase el estudio de Bradley y cols. — La razón endeuda- miento/PNB disminuye La balanza de pagos mejora mientras se mantiene la fi- nanciación UE La balanza comercial se de- teriora debido a los efectos del lado de la demanda — Aumentos del empleo total — Aumenta el de´ficit pri- No se considera mario — Disminuye el desempleo urbano — Aumentos del empleo total No se considera No se considera — El empleo fabril disminuye — El empleo en los servicios comerciales aumenta Modelo de pleno empleo Aumenta el empleo y disminuye el desempleo El de´ficit público primario como % del PIB aumenta El de´ficit presupuestario aumenta desde 1989-1993 y disminuye en 1994-1995 El de´ficit por cuenta co- rriente aumenta, excepto en España en 1997-1999 La cuenta corriente se dete- riora — Aumenta en empleo en Portugal, Grecia y Es- No se considera paña Las exportaciones-importa- ciones aumentan en Portugal y en Grecia, pero disminu- yen en Irlanda — En Irlanda, el primer MCA reduce el empleo, pero el segundo MCA crea nuevos puestos de trabajo FIDIMS Aumenta el empleo en la Italia septentrional y meridional No se considera No se considera C 347/30 ES Diario Oficial de las Comunidades Europeas 16. 11. 98 Aumento procentual acumulado del PIB (PNB) generado por el aumento de un punto procentual en la participación del MCA en el PIB (1994-1999) Tabla 11 Capital físico Capital humano Capital privado España Irlanda Portugal 2 1,4 1,9 3,3 1,2 1,3 1,5 1,1 No disponible Fuente: Evaluaciones HERMIN. 16. 11. 98 ES Diario Oficial de las Comunidades Europeas C 347/31 ANEXO I SÍNTESIS DE LA METODOLOGÍA QUE DEBE APLICARSE EN EL MARCO DE LA EVALUACIÓN POSTERIOR DE LOS MCA DEL OBJETIVO 1 1989–1993 1. La evaluación posterior de los MCA O1 1989–1993 tenía como objetivo explícito: a) apreciar la estrategia y los objetivos seleccionados en los MCA y extraer enseñanzas para la acción futura. Analizar las consecuencias, sobre los objetivos inicialmente fijados, de la redefinición y adaptación de las intervenciones durante el período de aplicación; b) hacer un primer balance a escala de los MCA y los PO de las realizaciones materiales de las acciones significativas y proceder a una primera evaluación de su repercusión; c) analizar la eficacia de los mecanismos de aplicación y extraer enseñanzas para posibles adecuaciones en el futuro. 2. El consultor principal, encargado de la coordinación de las evaluaciones efectuadas por otros consultores para los Estados miembros, elaboró enfoques metodológicos: a) para el primer objetivo, con el fin de evaluar la lógica inherente a los MCA y PO y a los ajustes de que fueron objeto los MCA y PO desde 1989 —y más específicamente para analizar las causas de dichos ajustes, el valor añadido comunitario, la coherencia interna, la pertinencia de la estrategia con respecto a los problemas y la adecuación de las financiaciones—, debían realizarse las tareas siguientes, que corresponden a un enfoque top-down: — recogida de información y datos clave: datos financieros, objetivos previos, outputs/efectos esperados, grupos y ámbitos objetivo, principales instrumentos utilizados, número de proyectos/ medidas aprobados, número de proyectos realizados; — descripción del entorno del programa y de su evolución (situación inicial — situación actual); identificación de los factores externos que influyen en la evolución del programa y en su e´xito/fracaso; análisis de los problemas y las causas de base; concretar los indicadores clave del desarrollo regional, incluidos indicadores de cambio de las disparidades; — identificación de los instrumentos de política (pre´stamos, subvenciones, asistencia te´cnica); — jerarquización de los objetivos, identificación de los niveles de jerarquía y de los vínculos entre objetivos e instrumentos; b) para el segundo objetivo, los análisis que debían efectuarse obedecían a la vez a enfoques top-down y bottom-up: — análisis de los outputs y de los efectos a escala de PO, medidas y proyectos, habida cuenta de las «pe´rdidas sin más» y de los efectos de sustitución y multiplicación; — análisis de la eficacia relativa de medidas y combinaciones de medidas; análisis de los factores causales de e´xito/fracaso; — comparación de outputs e inputs; se trataba asimismo de concretar indicadores clave y optativos; c) para el tercer objetivo, había que analizar la eficacia de los mecanismos de aplicación a escala de los MCA y los PO y de un número reducido de medidas, e identificar las mejoras aportadas y por aportar en el proceso de programación, aplicación, seguimiento y evaluación; para cada Estado miembro debían examinarse los mecanismos de toma de decisiones, de planificación, de control financiero, de aplicación, de seguimiento y de control, los circuitos financieros, la cooperación, la adicionalidad, la coordinación de los fondos, el proceso de simplificación y de armonización, de aumento de la flexibilidad y de la transparencia; se analizaría en profundidad la aplicación y el seguimiento de una pequeña muestra de medidas/grandes proyectos; d) se elegían muestras ad hoc de programas, medidas y proyectos con el objetivo, por una parte, de calcular un número limitado de indicadores físicos y de repercusión, y, por otra, de efectuar análisis en profundidad. C 347/32 ES Diario Oficial de las Comunidades Europeas 16. 11. 98 ANEXO II SÍNTESIS DEL ENFOQUE DE EVALUACIÓN POSTERIOR DEL OBJETIVO 2 1989–1993 La evaluación posterior de las intervenciones comunitarias en el marco del Objetivo 2 para el período de programación 1989–1993, que comprende generalmente componentes FEDER y FSE, incluía: a) análisis generales de todas las regiones y zonas O2 con el objetivo de comparar la situación socioeconómica en vísperas de la intervención de los FE en el marco del O2 y la situación socioeconómica despue´s de la intervención; asimismo, debían de dar lugar a un análisis de la estrategia aplicada, de la jerarquía de los objetivos, prioridades y medidas, de los indicadores, de los efectos planificados y no planificados, de las sinergias entre componentes de los programas y de la integración de los distintos fondos. Estos análisis debían basarse en el contenido de los MCA y los PO, en los informes de ejecución anuales o en los informes presentados al comite´ de seguimiento y en las evaluaciones previa y posterior si se disponía de ellas; b) estudios en profundidad de 22 regiones, con el objetivo de: — estudiar en profundidad los MCA, los PO y los tipos de medidas convenientes; — analizar las estructuras institucionales y las modalidades de gestión de los programas; — evaluar las repercusiones y efectos de «valor añadido» que puedan atribuirse a los MCA y los PO; — evaluar el coste y la eficacia de las repercusiones; — estudiar las contribuciones de la intervención del programa O2 en el proceso de desarrollo regional. Las evaluaciones en profundidad obedecen al enfoque de bottom-up, siendo el objetivo —a partir de un examen del proceso de elección de las operaciones, de su tipología, del proceso de gestión, de su repercusión y efecto de valor añadido, de las sinergias y de la adicionalidad— ascender y agregar el conjunto de medidas y finalmente el conjunto de programas. ANEXO III CARACTERÍSTICAS DE LOS MODELOS MACROECONÓMICOS UTILIZADOS PARA LA EVALUACIÓN DE LOS FE 1. Los principales modelos utilizados para la evaluación macroeconómica en el ámbito de los FE son: a) modelos econome´tricos, como HERMIN (1); HELM (2) y QUEST II (3); b) modelos de equilibrio general calculable, como OGM (4) y BBM (5); c) modelos input-output, como DIO (6) y FIDIMI (7); d) análisis estructural residual. (1) HERMIN: Modelo econome´trico que se basa en el modelo original HERMES (Harmonised Econometric Research for Modelling Economic Systems) pero con la peculiaridad de ser de tamaño mínimo (Min), de ahí (HER)MIN. (2) HELM: Hainaut Economic Lead-in Model. (3) QUEST II: A Multy Country Business Cycle and Growth Model — Economic Papers no 123 — Octubre de 1997. DG II — Asuntos económicos y financieros. (4) Optimal Growth Model (OGM) de Pereira (1991 y 1995). (5) Bourguignon, Branson and de Melo model (BBM) de Lolos y Zonzilas (1992). (6) Dynamic Input-output model (DIO) de Beutel (1995, 1996 y 1997). (7) FIDIMI Consulting Company, Evaluación de la repercusión macroeconómica del MCA Objetivo 1 — Italia y mecanismos de aplicación. 16. 11. 98 ES Diario Oficial de las Comunidades Europeas C 347/33 Las características de la aplicación de estos modelos en los casos examinados se presentan esquemáti- camente en las tablas III 1 y III 2. En la tabla III 3 se ofrece la modelización de las características de los MCA. 2. Por otra parte, la posibilidad de simular la evolución de la economía de los países del O1 en un intervalo temporal de más de 10 años y sobre bases multisectoriales permite comprender el cambio estructural generado por los FE y evaluar la solidez del proceso de recuperación que la ayuda comunitaria debe sostener y reforzar. 3. En el marco de su encuesta, el Tribunal encargó un análisis (8) para estimar en que´ medida estas te´cnicas de escala macroeconómica son adecuadas para medir la repercusión de las intervenciones estructurales y pueden contribuir de forma eficaz al proceso de toma de decisiones y de estrategia de la programación. 4. De este ejercicio se desprende que las consideraciones relativas a los factores endógenos o exógenos que condicionan el e´xito de los programas estructurales varían en función de las metodologías y enfoques conceptuales utilizados. En efecto, los modelos macroeconómicos tienen por objeto representar los mecanismos del sistema económico de un país o una región y captar o simular los efectos de un choque exógeno como el constituido por la intervención de los programas estructurales. Ahora bien, no existe una representación única y completa de la realidad económica. 5. El modelo econome´trico HERMIN, que tiene en cuenta las características específicas de cada Estado miembro y agrega los efectos a escala nacional, parte de la hipótesis de que las economías no operan a pleno rendimiento de su capacidad de producción y que, por consiguiente, los efectos multiplicadores y aceleradores derivados de los aumentos de la inversión generan una expansión de la producción y del empleo, y parece dar resultados satisfactorios en te´rminos de efectos sobre la demanda. En cuando a los efectos sobre la oferta, el descenso del desempleo induce, según el modelo, un aumento salarial habida cuenta de la relación de Phillips, limitando al mismo tiempo el efecto sobre la inflación; por otra parte, los efectos sobre la productividad se tienen explícitamente en cuenta modelizando los efectos de las economías externas que el incremento y la mejora del capital humano y del capital físico público y privado tienen sobre la productividad. Esta consideración es, sin embargo, distinta de un país a otro. El modelo sólo proporciona datos parciales en materia de desarrollo sostenible, pues no considera, en particular, los aspectos de variación del tipo de cambio con el fin de garantizar el equilibrio de la balanza de pagos, o variaciones de transferencias fiscales. 6. El modelo macroeconome´trico HELM, que fue aplicado para la evaluación intermedia del DOCUP 1994–1999 O1 de la provincia de Hainaut (Be´lgica), es de los pocos que tiene específicamente en cuenta el enfoque regional del desarrollo, considerando los efectos del crecimiento endógeno ligados a la productividad a largo plazo, aunque la mejora de la productividad debida a la intervención de los FE este´ en gran medida limitada al sector industrial y afecte solamente a la productividad del trabajo. Partiendo del mismo tipo de premisa que el modelo HERMIN en cuanto a la utilización de las capacidades de producción y los efectos multiplicadores y aceleradores de las inversiones sobre la demanda, indica efectos globales y agregados del DOCUP sobre la economía de Hainaut, como la inversión acumulada generada, el valor añadido o el empleo en los sectores de la industria de fabricación y de los servicios comerciales durante el período de 1994 hasta el horizonte de 2002 o 2005. Hay que señalar que el modelo HELM tiene bien en cuenta las exportaciones regionales, pero no las importaciones procedentes de otras regiones, lo que puede sobrestimar los efectos sobre la demanda. Además, la demanda se ve reforzada por el hecho de que no se tienen en cuenta ni los ajustes salariales vinculados al descenso del desempleo, ni el aumento de los costes ni las limitaciones de capacidad. El modelo HELM aporta asimismo pocas indicaciones sobre la evolución del desempleo o la oferta de empleo. Por último, se basa en datos estadísticos históricos que no han sido comprobados con otras series de datos pertinentes. 7. Los modelos de equilibrio general calculable se aplican más concretamente a escala nacional. Ponen de manifiesto los efectos de las intervenciones estructurales comunitarias sobre la oferta a largo plazo. El modelo OGM, que ha adoptado un marco de crecimiento endógeno intertemporal, considera que los mercados de los factores de producción están en equilibrio y que la economía opera a pleno (8) El Tribunal se benefició de los servicios de un evaluador externo altamente especializado en el ámbito de los modelos macroeconómicos y de la economía europea. C 347/34 ES Diario Oficial de las Comunidades Europeas 16. 11. 98 rendimiento de la capacidad de producción. Los cambios en la demanda no tienen ningún efecto sobre la producción y el empleo, y los programas de los FE sólo pueden estimular el crecimiento aumentando la productividad; estos efectos de productividad se especifican claramente en la función de producción. El modelo tiene por objetivo determinar un óptimo para el país maximizando una función de bienestar social intertemporal. Partiendo de la hipótesis de una situación sin incertidumbres, los agentes económicos, al anticipar perfectamente el volumen de fondos que les será concedido y el período a lo largo del cual se escalonará la ayuda, deben poder tomar decisiones óptimas de consumo e inversión con relación a estos datos. Por último, el modelo OGM preve´ a largo plazo el equilibrio de la balanza de pagos y el equilibrio presupuestario. 8. El modelo BBM preve´ para determinados sectores que los mercados de trabajo este´n en equilibrio y, por tanto, que los efectos de la demanda no influyan sobre la producción y el empleo, mientras que en otros sectores se considera que una expansión de la demanda genera crecimiento. El modelo incorpora asimismo efectos de productividad ligados a los cambios tecnológicos que inducen reducciones de inputs. 9. El modelo de entradas-salidas DIO trata de representar las relaciones entre todos los recursos de que dispone una economía y todos los consumos finales. Identifica así interdependencias entre los distintos sectores de un país, vinculados entre sí sobre la base de los consumos intermedios. El enfoque de entradas-salidas maximiza los efectos de las intervenciones estructurales sobre la demanda e ignora los que afectan a la oferta (efectos sobre la productividad y sobre los salarios, ajuste de la inflación). El desarrollo sostenible no se aborda. El modelo FINIMI es una combinación de modelo de equilibrio general y de modelo de entradas-salidas y permite analizar los efectos en el norte de Italia de intervenciones comunitarias realizadas en el sur de Italia. 10. Entre otras te´cnicas existentes para evaluar los efectos de las políticas regionales, Eurostat se basa sobre todo en el análisis estructural-residual para evaluar la repercusión de los FE en determinadas zonas subvencionables del O1 o el O2. Este análisis se centra en identificar el residuo, que viene dado por la diferencia entre la situación real y la situación contrafáctica surgida de la aplicación de las tendencias nacionales estimadas. No obstante, en la repercusión así determinada intervienen tanto los resultados del programa en curso de evaluación, como otras acciones políticas nacionales y europeas, así como la trayectoria anterior de la política regional. Además, los estudios efectuados por Eurostat en 1997 comprenden datos sobre indicadores que, en el mejor de los casos, son de 1993, lo que relativiza mucho el valor de sus conclusiones. 11. El modelo QUEST II intenta analizar las economías de los Estados miembros, y sus interacciones con el resto del mundo, especialmente con Estados Unidos y el Japón. El modelo se interesa especialmente por la transmisión de los efectos de la política económica en el plano nacional e internacional. Fue concebido inicialmente como instrumento de simulación más que de previsión. Actualmente, el modelo QUEST II integra más los efectos de la oferta que el precedente y toma más en consideración las interacciones en te´rminos de stocks. No obstante, QUEST II toma poco en cuenta las implicaciones en te´rminos de cambio del comportamiento de los agentes económicos. Tabla III. 1 Características fundamentales de los modelos macroeconome´tricos Autores Modelo País o región Efectos sobre la demanda Sostenibilidad Salarios Productividad Efectos sobre la oferta — La curva de Phillips au- — Las inversiones relaciona- Balanza de pagos: Bradley y cols. (1994) HERMIN Irlanda y Portugal — La demanda de inversión keynesiana estándar esti- mula la demanda agre- gada mentada por el desempleo vincula el empleo, los sala- rios y la inflación Honohan (dir. ) (1997) HERMIN Irlanda — Los mercados de trabajo no se mantienen automá- ticamente en equilibrio — La repercusión inflacionaria de la expansión de la de- manda es limitada — La economía no funciona a plena capacidad — El sector monetario y los tipos de cambio no están modelizados — El aumento de los salarios da lugar a incorporaciones al mercado de trabajo en Irlanda — La inversión en capital hu- mano no tiene efectos so- bre los salarios Herce y Sosvilla-Ri- vero (1994) HERMIN España Ve´ase el modelo para Irlanda, pero sin migración de mano de obra Ve´ase el modelo para Irlanda. 1 6 1 1 9 8. E S D i a r i o O f i c i a l d e l a s C o m u n i d a d e s E u r o p e a s C 3 4 7 / 3 5 — El efecto sobre la demanda aumenta las importaciones — El efecto sobre la produc- tividad mejora las exporta- ciones y atrae inversión extranjera directa en Ir- landa — El tipo de cambio exógeno no permite una plena valo- ración de la balanza de pagos Finanzas públicas — Modelización limitada del sector público — El endeudamiento del sec- tor público aumenta debido al MCA — Se considera la simulación sin cambios en el endeuda- miento del sector público Ve´ase el modelo para Irlanda, pero sin enlace entre el efecto sobre la productividad y la in- versión extranjera directa das con el MCA aumentan la productividad total de los factores a escala secto- rial — En Portugal, no se regis- tran efectos de la inversión privada ni de ciertos gastos en infraestructura sobre la productividad — La modelización de los efectos sobre la productivi- dad es discutible, en parti- cular para el capital humano — Los efectos sobre la pro- ductividad pueden reducir el empleo Ve´ase el modelo para Irlanda, pero: — La inversión en capital hu- mano aumenta la producti- vidad de la mano de obra, en lugar de la productivi- dad total de los factores — La ayuda a la inversión privada reduce los costes del capital para el usuario Autores Modelo País o región Efectos sobre la demanda Sostenibilidad Salarios Productividad Efectos sobre la oferta Christodoulakis y Kalyvitis (1995) HERMIN Grecia — Ve´ase el modelo para Ve´ase el modelo para Irlanda España — Se modeliza el tipo de cambio Sema Group (1997) HELM Hainaut No hay efectos sobre los sala- rios ni los precios — Modelo de Keynes/Kaldor — La demanda de inversión estimula la demanda agregada — Se modeliza la demanda de trabajo — No se modelizan la oferta de trabajo ni el desem- pleo — No se modelizan las im- portaciones de otras regiones Ve´ase el modelo para España, pero: — El tipo de cambio nominal se ajusta para mantener un tipo de cambio real cons- tante — Se asume el principio fiscal de estabilizar la deuda pública No se hace una valoración de las consecuencias para la deuda pública ni para la balanza de pagos Ve´ase el modelo para España e Irlanda, pero: — Las inversiones en capital humano disminuyen el coste unitario de la mano de obra — La ayuda a la inversión privada no tiene efectos sobre la productividad — La inversión en «infraes- tructuras blandas» aumenta el empleo público — Los programas relaciona- dos con los MCA aumen- tan principalmente la pro- ductividad del trabajo en el sector de fabricación — Al informar de los resulta- dos no se distingue entre efectos sobre la oferta y la demanda C 3 4 7 3 6 / E S D i a r i o O f i c i a l d e l a s C o m u n i d a d e s E u r o p e a s 1 6. 1 1. 9 8 Características fundamentales de los modelos de equilibrio general computable e input-output Tabla III. 2 Autores Modelo País o región Efectos sobre la demanda Sostenibilidad Efectos sobre la oferta Pereira (1991) Modelo de creci- miento óptimo (OGM) Portugal Pereira (1995) Portugal, Grecia, Irlanda y España — No hay efectos keynesianos sobre la demanda — Los mercados de los factores de producción están en equilibrio — La economía funciona a plena capacidad Lolos y Zonzilas (1992) Modelo de Bour- guignon, Branson y de Melo (BBM) Grecia — Efectos keynesianos sobre la demanda — Los mercados de trabajo se depuran en unos sectores y no en otros — Se considera un tipo de cambio fijo y flexible Salarios Productividad — Los salarios se ajus- tan para depurar el mercado de trabajo Efectos sobre la pro- ductividad porque con- curren en la producción el capital público, pri- vado y humano — Los salarios se ajus- tan para depurar los mercados de trabajo en algunos sectores — Curva de Phillips debida al desempleo en los demás sec- tores — La inversión en ca- pital público y pri- vado aumenta la productividad total de los factores por sectores, de un modo discutible — La inversión en ca- pital humano au- menta la incorpora- ción de mano de obra cualificada y el empleo público Beutel (1995, 1996, 1997) Input-output diná- mico (DIO) Grecia, Portugal y España Efectos keynesianos sobre la demanda No hay efectos sobre los salarios No hay efectos sobre la productividad — La maximización in- temporal del bienestar garantiza una solución dinámica óptima — Restricciones sobre la balanza de pagos y las finanzas públicas — No hay restricciones impuestas sobre el en- deudamiento público — Se consideran medidas en materia de desigual- dad de rentas No se modelizan las res- tricciones sobre la balanza de pagos y las finanzas públicas. 1 6 1 1 9 8. E S D i a r i o O f i c i a l d e l a s C o m u n i d a d e s E u r o p e a s C 3 4 7 / 3 7 Tabla III. 3 Modelización de las características de los programas de los MCA Autores Programa MCA Enfoque sectorial Instrumentos Cofinanciación y adicionalidad Punto de partida y juego final Bradley y cols. (1994) 1994-1999 Honohan (dir. ) (1997) Herce y Sosvilla-Rivero (1994) [HERMIN] — 4 sectores: comercial, no comercial, público y agrí- cola — Inversiones (públicas) en infra- estructura física — Inversión en capital humano — Inversiones y ayudas a la produc- ción para el sector privado — El sector comercial es clave para los efectos sobre la oferta — Los sectores no comercia- les y público son clave para los efectos sobre la demanda — Algunos estudios comparan la cofi- nanciación interior plena con la ausencia de la misma o la cofinan- ciación interior parcial — Previsiones para 1991-2020, excepto Honohan (1993-2010) — Se consideran escenarios de aterrizaje «duro» y «blando» Christodoulakis y Kalyvitis [HERMIN] 1994-1999 Como en los estudios previos — Infraestructura «dura» — Infraestructura «blanda» — Ayuda a la inversión productiva — Educación y formación — Las simulaciones suponen que se alcanzan las tasas de cofinancia- ción previstas — Previsiones para 1991-2010 — Escenario de aterrizaje «duro» Sema Group [HELM] 1994-1999 — 6 sectores: agricultura, fa- bricación, energía, cons- trucción, servicios comer- ciales, servicios no comer- ciales — Inversiones en capital físico públi- co y privado — Inversiones en capital humano — Inversiones en capital de I+D Lolos e Zonzilos [BBM] 1989-1993 Nueve sectores: agricultura, energía y minería, industria alimentaria, industria ligera, industria intermedia, cons- trucción, comercio, servicios de transporte y telecomunica- ciones, otros servicios (inclui- dos los públicos) — Inversión pública en sectores selec- cionados — Las inversiones en capital humano aumentan el empleo público y el número de trabajadores cualifica- dos y generan transferencias a las familias — Apoyo a las empresas privadas — Escenario en el que la ayuda UE y regional de 1989-1993 se mantiene posteriormente — Previsiones para 1994-2005 — Escenario en el que se añade ayuda adicional UE más cofinan- ciación interior para 1994-1999 — Escenario en el que no se concede ayuda UE en 1989-1999 No se examina la adicionalidad, pero presumiblemente se considera implícita en el modelo — Previsiones para 1988-1995 — Escenario «duro» C 3 4 7 3 8 / E S D i a r i o O f i c i a l d e l a s C o m u n i d a d e s E u r o p e a s 1 6. 1 1. 9 8 Autores Programa MCA Enfoque sectorial Instrumentos Cofinanciación y adicionalidad Punto de partida y juego final Beutel [DIO] 1989-1999 25 sectores, basados en las tablas input-output FIDIMI (1991) 1989-1993 16 sectores, basados en las tablas input-output — Modelización sectorial de las inver- siones en capital público, privado y humano — Las inversiones en formación afec- tan a los sueldos y salarios de la economía Se exige la adicionalidad en el modelo — Previsiones para 1989-1994 — Enfoque sectorial de los programas — La adicionalidad es un elemento — Sólo se informa de los MCA clave del estudio — El escenario difiere en cuanto a la cuantía de los fondos que podrían invertirse en el mediodía italiano con y sin programas MCA efectos totales, sin desglose anual — No se consideran escena- rios de aterrizaje «duro» y «blando» Pereira (1991) [OGM] 1989-1993 Dos sectores: comercial y no comercial — Inversiones en infraestructura pú- — Se imponen requisitos de cofinan- blica ciación — Previsiones para 1990-2006 — Inversiones en capital humano — El modelo permite valorar si se — Se consideran escenarios de Pereira (1995) [OGM] 1994-1999 y comparación con 1989-1993 — Apoyo a la inversión privada cumplirá la adicionalidad Ve´ase modelo anterior Ve´ase modelo anterior — Se imponen requisitos de cofinan- ciación aterrizaje «duro» y «blando» — Previsiones para 1993-2007 — Las simulaciones comparan casos — Escenario de aterrizaje «duro» de: i) no adicionalidad ii) definición oficial iii) definición intertemporal de adi- cionalidad. 1 6 1 1 9 8. E S D i a r i o O f i c i a l d e l a s C o m u n i d a d e s E u r o p e a s C 3 4 7 / 3 9 C 347/40 ES Diario Oficial de las Comunidades Europeas 16. 11. 98 RESPUESTAS DE LA COMISIÓN I COMENTARIO GENERAL La Comisión reconoce que el procedimiento de evalua- ción, en gran parte por su carácter innovador, es todavía un tanto aproximativo en cuanto al contenido y a la utilización que de e´l pueda hacerse, pero recuerda que en pocos años se han obtenido ya resultados considerables. Consciente de las dificultades que falta superar, la Comi- sión ha desplegado grandes esfuerzos, tanto desde el punto de vista de la organización como de la metodolo- gía, con objeto de aproximarse a una situación lo más satisfactoria posible, mediante el diálogo permanente con todos aquellos que, en los distintos países de la Unión, reflexionan y llevan a cabo investigaciones en este ám- bito. La evolución del procedimiento de evaluación de las intervenciones de los Fondos Estructurales consta de tres fases principales, vinculadas con los tres períodos de programación: Período 1989–1993: El Consejo no aprobó los Reglamentos de la primera reforma de los Fondos Estructurales hasta el mes de diciembre de 1988; los planes nacionales presentados a principios de 1989 sólo reflejaban parcialmente las exigencias en materia de enfoque estrate´gico, selección de los objetivos por alcanzar y cuantificación del impacto que de ellos se esperaban. Por este motivo, los trabajos de evaluación posterior intentan paliar estas carencias mediante la comparación de los resultados obtenidos con objetivos reconstituidos. Esta considerable tarea comporta sus propios límites, que se reflejan en los informes sobre las intervenciones en las zonas de los Objetivos 1 y 2. No obstante, constituye el primer intento de análisis coherente del impacto de la reforma en la cohesión económica y social. Período 1994–1999: Tanto a petición de algunos Estados miembros como de la Comisión, tras esta primera experiencia se procedió a reforzar la normativa en materia de seguimiento y evalua- ción, fijándose para ello tres fases: previa, intermedia y posterior. El e´xito de la fase intermedia es incuestionable. Con un alcance por primera vez superior a la simple aplicación de los reglamentos, las evaluaciones interme- dias fueron organizadas por y a escala de cada Comite´ de seguimiento, con lo que se favoreció la aproximación entre evaluador y beneficiarios de la evaluación. Los informes elaborados se presentaron y fueron objeto de debate en cada Comite´, confiriendo al procedimiento una función a la vez pedagógica y operativa a la que los trabajos organizados y llevados a cabo por la Comisión no pueden pretender sin dificultad. Es posible que exista algún desacuerdo en cuanto a los me´todos aplicados, la selección de los evaluadores, el coste de los trabajos y el grado de detalle de los resulta- dos, aunque la coordinación y la dirección general corrie- ran a cargo de la unidad de coordinación de la evaluación de los servicios de la Comisión y de los corresponsales nacionales del Grupo Te´cnico de Evaluación. No obs- tante, y a pesar de determinadas diferencias vinculadas al margen de maniobra de que dispone cada Estado miem- bro en el marco de la subsidiariedad, la Comisión consi- dera que este modo de proceder cumple una función esencial para la difusión de una verdadera cultura de la evaluación. De este modo se demostró a los beneficiarios que disponen de un instrumento operativo para gestionar mejor las intervenciones financiadas tanto por fuentes nacionales como comunitarias. Las evaluaciones futuras se beneficiarán al máximo de este estado de ánimo, ya que la calidad de sus conclusiones depende tanto de la calidad de la información que poseen y comunican los gestionadores como del grado de pericia de los evaluado- res independientes. Período 2000–2006: El objetivo de las nuevas propuestas de reglamentos consiste, en particular, en reducir más aún los factores que pudieran limitar el alcance del procedimiento de evaluación, ya que la intención primera es incrementar la eficacia en cuanto a la utilización de los Fondos Estructu- rales. Para ello se propone, en particular: — incorporar realmente la evaluación previa en los pla- nes que los Estados miembros deberán presentar con una cuantificación rigurosa de los objetivos que se pretenda alcanzar; — tener en cuenta los resultados de evaluaciones ya realizadas, bien sean temáticas, bien específicas por programa, del período anterior; — establecer un vínculo estrecho entre una nueva pro- gramación intermedia y las conclusiones de las eva- luaciones intermedias. Para garantizar mayor eficacia en la utilización de los Fondos Estructurales, la Comisión propuso que el 10 % del importe de los Fondos Estructurales se atribuya en la fase intermedia en función de los resultados obtenidos, ya que los criterios de resultado están íntimamente relacio- 16. 11. 98 ES Diario Oficial de las Comunidades Europeas C 347/41 nados con la calidad de la programación, del seguimiento y de las evaluaciones previa e intermedia. II COMENTARIOS ESPECÍFICOS Por último, en un sentido más estrictamente metodológi- co, la Comisión tiene la intención de publicar antes del próximo otoño el conjunto de los trabajos realizados en el marco de MEANS (1) que le permiten garantizar una armonización mayor del procedimiento de evaluación en la Unión. Dicha publicación incluirá: — la descripción detallada de un pliego de condiciones y de la metodología de una evaluación previa, interme- dia o posterior; — la presentación de los distintos me´todos de evaluación que existen en las publicaciones especializadas y las modalidades de uso de cada uno; — el análisis de los sistemas de indicadores por ámbito de intervención. Armonización de conceptos y rela- ción indicativa de los indicadores; — la metodología de las evaluaciones temáticas y su organización; — un glosario multilingüe de los principales conceptos de evaluación; — la presentación de las experiencias nacionales o comu- nitarias más innovadoras. Las siguientes observaciones demuestran que, en determi- nadas ocasiones la Comisión comparte las observaciones del Tribunal. Pero siempre es conveniente tener en cuenta las dificultades y los límites inherentes a cualquier proce- dimiento de evaluación, aunque progresivamente se vayan superando unas y ampliando los otros. No obstante, en cualquier caso conviene tener siempre presente que la evaluación es ante todo un instrumento te´cnico de ayuda a la toma de decisiones o a la gestión y no está destinada a suplantar al estamento político de toma de decisiones. Su objetivo consiste en dilucidar, siempre de modo parcial, las consecuencias de las opcio- nes posibles o ya decididas. Además, la evaluación deberá mantener la necesaria flexibilidad en cuanto a los me´to- dos adoptados con objeto de tener en cuenta contextos que siempre difieren entre una evaluación y otra. Por último, la Comisión recuerda que desde que en 1988 se inició la reforma de los Fondos, las responsabilidades recíprocas de las administraciones nacionales y de la Comisión en materia de gestión de los Fondos Estructura- les y, en particular, en materia de evaluación se han ido precisando cada vez más. En efecto, los Estados miem- bros se ven cada día más obligados a asumir la principal responsabilidad y llevar a cabo su propia evaluación. (1) Programa plurianual de análisis y de propuestas sobre meto- dologías de evaluación. 2. ALCANCE DE LA AUDITORÍA 2. 3. La auditoría del Tribunal no incluye países como Alemania y el Reino Unido, dos Estados miembros cuyas actitudes respecto de la evaluación difieren particular- mente. 3. RESUMEN DE LAS PRINCIPALES OBSERVACIONES 3. 2. La Comisión considera marginales en te´rminos de coste los casos de evaluación para los que pudiera no disponer de elementos presupuestarios. Como la evalua- ción intermedia se halla en pleno auge y se realiza en el ámbito descentralizado, el volumen de gasto que se le dedica está tambie´n en plena evolución. Los importes que se dedican a evaluación se liquidan por país, objetivo y tipo de intervención. Tambie´n se han publicado datos sobre la evaluación en el balance anual de la Comisión sobre este tema. La Comisión seguirá actuando con miras a obtener la identificación sistemática del gasto que se dedica a la evaluación en los importes otorgados a la asistencia te´cnica y cuya gestión corresponde a la cooperación. 3. 3. Los reglamentos y el principio de subsidiariedad no otorgan a la Comisión las competencias necesarias para una dirección específica en te´rminos de metodología de evaluación y de indicadores. Con objeto de impulsar la evolución de las prácticas nacionales y de mejorar la calidad de la evaluación, la Comisión: — organizó el programa MEANS y publicó ocho pliegos de cuestiones metodológicas; — organizó tres conferencias europeas sobre te´cnicas y práctica de la evaluación; — publicó documentos tales como, por ejemplo, el marco de referencia de las evaluaciones previas y una guía de evaluación de grandes proyectos; — creó los Grupos Te´cnicos de Evaluación con la parti- cipación de los Estados miembros y organizó varios seminarios. 3. 5. Resulta difícil organizar de modo objetivo la articu- lación entre la evaluación posterior y las distintas fases de programación de las intervenciones estructurales. Una verdadera evaluación posterior debería realizarse dos o tres años despue´s de finalizar la programación. C 347/42 ES Diario Oficial de las Comunidades Europeas 16. 11. 98 Para resolver esta dificultad la Comisión impulsa que se lleven a cabo evaluaciones intermedias y evaluaciones temáticas. De este modo las evaluaciones temáticas reali- zadas en 1992 y en 1993, por ejemplo, permitieron disponer de elementos para preparar la programación de 1994–1999. Para preparar la programación posterior al año 2000 se dispondrá de evaluaciones intermedias, ya que e´stas ya se han llevado a cabo, y en la actualidad se están elabo- rando balances de evaluación de cada objetivo, que profundizan y actualizan las evaluaciones intermedias. Tambie´n se han iniciado ya, además, cuatro evaluaciones temáticas. Por otra parte, la Comisión ha incluido dicho dispositivo en sus propuestas de modificación de los Reglamentos. 3. 6. Conviene distinguir entre objetividad de las evalua- ciones y suficiencia y calidad de los datos. La cuestión de los datos aparece con mucha frecuencia en el marco de la evaluación. Pocos informes no insisten en esta dificultad. No obstante, se aprecia una sensible mejora de la situa- ción, en particular gracias a las exigencias de la evalua- ción. La Comisión no está satisfecha del estado de la cuestión relativa a los datos, pero esto no debe considerarse como una crítica de la evaluación sino de los sistemas de seguimiento. La Comisión insiste en que el problema de la pertinencia de los datos de control y de los indicadores es una cuestión que depende fundamentalmente de la auditoría del seguimiento. La Comisión continúa actuando con miras a mejorar la situación y piensa seguir la observación del Tribunal relativa a una evaluación más sistemática de la fiabilidad de los datos. Las actividades realizadas para la auditoría y el control tambie´n debieran permitir incrementar la mejora de la situación, perceptible sobre el terreno desde hace algunos años. 3. 7. Los servicios en cuestión respetan los procedimien- tos de celebración de contratos que establecen las Directi- vas correspondientes y el procedimiento elaborado por la CCAM. No obstante, es imposible negociar el mandato antes de la firma del contrato. Esto requiere a veces ciertos esclarecimientos que estorban la gestión de los calendarios, aunque tal problema es marginal. ciertos informes de un país pueden ser excelentes mien- tras que, en otros casos resultan insuficientes. 3. 8. La Comisión comparte la opinión del Tribunal sobre las dificultades con que tuvieron que enfrentarse las primeras evaluaciones que se organizaron en un clima particularmente poco entusiasta en los Estados miem- bros. Las evaluaciones posteriores de los Objetivos 1 y 2 corrieron a cargo de consultorías de renombre internacio- nal y de expertos de alto nivel a partir de una metodolo- gía común. A pesar de estas limitaciones, la segunda parte del punto 3. 7 justifica tanto la iniciativa como la utilidad del ejercicio. Las críticas del Tribunal se refieren a las evaluaciones de 1993–1994, pero desde entonces y por iniciativa de la Comisión se han llevado a cabo muchos trabajos con objeto de desarrollar las metodolo- gías. La crítica del Tribunal sobre la evaluación posterior del Objetivo 2 tambie´n resulta pertinente en parte. No obstante, conviene mantener una visión más pragmática en cuanto a la posibilidad de conseguir una medición cuantitativa exacta del impacto o del valor añadido comunitario. 3. 9. La evaluación intermedia se centró en el análisis de la ejecución de las intervenciones. La evaluación de los efectos se hará preferentemente en el marco de los balances y evaluaciones posteriores. Dichas evaluaciones sin embargo no siempre guardan relación con la elabora- ción de modelos econome´tricos — con frecuencia muy costosos — que no siempre son los más adecuados para medir el impacto. La evaluación es un instrumento de ayuda a la gestión y, como tal, no constituye sino un sistema de ayuda relativa al proceso de toma de decisiones. 3. 10. La Comisión ha podido comprobar que la distri- bución en dos fases de programación del Objetivo 2 no corresponde de modo satisfactorio a las necesidades de las zonas interesadas y complica la aplicación de los programas. Las propuestas de la Comisión de marzo de 1998 referentes a la reforma de los Fondos Estructurales proponen una fase única de programación para el Obje- tivo 2, como es ya el caso de los demás objetivos. 3. 11–3. 12. Con el fin de evitar que se multiplique la evaluación de programas y subprogramas difícilmente gestionable, un enfoque más selectivo en ciertos sectores clave pudiera ser una solución más adaptada. Además, no se puede culpar únicamente a los servicios de la Comisión de este problema. Tanto la competencia de los consultores como la calidad de los datos disponibles pueden ser causa de los defectos de algunos informes de evaluación: a partir de los mismos te´rminos de referencia, La Comisión comparte la opinión del Tribunal sobre la conveniencia de reducir el número de medidas y subpro- gramas e, incluso, el número de programas. En el marco de la reforma de los Fondos, ha hecho propuestas concre- tas en este sentido. 16. 11. 98 ES Diario Oficial de las Comunidades Europeas C 347/43 4. PROBLEMAS GENERALES Introducción 4. 1. En distintas ocasiones la Comisión ha lamentado que algunos Estados miembros no hubiesen cuantificado lo suficiente sus objetivos. La falta de una gestión por objetivos del gasto público nacional entorpece tambie´n el desarrollo de los sistemas de gestión basados en indicado- res. Se trata, por consiguiente, menos de un fallo del marco metodológico o analítico que de un problema vinculado con la elaboración de los programas o el grado de desarrollo de las estadísticas nacionales. de los MCA del Objetivo 1 y de 15 DOCUP del Objetivo 2 al principio del período. Además de las evaluaciones temáticas que abarcan asimismo el período 1989–1993, la Comisión realizó una evaluación posterior para el conjunto de los MCA y DOCUP de los Objetivos 1 y 2 del período 1989–1993. 4. 11 La cuestión relativa al conocimiento del coste se evoca en el punto 3. 2. Sólo algunas evaluaciones lanzadas por iniciativa de un Estado miembro y financiadas por la asistencia te´cnica pudieran no estar incluidas en el marco financiero de las evaluaciones establecido por la Comi- sión. No obstante, sólo representan importes marginales en comparación con el conjunto de los demás trabajos. 4. 3. La Comisión recuerda que: Marco de referencia — desde 1994 transmitió a los Estados miembros unas «directrices comunes para el seguimiento y las evaluaciones intermedias»; — en diciembre de 1994 la Comisión presentó al Grupo Te´cnico de Evaluación —responsables de la evaluación de los Estados miembros— un docu- mento marco sobre la finalidad, el contenido y el proceso de aplicación de las evaluaciones interme- dias. Tras esta primera concertación hubo cuatro reuniones más del mismo grupo; — en 1995 la Comisión puso a disposición de las administraciones un documento MEANS titulado: «Organizar la evaluación intermedia en el marco de la cooperación» de la que tres capítulos de los cinco que la componen tratan de «Elaboración del pliego de condiciones y de los concursos», «Selec- ción de los evaluadores» y «Gestión de la calidad de la evaluación»; — en 1996 y antes de que se recibieran las primeras evaluaciones, la Comisión puso a disposición de las administraciones un documento MEANS sobre «Apreciación de la calidad de los informes de evaluación» con un baremo detallado. 4. 5. No obstante, cabe recordar que algunas evaluacio- nes se llevaron a cabo en el marco de la cooperación incluso durante el período 1989–1993. Lo que significa que tanto los Estados miembros como los Comite´s de seguimiento participaron de modo activo en varias eva- luaciones —tanto temáticas como posteriores— iniciadas por la Comisión. 4. 10. El Tribunal observa la escasez de los fondos desti- nados a la evaluación de los Objetivos 1 y 2 durante el primer período de programación. Como prácticamente ningún Estado miembro procedió a realizar evaluaciones, de hecho sólo la Comisión tomó la iniciativa de efectuar una primera evaluación del conjunto 4. 12–4. 13. Los documentos MEANS se pensaron en tanto que textos pedagógicos destinados a unas adminis- traciones cuyo nivel de pericia se halla con frecuencia en plena evolución desde el punto de vista te´cnico. La Comisión consideró prioritario realzar el nivel medio de evaluación en lugar del de los peritos especializados. Bases estadísticas e información relativa a los objetivos perseguidos 4. 14–4. 15. La Comisión comparte la opinión del Tribu- nal. Indicadores 4. 16–4. 21 El Tribunal reconoce el esfuerzo de la Comi- sión en favor de la evolución de la cuestión de los indicadores. Para ello, en 1993 se reforzaron las disposi- ciones reglamentarias y se lanzó con cada Estado miem- bro el ejercicio de cuantificación de las disparidades. Al proceder a la evaluación previa, la cuestión de la cuantifi- cación de los objetivos se consideró como una prioridad y se alcanzaron progresos —las intervenciones de 1994–1999 están mucho mejor cuantificadas que las anteriores. La primera tarea de las evaluaciones interme- dias consistió en mejorar los indicadores y su grado de eficacia. La Comisión hace hincapie´ en que el problema no consiste solamente en completar o reducir el número de indicadores, sino antes bien en la dificultad de los siste- mas de seguimiento para garantizar la cuantificación periódica de los indicadores acordados y que ya existen en los programas. Tampoco se trata de falta de coheren- cia en la programación, pero en virtud de la subsidiarie- dad las autoridades regionales y locales tienen derecho a decidir sus propias prioridades y la envergadura de la programación en su país. C 347/44 ES Diario Oficial de las Comunidades Europeas 16. 11. 98 No obstante, como consecuencia de la presión y de las exigencias de la evaluación se va progresando en este ámbito. Objetividad de las evaluaciones El análisis de la Comisión es que, ya que la simple dirección metodológica es insuficiente, habrá que tomar iniciativas más contundentes en el marco de la reforma de los Fondos. Consideración de la evaluación 4. 23. En efecto, la doble fase de programación no facilita la articulación entre evaluación y programación y por estos motivos, entre otros, la Comisión propone para el futuro una sola fase de programación. Sin embargo, la programación 1997–1999 se benefició de la evaluación posterior del período 1989–1993 y de una apreciación previa de los DOCUP, que se llevó a cabo por iniciativa de la Comisión, sobre cuestiones de su competencia y relativas a las prioridades de la Unión. En cuanto a la evaluación posterior del período 1994–1996, la Comisión considera que las evaluaciones realizadas en el marco de la nueva programación y las evaluaciones temáticas relativas a los PME e I + D cubren una parte considerable de la cuestión. La Comisión está discutiendo en la actualidad con los Estados miembros del lanzamiento, durante el segundo semestre de 1998, de una evaluación balance relativa al período transcurrido desde 1994. Dicha evaluación (balance) cobraría todo su valor en el marco de la futura programación. 4. 24–4. 27. La Comisión está elaborando un informe, país por país, sobre la calidad de la evaluación y su contribución a la adaptación de las intervenciones. Los aspectos esenciales de la revisión intermedia se recogerán en un breve informe. Los elementos de que dispone la Comisión no corroboran las afirmaciones del Tribunal, que se refieren a situaciones muy diversas y a cientos de programas. Con ocasión de la presentación del informe sobre la revisión intermedia, la Comisión tiene intención de proce- der a un balance. Por ahora, la posición del Tribunal parece prematura. La Comisión recuerda asimismo que las evaluaciones no sólo son útiles para los gestores, sino que tambie´n permiten rendir cuentas a la autoridad presupuestaria y, en particular, al Parlamento Europeo y a los ciuda- danos. 4. 28–4. 30. En estos apartados el Tribunal no parece tener lo suficientemente en cuenta la complejidad de la cooperación, a pesar de las posiciones positivas que expresa en los puntos 6. 5–6. 7. El debate sobre la objetividad e independencia de las evaluaciones es más amplio que las meras cuestiones vinculadas a la existencia de un marco de referencia preciso de aplicación de metodologías y de control de datos in situ. Afectan más a la calidad de la evaluación el grado de profesionalidad, la e´tica de la profesión y la interferencia de los Estados miembros, entre otras cosas. El Tribunal omite mencionar que en el documento MEANS N 5 sobre la apreciación de la calidad de los informes de evaluación se mencionan explícitamente —tres de los ocho criterios seleccionados— la adecuación de la metodología, la fiabilidad de los datos y la credibi- lidad de los resultados. La Comisión ha emprendido un esfuerzo para mejorar constantemente las normas y el grado de exigencia, sin perder de vista las realidades sobre el terreno. En este sentido, la Comisión piensa ir más lejos aún en la apreciación del funcionamiento in situ de los sistemas de evaluación. Contratos de evaluación celebrados por la Comisión 4. 31–4. 32. La Comisión aplica las normas y procedi- mientos de celebración de contratos establecidos en el marco de la CCCC. Los consultores, por ejemplo, se seleccionan a partir de los criterios de selección y de atribución que se publican en el DO. La aplicación de dichos criterios y los resultados del ejercicio forman parte del informe que se presenta al CCCC. En cuanto al grado de precisión de los contratos, no hay que olvidar que la Comisión compra un peritaje y es la primera interesada en que los contratos se redacten de tal modo que los consultores contratados puedan aplicar plenamente sus conocimientos en la materia. 4. 33. El me´todo aplicado para el Objetivo 1 no resulta apropiado para el Objetivo 2, que consta de 60 progra- mas. Teniendo en cuenta el importe en cuestión y el número de equipos, e´ste conduciría a una fragmentación del concurso contraria tanto a la letra como al espíritu de la Directiva relativa a los procedimientos de adjudicación de contratos públicos de obras. En dichos casos la Comisión respetó las normas y se mostró celosa de no ceder el control de las modalidades 16. 11. 98 ES Diario Oficial de las Comunidades Europeas C 347/45 de aplicación de la evaluación. Se organizaron para estos fines unos «comite´s de control» de acompañamiento de la evaluación y se celebraron reuniones periódicas con los equipos de evaluación. Tras lo cual se procedió a validar los informes con los servicios gestores. 4. 34. La definición del pliego de condiciones depende de las necesidades y de las peticiones de información del mandante. Al mandante corresponde definirlas y las uni- dades encargadas de la evaluación velaron por el conte- nido. Los te´rminos del contrato, salvo el contenido del mandato, se normalizaron por iniciativa del CCCC. Como ya se ha dicho, no existe una metodología habi- tualmente aceptada para la evaluación de programas. En este contexto y para no perder el control del enfoque elegido, la Comisión debate sobre la metodología y su pertinencia respecto de las cuestiones planteadas y la posibilidad de aplicar las te´cnicas propuestas. Los enfo- ques metodológicos generales forman parte del pliego de condiciones, pero las especificaciones y los instrumentos te´cnicos se deciden previo debate. 4. 35. En este caso concreto, la Comisión, previo acuerdo de los consultores de la evaluación, intentó mejorar la calidad del informe mediante un encuentro-debate sobre el contenido y las enseñanzas con todas las unidades y funcionarios interesados. Evaluación posterior de (1989–1993) los MCA del Objetivo 1 5. 4. Algunas de las observaciones del Tribunal merecen ciertos matices. a) Si los datos relativos a las disparidades regionales «son demasiado antiguos», la crítica recae sobre las oficinas de estadística y no en la metodología de la evaluación. b) Los evaluadores adoptaron las te´cnicas de muestreo habitualmente utilizadas en el marco de la evaluación, así como el estudio de casos para determinadas pro- fundizaciones. Bien utilizadas, estas te´cnicas suminis- tran enseñanzas pertinentes. e) El Tribunal toma nota de que los análisis de tipo bottom-up no siempre permitieron extraer conclusio- nes relativas a la repercusión de los programas. No obstante, es imposible medir la repercusión en las políticas comunitarias, la mejora de la gestión, la transparencia, etc. , mediante análisis top down, ni a partir de modelos econome´tricos. g) El Tribunal emite críticas relativas a cuestiones que no se incluyen en el mandato de evaluación. El informe final se entregó en mayo de 1995 (tres meses despue´s de la fecha prevista), se aceptó previa consulta oficial en junio de 1995 y se pagó en julio de 1995. El informe en el que el Tribunal basa su crítica no es más que una puntualización del consultor que no supuso un presupuesto adicional. 5. 7. La Comisión confirma que, en el marco de su responsabilidad de rendir cuentas a la autoridad presu- puestaria, así como en el marco de las tareas realizadas para el informe sobre la Cohesión Económica y Social, las evaluaciones en cuestión se utilizaron plenamente. 4. 36. La Comisión recalca que los te´rminos de referencia se estructuraron en torno a tres cuestiones principales y claramente definidas: la pertinencia de la estrategia, el balance y eficacia de las realizaciones y la eficacia de los mecanismos de aplicación (páginas 2–4 del documento). La Comisión explica en el punto 4. 12 su posición res- pecto de la cuestión de las metodologías. Se procede a la consulta de los distintos servicios y el servicio gestor asume sus responsabilidades y decide si acepta o no el informe. 5. 8. Uno de los tres objetivos del mandato de evaluación era, efectivamente, emitir sugerencias relativas a la mejora del sistema de seguimiento y de gestión. Tambie´n se analizó la pertinencia de la estrategia y se elaboró un balance de la realización que permitió analizar la eficacia de las intervenciones. Evaluaciones posteriores del Objetivo 2 (1989–1993) 5. EVALUACIONES POSTERIORES DE LOS MCA DE LOS OBJETIVOS 1 y 2 (1989–1993) 5. 13. La aplicación sistemática de modelos econome´tri- cos no siempre se justifica, ya sea porque en ciertos casos el nivel de la ayuda es bajo, ya sea porque se carece de series estadísticas regionalizadas. Introducción 5. 1. La Comisión comparte las observaciones del Tribu- nal relativas a las dificultades relacionadas con la elabo- ración de los programas de la primera generación, con que tuvieron que enfrentarse estas evaluaciones. La mayor parte de las apreciaciones sobre política figuran en el informe relativo a la Cohesión Económica y Social; la Comisión sugirió algunas adaptaciones en el marco de la nueva propuesta de reforma de los Fondos Estructura- les a partir del año 2000. C 347/46 ES Diario Oficial de las Comunidades Europeas 16. 11. 98 5. 16. La Comisión ya incluyó en sus propuestas para los nuevos reglamentos algunas de las recomendaciones de dicha evaluación. 6. EVALUACIONES INTERMEDIAS (1994–1999) La eficacia y la eficiencia se evalúan a partir de enfoques bottom up. En el caso de los grandes MCA, para los que se planteaba la cuestión de distinguir las consecuencias de la nueva programación en las repercusiones globales, se utilizaron te´cnicas derivadas de la modelización econome´- trica en Irlanda, España, Grecia, Portugal e Italia. Desarrollo e integración de los principios de evaluación intermedia 6. 22. La Comisión movilizó las mejores consultorías a escala Europea y de los Estados Unidos parar descubrir los mejores enfoques posibles para evaluar programas. 6. 1–6. 20. La Comisión comparte la opinión del Tribunal sobre esta parte del informe y somete a la atención del Tribunal algunas aclaraciones: — Al punto 6. 15: La Comisión considera que la aprecia- ción crítica de la estrategia de desarrollo, la repercu- sión en los objetivos y la viabilidad de los proyectos corresponden específicamente ya sea a la evaluación previa, ya sea a la evaluación posterior. — Al punto 6. 16: El objetivo del mandato relativo a las evaluaciones intermedias es adaptar las intervenciones y mejorar la gestión. El análisis del valor añadido comunitario se integrará mejor en las evaluaciones- balance y en las evaluaciones posteriores. No obs- tante, el análisis de la repercusión de las prioridades comunitarias en la adaptación de las intervenciones suministra en numerosas ocasiones información útil en cuanto al valor añadido comunitario. — Al punto 6. 18: A trave´s de la evaluación intermedia la Comisión ha intentado percibir —en la medida de lo posible— la sinergia entre las acciones financiadas con cargo a los distintos Fondos, especialmente en países con programaciones separadas como ocurre con los DOCUP alemanes del Objetivo 1. Para ello, los evaluadores nombrados para las acciones del FEDER realizaron la síntesis de las evaluaciones reali- zadas con cargo a cada Fondo. La Comisión reconoce que la evaluación de la región que menciona el Tribunal es especialmente floja, pero en sí misma no es representativa del conjunto de evaluaciones realiza- das en este país. Es cierto, por ejemplo, que la evaluación intermedia no analiza los cambios del plan financiero indicativo ocasionados por la solicitud de cambio del P. O. por el Land de Brandenburgo. En cuanto al porcentaje elevado de absorción de los cre´ditos por dichas acciones, las sucesivas adaptacio- nes de las medidas se llevaron a cabo en los Comite´s de seguimiento del 12. 6. 1996 y del 5. 8. 1996. Enfoques, me´todos y te´cnicas Las dificultades metodológicas objetivas y, con frecuen- cia, la insuficiencia de los sistemas de seguimiento, li- mitan la comparabilidad de los resultados a escala europea. 6. 23. En general, las evaluaciones intermedias no preten- den medir la repercusión de los programas. Se trata de una opción deliberada ya que dichas repercusiones no se concretan en la primera fase de las intervenciones, cuya secuencia es en primer lugar la realización, luego los resultados y por último las repercusiones. La cuestión de la estimación de la repercusión global de los grandes MCA se menciona en el punto 6. 21. 7. REPERCUSIÓN DE LOS FONDOS ESTRUCTURALES Y MODELOS DE EVALUACION Repercusión en el ámbito de los MCA y de los pro- gramas 7. 1–7. 15. En esta parte del informe, el Tribunal presenta los resultados de los distintos modelos econome´tricos y macroeconómicos, sin explicar ni su alcance ni en que´ consisten, lo que podrá crear cierta confusión. Estos datos figuran ya en el informe sobre la Cohesión Econó- mica y Social de modo estructurado y en el contexto apropiado. Repercusión en el ámbito de los subprogramas, medidas y proyectos 7. 16–7. 19. El Tribunal parece criticar que no haya eva- luación de los subprogramas o medidas, pero es que la evaluación, generalmente bottom up, del programa tiene que basarse forzosamente en la evaluación de las medidas y subprogramas. 6. 21 El Tribunal critica la formulación imprecisa de los objetivos de las evaluaciones intermedias en los contratos. La Comisión formuló efectivamente sus directrices pero, en determinados casos, e´stas no se aplicaron en el ámbito descentralizado. Asimismo, los objetivos de las evaluaciones temáticas en curso lanzadas por la Comisión son, precisamente y de modo horizontal, ciertas categorías de medidas o de subprogramas, como en el caso de las medidas PME, I & D, medioambientales, etc. 16. 11. 98 ES Diario Oficial de las Comunidades Europeas C 347/47 8. CONCLUSIÓN 8. 1–8. 19. La Comisión considera que las conclusiones del Tribunal representan una crítica constructiva sobre cuestiones a propósito de las cuales la Comisión procura avanzar desde hace años y sobre las que sigue traba- jando. La Comisión admite que el Tribunal puede indicar los puntos de´biles a la vez que reconoce los progresos realizados. La acción de la Comisión a cargo de los Fondos Estructurales, reforzada por el ejercicio SEM 2000, desemboca en el desarrollo de una cultura de la evaluación sin precedentes. Escasas son las regiones que no hayan efectuado evaluaciones y no este´n comprometi- das en este proceso. Tanto el principio de subsidiariedad como las dificultades y la heterogeneidad de los contextos, tanto geográficos como temáticos, son factores que tambie´n es conveniente tener en cuenta