title: Informe de la Comisión - De revisión intermedia - Programas de los objetivos nos 1 y 6 (1994-1999) - La evaluación como instrumento de desarrollo de una cultura de gestión: hacia mejores prácticas

eurovoc_concepts:
EU programme
Structural Funds
activity report
project evaluation

text: COMISIÓN DE LAS COMUNIDADES EUROPEAS it *r * TV Bruselas, 07. 01. 1999 COM( 1998) 782 final INFORME DE LA COMISIÓN DE REVISIÓN INTERMEDIA PROGRAMAS DE LOS OBJETIVOS N 1 Y 6 (1994-1999) os LA EVALUACIÓN COMO INSTRUMENTO DE DESARROLLO DE UNA CULTURA DE GESTIÓN: HACIA MEJORES PRÁCTICAS DOCUMENTO DE SÍNTESIS Proceso de revisión intermedia : aumentar la eficacia 1. La revisión intermedia de los programas de los objetivos n° 1 y 6 es un proceso que se fundamenta primordialmente en las distintas evaluaciones intermedias de los diferentes programas. En ella también se tienen en cuenta otros elementos, como son las políticas nacionales en este ámbito, las prioridades de la UE y otros análisis estratégicos de importancia. La finalidad principal de la revisión intermedia es efectuar una evaluación minuciosa y sistemática de los programas que permita, en su caso, ajustar las prioridades y redistribuir los presupuestos de cada uno de ellos. 2. La actual revisión intermedia ha podido hacer uso de un gran número de evaluaciones (más de un centenar) y se ha visto considerablemente facilitada por los debates mantenidos con las autoridades nacionales en el marco de la cooperación. 3. En esta revisión intermedia se ha examinado la práctica totalidad de los MCA y DOCUP de los objetivos noS 1 y 6. La importancia de este proceso ha variado de un Estado miembro a otro, pero, por lo general, ha permitido distribuir de manera más eficaz los recursos y apoyar determinadas prioridades estratégicas. Las evaluaciones intermedias han resultado útiles para programas los ajustes de los 4. Las evaluaciones intermedias no son un fin en sí mismas, sino un medio para mejorar la calidad y pertinencia de la programación y requieren importantes recursos humanos y financieros y, en algunos casos, una extensa preparación y debate en el contexto de la cooperación que se establece para cada programa. 5. Estas evaluaciones no se realizan con la simple finalidad de dar cumplimiento a las actuales normas comunitarias sobre programación, sino que también se han introducido para responder al creciente interés manifestado al respecto por las autoridades nacionales o regionales, para quienes la evaluación es cada vez más un medio de mejorar la gestión de los Fondos y maximizar los resultados obtenidos. 6. La evaluación intermedia permite determinar qué tipo de reorientaciones pueden ser las más convenientes para alcanzar los objetivos originales. La programación a medio plazo de las intervenciones estructurales puede verse influida por la modificación de factores externos y por el marco político general. Ello hace aconsejable adoptar cierta flexibilidad en relación con la modificación de las prioridades estratégicas y llevar a cabo una programación más sistemática y eficaz en muchos sectores. 7. Entre las ventajas prácticas que ha aportado la actual evaluación pueden destacarse su contribución a aumentar la rentabilidad de las inversiones y a establecer unas prioridades más adecuadas en función de la evolución de las nuevas necesidades y circunstancias. Además, todo ello debe considerarse parte de un proceso de aprendizaje de mayor calado, en el que tienen más relieve determinados aspectos cualitativos -a los que, a corto plazo, puede no concederse toda la importancia que merecen-, como el desarrollo de la capacidad de evaluación a través de la mejora de los conocimientos técnicos y una coordinación mejor entre las administraciones nacionales y regionales. Evaluar el rendimiento es relativamente sencillo 8. Las evaluaciones intermedias han permitido comprobar que, en comparación con programas anteriores, se han producido importantes avances en la utilización de indicadores cuantitativos para efectuar el seguimiento de la ejecución de las intervenciones, evaluar sus repercusiones y determinar el grado de realización de los objetivos establecidos. Aunque, hasta el momento, la elaboración de indicadores ha sido relativamente desigual, las "prácticas correctas" identificadas en ciertos programas muestran en general que la determinación y evaluación del rendimiento es una tarea relativamente sencilla que no exige necesariamente un trabajo suplementario por parte de las administraciones nacionales. 9. La utilización de indicadores de rendimiento formales para determinar el progreso alcanzado en relación con los principales objetivos y prioridades de un programa puede revestir más interés del que se le ha atribuido hasta ahora y redundar en una gestión más eficaz que conduzca a mejoras tangibles en la fase intermedia en lo que se refiere a las realizaciones y resultados concretos obtenidos. 10. Para que los Estados miembros puedan efectuar evaluaciones a priori de los futuros programas, es fundamental que los documentos de programación contengan objetivos e indicadores cuantificados que sean pertinentes para el proceso de revisión intermedia. Ese tipo de información puede ser de enorme utilidad en la gestión de los programas y constituir un criterio objetivo para evaluar el rendimiento. Como ha propuesto la Comisión en los proyectos de reglamentos de los Fondos Estructurales, ello predeterminará la atribución de la reserva financiera a los programas en función de su propio rendimiento interno. 11. En lo que se refiere al marco operativo, los sistemas de seguimiento deben garantizar que los indicadores pertinentes puedan medirse en un corto periodo de tiempo y con un bajo coste a través de fuentes de información adecuadas ya existentes, y que estén sometidos al control de las autoridades nacionales y regionales. Además, es necesario establecer con total transparencia objetivos realistas y mantener durante la fase de ejecución los objetivos iniciales, que únicamente deben ajustarse a la baja si lo justifican las nuevas circunstancias. La revisión intermedia ha sido llevada a cabo de manera flexible para dar respuesta a la evolución de las necesidades y de las prioridades 12. El planteamiento en que se basa la revisión intermedia es, en muchos aspectos, suficientemente adecuado y flexible para hacer frente a las nuevas circunstancias y a la necesidad de incrementar la eficacia de las actuales intervenciones. Ambos objetivos pueden perseguirse dentro del mismo marco operativo. 13. Las prioridades estratégicas se establecen en un contexto económico e institucional concreto que experimenta tanto influencias externas como internas. Aunque es deseable que exista una continuidad en la línea de actuación, siempre, incluso en el caso de las intervenciones más logradas, es posible introducir mejoras. En las economías de rápido crecimiento (por ejemplo, la economía irlandesa), el rendimiento económico debe ir acompañado de algunos cambios estructurales en la programación para poder hacer frente a algunos problemas fundamentales, como la carencia de infraestructuras físicas adecuadas o de la capacitación apropiada. 14. La revisión intermedia de los programas de los objetivos noS 1 y 6 no ha afectado en lo fundamental a sus respectivas orientaciones estratégicas globales. El grado de ajuste de las intervenciones varia según los estados miembros y las regiones come también entre los MCA y los DOCUP. Estos últimos, a pesar de su menor envergadura, han dado lugar proporcionalmente a transferencias más importantes entre las distintas medidas. 15. La Comisión, al manifestar sus prioridades sobre los ajustes que deben introducirse en el contexto de la revisión intermedia, hizo especial hincapié en la necesidad de prestar mayor atención al empleo, fomentando, especialmente, las intervenciones que requieren más mano de obra. Aunque esta prioridad fundamental ya debería haber recibido más apoyo, están manifestándose en la actualidad signos alentadores que son el resultado práctico de la revisión intermedia. Entre ellos pueden citarse los siguientes: la reorientación parcial de importantes regímenes de ayuda hacia las PYME y el empleo, la inclusión de los pactos territoriales por el empleo dentro de los programas principales y la introducción de medidas específicas en los sectores, como la sociedad de la información y la igualdad de oportunidades entre hombres y mujeres. Progresos importantes en el campo de la evaluación pero ciertas mejoras son aun necesarias 16. La experiencia que se deriva de la actual revisión intermedia muestra que no se trata de una actividad puramente académica, sino que tiene una finalidad operativa y estratégica. Los gestores de los programas y los responsables de la toma de decisiones de muchos Estados miembros comparten este punto de vista y, sobre la base de los resultados de la evaluación, se han interesado por el tipo de ajustes que puede ser necesario introducir, incluso una vez transcurrido el actual período de intervenciones. 17. La calidad y contenido de las evaluaciones intermedias y su integración en el proceso intermedio general son aspectos en los que se ha avanzado mucho, lo que paulatinamente permitirá mejorar la cultura de gestión. En lo que respecta a la determinación de las "prácticas correctas", han quedado de relieve la importancia de factores como la gestión de procesos (es decir, la determinación de elementos fundamentales, el establecimiento de un consenso, etc. ) y la necesidad de efectuar una planificación más cuidada del proceso de revisión intermedia. Ambos elementos se incluirán en las próximas orientaciones sobre prácticas correctas. m 18. Como consecuencia de la revisión intermedia, las autoridades nacionales y regionales han tomado medidas para mejorar aún más la eficacia de sus intervenciones, especialmente en relación con sus propios sistemas de ejecución de los Fondos Estructurales. Van a producirse, en particular, importantes mejoras de los sistemas de seguimiento gracias a una mayor calidad y pertinencia de los indicadores de los programas. Además, en la actualidad se está trabajando para simplificar la gestión de los programas de pequeña escala y establecer criterios de selección más coherentes con los objetivos de programación. 19. En el próximo período de programación será primordial consolidar en mayor medida la práctica de la evaluación a partir de los resultados obtenidos hasta ahora. En esta perspectiva, para poder incrementar la eficacia de las intervenciones estructurales será necesario, entre otras cosas, lograr convertir la evaluación en un verdadero instrumento de toma de decisiones, reforzar los sistemas de seguimiento y de indicadores, potenciar las metodologías de evaluación y fomentar el intercambio multilateral de experiencias a través de la Unión Europea. IV DOCUMENTO DE SÍNTESIS INTRODUCCIÓN I. Elementos fundamentales del proceso de revisión intermedia 1. 1. Principios generales y evolución de las necesidades 1. 2. Directrices de la Comisión 1. 3. Evaluaciones intermedias 1. 4. Ejecución financiera II. Enseñanzas que se derivan de las evaluaciones intermedias 2. 1. Realización de las evaluaciones intermedias 2. 2. Conclusiones principales 2. 3. Utilización de los resultados de la evaluación III. Principales resultados y ajustes 3. 1. Relación entre evaluación y reprogramación 3. 2. Reasignación general de fondos estructurales 3. 3. Incorporación de las prioridades de la UE IV. Implicaciones políticas y retos futuros 4. 1. Implicaciones a corto plazo para los sistemas actuales de ejecución de los programas 4. 2. Primeras reflexiones para los programas futuros 4. 3. El reto de la evaluación. 33 4 4 5 5 6 6 7 12 23 24 24 26 28 32 32 32 INTRODUCCIÓN La finalidad de la revisión intermedia es garantizar que la aplicación de las intervenciones estructurales que se canalizan a través de los marcos comunitarios de apoyo1 (MCA) y de los documentos únicos de programación (DOCUP) se lleve a cabo con mayor eficacia. Este proceso adquiere especial importancia en el actual contexto de austeridad en los presupuestos públicos, que hace cada vez más necesario que los recursos de los Fondos Estructurales se utilicen plenamente y que sus intervenciones se destaquen por la elevada calidad de su contenido. La evaluación es un instrumento importante para alcanzar esos objetivos. Una transcendente innovación introducida por los actuales Reglamentos estructurales es el requisito de efectuar evaluaciones sistemáticas de todos los programas de la UE. En el contexto de la iniciativa SEM 2000 (Gestión Sólida y Eficaz), la Comisión considera la evaluación un elemento crucial para mejorar la cultura de gestión en la que se llevan a cabo los programas comunitarios2. Recientemente, el documento Agenda 20003 de la Comisión, referido al período 2000-2006, ha propuesto incrementar la rentabilidad de todas las intervenciones estructurales reforzando las actividades de seguimiento, control financiero y evaluación en el contexto de una gestión descentralizada. En el presente informe se resumen los elementos principales de las revisiones intermedias efectuadas en los Estados miembros y se analizan, en particular, la función desempeñada por las evaluaciones intermedias y el grado de incorporación de las prioridades de la UE en todos los programas de los objetivos nos 1 y 6. La principal fuente de información de este documento son las evaluaciones intermedias efectuadas por los distintos Estados miembros. En él se intenta dilucidar la función que ha desempeñado el proceso de evaluación en la actual revisión intermedia y determinar las prácticas de evaluación más adecuadas a fin de que puedan servir de orientación para el próximo período de programación, ya que son el exponente de la cultura de gestión que está surgiendo como consecuencia de esas evaluaciones. El presente informe pretende contribuir, a través de la determinación de las prácticas correctas, a que se comprenda mejor el modo en que se han realizado y utilizado las evaluaciones en las revisiones intermedias, habida cuenta, en particular, de su futura aplicación en el contexto de los nuevos reglamentos de los Fondos Estructurales. Por consiguiente, constituye un punto de partida experimental para las medidas que se adopten después de 1999. i A lo largo de este informe se mantiene la distinción entre los conceptos de evaluación intermedia y de revisión intermedia. Aunque en ocasiones ambos se utilizan indistintamente, el término de revisión intermedia describe con mayor propiedad el proceso completo, que abarca tanto la evaluación como la modificación de las prioridades y la reasignación de los presupuestos de los programas que se deriva de ella. El término de evaluación intermedia se refiere simplemente a la evaluación propiamente dicha, que es parte integrante de la revisión intermedia. SEM 2000 - Comunicación sobre la evaluación, 8 de mayo de 1996. Agenda 2000: Por una Unión más fuerte y más amplia. 1997. -3- En el informe se abordan los cuatro temas siguientes: 1. El proceso de revisión intermedia en su conjunto. 2. Las conclusiones principales de las evaluaciones intermedias. 3. Los resultados fundamentales y las modificaciones introducidas. 4. Las consecuencias que se derivan para la aplicación y las prioridades de los programas, así como los retos futuros. I. ELEMENTOS FUNDAMENTALES DEL PROCESO DE REVISIÓN INTERMEDIA El proceso de revisión intermedia abarca cuatro elementos fundamentales: principios generales, directrices de la Comisión, evaluaciones intermedias y situación de la ejecución financiera de los programas de los objetivos nos 1 y 6. 1. 1. Principios generales y evolución de las necesidades El principal objetivo de los MCA y los DOCUP es reducir las disparidades en la renta per capita de los Estados miembros. Estas intervenciones tienen por objeto inducir un cambio duradero en la estructura y funcionamiento de las economías receptoras y responden a prioridades y estrategias nacionales concretas para abordar una serie de problemas estructurales básicos, como las diferencias en infraestructuras y capital humano. Estos factores son importantes por su influencia en la competitividad regional y, por consiguiente, en el crecimiento económico. Los cuatro Estados miembros menos prósperos - los llamados "países de la cohesión" - han registrado una importante mejora de su renta per capita. No obstante, las disparidades entre las regiones europeas no han desaparecido: en 1995, la renta per capita media de las 25 regiones más ricas triplicaba la de las regiones menos desarrolladas. Las diferencias en lo que se refiere a la tasa de desempleo son todavía mayores, y ello afecta en especial a los grupos menos favorecidos socialmente4. Los cambios que ha experimentado la situación económica, social o política de los Estados miembros han influido en sus respectivas necesidades y problemas y, por consiguiente, en la forma en que han modificado sus programas. Por ejemplo, la reciente prosperidad económica de Irlanda ha alterado las necesidades de determinados tipos de intervención, en particular las orientadas a prestar ayuda al sector productivo. La evaluación intermedia realizada respecto de ese Estado miembro muestra que es necesario reorientar los recursos hacia la creación de infraestructuras públicas (por ejemplo, carreteras no urbanas) para poder responder al rápido ritmo de crecimiento económico. En esta misma línea, el hecho de que el empleo constituya un objetivo primordial de la UE también se ha reflejado en una serie de modificaciones de los programas, como la introducción oficial de los pactos territoriales por el empleo. Además, los cambios que han experimentado las políticas nacionales de empleo, con la introdución, por ejemplo, Véase el "Primer informe de la Comisión sobre la cohesión económica y social", COM (96) 542 final, de 6 de noviembre de 1996. -4- de reformas estructurales en el mercado laboral, también han dado lugar a que se reorienten algunas medidas de formación. En el contexto de los Fondos Estructurales ha sido necesario, asimismo, hacer frente a una serie de acontecimientos inesperados: las regiones italianas de Umbría y las Marcas, afectadas por los terremotos, se han beneficiado de recursos del MCA en una muestra de solidaridad entre las regiones de ese país. 1. 2. Directrices de la Comisión Los cambios en la situación económica y social de los Estados miembros han motivado que la Comisión adopte directrices generales5 para potenciar el valor añadido de las intervenciones comunitarias. Su finalidad es facilitar un marco general de principios y prioridades dentro del cual puedan efectuarse, como parte de la revisión intermedia, las modificaciones necesarias de los actuales programas de los objetivos n° 1 y 6 para el período 1994-1999. Las directrices fijan una serie de prioridades temáticas para reforzar el objetivo principal de las intervenciones de los Fondos Estructurales, es decir, contribuir a establecer las condiciones necesarias para un desarrollo económico, un crecimiento y una competitividad sostenibles y, por consiguiente, por la creación de empleos duraderos. Este objetivo general se refuerza a través de las siguientes prioridades específicas: infraestructuras básicas, entorno productivo (todo tipo de medidas para mejorar el crecimiento y la competitividad de las empresas e industrias), investigación y desarrollo tecnológico, medio ambiente y desarrollo sostenible, desarrollo de los recursos humanos e igualdad de oportunidades. 1. 3. Evaluaciones intermedias En cumplimiento de los Reglamentos de los Fondos Estructurales y de las disposiciones comunes a todos los programas, todos los Estados miembros (excepto Italia6) han efectuado evaluaciones intermedias en las que se basa la revisión de sus intervenciones estructurales. La finalidad de estas evaluaciones era contribuir a mejorar la ejecución y gestión de los programas para el resto del período de aplicación. Prioridades aplicables a la modificación de los programas de los Fondos Estructurales hasta finales de 1999* - Directrices de la Comisión, mayo de 1997. Los Estados miembros respaldaron la formulación de estas directrices en una reunión informal de Ministros de política regional y ordenación del territorio, celebrada en Ballyconnell, Irlanda, los días 14 y 15 de noviembre de 1996. Los Estados miembros solicitaron formalmente a la Comisión que formulase directrices generales en consonancia con el principio de la subsidiariedad, encaminadas a adaptar los actuales programas de los objetivos n° 1 y 6 hasta finales de 1999 de modo que contribuyan a crear un mayor número de puestos de trabajo. La evaluación intermedia fue iniciada con carácter provisional por las autoridades italianas (Unidad de evaluación de la Dirección del presupuesto) en el primer semestre de 1997. -5- En el documento orientativo7 publicado por la Comisión se indicaba que las evaluaciones intermedias debían constar de las siguientes fases: un análisis crítico de todos los datos obtenidos, en especial los datos de seguimiento; una evaluación del grado de realización de los objetivos establecidos; una explicación de cualquier desfase que se haya producido entre los resultados reales y previstos de la intervención; por último, una evaluación de las razones que justifican la intervención y de la pertinencia de sus objetivos. Además, las evaluaciones deben facilitar los datos necesarios para que los comités de seguimiento puedan formarse una opinión y proponer a las autoridades competentes las medidas de corrección de los programas que sean necesarias. Por lo general, en el caso de los programas de duración superior a tres años se efectúa una evaluación intermedia al final del tercer año de aplicación. Estos programas también son objeto de evaluaciones a posteriori cuando finaliza el período de referencia. Las disposiciones de evaluación deben tener en cuenta este calendario. 1. 4. Ejecución financiera El cometido habitual de las evaluaciones es determinar los efectos obtenidos y el progreso realizado en relación con los objetivos y prioridades establecidos. Para ello hacen uso de los datos financieros sobre la aplicación de los programas que les son suministrados por los correspondientes sistemas de seguimiento. Además, el grado de ejecución del presupuesto a nivel de la UE también facilita un panorama general de los compromisos y pagos. La situación en lo que respecta a los programas de los objetivos nos 1 y 6 (véase el Anexo 2) se resume en la página siguiente. Desde 1994, la ejecución de los programas del objetivo n° 1 se ha desarrollado con una continuidad y regularidad cada vez mayores. Esa tendencia se mantuvo durante la primera mitad de 1998. A finales de 1997 se habían comprometido el 64% de los fondos (frente al 46% a fines de 1996) y se habían efectuado pagos correspondientes al 48% de los fondos (en comparación con un 33% a fines de 1996). Esta evolución fue especialmente acusada en España y Portugal, países en los que, durante el período 1994- 1997, se comprometieron el 69% y 70% de los fondos y se abonaron el 53% y 56% de éstos, respectivamente. En algunos Estados miembros (en particular los Países Bajos, Francia y Bélgica) la aplicación, en lo que se refiere a los compromisos, sufrió importantes retrasos, mientras que en el caso de Italia y Austria, los retrasos afectaron v principalmente a los pagos. Respecto al objetivo n° 6, la situación en los dos Estados miembros incluidos en él presenta fuertes contrastes. La aplicación está más avanzada en Finlandia que en Suecia. En Finlandia a fines de 1997 se habían comprometido el 59% de los fondos, frente a sólo un 32% en Suecia. II. ENSEÑANZAS QUE SE DERIVAN DE LAS EVALUACIONES INTERMEDIAS La evaluación intermedia es una importante innovación en la gestión de los Fondos Estructurales y constituye un valioso instrumento de reflexión sobre la eficacia global de las intervenciones de la UE. Las principales enseñanzas que se derivan de ella se refieren al proceso de aplicación y al valor que pueden tener sus conclusiones principales desde el punto de vista de la elaboración de un marco general de actuación. Guía común sobre seguimiento y evaluaciones intermedias (1996). -6- 2. 1. Realización de las evaluaciones intermedias a) Evaluación intermedia: una responsabilidad compartida Una de las innovaciones de los actuales Reglamentos de los Fondos Estructurales es la imposición de requisitos más estrictos para la evaluación de la eficacia de las intervenciones. Estos requisitos se enuncian con toda claridad en esos Reglamentos8. La Comisión y los Estados miembros han trabajado conjuntamente en la definición de los procedimientos operativos que deben seguirse y, por lo tanto, la evaluación es una responsabilidad que comparten. Durante 1995, los Estados miembros y la Comisión desarrollaron una intensa actividad para intentar lograr un consenso sobre el contenido de las evaluaciones y los procedimientos operativos que deben aplicarse en cada caso. El marco operativo propuesto por la Comisión se debatió a nivel multilateral, mientras que la tarea de aplicar la evaluación se ha realizado, en general, dentro de cada comité de seguimiento. En general, pese a los problemas que engendra cualquier nuevo procedimiento y las dificultades que han experimentado algunos Estados miembros para definir e iniciar el proceso de evaluación, no se han manifestado diferencias de opinión fundamentales entre los Estados miembros y la Comisión9. b) Implantación de las evaluaciones intermedias Más allá de los Reglamentos: la mejora de la gestión La mayor parte de las distintas formas de intervención (MCA, DOCUP, programas operativos, subvenciones globales, etc. ) programadas en cada Estado miembro son objeto impulsado otras de una evaluación específica. Algunos, Estados miembros han evaluaciones, de carácter temático (por ejemplo, análisis de las PYME y de medidas relacionadas con la investigación) u operativo (por ejemplo, criterios de selección, procedimientos, etc. ) para completar sus evaluaciones intermedias. Su elevado número (más de 100 para los programas de los objetivos nos 1 y 610) pone de manifiesto el reconocimiento generalizado de su importancia en los Estados miembros. Este reconocimiento se manifiesta no sólo a través del cumplimiento de las disposiciones de la 8 9 De conformidad con lo dispuesto en el apartado 2 del artículo 26 del Reglamento de coordinación, "la apreciación y la evaluación se realizarán comparando, en su caso, los objetivos con los resultados obtenidos, con relación a los objetivos e indicadores macroeconómicos y sectoriales basados en datos estadísticos regionales y nacionales, así como en relación con los datos generados por estudios analíticos y descriptivos y con análisis de carácter cuantitativo". Las disposiciones comunes de los MCA y los DOCUP, adoptadas de común acuerdo con los Estados miembros, establecen que el seguimiento toma como referencia las evaluaciones intermedias, de modo que puedan introducirse las modificaciones necesarias en los MCA y en las intervenciones en curso. En la reunión informal de Ministros de política regional y ordenación del territorio que se celebró en Madrid los días 30 de noviembre y 1 de diciembre de 1995, los Estados miembros se mostraron más sensibilizados en relación con la importancia de la evaluación intermedia y de sus objetivos funcionales. 10 Véase la lista del anexo 3. -7- normativa, sino también en el hecho de que la evaluación se percibe como un instrumento para mejorar la gestión de los fondos y optimizar los resultados que se obtienen con ello. Coste de las evaluaciones En la Comunicación sobre la evaluación de SEM 2000 (1996) se recomendaba que el presupuesto total para las actividades de evaluación no superase el 0,5% del presupuesto de los programas. En general, los costes de las evaluaciones se han financiado con cargo al presupuesto de asistencia técnica de cada programa. El porcentaje de fondos destinado a esta actividad ha sido normalmente inferior al 0,1% del coste total de los programas. En cualquier caso, los porcentajes fijos no resultan apropiados, dado que el coste de una evaluación no es necesariamente proporcional al coste de un determinado programa. Procedimiento de evaluación El punto de partida del proceso de evaluación intermedia es el análisis de las posibilidades de llevar a cabo la evaluación de un determinado programa (la viabilidad de la evaluación o "evaluabilidad") y la enunciación de la metodología que debe aplicarse en la fase siguiente. El análisis de las posibilidades de efectuar la evaluación de un programa dado es necesario para poder suplir determinadas lagunas o faltas de coherencia en la información contenida en los documentos de programación, por ejemplo, la insuficiente cuantificación de los objetivos de algunas medidas. Es importante subrayar que, para que una evaluación pueda desarrollarse con éxito, es imprescindible asegurarse de que se han adoptado disposiciones suficientes para que el programa de que se trate pueda ser evaluado. La evaluación de un programa requiere, en particular, que se hayan establecido previamente y controlado a lo largo de todo el período de aplicación del programa una serie de indicadores y objetivos pertinentes (véase el recuadro 1). Recuadro 1: Análisis de la "evaluabilidad" - PO del FEDER en Andalucía (obj. n° 1) El objetivo de esta evaluación era presentar la justificación de las acciones, objetivos y metas programados, el nivel de sinergia entre ellos y la pertinencia del tipo de gestión del programa. La evaluación se centró en tres elementos principales: calidad de la planificación, sistemas de información y capacidad de gestión. Se adoptó un método de trabajo consistente en el análisis de los documentos de programación (utilizando el Enfoque del marco lógico) y la realización de entrevistas con los principales gestores de los programas. La aplicación de esta metodología permitió extrcer algunas conclusiones prácticas. En lo que se refiere a la calidad del programa, el evaluador detectó algunas deficiencias en el análisis SWOT (ventajas, deficiencias, posibilidades y riesgos), así como algunos problemas con determinados objetivos (por ejemplo, el turismo) a los que no se habían destinado suficientes medios. En lo que se refiere al sistema de información, se observó que se basaba excesivamente en los indicadores de resultados, en lugar de los de impacto. Se llevó a cabo, asimismo, una evaluación del sistema de gestión con el fin de introducir en él eventuales mejoras, especialmente en lo relativo a la distribución de tareas y responsabilidades dentro de la administración regional. A pesar de que no fueron tenidas en cuenta la totalidad de las recomendaciones, esta primera evaluación contribuyó a sensibilizar en mayor medida a ¡os gestores de los programas acerca de la necesidad de fomentar la cultura de la evaluación y profundizar en el conocimiento de su propio programa. La evaluación intermedia propiamente dicha se realiza en el ecuador del período de aplicación del programa. Su finalidad es determinar el grado en que el programa ha alcanzado sus objetivos y los efectos iniciales de las intervenciones, así como, en caso necesario, proponer recomendaciones para mejorar la gestión del programa y optimizar sus resultados. Como norma general, las evaluaciones intermedias deben tomar como punto de referencia los resultados de las evaluaciones a priori efectuadas sobre la base de los planes presentados por los Estados miembros. Independencia de los evaluadores Los Estados miembros han coincido en la importancia de que la elaboración de los informes de evaluación se lleve a cabo con total independencia tanto de las autoridades encargadas de la gestión de los Fondos Estructurales como de los órganos ejecutivos responsables de las medidas cofinanciadas, por lo que se han establecido mecanismos para la designación de evaluadores externos (asesores, especialistas, equipos académicos, etc. ). En aquellos Estados miembros donde la evaluación está pjenamente arraigada en los programas de gasto público, los evaluadores externos han podido beneficiarse de un apoyo y asesoramiento permanentes por parte de las correspondientes autoridades. Las evaluaciones internas pueden presentar algunas ventajas (como la de fomentar el aprendizaje a través de la práctica), dado que las autoridades encargadas de la gestión participan muy de cerca en el análisis de la justificación de sus actividades y de la forma en que se desarrollan. No obstante, éstas evaluaciones internas pueden resultar poco prácticas y rentables, e incluso no deseables, a efectos de las evaluaciones intermedias y a posteriori. A este respecto, Italia constituye una excepción destacada, ya que la Unidad de evaluación de la Dirección del presupuesto efectuó una evaluación intermedia que puso de relieve una serie de elementos de gran importancia, en relación, en particular, con la calidad de los documentos de programación y la falta de objetivos e indicadores adecuados. c) Desarrollo de la capacidad de evaluación en los Estados miembros Creación de estructuras de gestión Habitualmente, son los comités de seguimiento quienes llevan a cabo las evaluaciones intermedias. Por lo general, intervienen en la determinación del contenido de los infromes de evaluación y la elaboración del programa de trabajo de los evaluadores. Además, analizan y debaten el contenido de los informes de evaluación y, en su caso, proponen o aconsejan posibles modificaciones de los programas para obtener el máximo rendimiento y eficacia de los fondos que se les han asignado. En un considerable número de casos, para garantizar una comunicación permanente entre ellos y los evaluadores, los comités de seguimiento han constituido grupos o subcomités técnicos (véase el recuadro 2) cuya función es elaborar informes y propuestas (basadas en los resultados de las evaluaciones) que se someten a la consideración del comité para su debate y aprobación. Recuadro 2: Gestión de las evaluaciones: creación de estructuras "ad hoc". En Irlanda, tanto el MCA en su conjunto como cada uno de sus tres principales programas operativos dispuso de los servicios de su propia unidad de evaluación que les facilitó en todo momento asesoramiento y conocimientos técnicos. Los otros cinco programas operativos tuvieron a su disposición evaluadores externos cada vez que requirieron sus servicios. Los comités de seguimiento estudiaron los informes de evaluación intermedia en dos reuniones distintas. Sus conclusiones y recomendaciones y el contenido de las evaluaciones de los distintos PO se han utilizado en la evaluación intermedia del MCA. Además, en la evaluación de todo el MCA se hizo uso de un informe de evaluación regional, amén de tenerse en cuenta las directrices de la Comisión. -9- En Portugal se constituyeron grupos de "evaluación técnica para orientar y controlar el proceso de evaluación. Sus tareas principales incluyeron, entre otras, la validación de las distintas competencias, la colaboración en la selección de los evaluadores y el análisis de los informes finales antes de su presentación a los comités de seguimiento. Estos grupos estaban constituidos por funcionarios de la Comisión y representantes de las administraciones nacionales y regionales competentes. Por lo general, han celebrado al menos dos reuniones al año antes de las reuniones de los comités de seguimiento. Las constructivas relaciones establecidas entre los miembros de estos grupos han contribuido a mejorar la calidad del trabajo de evaluación. Función de la cooperación Los participantes en los programas han manifestado en general una actitud positiva hacia las evaluaciones intermedias y aceptado la responsabilidad de llevarlas a cabo. No obstante, en el caso de las autoridades regionales se observan variaciones en lo que se refiere a su participación concreta en las tareas relativas a la evaluación intermedia. Esas diferencias son un reflejo de los rasgos característicos de los distintos sistemas políticos e institucionales (por ejemplo, grado de descentralización), * los diferentes tipos de intervenciones de los Fondos Estructurales (programas nacionales, sectoriales, regionales y subregionales) y las distintas prácticas y experiencias dentro de cada Estado miembro. En algunos casos, la responsabilidad de establecer y gestionar el proceso de evaluación ha recaído en las autoridades regionales que, además de participar en la selección de los evaluadores y en la definición y colaboración en las tareas de éstos, se han encargado de que el resultado de las evaluaciones se debatiera y analizara en los comités de seguimiento y han verificado la aplicación en los programas de las recomendaciones de la evaluación. En otros casos, la responsabilidad y la realización de las actividades ha correspondido tanto a las autoridades nacionales como regionales. No obstante, en los casos en que existen marcos comunitarios de apoyo (como en algunas de las regiones del objetivo n° 1), generalmente han sido las autoridades nacionales las responsables de la evaluación. La situación es distinta en algunos Estados miembros cuyas autoridades regionales carecen de responsabilidad en lo que se refiere a la programación y gestión de los Fondos Estructurales. En ese caso, su participación en el proceso ha consistido en facilitar los datos e información necesarios para realizar los informes de evaluación, cooperar en el análisis de las repercusiones a nivel local de las disposiciones adoptadas e intervenir, en cierta medida, en la elaboración de una nueva definición de las directrices estratégicas y operativas a partir de las recomendaciones de los informes de evaluación. Los interlocutores sociales también han intervenido en este proceso en la medida en que han participado en los comités de seguimiento. En términos generales, la cooperación se ha desarrollado de forma pragmática y flexible. Mayor profesionalización de la evaluación Durante los últimos cuatro años, las actividades de evaluación han tenido un desarrollo considerable en todos los Estados miembros, a lo que han contribuido decisivamente los requisitos establecidos en los reglamentos de los Fondos Estructurales. La prestación de servicios de evaluación corre a cargo fundamentalmente de instancias independientes de las distintas administraciones, con la notable excepción de Irlanda e Italia, que han creado sus propios equipos especializados. La transformación de la evaluación en un servicio especializado ha contribuido a que se realice con mayor profesionalidad y especialización. Aunque los equipos de evaluación nombrados para los distintos programas suelen tener carácter multidisciplinario e incluir tanto empresas de asesoría -10- como centros académicos de investigación, están especializados principalmente en los campos de la economía y la gestión. d) Mejora de la calidad de las evaluaciones La calidad media de las evaluaciones intermedias efectuadas durante el período de programación de 1994-1999 ha mejorado indudablemente en comparación con el período anterior (1989-1993), aunque en algunos casos no ha alcanzado el nivel requerido debido a factores como el retraso en el inicio de determinados programas o la utilización de metodologías inadecuadas. Los informes de evaluación han sido sometidos a una valoración con arreglo a los ocho criterios establecidos en el programa MEANS11 de la que se desprende que la mayor parte de los informes son de una calidad razonable (recuadro 3). Las evaluaciones contienen por lo general información actualizada y analizan los programas en función de sus fines y objetivos; algunas evaluaciones (por ejemplo, Irlanda del Norte) han aplicado unos criterios de calidad propios para valorar las ventajas y deficiencias. El hecho de que los evaluadores cuenten con mayor experiencia y de que sean más amplios los conocimientos y la investigación sobre los aspectos prácticos de la evaluación también han contribuido a mejorar la calidad de los informes. Recuadro 3: Valoración de la calidad de una evaluación: la evaluación del MCA irlandés El informe de evaluación presentaba las siguientes características: se atendía adecuadamente a las necesidades de información; la justificación del programa y sus objetivos se analizaban en su totalidad; se elaboró un marco metodológico específico para evaluar la eficacia de las medidas; se recopiló una cantidad adecuada de datos fiables (aunque persisten determinadas carencias y deficiencias); se realizó un análisis riguroso de la aplicación del MCA; se facilitaron resultados verosímiles que tuvieron consecuencias prácticas respecto de la estructura del programa; se presentaron conclusiones objetivas suficientemente detalladas para poder hacer un uso operativo de ellas; se presentó a los destinatarios en un formato accesible y con una redacción clara. 1 ' Valoración cualitativa de los informes de evaluación: Marco general. El programa MEANS (métodos de evaluaciones de las acciones con carácter estructural) de la Comisión Europea tiene como fin mejorar los instrumentos metodológicos de que se dispone para evaluar las medidas estructurales. Los informes de evaluación son objeto de una valoración a la luz de los ocho criterios siguientes: grado en que se satisfacen las necesidades: ¿las evaluaciones satisfacen adecuadamente las necesidades de información de los comités de seguimiento y se ajustan a las competencias que les han sido asignadas?; ámbito apropiado: ¿se abarcan en su totalidad la justificación, los resultados y los efectos del imprevistos?; concepción pertinente: ¿la evaluación está programa, incluidos concebida de forma adecuada para dar respuesta a las preguntas que se realizan?; datos: ¿los datos utilizados y recogidos son los adecuados?; ¿se tiene en cuenta debidamente su fiabilidad?; análisis riguroso: ¿se efectúa un análisis adecuado de la información disponible?; resultados verosímiles: ¿los resultados se-derivan lógicamente del análisis y quedan justificados por éste?; conclusiones imparciales: ¿son las conclusiones ecuánimes, operativas y no tendenciosas debido a la influencia de la persona que las realiza?; claridad: ¿la redacción del informe hace fácil su comprensión?. los resultados Por consiguiente, la valoración cualitativa global es muy elevada, dado que la evaluación se ha efectuado con arreglo a una estructura bien diseñada. El informe fue editado y hecho público. En lo que respecta a los programas de desarrollo rural, la valoración difiere mucho de unas evaluaciones intermedias a otras. En algunos casos, el nivel de éstas se considera aceptable (España) o satisfactorio (varios Estados federados alemanes) si se ha alcanzado el objetivo de mostrar buenos resultados. En otros, el nivel es muy elevado, debido a la experiencia y calidad de los evaluadores independientes y al hecho de que los objetivos y los pliegos de condiciones son más precisos (Irlanda). En ocasiones, las evaluaciones tienen un alcance más reducido como consecuencia de su carácter académico o excesivamente general o por el hecho de haber abordado únicamente la aplicación y la gestión en lugar de los resultados y el impacto (Francia y Bélgica). Algunas evaluaciones han sido criticadas por su falta de independencia respecto de la administración que ha encargado su realización. Otras han sufrido ciertas limitaciones cuando el trabajo del evaluador se ha visto dificultado por la ausencia de colaboración de la administración. Las metodologías aplicadas por los evaluadores difieren de un programa a otro tanto por sus características como por su calidad. Aunque la Comisión ha fomentado a través del programa MEANS la utilización de una serie de métodos e instrumentos, ésta sigue siendo incipiente. Como ejemplo cabe citar que las repercusiones sobre el empleo se consideran por lo general difíciles de evaluar, especialmente cuando se han tenido en cuenta los efectos independientes y los efectos de desplazamiento12. A pesar de las mejoras cualitativas registradas, sigue siendo necesario reforzar, a través de una orientación adecuada, la utilización de métodos de evaluación rigurosos en las próximas fases de evaluación. 2. 2. Conclusiones principales Entre los finales principales de las evaluaciones intermedias se encuentra la valoración del camino recorrido en la realización de los distintos objetivos de los programas, así como la probable repercusión de éstos en lo que se refiere, por ejemplo, a la creación de puestos de trabajo. Otro de sus objetivos es analizar el procedimiento tanto de gestión de los programas como de selección y seguimiento de los proyectos que los integran. La finalidad de este apartado es pasar revista, sobre la base de una selección representativa de evaluaciones, a una serie de resultados importantes relacionados con asuntos de interés fundamentales y señalar determinados aspectos que deben mejorarse, así como poner de relieve algunos elementos fundamentales de los análisis efectuados sobre tres temas fundamentales: repercusiones macroeconómicas de los principales programas, especialmente en relación con el crecimiento y el empleo; evaluación microeconómica de aspectos relativos a la eficacia; 12 Véase el documento de la Comisión Europea "Cómputo de los puestos de trabajo" de 1997 y el "Desafiopara el empleo" (1998). •12- calidad de los sistemas de ejecución, especialmente de los sistemas de seguimiento y de indicadores y de los criterios de selección de proyectos. Este análisis permite extraer algunas conclusiones generales acerca de la utilización e incorporación de estos resultados al proceso de revisión intermedia. a) Repercusiones macroeconómicas: efectos sobre el crecimiento y el empleo La mayor parte de las evaluaciones de los MCA del objetivo n° 1 contienen un análisis macroeconómico que aporta valiosas observaciones respecto del proceso de revisión intermedia en su conjunto. Estas ponen de manifiesto la importancia de tener en cuenta tanto los efectos del lado de la oferta como del de la demanda y proporcionan una cuantificación preliminar de la escala previsible de estos efectos. En el caso de las intervenciones a gran escala, como los principales MCA del objetivo n° 1, los efectos macroeconómieos en términos de crecimiento económico y empleo son generalmente perceptibles. No obstante, la cuantificación de esos efectos resulta difícil, ya que es necesario determinar cual sería la situación inversa, es decir, sin intervención de los Fondos Estructurales. A este respecto, una posible opción es la utilización de técnicas de simulación basadas en modelos que tienen en cuenta la interdependencia macroeconómica de las variables. Aunque algunos de ellos cuantifican los efectos a corto plazo del lado de la demanda (por ejemplo, modelos de "input-output"), sólo unos pocos tienen en cuenta los efectos a largo plazo de las condiciones del lado de la oferta, cuya mejora es el principal objetivo de los Fondos Estructurales13. En el contexto de las evaluaciones intermedias, los efectos del lado de la oferta que resultan de añadir a una economía infraestructuras, capital humano e inversiones productivas se evalúan mediante diferentes métodos de complejidad variable. En el caso de Irlanda y España, se han aplicado modelos del tipo HERMIN14, mientras que para Grecia, Portugal e Italia se han empleado modelos econométricos más generales. Muchas variables son endógenas y las influencias "externas" incluyen los tipos de interés, los tipos de cambio y el crecimiento económico entre socios comerciales. En el caso del este se efectuó con arreglo a un enfoque "ad hoc" al no de Alemania, la evaluación disponerse de un modelo macroeconómico y se aplicaron en cada fase estimaciones de los distintos parámetros que influyen en el PIB y el empleo; los propios autores del informe subrayan en éste el alto grado de incertidumbre de sus resultados. Dos de los estudios no aplicaron en su modelo una perspectiva integrada de la oferta y se limitaron a realizar cálculos adicionales sobre los efectos en la oferta basados en valores medios citados en la bibliografía especializada. La evaluación portuguesa calcula un efecto adicional en la productividad de entre el 1,17 % y el 2,35 %, mientras que el 13 14 Recientemente, se han intentado cuantificar los efectos combinados del lado de la oferta y de la demanda de los Fondos Estructurales utilizando el modelo QUEST II, cuyos resultados se presentaron en el primer informe de la cohesión (1996); el modelo HERMIN se utilizó en el documento de revisión del mercado único (1996). HERMIN es un modelo macroeconométrico específicamente concebido para cuantificar las repercusiones a medio y largo plazo de los MCA. Este modelo establece un marco común centrado en las principales características. estructurales de los "países de la cohesión" y explica los mecanismos a través de los cuales los MCA influyen en el lado de la oferta de sus respectivas economías. -13- estudio referido al este de Alemania establece que los efectos a largo plazo del lado de la oferta en el PIB equivalen al 20 % de los efectos a corto plazo del lado de la demanda. Por esta razón, los resultados para estos dos países (y, por el momento, para Grecia) que se facilitan más abajo sólo contienen los efectos del lado de la demanda. En aquéllos países en los que la totalidad del territorio no está incluido en el objetivo n° 1 (D, E, I) se plantea un problema específico de macromodelos. Las distintas evaluaciones han abordado este problema de un modo diferente: en la evaluación alemana se han analizado exclusivamente las repercusiones en el este del país, mientras que en la evaluación española únicamente se han considerado las repercusiones en toda España. La estructura dualística del macromodelo italiano ha permitido evaluar las repercusiones tanto en el sur de Italia como en el conjunto del país. La comparabilidad de los resultados de las distintas evaluaciones intermedias (véase el gráfico n° 1) es un aspecto que debe abordarse con cautela, dado que los métodos empleados varían de un país a otro. No obstante, los efectos positivos sobre el crecimiento y el empleo de los programas del objetivo n° 1 no ofrecen duda alguna. Por lo general, las repercusiones sobre el empleo son muy inferiores a las repercusiones sobre el crecimiento, como consecuencia, principalmente, del aumento de la productividad. A título de ejemplo, el gráfico n° 1 muestra que, en el caso de España, se estima que el MCA puede contribuir a un incremento del PIB del orden del 5,1 %, lo que supone un crecimiento medio anual adicional del 0,8 %, aproximadamente, mientras que el empleo puede crecer un 2,4 % para el año 1999 en comparación con la situación de referencia (es decir, la situación sin MCA). Las evaluaciones futuras de la repercusión macroeconómica de los Fondos Estructurales deberán hacer frente al reto de utilizar en mayor medida aquellas metodologías que incorporen los últimos avances en la materia. Los macromodelos deberán presentar de forma integrada los Lados de la demanda y la oferta; este último permitirá distinguir las principales categorías de intervenciones, como son las infraestructuras, el capital humano y las inversiones productivas. Las principales variables para las que deberán facilitarse resultados son el PIB, inversión, empleo, precios de consumo, déficit presupuestario, importaciones y exportaciones. Las situaciones más interesantes de adicionalidad son la financiación exclusiva de la UE y la financiación conjunta nacional y de la UE, excluida en ambos casos la cofinanciación privada. Deben tenerse en cuenta, asimismo los costes de oportunidad de la financiación pública, es decir, las repercusiones de la utilización de los fondos nacionales y de la UE para otros fines. Por último, el grado de dependencia de los resultados respecto de los cambios que puedan producirse en el gasto del MCA y en la política económica puede proporcionar indicaciones más concretas de aplicación general. -14- Gráfico n° 1: Resultados de la evaluación intermedia. Desviaciones porcentuales respecto de la situación de referencia en 1999 % 5 -t 4 -+ Germany (Cbj. l) Greece Spain Ireland • GDP • errployrrent 20 1 1. 0 Italy (Obj. 1) Portugal Nota: Fuentes: La cifra de empleo en el caso de Portugal es la reducción del índice de desempleo expresada en porcentaje. Ifo Institut (D), KEPE (EL), QUASAR (E), ESRI (IRL), Ministero del Tesoro-Núcleo di Valutazione (I), CISEP (P): ' Evaluación de las repercusiones macroeconómicas en zonas pequeñas Se han establecido modelos específicos para zonas pequeñas que permiten evaluar las repercusiones a largo plazo en el crecimiento, la inversión y el empleo. En el caso del Henao belga (objetivo n° 1) se ha desarrollado una metodología interesante, a pesar de las dificultades que plantea el cotejo de datos regionales que se presentan muy desagregados (recuadro 4). Recuadro 4: El Henao belga (objetivo n" 1): el modelo HELM El modelo HELM (Hainaut Lead-in Model) es un modelo econométrico que se basa en la existencia de una relación fundamental entre el crecimiento de la producción y el crecimiento de la productividad. Este modelo incorpora distintos componentes del crecimiento de la productividad (investigación y desarrollo, capital físico, capacitación) y facilita los resultados para tres situaciones: la situación de referencia (A), el DOCUP sin limitaciones (B) (cálculo del impacto suplementario del DOCUP), y el DOCUP con limitaciones (C) (cálculo del impacto suplementario, pero incorporación, para los regímenes de ayuda, del porcentaje de ayuda y de los criterios de selección adoptados). La comparación de estas situaciones permite evaluar la repercusión suplementaria del DOCUP en comparación con la situación de referencia. Los resultados de las simulaciones efectuadas para la evaluación intermedia del DOCUP se refieren a tres variables principales (inversión, valor añadido y empleo) en el sector industrial y de servicios a las empresas. Según este modelo, el DOCUP generará un crecimiento suplementario de la inversión del 0,7 % anual durante el período 1994-2005 y un crecimiento suplementario del empleo del 0,3 % anual, equivalente a 5. 100 puestos de trabajo netos en 1999 y 15. 800 en 2005. El consumo masivo de fondos al final del período reducirá la eficacia de la ejecución del DOCUP. Los retrasos que pueda experimentar dicha ejecución pueden también dar lugar a que las repercusiones se aprecien en mayor medida hacia el final del período y una vez terminado éste. El modelo indica que cualquier incremento del porcentaje de ayuda sólo influirá moderadamente en las inversiones, aunque éstas generarán algunos beneficios (indirectos) en la zona. Por lo tanto, existe un riesgo considerable de que, una vez finalizado el DOCUP, se retorne a una situación de menor crecimiento en comparación con la media de la UE. -15- b) Evaluación microeconómica Evaluación de la eficacia Se solicitó a los evaluadores que realizaran un análisis de la eficacia de las intervenciones. En muchas evaluaciones se analizó el grado en que los programas estaban alcanzando sus propios objetivos15. Una de las tareas de los evaluadores ha sido revisar los actuales indicadores y, en algunos casos, proponer, de acuerdo con las autoridades regionales, la utilización de una serie de indicadores básicos y de indicadores clave nuevos o ya existentes. Con frecuencia, esta evaluación ha hecho necesaria una revisión a fondo de los sistemas de indicadores, tanto desde el punto de vista de los resultados financieros como del seguimiento de los indicadores físicos establecidos. En la evaluación del MCA irlandés se adoptó un enfoque sistemático respecto de la eficacia, utilizando un modelo microeconómico para evaluar si las medidas habían sido adecuadamente diseñadas y podían alcanzar sus objetivos. Este enfoque supone que los Fondos Estructurales no pueden enjuiciarse exclusivamente en función de los recursos que canalizan, sino teniendo en cuenta los beneficios sociales que aportan a la economía. La metodología adoptada por el evaluador tiene por objeto comparar la eficacia de las medidas, con el fin de garantizar una distribución óptima de los recursos financieros (comparabilidad de la rentabilidad entre los programas) y determinar las mejores prácticas (en el recuadro 11 se presenta una descripción más detallada). Desde un punto de vista más práctico, las evaluaciones deben intentar determinar el grado en que están lográndose los principales objetivos de los programas. En el caso de Merseyside, la evaluación contiene algunos elementos clave (PYME, terrenos mejorados, superficie útil), que incluyen datos de producción y los resultados correspondientes en lo que concierne a la creación de puestos de trabajo y el efecto de palanca del sector privado. Se facilitan objetivos cuantificados para 1999 y la evaluación intermedia presenta las cifras correspondientes al progreso realizado hasta el momento. Estos indicadores se proporcionan en forma agregada por prioridades. A raíz de la evaluación intermedia, se inició un proceso de revisión de los datos sobre la situación de referencia, los objetivos y la producción de Merseyside. 15 La eficiencia es un aspecto que se aborda raramente, por ser uno de los elementos más difíciles de la evaluación. El análisis de la eficiencia supone establecer una comparación entre las "entradas" del programa (recursos financieros) y sus "salidas" (los bienes y servicios suministrados) y resultados (efectos iniciales), con el fin de determinar si podrían haberse obtenido los mismos beneficios utilizando menos entradas o si las mismas entradas podrían haber producido mayores beneficios. La valoración de la eficacia supone necesariamente establecer comparaciones con las diversas situaciones contrarias. Por consiguiente, la principal dificultad que se presenta es la elección de los parámetros de referencia adecuados. -16- Recuadro 5: Evaluación de la eficacia mediante indicadores de programa: el ejemplo de Merseyside - objetivo n° 1 (1994-1999) - producción y resultados efectivos de las intervenciones del FEDER Prioridad Gasto del FEDER Total empleos brutos (directos e indirectos) Superficie util total Total de terrenos mejorados Inversi6n privada total £m %del DOCUP 000m2 %del DOCUP Objetivo %del DOCUP Objetiv 0 (Ha) £m % del DOCUP Objetivo 28, 44, 15,4 4,8 22,1 115,5 21 54 42 16 26 31 5,4 9,2 0,8 0,7 3,0 19,2 15 142 16 64 454 39 114 116 - 1 9 240 20 70 0 15 n/d 24 255 17 - 32 210 513 52 12 h/d 300 73- 67 76 0 8 23 176 % del DOCU P Objetiv o 40 90 28 n/d 77 Las prioridades del DOCUP de Mersyside son las siguientes: 1) inversión interna, 2)empresas autóctonas, 3) medidas basadas en conocimientos expertos, 4)cultura, medios de Comunicación y ocio, 5) medidas para Merseyside. Informe de evaluación intermedia (noviembre de 1996). 1 2 3 4 5 Total Nota: Fuente: Los indicadores establecidos en los PO o los DOCUP constituyen una base que permite efectuar el seguimiento y evaluación de la eficacia. No obstante, no resulta posible extraer de ellos conclusiones definitivas, especialmente respecto de las repercusiones, debido a la dificultad que entraña establecer la causalidad en algunos sectores (por ejemplo, los indicadores pueden verse afectados por factores externos) y con frecuencia es necesario complementarlos con un análisis cualitativo y un trabajo de evaluación adecuado. Conclusiones acerca de las principales realizaciones y resultados Los datos microeconómicos sobre realizaciones y resultados procedentes de los informes de evaluación no pueden presentarse fácilmente de manera agregada, dada su especificidad y la falta de comparabilidad entre los distintos programas. Por otro lado, las posibilidades de cuantificación de estos datos en la fase intermedia varían en función de los sectores de intervención (infraestructura, PYME, recursos humanos, etc. ) y de las regiones de que se trate. El nivel de cobertura de los informes de evaluación presenta, inevitablemente, variaciones, como también difieren las posibilidades de cuantificar elementos clave como las realizaciones, resultados y cambios en disparidades acusadas. En el recuadro 6 se describen algunos de los logros alcanzados en los programas de los objetivos n** 1 y 6. Infraestructuras básicas - Reducir las disparidades Es en el apartado de las infraestructuras básicas donde los efectos de la actuación de la Comunidad son más patentes y medibles. En algunos casos, estas importantes inversiones tienen repercusiones elevadas desde el punto de vista estructural, como ocurre por ejemplo en España, donde los recursos del MCA dedicados a la financiación de las redes de transporte, comunicación y energía representan por término medio más del 25% de las infraestructuras nacionales. En muchos sectores, se ha avanzado notablemente en la reducción de las disparidades con el resto de la Unión (véase el recuadro 6). -17- Recuadro 6: Logros importantes en infraestructuras básicas. • • • • Se sigue contribuyendo de manera considerable a desarrollar las redes viarias estratégicas de los países de la cohesión. Así, se han mejorado cuatro corredores importantes en Irlanda (en los que en 1996 se había realizado ya el 49% de las obras previstas, cuando el porcentaje previsto para 1999 era del 53%) y se ha finalizado la autopista entre Atenas y Salónica (400 km construidos hasta la fecha). En Portugal, se ha construido ya el 74% de las autopistas y carreteras nacionales programadas para 1999. En España, las infraestructuras físicas de las autopistas aumentaron un 13% entre 1993 y 1995 (año más reciente del que se tienen datos), lo que ha beneficiado sobre todo a las regiones menos desarrolladas como Andalucía. En todas las regiones del objetivo n° 1 se han hecho grandes inversiones en el sector de las telecomunicaciones, principalmente para construir sistemas modernos como centrales digitales y redes de fibra óptica. Ello ha contribuido a reducir notablemente las disparidades con el resto de la Unión. En Portugal, el número de líneas telefónicas por cada 100 habitantes se está acercando al de la UE, objetivo que se espera alcanzar en 1999. Igualmente, en Italia, el porcentaje de digitalización en las regiones del sur del país se ha situado al nivel de las del centro y norte (85%). En España, las redes digitalizadas han aumentado un 36% en términos absolutos entre 1993 y 1995. También se ha progresado en el campo de la diversification energética, en el que se ha conseguido reducir la dependencia del petróleo. En Grecia, el nuevo sistema de distribución de gas natural comenzará pronto a funcionar dado que ha finalizado la construcción del gasoducto de alta presión (513 km) y está a punto de acabar otro gran proyecto (la red de gas natural de baja presión, de 1000 km, de la que ya está construido el 84%). En Portugal, se había construido en 1996 más de la mitad de la red de distribución de gas (600 km) que, en 1999, suministrará el 7,5% de la energía total. Tanto Grecia como España y Portugal han experimentado en los últimos años reducciones significativas en su consumo energético en relación con el PNB. En el sector del medio ambiente, la ayuda se destina a mejorar los sistemas de suministro de agua y a aumentar la capacidad de las infraestructuras de depuración de aguas residuales. En Grecia, se han construido ya sistemas de suministro de agua y de recogida y depuración de aguas residuales que dan servicio a 5 millones de personas (la mitad de la población). También se han hecho inversiones en las regiones más pequeñas del objetivo n°l, como, por ejemplo, en Irlanda del Norte, donde el subprograma de construcción de infraestructuras de suministro de agua y tratamiento de aguas residuales ha creado unos 2. 270 puestos de trabajo en la zona. Otros logros medioambientales importantes, conseguidos por medio de intervenciones específicas, son la limpieza de zonas industriales fuertemente contaminadas, las auditorías medioambientes de PYME, el asesoramiento para el desarrollo de productos ecológicos, y la reducción de las emisiones a la atmósfera (gracias a la diversificación de las fuentes de energía). Entorno productivo - Ayuda al empleo En el sector productivo, la ayuda estructural ha estado encaminada a mejorar las condiciones de las empresas ya existentes y, a través de ello, a impulsar nuevas actividades. Está ampliamente admitido que el hecho de ayudar específicamente a las PYME constituye un motor importante para la creación de empleo, lo que contribuye a salvar los desfases estructurales de productividad y de nivel de renta. En el recuadro 7 se dan algunos ejemplos recientes que ilustran las efectos positivos de los Fondos Estructurales en este campo. Recuadro 7: Algunos logros en el entorno productivo • Los principales mecanismos de ayuda han contribuido a acentuar la creación de empleos, lo que ha compensado parcialmente las consecuencias negativas de las reestructuraciones industriales. En el Henao belga, casi todos los fondos disponibles para mecanismos de ayuda, especialmente los de las PYME, han sido utilizados antes de que finalizara el período; se calcula que, hasta la fecha, se ha creado un número de empleos superior al previsto (más de 2. 220 puestos de trabajo en lugar de los 1. 800 esperados). En Alemania (regiones del objetivo n° 1), la ayuda de los Fondos Estructurales ha contribuido activamente al empleo, como, por ejemplo en Sajonia-Anhalt, donde se han mantenido o creado -18- 18. 500 puestos de trabajo en la industria química y otrosí 20:000 en pequeñas y medianas empresas (PYME). En Italia, se estima que el programa industrial ha permitido crear o mantener más de 75. 000 puestos de trabajo en el período de 1994-1996. En el sector turístico, el aumento de la capacidad hotelera en Sajonia (11. 500 camas más) supondrá un aumento de los beneficios mientras que, en Irlanda, la realización de 18 grandes proyectos ya ultimados incrementará la calidad y el nivel de las atracciones turísticas. Estas mejoras, que cuentan con ayuda de los Fondos Estructurales, generarán nuevas posibilidades de empleo. La regeneración de zonas industriales contribuirá también a mejorar el entorno económico y a atraer inversiones. Esta era una de las principales prioridades en varios Estados federados alemanes: en Berlín este, por ejemplo, se han renovado 51. 000 m2 (creándose 600 puestos de trabajo); en Sajonia se han transformado 620 ha de terrenos en parques empresariales. En la región francesa del Nord-Pas de Calais, se ha mejorado aproximadamente el 40-45% de los terrenos industriales situados en la zona del objetivo n° 1. Recursos humanos: cuantificación de los resultados El plan de trabajo de las evaluaciones específicas llevadas a cabo en el área de los recursos humanos ha incluido un análisis de las repercusiones de las medidas de formación en los beneficiarios. A continuación (recuadro 8) figuran los principales resultados de estos estudios. Recuadro 8: Repercusiones de las medidas deformación en los beneficiarios En España, el evaluador efectuó un análisis comparativo de la colocación de las personas formadas, por grupos destinatarios, empleando la base de datos del INEM (Instituto Nación de Empleo) como si fuera un grupo de control. Sólo se consideraron las medidas de formación profesional. Las principales conclusiones coinciden con los resultados de la evaluación a posteriori de 1989-1993: desde el punto de vista de los efectos brutos, el porcentaje de personas que lograron~un empleo es, por término medio, un 20% más alto que el del grupo de control; el porcentaje de colocación es más alto entre los jóvenes, los hombres y quienes tienen estudios secundarios. Sin embargo, si se tienen en cuenta los efectos netos, esas diferencias varían notoriamente en función de las características de las personas. Así, por ejemplo, las de más de 45 años tenían un 32% más de posibilidades de encontrar un trabajo que sus homólogos del grupo de control. Además, la formación aumenta las posibilidades de las mujeres de encontrar trabajo: el efecto neto es del 27,1%), mientras que en los hombres es del 14,9%. Si se considera el nivel de estudios, los efectos de la formación en las personas que sólo tienen estudios primarios son llamativos: el hecho de seguir cursillos de capacitación aumenta sus posibilidades de encontrar trabajo en un 48,8%. Alemania: repercusiones de la GIQst (Iniciativa común - Éste) En Alemania, se calcula que el programa federal de ayuda a la GlOst (es decir, las escuelas deformación profesional para jóvenes) redujo un 3% el desempleo juvenil en 1995. Hasta el momento, los Estados federados disponen de pocos indicadores de colocación. Generalmente, la combinación de medidas de formación y de subvenciones da mejores resultados, pero desgraciadamente la combinación sistemática de medidas es más una excepción que la regla general. Algunos resultados regionales destacables son los siguientes: el de Berlín este, donde el evaluador llega a la conclusión de que el 60% de las personas formadas (considerando conjuntamente las medidas de formación continua y las de formación de desempleados) encontraron un empleo o conservaron su puesto de trabajo al cabo de 6 meses; los programas de formación de Mecklemburgo-Pomerania Occidental, cuyos porcentajes de colocación se sitúan entre el 40 y el 45Vo (21-32% de acceso al mercado laboral primario); un programa para empresarios noveles, destinado fundamentalmente a ayudarles a crear un negocio viable, permitió que aproximadamente el 50% de las empresas tuviera éxito; varios programas de formación continua y enseñanza para empleados (medidas del objetivo n° 4) en Mecklemburgo-Pomerania Occidental, Turingia y Sajonia-Anhalt incrementaron entre un 35 y un 77% la seguridad de los participantes de mantener su empleo. Portugal: repercusiones en si sistema educativo El PRODEP (Programa de desarrollo de la educación en Portugal) ha reforzado el sistema educativo portugués mediante la diversificación de los circuitos educativos y mejoras cuantitativas y cualitativas. La formación de profesores y otros agentes ha sido una de las contribuciones más importantes del programa, -19- tanto en la enseñanza primaria como en la secundaria (49,3% de los profesores) o en la universidad (concesión de becas para la realización de "masters" y de doctorados). Los cambios más importantes en cuanto a expansión y diversificación de los circuitos educativos y de formación han sido la ampliación de la enseñanza secundaria, el acercamiento de la enseñanza secundaria al mundo laboral, y un mayor asesoramiento de los alumnos en los colegios. De hecho, la ayuda prestada a la formación de técnicos de grado medio ha generado todo un subsistema de enseñanza técnica directamente relacionada con el mercado laboral que ha supuesto una alternativa a las vías educativas habituales. Agricultura y desarrollo rural La agricultura y el desarrollo rural, que constituyen programas nacionales aparte, han sido objeto de evaluaciones específicas. En el caso de los DOCUP y las partes agrícolas de los programas regionales, la evaluación se ha integrado en una evaluación más general. Algunos Estados miembros, como Irlanda, han realizado evaluaciones detalladas de los principales ejes de los programas (agroindustria, instalación de jóvenes agricultores, indemnizaciones compensatorias, igualda de oportunidades, formación agropecuaria, etc. ). En estos casos, la evaluación ha permitido tener un mejor conocimiento de la situación, y ha servido para analizar los problemas y encontrar las medidas más adecuadas para resolverlos. Recuadro 9: Evaluación de las intervenciones agrarias - El caso del PAMAF (Programa de apoyo a la modernización de las estructuras agrarias y forestales en Portugal) El informe de evaluación señala que el inicio de la ejecución financiera y material de este programa fue bastante lento, fundamentalmente debido a retrasos en la elaboración de la legislación y a modificaciones en la gestión. No obstante, se pudo controlar este retraso inicial y el evaluador es optimista respecto a la ejecución del programa, que podrá alcanzar los objetivos previstos previa reorganización de algunos aspectos de la gestión y de la redistribución financiera entre las diferentes medidas. Las medidas de esta intervención operativa consisten en ayudas a las inversiones en las explotaciones agrícolas cuyo porcentaje de ejecución es elevado, en subvenciones para infraestructuras como los sistemas de riego, los caminos rurales, el drenaje y la conservación del suelo, para los bosques y para la transformación y comercialización de los productos agrícolas y silvícolas, en indemnizaciones compensatorias para las zonas desfavorecidas, y en medidas de formación e investigación. El objetivo de estas medidas es aumentar la competitividad de las explotaciones agrícolas y la mayor parte de ellas son continuación del programa anterior, cuya aplicación dio buenos resultados, además de formar parte de la política estructural de la UE como tal. El evaluador ha observado una cierta dispersión de las medidas, que incide en los efectos reales así como en la gestión y en la ejecución. Preconiza que se reasignen algunos importes a medidas consideradas prioritarias, principalmente a la ayuda a las explotaciones agrícolas y a las infraestructuras de regadío e insiste en la necesidad de potenciar la formación profesional. También resalta que se ha intentado concentrar las ayudas en el sector privado y que la distribución regional de los proyectos es heterogénea. Algunos resultados del programa de agricultura durante el período de 1994-1996 que se destacan en el informe son: la financiación de unos 20. 000 proyectos, la ayuda prestada a 11. 500 explotaciones agrícolas y las ayudas a la instalación de 2. 800 jóvenes agricultores. Pesca El IFOP presta ayuda en cinco grandes ámbitos de intervención: ajuste del esfuerzo pesquero (26% del presupuesto), renovación y modernización de la flota (24%), transformación y comercialización de productos (23%), desarrollo de la acuicultura (11%) y equipamiento de puertos pesqueros (7%). Actualmente, son 31 los programas que se están desarrollando con ayuda del IFOP, 17 de ellos en el objetivo n° 1, 12 en el objetivo n° 5a) y 2 en el objetivo n° 6. Desde el punto de vista presupuestario, el 65% del presupuesto del IFOP se destina al objetivo n° 1. -20- información Las evaluaciones intermedias de esos programas han proporcionado interesante sobre la eficacia de las intervenciones y datos útiles para la reprogramación (reasignación de fondos de unos ámbitos de intervención o medidas a otros). También han puesto de manifiesto algunas deficiencias de control, especialmente en lo que se refiere al suministro de datos socioeconómicos. En algunos casos, se han efectuado propuestas de mejora de los indicadores y se han realizado análisis preliminares de efectos en el empleo. Recuadro 10: Un ejemplo: elprograma español del objetivo n" 1 Este programa operativo de pesca, que cuenta con un presupuesto aproximado de 1. 000 millones de ecus, constituye uno de los ejes prioritarios del MCA. Las medidas del programa se centran fundamentalmente en el ajuste del esfuerzo pesquero, la modernización de la flota, la transformación de los productos, la acuicultura y el equipamiento de los puertos pesqueros. El informe de evaluación señala que el porcentaje medio de realización es satisfactorio (57%), aunque varía mucho de un ámbito de intervención a otro: es muy bajo en el caso de la modernización de la flota y de la acuicultura (entre el 10 y el 20%) y alto en el del equipamiento de puertos y transformación de productos (entre el 60 y el "100%). El porcentaje de eficacia más bajo es el de la acuicultura (2%): esta medida se ve perjudicada por la lentitud de los circuitos administrativos necesarios para materializar los proyectos, por la escasa rentabilidad, que desanima a los inversores, y por las restricciones medioambientales impuestas para la selección de los proyectos. El porcentaje de eficacia más elevado es de la transformación (65%): en este apartado, la mayoría de los beneficiarios están en fuerte crecimiento, por lo que tienen una buena capacidad de inversión. El evaluador propone reasignar a la modernización de barcos y a la transformación de productos algunos fondos atribuidos inicialmente al ajuste del esfuerzo pesquero y ala acuicultura. El 35% de los proyectos subvencionados por el programa han creado o mantenido empleos (en un primer análisis: 780 puestos de trabajo en total), especialmente en el sector de la transformación de productos, según se desprende de una encuesta realizada entre los beneficiarios. El informe hace además una serie de propuestas de mejora de los indicadores de rendimiento y de resultados, de disminución del número de indicadores específicos de la acuicultura, y de establecimiento de indicadores de impacto para la flota y de indicadores de empleo en todos los ámbitos de intervención. Por último, a la vista de la aplicación estricta del principio de protección del medio ambiente en el ámbito de la acuicultura, el evaluador recomienda que se tenga más en cuenta dicho principio en otros ámbitos (transformación de productos y equipamiento de puertos). c) Calidad de los mecanismos de distribución Otro de los cometidos de las evaluaciones intermedias era valorar el modo en que se gestionan los Fondos y, especialmente, los sistemas de seguimiento y los criterios de selección de proyectos. Sistemas de seguimiento y de indicadores Los programas actuales han potenciado notablemente el uso de indicadores cuantitativos con respecto al período de programación anterior como medio de controlar la ejecución de los mismos, de evaluar sus efectos y de determinar el grado de realización de los objetivos generales. -21- La Comisión preparó una Guía común de seguimiento y evaluación destinada a garantizar la coherencia y la uniformidad de los planteamientos11. Inicialmente, estas mejoras se aplicaron con gran ímpetu, a pesar de lo cual la experiencia de los programas es desigual. En algunos programas, la información de la que se dispone gracias a los indicadores no permite medir correctamente el rendimiento ni comprobar si el programa avanza satisfactoriamente. Otros defectos importantes son la falta de determinación de objetivos apropiados y prácticos para las medidas y la ausencia de una sistema coherente y las uniforme de recopilación de datos sobre el rendimiento, repercusiones. los resultados o Si bien ha habido muchas mejoras, la definición y cuantificación de indicadores específicos sigue siendo un aspecto insatisfactorio de la gestión de los programas. Es preciso seguir trabajando en el sistema de indicadores para mejorar la labor de seguimiento y evaluación, empezando por identificar ejemplos de prácticas correctas en este área. Se pueden encontrar intentos interesantes de establecer sistemas de información y gestión adecuados en distintos programas, de los cuales se ofrece una muestra en el recuadro 11. Recuadro 11: Perfeccionamiento de los sistemas de seguimiento Un sistema de información bien gestionado es una condición necesaria, aunque no suficiente, para sustentar el proceso de evaluación. El caso de la región francesa de Nord-Pas-de Calais (objetivo n° 1) es un buen ejemplo de sistema de seguimiento integrado que combina indicadores financieros y físicos de los proyectos. En Irlanda del Norte, una de las partes importantes de la evaluación intermedia consistió en un examen intensivo de NIQUID (la base de datos de todos los indicadores aprobados para el DOCUP) destinado a transformarla en un verdadero sistema de información y gestión del DOCUP. El evaluador propuso controlar de forma periódica la evolución de 52 indicadores, en lugar de los 330 recogidos en el DOCUP. Además, en cada subprograma se diseñó un grupo de indicadores clave que reflejase sus repercusiones específicas. También se ha hecho un trabajo valioso en Italia, donde se ha implantado un sistema estandarizado de indicadores para las intervenciones del FSE. En Portugal, se han mejorado los indicadores de casi todos los ámbitos de intervención, si bien aún ha de mejorarse más la calidad de los datos. Criterios de selección de proyectos En los dos o tres primeros años de ejecución de los programas se han desarrollado sistemas de calificación relativamente sofisticados para los proyectos cofinanciados. Los sistemas implantados (por ej. en el Merseyside) tienen en cuenta simultáneamente un amplio abanico de factores y, además de determinar si los proyectos reúnen los requisitos de financiación, analizan los criterios de selección tanto desde la óptica de la prioridad como de las medidas concretas. Así, por ejemplo, entre los criterios de prioridad comunes a todos los proyectos figuran los siguientes: rendimiento del proyecto, resultados 11 Esta guía de la Comisión distingue entre indicadores de rendimiento, indicadores de resultado e indicadores de impacto. Los indicadores de rendimiento reflejan la ejecución financiera y material (por ejemplo: número de kilómetros de carreteras construidos y coste, número de cursillos de formación organizados). Los indicadores de resultado evidencian los efectos inmediatos de una intervención (por ejemplo: ganancia de tiempo en un proyecto de carretera, número de personas que ha finalizado con éxito un cursillo de formación). Los indicadores de impacto reflejan los logros de las intervenciones. Dentro de ellos, puede hacerse una distinción entre el impacto específico o inmediato de una intervención (por ejemplo: número de personas que han encontrado trabajo) y el impacto general o final, es decir, los efectos socioeconómicos (por ejemplo: incremento del número de puestos de trabajo o del PIB). -22- consecuentes con el dinero invertido, efecto de palanca en el sector privado y, más recientemente, impacto medioambiental. Muchas evaluaciones intermedias han puesto en duda la eficacia de tales sistemas. El hecho de contar con criterios transparentes y objetivos, que, en sí mismo, se considera una práctica correcta, puede no ser una condición suficiente para seleccionar los mejores proyectos. Puede ser necesario efectuar más comprobaciones como, por ejemplo, el grado de fiabilidad de la información y de las previsiones de resultado facilitadas por los solicitantes. Recuadro 12: Mersey side - Sistemas de calificación para proyectos del FSE y del FEDER En el DOCUP de Merseyside, el sistema de selección de proyectos tiene tres aspectos diferentes: criterios de admisibilidad o primarios, criterios de prioridad comunes a todos los proyectos y criterios de selección de las medidas (que pueden ser distintos de los criterios de prioridad). El objetivo de este sistema era desarrollar criterios que fueran comprensibles, transparentes y aplicables a un gran número de proyectos heterogéneos. Entre los principales criterios de prioridad figuran los resultados previstos, que han de ser consecuentes con el dinero invertido, el tipo de beneficiarios (en el caso del FSE), las repercusiones en el mercado laboral, la participación de distintos interlocutores y la articulación del proyecto, los efectos en el sector privado y el impacto medioambiental. 2. 3. Utilización de los resultados de la evaluación Como ya se ha indicado en la sección anterior, las evaluaciones intermedias representan una fuente importante de conocimiento para los gestores de programas y las autoridades que toman las decisiones. Les proporcionan información sobre aspectos fundamentales como la pertinencia de los objetivos de sus intervenciones y los efectos económicos generales en la zona de que se trate. Una evaluación solvente ha de asentarse en un análisis riguroso y ser suficientemente operativa para poder ser utilizada plenamente para desarrollar la política deseada. Sin embargo, la calidad de los resultados de la evaluación no garantiza necesariamente que vayan a ser utilizados. En otras palabras, las evaluaciones no pueden considerarse el único medio para realizar la revisión intermedia. Las instituciones y los agentes políticos factores, intercambian relacionados con el contexto político del entorno macroeconómico, que también pueden influir directamente en las decisiones finales de reprogramación. Teniendo esto presente, pueden distinguirse tres niveles de utilización en la evaluación intermedia. interactivamente y existen otros información continua e El primero consiste en utilizar la evaluación como un mecanismo de "feedback" sobre la eficacia de las medidas. En un gran número de casos, las recomendaciones y los resultados de la evaluación se han tenido en cuenta para modificar los programas. El mejor ejemplo de ello es la evaluación intermedia del MCA de Irlanda, que desembocó en unas conclusiones creíbles y provechosas que permitieron redistribuir los fondos entre las distintas medidas y subprogramas (véase el recuadro 12). En segundo lugar, la evaluación es una valiosa fuente de información o de asesoramiento sobre la marcha para los gestores de programas o las autoridades. La evaluación del programa del objetivo n° 1 de Henao, por ejemplo, que incluía un modelo macroeconómico específico (veáse el recuadro 3) resultó también muy útil para la reprogramación de las medidas y sus conclusiones abrieron perspectivas a largo plazo sobre la convergencia de la economía regional. Otras evaluaciones, que tenían un enfoque más limitado, destacaron la importancia de algunos aspectos críticos de la gestión de los programas en lugar de abarcar de manera exhaustiva todo el ciclo de ejecución. -23- Finalmente, la experiencia demuestra que la cooperación es un factor fundamental para el éxito y la eficacia del proceso de evaluación. Uno de los resultados importantes de este hecho es que las autoridades que toman las decisiones participaron en los debates sobre la evaluación y que pudieron extraer consecuencias para mejorar sus intervenciones. Aunque este proceso de "aprendizaje" no siempre se estructuró de forma oficial, tuvo gran repercusión en el resultado final de las revisiones intermedias. III. PRINCIPALES RESULTADOS Y AJUSTES El proceso de revisión intermedia se asienta en las evaluaciones, que proporcionaron una valoración general de lo logrado durante la primera mitad del período de programación. Basándose en esos elementos, esta parte del informe hace una valoración de los principales resultados de este proceso desde la perspectiva de los ajustes de programa efectuados y de la forma en que se han incorporado a los programas las prioridades fijadas por la Comisión. 3. 1. Relación entre evaluación y reprogramación Las evaluaciones fueron entregadas dentro del plazo fijado para que los resultados puediesen influir en las revisiones intermedias efectuadas entre 1997 y 199812. Cabe destacar que, a pesar de que los programas de los tres nuevos Estados miembros comenzaron un año después de los de los demás Estados miembros, los tres tomaron impulsó un medidas para llevar a cabo evaluaciones intermedias. La Comisión intercambio de experiencia entre los evaluadores que dio lugar a nuevas ideas sobre la forma de realizar las evaluaciones. Una característica importante de este proceso es que no se hicieron ajustes de importancia antes de las evaluaciones y de la revisión oficial de los programas. En general, las evaluaciones resultaron útiles para encauzar los problemas clave o inspirar las decisiones que debían tomarse, aunque su capacidad para ello dependió de la calidad intrínsica del análisis y de las propias recomendaciones. En el ámbito del desarrollo rural, las evaluaciones intermedias han desembocado en recomendaciones y propuestas concretas a instancias tanto de la Comisión como las autoridades de gestión. Así, han propuesto distintas reasignaciones de recursos. En el caso de España y Alemania, estas reasignaciones coincidían con las propuestas de las autoridades responsables debido a que las razones (progreso de las medidas a partir de los datos de seguimiento) eran las mismas. En otros casos, solamente se ha tenido en cuenta una parte de las propuestas (Portugal). En ocasiones, si bien las evaluaciones tuvieron lugar después de las modificaciones de los programas se comprobó a posteriori que no había contradicciones (Francia). En Italia, el evaluador analizó sobre todo los problemas y las dificultades de realización y fueron los responsables de los programas quienes propusieron las reasignaciones de recursos. En Irlanda, no ha sido posible seguir las recomendaciones del evaluador de potenciar determinadas medidas por falta de financiación. 12 Las negociaciones de la revisión intermedia de Francia-objetivo n° 1 (especialmente, la Reunión) y de Grecia (reprogramación de las intervenciones del FEDER; modificaciones del FSE programadas para el segundo semestre de 1998) se han retrasado. En Italia, se decidieron algunas medidas de reprogramación en abril de 1998 y la revisión intermedia finalizará en octubre, sobre la base del desarrollo real de algunos programas de gastos lentos. -24- Los ejemplos de Manda y Merseyside Dos ejemplos ilustran claramente todo el proceso de revisión intermedia, desde el ejercicio de evaluación hasta la aplicación de las decisiones de redistribución financiera, en dos niveles de intervención diferentes: una gran MCA (Irlanda) y un DOCUP (Merseyside) (véanse los recuadros 13 y 14). Recuadro 13: Revisión intermedia (I): el MCA irlandés El informe subraya que el MCA irlandés es un éxito patente y que los fondos han sido empleados deforma eficaz para apoyar y potenciar lo que está siendo una clara recuperación económica. La planificación a medio plazo de los gastos públicos ha permitido que, en muchas áreas, la programación fuera sistemática y eficaz. La evaluación del MCA plantea el problema de si conviene dedicar recursos públicos a determinadas medidas, por ejemplo el suministro de servicios gratuitos o subvencionados por los que las empresas o los particulares estarían dispuestos a pagar. La evaluación parte de la suposición de que los mercados constituyen el medio más eficaz para lograr objetivos económicos y sociales y de que, por ello, la intervención pública sólo está justificada cuando el mercado no funciona correctamente y siempre y cuando no genere distorsiones económicas. Basándose en esta suposición, los evaluadores determinaron cuatro situaciones en las que se justifica la intervención pública en una economía de mercado: el sumistro de bienes y servicios públicos (como las infraestructuras de transtorte) que no existirían sin intervención pública: la introducción de subvenciones correctoras destinadas a modificar el precio de bienes y servicios cuando los precios de mercado no reflejen adecuadamente la función social de los mismos en el sentido amplio (por ejemplo, el coste de préstamos a las PYME); la gestión de regímenes muy concretos encaminados a modificar comportamientos inadecuados derivados de la falta de conocimientos o comprensión de las situaciones (por ejemplo, presentando nuevas tecnologías a empresarios o empleados): la redistribución de la riqueza por medio de subsidios o prestaciones sociales. Los evaluadores clasificaron las 166 medidas de que constaba el MCA con arreglo a estos cuatro parámetros. En cada categoría, seleccionaron una o dos "medidas pivote " (medidas de gran escala o dirigidas a aspectos perfectamente asentados y dominados de la política general) representativas de las demás medidas de la misma categoría. A continuación, se compararon entre sí para determinar qué medidas habían tenido éxito y cuáles no De resultas de ello, emitieron unas 150 recomendaciones sobre cómo desplegar deforma más eficaz los recursos del MCA, haciendo especial hincapié en las medidas mal orientadas o que tenían efectos no deseados. La evaluación señaló un caso manifiesto en que se requería más inversión pública en infraestructuras físicas (especialmente, carreteras no urbanas). En algunas medidas dependientes de la demanda, sugería que las previsiones de gastos se adaptasen a la evolución real, como por ejemplo en el caso del subprograma "industria alimentaria ", en el que abogaba por reducir la subvención. En los debates de los comités de seguimiento se admitió que debía ponerse más énfasis en el desempleo de los jóvenes y en el paro de largo duración y que debía incrementarse el presupuesto de las medidas específicas de formación y de las medidas orientadas a las personas desfavorecidas. La evaluación del MCA contiene también una serie de recomendaciones para la gestión y ejecución de medidas específicas. Uno de los aspectos que se señala es, por ejemplo, que no hay suficiente competencia en el suministro de los servicios subvencionados debido a la posición predominante de los organismos públicos y a la falta de competencia. Con respecto al seguimiento, el informe sugiere mejorar aún más los indicadores de rendimiento, si bien admite que el MCA actual representa el experimento más avanzado de seguimiento y de indicadores. La revisión intermedia se inspiró ampliamente en estas recomendaciones y, así, los cambios consistieron principalmente en reasignar fondos del sector productivo al apartado de desarrollo de recursos humanos y al de infraestructuras económicas. Estas reasignaciones, que supusieron 163 millones de ecus, beneficiaron a la IDT (37 millones), a las infraestructuras de transporte (36 millones) y a toda una serie de medidas en favor de los jóvenes que dejan prematuramente la escuela y de otros grupos marginalizados (46 millones). -25- Recuadro 14: Revisión intermedia (II) : el caso de Mersey side (objetivo n° 1) La ayuda de ¡os Fondos Estructurales a la región de Merseyside totaliza 816 millones de ecus y está organizada en un programa único con cinco apartados (conocidos como "Drivers for Change"): inversión interna y sector empresarial; empresas y actividades empresariales locales; industria experta y tecnología avanzada; cultura, medios de comunicación e industria del ocio; programa en favor de la población de la región. Este último es el que más fondos recibe del programa (más de las dos quintas partes). El de inversión interna, por su parte, cuenta con una cuarta parte de los fondos totales y el de empresas locales, con una quinta parte. La llegada del programa único coincidió con una recuperación cíclica de la economía británica caracterizada por una disminución de la tasa de desempleo y un crecimiento económico superiores a la media de la UE. Merseyside ha participado de esta recuperación, con lo que el dinero de los Fondos Estructurales está empleándose en una situación más favorable que la prevista cuando se ideó el programa único. A pesar de que la mejora de la tasa de desempleo ha sido inferior a la del conjunto del Reino Unido, debe verse en el contexto del declive de los principales indicadores socioeconómicos que conocía la región. En la evaluación intermedia se valoraron las repercusiones actuales y futuras del programa único en la vida de la población y de la economía de Merseyside, se comentaron criticamente los sistemas de seguimiento aplicados y se hicieron recomendaciones sobre cómo desarrollar el programa en el resto del período de programación. El trabajo de documentación se completó con el examen de 100 proyectos individuales y con un trabajo de encuesta y entrevistas de los beneficiarios del programa. El volumen y la calidad del trabajo de documentación fueron significativos, a pesar de la escasez de recursos, que impidió analizar afondo todos los casos. El evaluador efectuó una serie de recomendaciones razonadas, entre ellas la de que, en el futuro, el trabajo de seguimiento y evaluación se centre en los proyectos más importantes que presumiblemente vayan a tener las mayores repercusiones y en aspectos como el desplazamiento y el carácter sostenible. Asimismo, recomendó ampliar el abanico actual de indicadores para mejorar la valoración de las repercusiones del programa con indicadores como el porcentaje de supervivencia de las PYME y el uso que éstas hacen de las nuevas tecnologías. Además, señalaba que no se prestaba suficiente atención a la sinergia entre los cinco apartados del programa ni a temas comunes a varias medidas. La mayoría de los cambios de programación realizados en la revisión intermedia, que sintonizan con las prioridades de política regional que se ha marcado la Comisión para finales de 1999, siguieron las recomendaciones del evaluador. Se reasignó un total de 97 millones de ecus, que fueron a parar principalmente a medidas generadoras de empleo (PYME, tecnología e integración social). Se crearon nuevas medidas de transformación de pescado y de desarrollo y aplicación de las tecnologías de comunicación. Por su parte, la Comisión fijó una fecha límite para una revisión general de los datos de base y de los objetivos cuantificados, con especial énfasis en los datos de creación neta de empleo 3. 2. Reasignación general de fondos estructurales En virtud de los objetivos noS 1 y 6, todos los MCA, DOCUP y demás formas de intervención debían ser objeto de una revisión intermedia. La única excepción la constituían los nuevos Estados federados alemanes, donde los ajustes a los programas se llevan a cabo sobre la marcha. Todas las revisiones dieron lugar a reasignaciones más o menos importantes encaminadas a mejorar la eficacia general de las intervenciones. Estos cambios tienen un alcance mayor en los MCA que en los DOCUP, ya que los primeros son más amplios y más complejos que los segundos y el dinero en juego, mayor. No obstante, la importancia de los cambios no es directamente proporcional al éxito o fracaso de los programas. Incluso en un caso satisfactorio como el del MCA irlandés eran necesarias mejoras y correcciones (aunque sin alterar las principales prioridades y objetivos de los programas). La amplitud de las reasignaciones varió mucfyo de un programa a otro. El punto de partida general de las mismas fue el progreso financiero, especialmente en los programas cuyos gastos estaban siendo inferiores a los previstos, aunque también reflejan las -26- prioridades de la UE (véase el punto 4. 3). En general, se hicieron ajustes limitados de los programas (ajustes finos) y no se modificaron las orientaciones estratégicas. En algunos casos (objetivo n° 1 en Italia, MCA de Portugal), las modificaciones supusieron una transferencia de fondos de los programas o subprogramas en los que el ritmo de gastos era más bajo a los programas o subprogramas que avanzaban más rápido, aunque teniendo presentes otros criterios cualitativos; no obstante, en la mayoría de los casos las modificaciones se hicieron dentro de los propios programas o entre medidas. Los recursos adicionales generados por el deflactor se utilizaron para reorientar algunas medidas, principalmente para la creación de empleo. El gráfico 4 ilustra el volumen de fondos transferidos en cada Estado miembro. Las modificaciones más importantes fueron las del MCA del objetivo n°l de Italia (unos 700 millones de ecus, incluyendo los recursos no programados y el ajuste del MCA de 1998), seguidas por las de España (más de 600 millones de ecus) y Grecia (400 millones de ecus sólo en los programas nacionales). A pesar de la importancia de estas sumas, sólo representan entre el 2% (España) y el 5% de la dotación total de los Fondos Estructurales. En Irlanda, las transferencias financieras supusieron 160 millones de ecus, lo que representa el 3% de los Fondos Estructurales de la UE asignados para el período de 1994- 1999. En Irlanda del Norte no se efectuaron transferencias de fondos entre subprogramas, si bien hubieron de repartirse los recursos adicionales generados por el deflactor. En Finlandia y Suecia, el cambio más importante consistió en fusionar medidas para simplificar la estructura del programa. A la inversa, en algunos programas relativamente pequeños se hicieron cambios importantes en términos relativos, es decir, en porcentaje de las dotaciones estructurales totales. Así, en el Henao belga, aproximadamente el 19% de los recursos disponibles fue traspasado a los regímenes de ayuda a las PYME. En el caso del Flevoland, aunque las transferencias fueron relativamente importantes (13%), las medidas del DOCUP sólo experimentaron cambios menores que no afectaron a los objetivos generales. Dada la dificultad de presentar una panorámica global de estos ajustes, en la próxima sección se exponen sólo algunos ejemplos ilustrativos de varias de las prioridades fundamentales de la UE. -27- Gráfico 4: Reasignación de fondos estructurales por Estado miembro tras las revisiones intermedias (en millones de ecus) 800 700 600 500 400 300 200 100 +• w 3 O a a 0) c o ' 1 • 19% 698 610 • 13°/ 400 • 6% • 4% 163 • 5% I4( I 9,7 0 ~ = H-J r—i k \ L+_rj •-+ • 3% • 3% 0 M ~ 4- - 1- _HE = 3H_ -+-- - i- H. _ c n. ^ _ - 0% 364 m • 7% teqe • 2% • 3% 19 • 5% 21 0 20% 18% 16% 14% 12% - 10% 8% - 6% 4% 2% s ¿S/S • vvvvv ^ [• Importe en millones de ecus • % de atribución de F. S. 1 2 3 4 Nord-Pas-de-Calais (19,6 millones de ecus), Córcega (10,1 millones de ecus), Guyana (36,1 millones de ecus) y Martinica (22,4 millones de ecus). Sin revisión intermedia. Sólo incluye la reasignación de fondos del FEDER. Irlanda del Norte (69,8 millones de ecus), Merseyside (97,0 millones de ecus) y Highlands and Islands (21 millones de ecus). 3. 3. Incorporación de las prioridades de la UE No siempre es fácil valorar hasta qué punto las prioridades de la UE fijadas por las directrices de la Comisión para la revisión intermedia han sido tenidas en cuenta. Sin embargo, algunas de las nuevas medidas incorporadas o ya existentes que reciben fondos adicionales pueden dar una indicación del alcance de los ajustes efectuados. Infraestructuras básicas - Potenciar las redes transeuropeas de transporte Uno de los cometidos a largo plazo de los Fondos Estructurales es reducir las disparidades que existen en materia de transporte, energía, telecomunicaciones y medio ambiente, lo que explica el porcentaje de la financiación total dedicado a este aspecto en los documentos de programación del objetivo n° 1 del periodo de 1994-1999 (más del 30%). infraestructuras de Aunque la financiación de nuevas infraestructuras sigue siendo una de las prioridades fundamentales de muchas regiones, no se asignaron recursos significativos a ello. En algunos casos, se privilegiaron proyectos concretos incluidos en las redes transeuropeas de transporte y encaminados a lograr conexiones y sistemas eficaces, especialmente en el sector del transporte (recuadro 15). -28- Recuadro 15: Programa de aeropuertos - Italia - Objetivo n" 1 El objetivo de este programa, que la Comisión ha aprobado recientemente y al que ha concedido 10 millones de ecus, es mejorar los aeropuertos del sur de Italia. A raíz de la revisión intermedia, se acordó asignarle fondos adicionales (50 millones de ecus), destinados exclusivamente a proyectos incluidos en las redes transeuropeas de transporte, para incrementar la capacidad regional en este área. Entorno productivo - Mayor preponderancia del empleo Los resultados de las revisiones intermedias ponen de manifiesto que puede darse más preponderancia al empleo mediante toda una serie de actuaciones (potenciación de los regímenes de ayuda, pactos territoriales por el empleo, iniciativas de desarrollo local, etc. ). Algunas decisiones que ya se han tomado, como la inclusión de los pactos territoriales por el empleo (recuadro 16) en los programas principales, evidencian la voluntad política y el compromiso de combatir el desempleo con mayor eficacia. Esta mayor atención a los efectos de los proyectos en el empleo, especialmente los de las PYME, sintoniza además con la política seguida por muchos Estados miembros, tal como reflejan los MCA y los DOCUP. En este sentido, la revisión intermedia ha cuestionado la eficacia de algunos instrumentos de ayuda a la creación de empleo y destacado la necesidad de seguir una política de empleo más activa centrada en los recursos humanos y en medidas de formación. En el orden práctico, ha resaltado la conveniencia de medir las repercusiones en el empleo (por ejemplo: regiones del Reino Unido, Nord-Pas de Calais) y de considerar en mayor medida el empleo como uno de los criterios de selección de proyectos (por ejemplo, Italia). Recuadro 16: Pactos territoriales por el empleo En tres Estados miembros (España, Grecia e Italia), los comités de seguimiento asignaron recursos del MCA a un programa o una medida específica de financiación de los pactos territoriales por el empleo. En España (objetivo n° 1), se dio prioridad a cinco pactos, que recibirán 55 millones de ecus de subvención comunitaria (generados por el deflactor del MCA) y se integrarán en un nuevo programa plurirregional. En Grecia, se prevé asignar los recursos derivados del deflactor de 1997 y 1998 a subprogramas específicos de los programas regionales de los que se está efectuando la revisión. En Italia, las autoridades nacionales propusieron en la revisión intermedia una programa plurirregional y plurifondo de 280 millones de ecus, de los que 140 procederían de los Fondos Estructurales y se destinarían a nueve pactos territoriales por el empleo. También se han revisado los regímenes nacionales de ayuda, que están siendo cofinanciados con recursos de los Fondos Estructurales, para tratar de orientarlos en mayor medida hacia la creación de empleo y hacia las PYME (véase recuadro 17). Recuadro 17: Pequeñas y medianas empresas: el MCA griego Las autoridades griegas han reorientado el programa operativo industrial hacia las PYME, asignándole 136 millones de ecus suplementarios. El régimen nacional de ayuda ha sido modificado de acuerdo con las directrices de la Comisión, es decir, aumentando la ayuda a los servicios a empresas y concediendo ayudas indirectas en lugar de préstamos directos. Se han creado organismos intermedios para la gestión de las medidas dirigidas a las PYME y los proyectos se seleccionarán desde una óptica competitiva. Además, se ha efectuado una valoración previa para seleccionar ¡os proyectos relativos a PYME que se van a financiar (unos 1. 450 proyectos de un total de 4. 200 recibidos). Medio ambiente y desarrollo sostenible La protección del medio ambiente considerada como uno de los elementos del desarrollo sostenible es una de las grandes prioridades de la UE más citadas en las revisiones -29- intermedias. Para conseguir ese objetivo se han aprobado medidas específicas y, sobre todo, se ha integrado horizontalmente el medio ambiente en otras prioridades de los programas. Debido a dificultades objetivas (falta de indicadores, aspectos metodológicos) los resultados de la revisión intermedia no han desembocado en todos los casos en conclusiones operativas directas de ajuste de los programas. Se ha insistido en la falta de una evaluación sistemática del impacto medioambiental de los proyectos y en la mejora cualitativa que la realización sistemática de esa evaluación entrañaría para los proyectos. Se ha preparado el terreno para mejorar la protección medioambiental y, más generalmente, los procedimientos de selección de proyectos en el nuevo período de programación (recuadro 18). Recuadro 18: Integración del medio ambiente El medio ambiente es una preocupación antigua de la mayoría de los Estados miembros. Para que Ios- Fondos Estructurales contribuyan adecuadamente a la protección del medio ambiente, deben integrar este aspecto en todos los proyectos de tal forma que se reduzcan al máximo los daños al medio ambiente y se obtengan los mayores beneficios posibles (por ejemplo, dando preferencia a proyectos que tengan un impacto ambiental positivo tales como medidas preventivas, productos ecológicos, etc. ). Los servicios de la Comisión trabajan activamente en medidas relacionadas con la evaluación del impacto medioambiental (estudio temático específico ya iniciado, preparación de una Guía de evaluación medioambiental de los programas de desarrollo regional y de los programas financiados por los Fondos Estructurales, etc. ) con miras a mejorar la cuestión de la integración. Se ha avanzado mucho en la consideración del medio ambiente como un criterio fundamental para la selección de proyectos, especialmente en Finlandia y Suecia. Recientemente, también se ha introducido en el programa industrial de Italia como criterio de selección de nuevos proyectos. Investigación y desarrollo tecnológico Aunque, generalmente, los medios de investigación y desarrollo ya existían, era preciso mejorar el empleo de los mismos. En este aspecto, una de las mejoras ha consistido en aumentar las inversiones de DDT dirigidas a las empresas y las industrias locales (véase el recuadro 19). Recuadro 19: Investigación y desarrollo tecnológico: el ejemplo de Irlanda La IDT, cuya importancia se reconocía ya en el MCA inicial, ha sido potenciada aún más en la revisión intermedia. En el programa operativo de industria, se han asignado unos 3 7 millones de ecus a medidas adicionales de IDT. Se introducirán elementos de competencia entre las propuestas de proyectos y porcentajes de ayuda reducidos. El comité de seguimiento ha acordado además que algunos servicios dirigidos al sector industrial sean de pago (a precio de coste). Sociedad de la información Esta prioridad ha recibido recursos adicionales debido a su capacidad para reducir los efectos negativos de la ubicación periférica y, a través de ello, para incrementar las inversiones y la productividad (recuadro 20). Recuadro 20: Sociedad de la información (España y Portugal) En España, siguiendo las recomendaciones del evaluador, se ha creado un nuevo subeje (6. 6) referido a la sociedad de la información al que se ha asignado inicialmente una financiación de 46 millones de ecus. Las medidas del FEDER se encaminarán a suministrar servicios profesionales e interactivos a las universidades, el turismo y las empresas. Las medidas del FSE se centrarán en proyectos de formación específicos dirigidos tanto a los ciudadanos como a las autoridades locales. En el MCA de Portugal, la decisión de introducir una nueva medida en el subprograma de telecomunicaciones para apoyar la sociedad de la información ha supuesto una innovación decisiva a la que el FEDER ha aportado 7 millones de ecus. Además, también se han hecho esfuerzos significativos en -30- otras intervenciones del MCA como, por ejemplo, el programa de desarrollo local, gracias al cual todos los organismos locales de desarrollo estarán conectados entre sí, o el programa de formación, que permitirá a los colegios de enseñanza media acceder a Internet. Desarrollo de recursos humanos Tras tres años en los que la atención se había centrado preferentemente en los jóvenes, era necesario reorientar hacia los desempleados las intervenciones tendentes al desarrollo de los recursos humanos. Esta reorientación, que concuerda con el enfoque preventivo seguido en las directrices sobre empleo, se ha plasmado de distintas maneras: refuerzo de las intervenciones integradas (orientación y asesoramiento, formación, ayudas a la contratación), fomento de las subvenciones para la creación de microempresas, desarrollo de nuevas formas de servicios de formación y de empleo local. En las intervenciones dirigidas a los jóvenes, se ha pasado de apoyar los programas ordinarios de enseñanza y formación a apoyar las intervenciones en favor de los jóvenes que corren el riesgo de exclusión o que abandonan la escuela. A este respecto, se ha incrementado la ayuda destinada a favorecer la integración entre los sistemas de enseñanza general y los sistemas de formación y empleo, especialmente en el nivel de la formación profesional secundaria superior (véase recuadro 21). tempranamente Recuadro 21: Desarrollo de recursos humanos - Irlanda - Objetivo n"l La revisión intermedia del programa operativo de desarrollo de recursos humanos irlandés (HRDOP)fue aprobada por el comité de seguimiento en octubre de 1997. Dicha revisión intermedia no se inspiró únicamente en los informes de la unidad de evaluación de los programas del HRDOP, del MCA y del FSE sino también en orientaciones políticas nacionales y comunitarias como los Libros blancos del Gobierno irlandés y la Estrategia de empleo de la UE. En suma, la revisión intermedia aprobada por el comité de seguimiento consistió en un, marco político general, en diversas reasignaciones financieras basadas en un plan de financiación remozado (dentro del programa se reafectaron unos 40 millones de ecus, a lo que se sumaron 14 millones de ecus adicionales para el PO) y en la determinación de las recomendaciones de las evaluaciones del programa operativo y del MCA que requerían algún tipo de actuación. La reafectación más importante dentro del programa operativo benefició a la medida dirigida a los jóvenes que abandonan tempranamente la escuela (26 millones de ecus más); el objetivo es crear como mínimo 1000 plazas más y, si fuera necesario, otras 1400. Se reforzaron las medidas de acompañamiento, dejando margen para un enfoque más flexible. Además, también en otras medidas se reasignaron y atribuyeron plazas de progresión para los jóvenes que abandonan tempranamente la escuela. Por otra parte, el comité de seguimiento aprobó recomendaciones sobre la necesidad de reorientar las medidas hacia los desempleados de larga duración, de incrementar la adecuación de la formación profesional industrial a las necesidades de las empresas y de potenciar las inversiones en infraestructuras de atención infantil. Igualdad de oportunidades Este aspecto ha adquirido mayor relieve en muchos programas, si bien esta prioridad se ve muchas veces como un objetivo horizontal y no como una medida en sí misma. No obstante, algunas medidas se han reorientado hacia esta prioridad, especialmente las incluidas en las intervenciones de recursos humanos. Así, en el marco de las intervenciones financiadas por el FEDER, se ha introducido una medida específica en los programas industriales de Italia y Grecia para fomentar la creación de empresas por mujeres (véase recuadro 22). -31- Recuadro 22: Igualdad de oportunidades: aumentar el número de empresarios Son varios los programas que intentan que cada vez haya más mujeres que crean empresas. En Italia y Grecia, se ha introducido una medida específica de ayuda a empresarias - apoyada por la legislación nacional - en sus respectivos programas operativos industriales. En Finlandia, se está estudiando la creación de un régimen de préstamos a tipos de interés reducidos para empresarias. IV. IMPLICACIONES POLÍTICAS Y RETOS FUTUROS La revisión intermedia ha puesto de manifiesto aspectos que tienen implicaciones para la política futura. Algunos de ellos, relativos a la gestión y la ejecución, han podido mejorarse ya para el resto del período de programación. Además de apuntar los retos futuros que esperan al mecanismo de evaluación actual, constituyen una base de reflexión sobre las prioridades estratégicas de los programas futuros. 4. 1. Implicaciones a corto plazo para los sistemas de ejecución de los programas En los debates a que dieron lugar las revisiones intermedias se señaló repetidamente que los procedimientos de seguimiento tienden a dar más importancia a la ejecución financiera que a los resultados materiales. La mayoría de las evaluaciones intermedias han insistido en la necesidad de contar con nuevos indicadores que permitan medir mejor los resultados y los efectos de los programas. Con estos indicadores, no sólo aumentarían la fiabilidad y la cuantificación, sino que mejoraría la calidad y el alcance de las evaluaciones intermedias de la próxima etapa. Algunos Estados miembros ya han mejorado algunos aspectos de sus sistemas actuales de ejecución de los programas: establecimiento de objetivos e indicadores claros y cuantificados para el seguimiento y la evaluación (Austria, Portugal, Italia, Reino Unido); - establecimiento de criterios más adecuados de selección de proyectos, incluidos criterios de empleo y medioambientales (Italia); simplificación de los procedimientos de gestión, especialmente en los pequeños programas (Finlandia, Suecia); - mejora de la sinergia entre las distintas intervenciones de los Fondos Estructurales (Portugal, España). 4. 2. Primeras reflexiones para los programas futuros La revisión intermedia debía servir para efectuar las modificaciones de los programas que fuesen necesarias en función del cambio de circunstancias y de las necesidades que hubiesen surgido en la fase de ejecución. En paralelo con las evaluaciones intermedias, tanto la Comisión como los Estados miembros han llevado a cabo una serie de análisis estratégicos que rebasan los límites de las actuales intervenciones con la finalidad de preparar las intervenciones futuras de los Fondos Estructurales, para lo que han considerado aspectos a largo plazo que no tienen cabida en los programas actuales. Así, por ejemplo, la Comisión ha completado la información limitada proporcionada por la evaluación provisional realizada en Italia con estudios temáticos sobre prioridades fundamentales del MCA: regímenes de ayuda al sector industrial, EDT, medio ambiente, infraestructuras de transporte y desarrollo de recursos humanos. -32- Estos estudios abordaban determinados principios generales fundamentales y se pretendía sacar de ellos recomendaciones para modificar los marcos comunitarios de apoyo futuros. Aún cuando eran necesariamente de carácter general, resultaron útiles para el proceso de revisión intermedia en aspectos como la reorientación de los gastos prioritarios. En algunos Estados miembros, la reflexión sobre las prioridades que deben financiarse ya se ha iniciado en la revisión intermedia. Asimismo, se han tratado algunas cuestiones fundamentales para el futuro en conversaciones informales y seminarios con las autoridades nacionales. Además, la Comisión ha comenzado cuatro estudios temáticos (IDT, PYME, medio ambiente y principio de cooperación) para determinar las líneas generales a seguir y facilitar la introducción de nuevas medidas después de 1999. 4. 3. El reto de la evaluación Este informe ha mostrado lo mucho que ha mejorado la evaluación de los programas de los objetivos noS 1 y 6. Algunos ejemplos de prácticas correctas de la revisión intermedia que se han destacado a lo largo de este informe son: la solvencia de la evaluación (metodología y criterios de calidad); la relevancia de la cooperación en el proceso de evaluación; la organización y el calendario del proceso de revisión intermedia; - la función de la evaluación como base para tomar decisiones de reprogramación y adelantarse a problemas importantes. Las lecciones de esta experiencia pueden servir de guía para tratar de aplicar las mejores prácticas posibles en los próximos programas con miras a mejorar aún más la gestión de los fondos. Uno de los aspectos cruciales es, por ejemplo, el de tener en cuenta los resultados para impulsar una difusión más sistemática de prácticas correctas tanto dentro de las regiones como entre unas regiones y otras. La experiencia actual de la revisión intermedia revela que sigue siendo necesario mejorar la calidad del proceso para hacer frente a los retos de los futuros programas. Consolidar la evaluación como un instrumento de ayuda para tomar decisiones La evaluación se entiende cada vez más como un instrumento de gestión al que deben poder recurrir los responsables políticos y los gestores de programas para obtener información sobre la eficacia de las medidas y de los programas. En su organización, debería enlazarse en mayor medida la producción de resultados seguros y operativos y su integración en el proceso de toma de decisiones. Ello requiere la creación de estructuras adecuadas de gestión de las actividades de evaluación, según el principio de cooperación, allí dónde no existan todavía. Mejorar los sistemas de seguimiento y los indicadores Las autoridades nacionales y regionales ya han tomado medidas importantes para paliar lagunas o deficiencias de los sistemas de seguimiento en lo que resta de período de programación. Para llevar a cabo las tareas de gestión de manera más eficaz, será necesario mejorar la definición de los indicadores y la recogida de datos además de mejorar la integración entre los indicadores financieros y físicos, aspecto que tiene gran importancia para los gestores de programas. -33- En los programas futuros, es preciso que existan una cuantificación adecuada de los indicadores de base y de los indicadores de objetivos, así como datos de referencia que faciliten la comparación dentro de los programas y entre unos programas y otros. En este sentido, la Comisión publicará en su momento un documento de orientación sobre aspectos metodológicos que incluirá una lista indicativa de indicadores pertinentes en los principales ámbitos de intervención de los Fondos Estructurales. Perfeccionar la metodología de la evaluación La metodología de la evaluación ha mejorado notablemente. El programa MEANS, iniciado por la Comisión en 1994, ha contribuido a desarrollar la capacidad de organización de la evaluación inspirándose en la experiencia directa de los Fondos Estructurales. Como se ve en el informe, no existe una metodología única o normalizada sino un amplio abanico de métodos que deben aplicarse en función de las necesidades específicas y de la situación de cada programa. No obstante, es preciso que tanto los evaluadores como los gestores de programas, que deberán valorar la calidad de los resultados de la evaluación, mejoren sus conocimientos de las técnicas de evaluación. Fomentar el intercambio multilateral de experiencia Dado que la evaluación se considera una herramienta fundamental para tomar decisiones, las autoridades nacionales y regionales no dudan en celebrar reuniones informales para intercambiar experiencias y opiniones sobre este tema. El Grupo de evaluación técnica de la UE, compuesto por representantes de los Estados miembros y funcionarios de la Comisión que participan en la gestión de los Fondos Estructurales, podría ser un foro adecuado para debatir problemas de evaluación y difundir prácticas correctas. Los aspectos más importantes que revisten interés común son el tipo y la pertinencia de la metodología de evaluación (por ejemplo: medición de los efectos en el empleo) y la aplicación de los resultados de la evaluación a la elaboración del marco general de actuación. La eficacia general de las intervenciones de los Fondos Estructurales dependerá en buena parte de las medidas que adopten las autoridades nacionales y regionales para mejorar sus sistemas de seguimiento y de su capacidad para aplicar métodos adecuados al próximo proceso de revisión intermedia. -34- Anejo 1: Lista des Recuadros Recuadro 1: Análisis de la "evaluabilidad" - PO del FEDER en Andalucía (obj. n° 1) Recuadro 2: Gestión de las evaluaciones: creación de estructuras "ad hoc". Recuadro 3: Valoración de la calidad de una evaluación: la evaluación del MCA irlandés Recuadro 4: El Henao belga (objetivo n° 1): el modelo HELM Recuadro 5: Evaluación de la eficacia mediante indicadores de programa: el ejemplo de Merseyside - objetivo n° 1 (1994-1999) - producción y resultados efectivos de las intervenciones del FEDER Recuadro 6: Logros importantes en infraestructuras básicas. Recuadro 7: Algunos logros en el entorno productivo Recuadro 8: Repercusiones de las medidas de formación en los beneficiarios Recuadro 9: Evaluación de las intervenciones agrarias - El caso del PAMAF (Programa de apoyo a la modernización de las estructuras agrarias y forestales en Portugal) Recuadro 10: Un ejemplo: el programa español del objetivo n° 1 Recuadro 11: Perfeccionamiento de los sistemas de seguimiento Recuadro 12: Merseyside - Sistemas de calificación para proyectos del FSE y del FEDER Recuadro 13: Revisión intermedia (I): el MCA irlandés Recuadro 14: Revisión intermedia (H) : el caso de Merseyside (objetivo n° 1 Recuadro 15: Programa de aeropuertos - Italia - Objetivo n° 1 Recuadrólo: Pactos territoriales por el empleo Recuadro 17: Pequeñas y medianas empresas: el MCA griego Recuadro 18: Integración del medio ambiente Recuadro 19: Investigación y desarrollo tecnológico: el ejemplo de Irlanda Recuadro 20: Sociedad de la información (España y Portugal) Recuadro 21: Desarrollo de recursos humanos - Irlanda - Objetivo n°l Recuadro 22: Igualdad de oportunidades: aumentar el número de empresarias -35 Anejo 2: Ejecución financiera de los programas Objetivos 1 y 6 Engagements/Total aide FS sous l'Objectif 1 70 60 50 40 30 20 10 n 14 y '' S?14; — i— 1994 "I annuel t 64 68 4b yS 29 S' lie, 3§i —A 1995 & ;. ->> :18 vis. , FPl 1996 •cumulé 1997 1998 (1er semestre) i ] Paiements/Total aide FS sous I'Objectif 1 % on 70 60 50 40 30 20 10 0 4 8 ^ ^4 3 3 ^/ 19 ^^^ 7 ^^ I 7 í 1994 i ' :'1$ 15, 15. m 1995 1996 1997 1998 (1st semester) j [ "¡•' "iannuel —•—cumulé Ejecución financiera de los programas Objetivo 1 por Estado miembro (31. 12. 98) Ejecución financiera de los programas objetivo 1 por Estado miembro (31/12/97) 63 59 38 Bélgica Alemania Grecia España Francia Irlanda lalia País Bajos Austria Portugal Reino Unido Total (Austria: DOCUP aprobado en 1995) Q Compromsos/Ayuda total FS 1994-97 n Pagos/Ayuda total FS 1994-97 -36 Ejecución financiera de los programas Objetivo 6 Finlandia Compromisos/Ayuda total FS Objetivo 6 Finlandia Pagos/Ayuda total FS Objetivo 6 Finlandia 57 57 % 60 50 40 30 20 10 0 33 -16' 24- 17 / 4 iV, 1994 1995 1996 1997 »•-''' \ anual —#— cumulado 0 1998(1er semestre) % 60 50 40 30 20 10 0 34 38 17 / 9 ^ 0 1&4 l'SWStl 1995 i — i— 1996 VI 7! 1997 i-'^-'-'1 anual • cumulado , r^n 1998(1er semestre) Ejecución financiera de los programas Objetivo 6 Suecia Compromisos/Ayuda total FS Objetivo 6 Suecia Pagos/Ayuda total FS Objetivo 6 Suecia % 60 50 32 r 1994 anual 1995 1996 1997 -•— cumulado 1998(1er semestre) »<~*»^1 anual •cumulado 1997 1998 (1er semestre) 37 Anejo 3: Lista de informes Informes Objetivo 1 Austria Belgium Germany Germany Germany Germany Germany Germany Germany Spain Spain Spain Spain Spain Spain Spain BURGENLAND: ZWISCHENEVALUATION DES ZIEL1-PROGRAMMS BURGENLAND : Endbericht HAINAUT: EVALUATION INTERMEDIAIRE DU DOCUP OBJECTIF 1 HAINAUT - RAPPORT FINAL - REGIÓN WALLONNE BERLÍN: ZWISCHENBEWERTUNG DER EU- STRUKTURFONDSINTERVENTIONEN IM LAND BERLÍN IM ZEITRAUM 1994 BIS 1996 BRANDENBURG : ZWISCHENBEWERTUNG ZUM EINSATE DES EFRE, DES ESF UND DES EAGFL-A IM LAND BRANDENBURG 1994-1996 MECKLENBURG-VORPOMMERN : ZWISCHENBEWERTUNG DES EINSATZES DER EUROPÁISCHEN STRUKTURFONDS (EAGFL, EFRE, ESF) FÜR DIE PERIODE 1994 BIS 1996 IM BUNDESLAND MECKLENBURG-VORPOMMERN SACHSEN : ZWISCHENEVALUIERUNG DES EINSATZES DER EUROPÁISCHEN STRUKTURFONDS IM FREISTAAT SACHSEN 1994-1996 SACHSEN-ANHALT: ZWISCHENBEWERTUNG DES EINSATZES DER EU-STRUKTURFONDS IN SACHSEN-ANHALT FÜR DEN ZEITRAUM 1994 BIS 1996 THÜRINGEN : DIE EUROPÁISCHEN STRUKTURFONDS IN THÜRINGEN : ZWISCHENBEWERTUNG DES MITTELEINSATZESVON 1994 BIS 1996 NEUE BUNDESLÁNDER : DIE EUROPÁISCHEN STRUKTURFONDS IN DEN NEUEN BUNDESLÁNDERN - ZWISCHENBEWERTUNG DES MITTELEINSATZES VON 1994 BIS 1996 (BERLÍN/ BRANDENBURG/MECKLENBURG- VORPOMMERN/SACHSEN/SACHSEN- ANHALT/THÜRINGEN) PO CANARIES : EVALUACIÓN INTERMEDIA PROGRAMA OPERATIVO DE CANARIAS (FEDER) 1994-1999 OP INCENTIVOS REGIONALES : EVALUACIÓN INTERMEDIA DEL PROGRAMA OPERATIVO DE INCENTIVOS REGIONALES FEDER (1994-1999) PARA LAS REGIONES ESPAÑOLAS INCLUIDAS EN EL OBJETIVO N°l DÉLOS FONDOS ESTRUCTURALES EUROPEOS CANTABRIA : ESTUDIO DE EVALUACIÓN INTERMEDIA DEL PROGRAMA OPERATIVO DE CANTABRIA (FEDER) 1994-1999 CASTILLA Y LEÓN : EVALUACIÓN DE LOS PROGRAMAS OPERATIVOS DEL FEDER Y DEL FSE 1994-1999 DE CASTILLO Y LEÓN EVALUACIÓN INTERMEDIA DE LA SUBVENCIÓN GLOBAL FEDER-CDTI EN LAS REGIONES OBJETIVO 1 (1994-1999) ESTUDIO DE EVALUACIÓN INTERMEDIA DEL PROGRAMA OPERATIVO DE INFRAESTRUCTURA CIENTÍFICA DEI PERIODO 1994-1999, EN REGIONES ESPAÑOLAS INCLUIDAS EN EL OBJ. 1, COFINANCIADO CON FEDER Y COORDINADO POR CICYT EVALUACIÓN INTERMEDIA DEL MARCO COMUNITARIO DE APOYO-REGIONES OBJETIVO 1- 1994-1999-ESPANA -38 Apr-98 OIR Apr-97 SEMA GROUP/RIDER- UCL May-97 PROGNOS BERLÍN May-97 TROJE BERENTUNG HANN, MÜNCHEN Apr-97 BÜSTRO GmbH ROSTOCK May-97 DIW BERLÍN May-97 ISW HALLEFLEIPZIG May-97 IFO INSTITUT FÜR WIRTSCHAFTSFOR- SCHUNG DRESDÉN Scp-97 IFO INSTITUT FÜR WIRTSCHAFTSFOR- SCHUNG DRESDÉN Jun-97 SERVICIOS OMICRON, S. A. May-97 SERVICIOS OMICRON SA Jun-97 INFYDE Jan-97 (UNIV. VALLADOLID) Jun-97 INFYDE/CDTI Jul-97 PRICE WATERHOUSE Sep-97 QUASAR Spain Spain Spain Spain Spain Spain Spain Spain Spain Spain Spain France France France France Jul-97 (UNIV. VALLADOLID) Jun-97 GEDESA May-97 AGRO CONSULTING INTERNATIONAL May-97 Jul-96 ARANDA Y BELTRAN S. L. ESTUDIOS Y ANÁLISIS SOCIO ECONÓMICOS UNIVERSIDAD DE OVIEDO Dec-97 ANDERSON ARTHUR Aug-97 ECOTEC Jul-97 Mar-98 UNIVERSIDAD DE CASTILLA-LA MANCHA INSTITUTO DE DESARROLLO REGIONAL, FUNDACIÓN UNIVERSITARIA ARENAL GRUPO CONSULTOR SL INSTITUTO DE DESARROLLO REGIONAL, FUNDACIÓN UNIVERSITARIA FERE CONSULTANTS Jun-97 Feb-98 ERNST & YOUNG Dec-97 ACT Feb-96 CODE/ATHOS CASTILLA Y LEON : EVALUACION DE LOS PROGRAMAS OPERATIVOS DEL FEDER Y DEL FSE 1994-1999 DE CASTILLO Y LEON CEUTA : 2e ESTUDIO DE EVALUACIÓN INTERMEDIA DEL MARCO DE APOYO COMUNITARIO DE LAS REGIONES OBJETIVO N°l PARA CEUTA (PO CEUTA 1994-1999) GALICIA: EVALUACIÓN INTERMEDIA DEL PROGRAMA OPERATIVO DE GALICIA 1994-1999 cofinanciado por el FEDER (PO GALICIA) PO MELILLA : EVALUACIÓN INTERMEDIA. DEL PROGRAMA OPERATIVO FEDER DE MELILLA 1994- 1999 ASTURIAS : EVALUACIÓN DEL PROGRAMA OPERATIVO DEL PRINCIPADO DE ASTURIAS (FEDER) 1994-1999 - INFORME PREPARATORIO OP LOCAL : ESTUDIO DE EVALUACIÓN INTERMEDIA DEL PROGRAMA OPERATIVO LOCAL (FEDER) 1994-1999 PARA LAS REGIONES ESPAÑOLAS INCLUIDAS EN EL OBJETIVO N° 1 DE LOS FONDOS ESTRUCTURALES EUROPEOS OP MEDIO AMBIENTE: EVALUACIÓN INTERMEDIA DEL PROGRAMA OPERATIVO DEL MEDIO AMBIENTE LOCAL (FEDER) 1994-1999 EN REGIONES ESPAÑOLAS INCLUIDAS EN EL OBJETIVO NO 1 DE LOS FONDOS ESTRUCTURALES EUROPEOS OP CASTILLA-LA-MANCHA:SEGUNDO INFORME DE EVALUACIÓN-PROGRAMA OPERATIVO FEDER DE CASTILLA-LA MANCHA 1994-1999 ANDALUCÍA : EVALUACIÓN INTERMEDIA DEL P. O. ANDALUCÍA 1994-1999 ANDALUCÍA : SUBVENCIÓN GLOBAL DE ANDALUCÍA 1994-1999 : INFORME DE EVALUACIÓN INTERMEDIA DONANA : EVALUACIÓN INTERMEDIA DEL P. O. DOÑANA Ha PHASE (OBJ. l) Mar-98 May-97 CORSÉ : EVALUATION INTERMEDIAIRE DOCUP OBJECTIF 1 CORSÉ 1994-1999 GUYANE : EVALUATION INTERMEDIAIRE DE LA MISE EN OEUVRE EN GUYANE DES PROGRAMMATIONS REGIONALES (1994-1999) COFINANCEES PAR L'UNION EUROPEENNE (DOCUP ET REGÍS II) - SYNTHESE DU RAPPORT NORD-PAS-DE-CALAIS (AVESNES / DOUAI / VALENCIENNES): PROGRAMME OBJECTIF 1 (1994- 1999): EVALUATION INTERMEDIAIRE, EVALUATION D'ENSEMBLE DU PROGRAMME, ASPECTS SECTORIELS EVALUATION DES MESURES GUADELOUPE:EVALUABILITE DU DOCUP GAUDELOUPE :RAPPORT D'ETUDE (DOCUP 1994- 1999) -39 Greece Greece Greece Greece Greece Greece Greece Greece Greece Greece Greece Greece Ireland Ireland Ireland Ireland Ireland Ireland Ireland Ireland Ireland Ireland Ireland Italy Netherlands Portugal Portugal PELOPONNESE : INTERMEDIATE EVALUATION OBJECTIVE 1 - OPERATIONAL PROGRAMME 1994- 1999 (a) VOL. A (b) VOL. B GRECE OCCIDENTALE (GRECE OUEST): INTERMEDÍATE EVALUATION OBJECTIVE 1 - OPERATIONAL PROGRAMME CDS P. O. EPIRIUS : INTERMEDÍATE EVALUATION 1994-1999 OBJECTIVE 1 - OP CRETE : INTERMEDÍATE EVALUATION OBJECTIVE 1 - OPERATIONAL PROGRAMME 1994-1999 THESSALIE : INTERMEDÍATE EVALUATION OBJECTIVE 1 - O. P. 1994-1999 ILES IONIENNES : INTERMEDÍATE EVALUATION OBJECTIVE 1 -O. P. 1994-1999 MACEDOINE CÉNTRALE + THRACE : INTERMEDÍATE EVALUATION OBJ. 1 - O. P. 1994-99 MACEDOINE OCCIDENTALE : INTERMEDÍATE EVALUATION OBJECTIVE 1 O. P. 1994-1999 MACEDOINE CÉNTRALE : INTERMEDÍATE EVALUATION OBJECTIVE 1 - O. P. 1994-1999 PO GRECE CONTINENTALE (=CENTR. ): INTERMEDÍATE EVALUATION O. P. OBJ. 1 - 1994-1999 EGEE DU SUD : INTERMEDÍATE EVALUATION OBJECTIVE 1 ILES DE LA MER EGEE SUD - OPERATIONAL PROGRAMME 1994-1999 CSF GRECE : OBJ. 1 - 1994-1999 EXTERNAL EVALUATION OF THE OPERATIONAL PROGRAMME FOR INDUSTRIAL DEVELOPMENT 1994-1999 : MID-TERM REVIEW CSF MID-TERM EVALUATION MID TERM EVALUATION OF OPERATIONAL PROGRAMME FOR ECONOMIC INFRASTRUCTURE MID-TERM EVALUATION OF THE LOCAL, URBAN AND RURAL DEVELOPMENT O. P. MID-TERM EVALUATION OFTHE HUMAN RESOURCES DEVELOPMENT-O. P. 1994-1999 MID TERM EVALUATION OF THE O. P. FOR ENVIRONMENTAL SERVICES 1994-1999 OPERATONAL PROGRAMME FOR TRANSPORT - MID TERM EVALUATION MID-TERM EVALUATION OF THE OPERATIONAL PROGRAMME FOR TOURISM 1994-1999 OPERATIONAL PROGRAMME FOR AGRICULTURE, RURAL DEVELOPMENT AND FORESTRY 1994-1999 MID-TERM EVALUATION OF OPERATIONAL PROGRAMME FOR FISHERIES 1994-1999 MID-TERM EVALUATION : REGIONAL IMPACT OF THE COMMUNITY SUPPORT FRAMEWORK FOR IRELAND 1994-1999 VALUTAZIONE DI MEDIO TERMINE QUADRO COMUNITARIO DI SOSTEGNO 1994-99 delle REGIONI ITALIANE DELL'OBIETTIVO 1 FLEVOLAND : ON-GOING EVALUATIE DOELSTELLING 1 PROGRAMMA AMBIENTE:AVALIACAO INTERCALAR DO PROGRAMA AMBIENTE - EVALUATION DU SOUS- PROGRAMME ENVIRONNEMENT DU CCA II PT ALENTEJO:AVALIACAO INTERCALAR DO PROGRAMA OPERACIONAL DA REGIAO DO ALENTEJO - CCA 1994-1999 May-97 OMAS LTD Jun-97 EEO GROUP SA Apr-97 May-97 May-97 PROPTIKI S. A. - METPON ASTIKI DIACHIRISI S. A. YPODOMI LTD May-97 PROOVADISMA LTD Apr-97 INDECOS. A. May-97 EXANTAS LRD May-97 EUROTEC LTD May-97 LDK May-97 ENV1PLAN Mar-98 Feb-97 REMACO ERNST & YOUNG Apr-97 Feb-97 ESRI 1NDECON Jan-97 GOODBODY Feb-97 GOODBODY Jan-97 ERM Feb-97 Feb-97 Jan-97 Feb-97 Feb-97 DKM ECONOMIC CONSULTANTS FITZPATRICK ASSOCIATES FITZPATRICK ASSOCIATES INDECON FITZPATRICK ASSOCIATES Jul-97 Jan-97 Feb-97 NÚCLEO DI VALUTAZIONE/INEA E ISFOL RESEARCH VOOR BELEID QUATERNAIRE (PINHO PAULO) Feb-97 CESO I&D 40 Portugal Portugal Portugal Portugal Portugal Portugal Portugal Portugal Portugal Portugal Portugal Portugal Portugal Portugal Portugal Portugal Portugal Portugal AMBIENTE:ESTUDO DE AVALIACAO INTERCALAR DA INTERVENCAO OPERACIONAL-RENOVACAO URBANA DO PROGRAMA"AMBIENTE E REVITALIZACAO URBANA DO QUADRO COMUNITARIO DE APOIO 1994-1999 SOCIAL:SUB-PROGRAMA INTEGRAR AVALIACAO INTERCALAR LISBOA E VALE DO TEJO:ESTUDO DE AVALIACAO INTERCALAR DO PROGRAMA OPERACIONAL DA REGIAO DE LISBOA E VALE DO TEJO PPDR:ESTUDO DE AVALIACAO INTERCALAR PROGRAMA OPERACIONAL PROMÓCAO DO POTENCIAL DE DESENVOLVIMENTO REGIONAL - QUADRO COMUNITARIO DE APOIO1994-1999 SAUDE:AVALIACAO INTERCALAR DA INTERVENCAO OPERACIONAL DA SAUDE ENERGIA:AVALIACAO INTERCALAR DO PROGRAMA ENERGÍA E DO PROJECTO DE GAS NATURAL (INTERREG II - CONCLUSAO DAS REDES DE ENERGÍA) DO QCA II (1994-1999) PO CENTRO:ESTUDO DE AVALIACAO INTERCALAR DO P. 0. REGIAO CENTRO PO NORTE:ESTUDO DE AVALIACAO INTERCALAR DO PRONORTE PEDIP II: AVALIACAO INTERCALAR DO PEDIP II: RELATORIO FINAL INTERCALAR PESCA : AVALIACAO INTERCALAR DA INTERVENCAO OPERACIONAL DAS PESCAS TURISMO : ESTUDO DE AVALIACAO INTERCALAR DA INTERVENCAO OPERACIONAL TURISMO E PATRIMONIO CULTURAL DO PROGRAMA MODERNIZACAO DO TECIDO ECONÓMICO AGRICULTURA : QCA II: ESTUDO DE AVALIACAO INTERCALAR DA INTERVENCAO OPERACIONAL AGRICULTURA : PROGRAMA MODERNIZACAO DO TECIDO ECONÓMICO - PERIODO 1994-1996 PROFAP : PROGRAMA INTEGRADO DE FORMACAO PARA A MODERNIZACAO DA ADM1NISTRACA0 PUBLICA - PROFAP 2 : ESTUDO DE AVALIACAO INTERCALAR ALGARVE: ESTUDO DE AVALIACAO INTERCALAR DO PROGRAMA OPERACIONAL DO ALGARVE TELECOMUNICACOES : ESTUDO DE AVALIACAO DA INTERVENCAO OPERACIONAL DAS TELECOMUNICACOES DO PROGRAMA INFRA ESTRUCTURAS DE APOIO AO DESENVOVIMENTO DO QCA SUB-PROGRAMMETRANSPORTES:AVALIACAO INTERCALAR DA INTERVENCAO OPERACIONAL DOS TRANSPORTES DO PROGRAMA INFRA- ESTRUTURAS DE APOIA AO DESENVOLVIMENTO DO QUADRO COMUNITARI DE APOIO 1994-1999, NO PERIODO ENTRE 1994 E 1996 SUB-PROGRAMME COMERCIO E SERVICOS •. ESTUDO DE AVALIACAO INTERCALAR DA INTERVENCAO OPERACIONAL COMERCIO E SERVICOS ACORES=ESTUDO DE AVALIACAO INTERCALAR DO PROGRAMA OPERACIONAL DA REGIAO AUTÓNOMA DOS ACORES DO QUADRO COMUNITARIO DE APOIO 1994-1999 41 Mar-97 Jan-97 PARTEX-INSTITUTO DEGESTAOE ALIENACAO DO PATRIMONIO HABITACIONAL DO ESTADO CÍES Jan-97 CEDRU Jan-97 CEETA Feb-97 CESO I&D Jan-97 IESE Jan-97 CEDRU Jan-97 QUATERNAIRE Mar-97 Apr-97 UNIVERSIDADE CATÓLICA PORTUGUESA CESO I&D Feb-97 DELOITTE «fe TOUCHE Jun-97 AGRO. GES Mar-97 QUATERNAIRE Jan-97 CEDRU Mar-97 SILICON Apr-97 CISED Nov-97 CESO I&D Feb-97 CESO I&D Portugal Portugal Portugal Portugal United Kingdom (IRN) United Kingdom (IRN) United Kingdom (IRN) United Kingdom (IRN) United Kingdom (IRN) United Kingdom (IRN) United Kingdom (IRN) United Kingdom (IRN) United Kingdom (IRN) United Kingdom United Kingdom SUB-PROGRAMME EDUCACAO:AVALIACAO INTERCALAR DE PRODEP II: EDUCACAO CIENCIA E TECNOLOGIA:ESTUDO DE AVALIACAO INTERCALAR DO SUB-PROGRAMA CIENCIA E TECNOLOGÍA OP PESSOA: ESTUDO DE AVALIACAO INTERCALAR PROGRAMA OPERACIONAL EMPREGO E FORMACAO PROFISSIONAL DO QCA 11 1994-1999 (PROGRAMMA PESSOA) CSF PORTUGAL-OBJ. LAVALIACAO INTERCALAR DO QUADRO COMUNITARIO DE APOIO II NORTHERN IRELAND SINGLE PROGRAMME 1994- 1999 - MID TÉRM REVIEW - EXTERNAL EVALUATION MID-TERM REVIEW OFTHE ENVIRONMENTAL SERVICES AND PROTECTION SUB-PROGRAMME MEASURES 4. 1. 8 AND 4. 19. OF THE SUB- PROGRAMME FOR AGRICULTURE AND RURAL DEVELOPMENT: MID TERM EVALUATION MID-TERM EVALUATION OFTHE NORTHERN IRELAND SINGLE PROGRAMME FOR AGRICULTURE AND RURAL DEVELOPMENT (SPARD) ENERGY SUB-PROGRAMME 1994-1999 : MID-TERM REVIEW Sep-97 QUATERNAIRE Feb-98 IESE/GEOIDEIA Mar-97 IESE (INSTITUTO DE ESTUDOS SOCIAIS E ECONÓMICOS " jun-98 CISEP May-97 COLÍN S T U TT CONSULTING Dec-96 PIEDA CONSULTANTS Feb-97 COOPERS & LYBRAND Mar-97 ERM Jan-97 ERM MID TERM EVALUATION OF THE TRANSPORTATION SUB-PROGRAMME, 1994-1999 Jan-97 ERM MID-TERM EVALUATION OF THE INVESTMENTIN THE DEVELOPMENT OF PEOPLE SUB-PROGRAMME, NORTHERN IRELAND SINGLE PROGRAMME 1995-99 MID TERM REVIEW OF PHYSICAL & SOCIAL ENVIRONMENT PROGRAMME (EU S. F. ) Dec-96 LRDP Jan-97 COOPERS & LYBRAND MID-TERM EVALUATION OF THE TOURISM SUBPROGRAMME 1994-1999 Feb-97 NIERC MERSEYSIDE: MID-TERM EVALUATION OF MERSEYSIDE OBJECTIVE ONE PROGRAMME HIGHLANDS AND ISLANDS - OBJECTIVE 1 PROGRAMME INTERMEDÍATE ASSESSMENT Nov-96 PIEDA PLC Jun-97 SQW Informes Objetivo 6 Finland SUOMEN TAVOITE 6 - OHJELMAN ARVIOINNIN VÁLIRAPORTTI [FI] Jan-98 Sweden HALVTIDSUTVÁRDERING AV SVERIGES NAL-6- PROGRAM Nov-97 HELSINGIN YLIOPISTON TIETOPALVELUT OY/ETLATIETO OY/OY FINNAGRO AB/INT. DEVEL. IRL/PE LLERVON NORD-REGIO-EPRC -42- ISSN 0257-9545 COM(98) 782 final DOCUMENTOS ES 04 13 09 16 N° de catálogo : CB-CO-98-786-ES-C Oficina de Publicaciones Oficiales de las Comunidades Europeas L-2985 Luxemburgo ¿ A J>