title: Relatório da Comissão sobre a revisão intermédia - Programas dos objectivos nº 1 e nº 6 (1994-99) - Desenvolver uma cultura da gestão através da avaliação: rumo a melhores práticas

eurovoc_concepts:
EU programme
Structural Funds
activity report
project evaluation

text: COMISSÃO DAS COMUNIDADES EUROPEIAS ir** ir ir ir ir ir ir Bruxelas, 07. 01. 1999 COM(1998)782 final RELATÓRIO DA COMISSÃO SOBRE A REVISÃO INTERMEDIA PROGRAMAS DOS OBJECTIVOS N° 1 E N° 6 ( 1 9 9 4 - 9 9) DESENVOLVER UMA CULTURA DA GESTÃO A TRA VÉS DA A VALIAÇÃO: RUMO A MELHORES PRÁTICAS DOCUMENTO DE SÍNTESE Avaliação Intercalar: aumentar a eficiência 1. A revisão intermédia dos programas dos objectivos n° 1 e n° 6 consiste num processo que se baseia, antes de mais, nas diversas avaliações intermédias levadas a efeito a nível de programa. Essa revisão tem igualmente em conta outros elementos como os contextos das políticas nacionais, as prioridades da própria União Europeia e outras análises estratégicas relevantes. O principal objectivo da revisão intermédia consiste, por conseguinte, numa apreciação completa e sistemática dos programas, a qual pode conduzir ao ajustamento das prioridades e à reafectação dos orçamentos para cada programa. 2. A actual revisão intermédia utilizou um elevado número de exercícios de avaliação (mais de uma centena) e foi grandemente facilitada pelos debates a nível de parceria com as autoridades nacionais. 3. A revisão intermédia cobriu, em princípio, todos os QCAs e DOCUPs dos objectivos n° 1 e n° 6. A importância deste processo variou de Estado-membro para Estado-membro, mas levou, em geral, a uma utilização mais eficaz dos recursos e providenciou apoio para prioridades estratégias de carácter específico. As avaliações intercalares revelaramse úteis para os ajustamentos dos programas 4. As avaliações intermédias não constituem um fim em si mesmas mas um meio para aperfeiçoar a qualidade e a importância da programação. Estas avaliações envolvem recursos humanos e financeiros substanciais bem como, em alguns casos, uma preparação e um debate consideráveis no âmbito das parcerias dos programas. 5. Estas avaliações não foram criadas unicamente para satisfazer as normas comunitárias de programação existentes; a sua criação ficou também a dever-se ao interesse crescente pela avaliação manifestado pelas autoridades nacionais e regionais. Essas autoridades têm vindo a considerar a avaliação como um meio cada vez mais importante de melhorar a gestão dos fundos e de maximizai- os resultados obtidos. 6. A avaliação intercalar representa um importante método de cálculo da necessidade de alteração dos objectivos iniciais dos programas. A programação das intervenções estruturais pode ser influenciada por factores externos variáveis e por alterações no enquadramento político geral. Estes factores, poderiam exigir uma revisão das prioridades estratégicas e permitir uma programação mais sistemática e eficaz. 7. Os benefícios decorrentes da actual avaliação abrangem uma melhor relação custos/benefícios, assim como a revisão do equilíbrio das prioridades, em função das novas exigências e das novas circunstâncias. Estas avaliações devem ser entendidas como parte de um processo fundamental de aprendizagem, que inclui vantagens - as quais podem escapar a uma real apreciação a curto prazo -, tais como o aumento das capacidades de avaliação existentes e uma melhor coordenação das autoridades nacionais e regionais. Avaliação da execução relativamente. 8. No que diz respeito aos programas precedentes, as avaliações intermédias revelaram evoluções significativas na utilização de indicadores quantitativos como meio de gestão da implantação e do desenvolvimento de intervenções, de avaliação do respectivo impacto e de determinação dos progressos efectuados no sentido de satisfazer os objectivos estabelecidos. Embora o desenvolvimento de indicadores tenha sido irregular até à data, elementos de boas práticas identificados em determinados programas tendem a demonstrar que a medida e a avaliação da execução é relativamente acessível, não exigindo, necessariamente, um trabalho suplementar por parte das administrações nacionais. 9. O uso de indicadores formais de execução para avaliação do progresso em relação aos principais objectivos e prioridades de um programa pode ter uma melhor utilização do que tem sido reconhecido. Essa utilização deve conduzir a uma gestão mais eficaz, manifestamente apta a melhorar as realizações e os resultados concretos. 10. Considerando que os Estados-membros terão de levar a efeito avaliações ex ante dos futuros programas, é essencial que os documentos de programação contenham os objectivosí quantificados e indicadores relevantes para o processo de revisão intermédia. A disponibilidade deste tipo de informação pode ser genuinamente útil para a gestão dos programas e proporcionar uma base objectiva para apreciação da execução. Este aspecto - tal como proposto pela Comissão no projecto de regulamentos dos fundos estruturais - determinará a afectação da reserva aos programas em função da execução interna dos mesmos. 11. No que diz respeito ao enquadramento operacional, os sistemas de gestão terão de assegurar que os indicadores relevantes possam ser medidos num período muito breve e a baixo custo, mediante a utilização de fontes adequadas de informação já existentes, e que estejam sujeitos a controlo pelas administrações nacionais e regionais. Além disso, deverão ser estabelecidos, de um modo transparente, alvos realistas, enquanto os objectivos iniciais devem ser mantidos no decorrer da fase de implantação e desenvolvimento e adaptados apenas quando as alterações contextuais o justificarem. A avaliação intercalar foi levada a cabo de maneira flexível para responder à evolução das necessidades e prioridades 12. A abordagem subjacente à revisão intermédia surge, em muitos aspectos, como adequada e suficientemente flexível para dar resposta às circunstâncias em mutação e à necessidade de assegurar uma maior eficácia às intervenções em curso. Ambos os objectivos puderam ser prosseguidos no âmbito do mesmo quadro operacional. 13. As prioridades estratégicas são estabelecidas num determinado contexto económico e institucional, ficando sujeitas a influências quer externas quer íi internas. Embora a continuidade em política seja desejável, é sempre possível introduzir aperfeiçoamentos mesmo no caso das intervenções mais bem sucedidas. Em economias que registam um crescimento rápido (por exemplo, a economia da Irlanda), a execução económica permite algumas alterações de carácter estrutural no quadro da programação, de modo a resolver problemas fundamentais, como as infra-estruturas físicas inadequadas ou a carência de mão-de-obra qualificada. 14. A avaliação intercalar, levada a cabo relativamente aos programas dos objectivos n° 1 e n° 6, não afectou as orientações estratégicas globais desses programas. O grau de adaptação das intervenções depende dos Estados-membros e das regiões, assim dos QCAs e DOCUPs. Estes últimos, embora sejam mais reduzidos em escala, envolvem, transferências proporcionalmente mais substanciais entre as diversas medidas. 15. Ao indicar as suas próprias prioridades nas adaptações a efectuar no contexto da revisão intermédia, a Comissão atribuiu uma particular importância à focalização no emprego, especialmente mediante intervenções aptas a criarem mais postos de trabalho. Embora tivesse sido certamente possível fazer mais por esta prioridade fundamental, emergem sinais encorajadores da actual experiência, como, por exemplo, os resultados tangíveis da avaliação intercalar. Entre outros aspectos são de salientar a reorientação de esquemas de ajuda fundamentais dirigidos às PME e ao emprego, a inclusão dos pactos territoriais para o emprego no âmbito dos principais programas, bem como a introdução de acções específicas nas áreas mais inovadoras da sociedade da informação e da igualdade de oportunidades entre homens e mulheres. Progressos importantes no que diz respeito à avaliação, sendo no emimíío necessárias melhorias 16. Os ensinamentos obtidos a partir da actual revisão intermédia mostram que não se trata de um exercício puramente académico, mas de um exercício operacional e estrategicamente orientado. Em muitos Estados-membros, os gestores de programas e os decisores políticos aderiram a uma perspectiva idêntica que os levou a formularem questões, com base nas revelações da avaliação, sobre quais as alterações a introduzir, tendo igualmente em vista o período posterior ao actuai período de intervenções (1994-99). 17. Registaram-se progressos notáveis no que diz respeito à qualidade e ao conteúdo das avaliações intermédias e à respectiva incorporação no processo intermédio global. A seu tempo, este aspecto conduzirá a uma melhor gestão dos programas. Aquando da identificação de boas práticas, foram tidos em conta factores como a gestão do processo (por exemplo, na identificação de soluções-chave, na procura de um consenso, etc. ) e uma planificação mais atenta da análise intermédia. Estes elementos serão incluídos em todas as orientações futuras no domínio das boas práticas. 18. Como resultado da revisão intermédia, as autoridades nacionais e regionais resolveram avançar no sentido de uma melhor eficácia das respectivas intervenções, especialmente no que diz respeito aos sistemas nacionais em matéria de fundos estruturais. Em particular, registaram-se melhoramentos significativos m nos sistemas de acompanhamento, nomeadamente mediante aumento da qualidade e da pertinência dos indicadores consignados nos programas. Estão actualmente em estudo outros processos destinados a simplificarem a gestão de programas de pequena escala e a estabelecerem critérios de selecção mais coerentes em conformidade com os objectivos da programação. 19. Relativamente ao próximo período de programação, o aspecto principal consistirá em consolidar a prática da avaliação, procedendo a um inventário dos resultados obtidos até agora. Agir de modo a que a avaliação constitua um instrumento genuíno da tomada de decisões, reforçar os sistemas de acompanhamento e dos intercâmbio indicadores, apoiar metodologias de avaliação e promover o multilateral de experiências na União Europeia surgem, nesta perspectiva, como as áreas de desafio tendo em vista aumentar a eficácia das intervenções estruturais. IV INDICE INTRODUÇÃO /. Elementos fundamentais do processo de revisão intermédia 1. 1. Contexto político e novas necessidades 1. 2. Directrizes da Comissão 1. 3. Avaliações intermédias 1. 4. Execução financeira //. Ensinamentos extraídos das avaliações intermédias 2. 1. Execução das avaliações intermédias 2. 2. Principais constatações 2. 3. Utilização dos resultados da avaliação ///. Resultados principais e ajustamentos 3. 1. Relação entre avaliação e reprogramação 3. 2. Contribuições globais dos fundos estruturais 3. 3. Inclusão das prioridades da UE IV. Implicações políticas e desafios futuros 4. 1. Implicações a curto prazo para os actuais sistemas de concessão 4. 2. Primeiras reflexões para programas futuros 4. 3. O desafio da avaliação 3 4 4 5 5 6 6 7 12 22 23. 23 26 27 31 31 31 32 2- INTRODUÇÃO A revisão intermédia1 tem como objectivo assegurar uma execução mais eficaz das intervenções estruturais efectuadas através dos quadros comunitários de apoio (QCA) e dos documentos únicos de programação (DOCUP). Este processo é especialmente importante atendendo às limitações do orçamento público, que tornam cada vez mais necessário que os recursos dos fundos estruturais sejam plenamente utilizados e que os conteúdos das intervenções dos mesmos fundos tenham um elevado nível de qualidade. A avaliação constitui um importante meio para a consecução dessas metas. A exigência de uma avaliação sistemática a introduzir em todos os programas da UE constitui uma inovação importante dos actuais regulamentos estruturais. No contexto da iniciativa SEM 2000 (Gestão Sã e Eficaz), a Comissão considera a avaliação como um elemento-chave para aperfeiçoar a cultura de gestão em que se levam a efeito os programas comunitários2. Mais recentemente, o documento político da Comissão intitulado Agenda 20003, que abrange o período 2000-2006, propôs melhorar a relação custo/eficácia de todas as intervenções estruturais, através do reforço das actividades de acompanhamento, de controlo financeiro e de avaliação no contexto da gestão descentralizada. O presente relatório resume os principais elementos das revisões intermédias realizadas nos Estados-membros e analisa, em especial, o papel das avaliações intermédias, bem como em que medida as prioridades europeias são integradas em todos os programas dos objectivos n° 1 e n° 6. As avaliações individualmente intermédias efectuadas pelos Estados-membros considerados constituem a principal fonte de informações do presente relatório. Este procura definir o papel da avaliação no desenvolvimento da actual revisão intermédia e determinar as melhores práticas de avaliação para orientar o futuro período de programação. Isto reflecte uma cultura de gestão que vem emergindo através do desenvolvimento da prática da avaliação. Ao identificar as boas práticas, o presente relatório contribui para uma melhor compreensão do modo como as avaliações foram efectuadas e utilizadas nas revisões intermédias, na perspectiva da sua aplicação futura no contexto dos novos regulamentos dos fundos estruturais. Constitui, assim, um ponto de partida experimental para as medidas que venham a ser adoptadas após 1999. O presente relatório tem em conta as quatro áreas seguintes: 1. O processo global da revisão intermédia; Ao longo do presente relatório procede-se a uma distinção entre avaliação intermédia e revisão intermédia. Embora os dois termos sejam, por vezes, utilizados indiferenciadamente, a revisão intermédia descreve com maior exactidão o processo completo, incluindo o exercício de avaliação e os consequentes ajustamentos das prioridades e das reatribuições do orçamento aos programas. A avaliação intermédia designa simplesmente o próprio exercício de avaliação, que constitui a base da revisão intermédia. SEM 2000 - Comunicação sobre a avaliação, 8 de Maio de 1996. Agenda 2000, Para uma União mais forte e mais ampla, 1997. - 3- 2. As principais conclusões extraídas das avaliações intermédias; 3. Os principais resultados e as alterações introduzidas; 4. As consequências para a aplicação e as prioridades dos programas, e os desafios futuros. I. ELEMENTOS FUNDAMENTAIS DO PROCESSO DE REVISÃO INTERMÉDIA O processo de revisão intermédia baseia-se em quatro elementos fundamentais: o contexto político, as directrizes da Comissão, as avaliações intermédias e a situação da execução financeira dos programas dos objectivos n° 1 e n° 6. 1. 1. Contexto político e novas necessidades O principal objectivo dos QCA e dos DOCUP consiste em reduzir as disparidades entre os Estados-membros em termos de rendimentos per capita. Essas intervenções, que visam alterar, a longo prazo, a estrutura e o funcionamento das economias destinatárias, são conduzidas por prioridades nacionais específicas e estratégias que permitem abordar problemas estruturais básicos, tais como as diferenças a nível de infra-estruturas e de capital humano. Estes são factores importantes que influenciam a competitividade regional e, portanto, o crescimento. Os quatro Estados-membros mais pobres - os chamados "países da coesão" - têm registado uma melhoria notável dos respectivos níveis de rendimento per capita. Contudo, as disparidades entre as regiões europeias mantêm-se: em 1995, as 25 regiões mais prósperas registavam um rendimento médio per capita três vezes superior ao das regiões menos desenvolvidas. As diferenças no que se refere ao índice de desemprego são ainda maiores, afectando, em especial, os grupos menos favorecidos do ponto de vista social4. A evolução do contexto económico, social e político dos Estados-membros afectou as respectivas necessidades e problemas e, por essa razão, influenciou o modo como foram adaptados os respectivos programas. Por exemplo, na sequência do recente êxito intervenção, económico da Irlanda, a necessidade de determinados nomeadamente as intervenções a favor do sector da produção, foi alterada. A avaliação intermédia relativa à Irlanda revelou a necessidade de reorientar os recursos para as infra- estruturas públicas (por exemplo, estradas não urbanas), de modo a poder acompanhar o rápido crescimento económico. tipos de De modo semelhante, a consciência de que o emprego é uma prioridade fundamental da UE levou igualmente a determinadas alterações de programas, tais como a introdução formal dos pactos territoriais para o emprego. Além disso, as alterações nas políticas nacionais de emprego, como as reformas estruturais no mercado de trabalho, contribuíram para recentrar algumas acções de formação. No âmbito dos fundos estruturais foram também tomados em consideração alguns acontecimentos inesperados. Por exemplo, as regiões italianas da Úmbria e de Marche, Consultar o Primeiro Relatório sobre a Coesão Económica e Social (1996), COM (96) 542 final de 6 de Novembro de 1996. afectadas pelos tremores de terra, beneficiaram de recursos do QCA, numa demonstração de solidariedade entre as regiões italianas. 1. 2. Directrizes da Comissão A evolução do contexto económico e social dos Estados-membros levou a Comissão a adoptar directrizes de carácter geral5 para reforçar o valor acrescentado das intervenções comunitárias. O objectivo destas directrizes consiste em definir uma política geral e um quadro de prioridades no âmbito dos quais possam ser efectuados ajustamentos aos programas em causa (1994-1999) dos objectivos n° 1 e n° 6 no contexto da revisão intermédia. As directrizes estabeleceram um certo número de prioridades temáticas em apoio do objectivo principal das intervenções dos fundos estruturais: ajudar a estabelecer as condições para o desenvolvimento, crescimento e competitividade económicos sustentáveis e, desse modo, para a criação de postos de trabalho duradouros. Este objectivo geral foi reforçado pelas seguintes prioridades específicas: infra-estruturas básicas, ambiente produtivo (todos os tipos de medidas que permitam melhorar o crescimento e a competitividade da actividade negocial e da indústria), investigação e desenvolvimento tecnológico, ambiente e desenvolvimento sustentável, desenvolvimento dos recursos humanos e igualdade de oportunidades. 1. 3. Avaliações intermédias Em conformidade com os regulamentos dos fundos estruturais e com as cláusulas "padrão" dos programas, todos os Estados-membros (com excepção da Itália6) conseguiram efectuar avaliações intermédias que integram a revisão das respectivas intervenções estruturais. Essas avaliações foram orientadas de modo a contribuírem para o melhoramento da execução e da gestão dos programas durante o restante período de programação. O documento de orientação7, publicado pela Comissão, estabeleceu que as avaliações intermédias devem analisar de forma crítica todos os dados recolhidos (especialmente no domínio do acompanhamento), medir o modo como os objectivos são alcançados, explicar quaisquer discrepâncias registadas entre os resultados reais da intervenção e os resultados esperados e pronunciar-se sobre a base lógica da intervenção, bem como sobre a pertinência dos objectivos em vista. Prioridades para a adaptação dos programas dos fundos estruturais até ao fim de 1999* - Directrizes da Comissão, Maio de 1997. A formulação de directrizes tinha sido efectuada pelos Estados- membros no encontro informal de ministros responsáveis pela política regional e pelo ordenamento do território, realizado em Ballyconnell, na Irlanda, em 14-15 de Novembro de 1996. Os Estados- membros pediram formalmente à Comissão que "formulasse directrizes políticas estabelecidas em conformidade com o princípio da subsidiariedade, orientadas para a adaptação dos actuais programas dos objectivos n° I e n° 6 no sentido de aumentarem a criação de emprego para o período em curso, até ao final de 1999". A avaliação intermédia foi efectuada numa base provisória pelas autoridades italianas (unidade de avaliação do Ministério do Orçamento), na primeira metade de 1997. Orientações comuns para o acompanhamento e as avaliações intercalares (1996). - 5- Além disso, esperava-se que as avaliações providenciassem os dados necessários à assistência aos comités de acompanhamento para formar uma opinião e propor medidas de correcção às autoridades relevantes, de modo a possibilitar a introdução, nos programas, das necessárias adaptações. Como regra geral, no caso de programas com uma duração superior a 3 anos, a avaliação intermédia é realizada no final do terceiro ano de execução. Estes programas estão igualmente sujeitos a uma avaliação ex post no final do período de referência. As disposições da avaliação devem ter em conta esse calendário. 1. 4. Execução financeira De um modo geral, as avaliações consistem na determinação dos efeitos obtidos e do progresso registado relativamente aos objectivos e prioridades, e baseiam-se em dados financeiros sobre a execução de programas, que são fornecidos pelos sistemas de acompanhamento relevantes. Além disso, a execução orçamental a nível da UE proporciona uma visão global das autorizações e dos pagamentos. Uma síntese da evolução dos programas dos objectivos n° 1 e n° 6 é apresentada no parágrafo infra (ver Anexo 2). Desde 1994, a execução dos programas do objectivo n° 1 tem registado um progresso contínuo e regular. Esta tendência manteve-se durante a primeira metade de 1998. Em finais de 1997, 64% dos fundos tinham sido utilizados (em comparação com 46% no final de 1996). Do mesmo modo, 48% dos fundos tinham sido utilizados em pagamentos (em comparação com 33% no final de 1996). Este progresso registou-se especialmente em Espanha e em Portugal onde, no decorrer do período 1994-1997, foram autorizados, respectivamente, 69% e 70% dos fundos, e pagos 53% e 56% dos mesmos. Outros Estados-membros comunicaram demoras consideráveis na execução em termos de autorizações (nomeadamente, os Países Baixos, a França e a Bélgica), enquanto, no caso da Itália e da Áustria, os atrasos se reportaram, fundamentalmente, aos pagamentos efectuados. No que diz respeito ao objectivo n° 6, os dois Estados-membros registam situações contrastantes. A execução está mais avançada na Finlândia do que na Suécia: na Finlândia, no final de 1997, 59% dos fundos tinham sido autorizados, contra apenas 32% na Suécia. II. ENSINAMENTOS EXTRAÍDOS DAS AVALIAÇÕES INTERMÉDIAS A avaliação intermédia, que constituiu um grande progresso no domínio da gestão dos fundos estruturais, proporciona um valioso enquadramento no que se refere à eficácia global das intervenções da UE. Os principais ensinamentos a retirar dessa avaliação referem-se à execução e à utilização política das principais conclusões. - 6- 2. 1. Execução das avaliações intermédias a) Avaliação intermédia: uma responsabilidade partilhada Uma inovação dos actuais regulamentos que regem os fundos estruturais é o reforço das exigências em matéria de avaliação da eficácia das intervenções. Essas exigências são claramente expostas nos regulamentos8. A Comissão e os Estados-membros trabalharam em conjunto para definirem os procedimentos operacionais a seguir. Assim sendo, a avaliação é uma responsabilidade partilhada. No decorrer de 1995, os Estados-membros e a Comissão estiveram activamente envolvidos na procura de um consenso sobre o conteúdo dessas avaliações e os procedimentos operacionais a seguir em cada caso. Enquanto o quadro operacional proposto pela Comissão foi discutido multilateralmente, a tarefa de aplicação da avaliação tem sido, em geral, levada a efeito a nível de cada comité de acompanhamento. Em geral, e pesem embora os problemas que acompanham quaisquer novos procedimentos e as dificuldades que alguns Estados-membros registaram na definição e no lançamento do processo de avaliação, não se registaram grandes divergências de opinião entre os Estados-membros e a Comissão9. b) Implantação das avaliações intermédias Além dos regulamentos - Melhoramento da gestão A maior parte das formas de intervenção (QCA, DOCUP, programas operacionais, subvenções globais, etc. ) programadas em cada Estado-membro foram sujeitas a uma avaliação específica. Alguns Estados-membros também instigaram avaliações adicionais para complementar as respectivas avaliações intermédias. Estas foram quer de ordem temática (analisando, inter alia, as medidas relativas às PME e à investigação), quer de carácter operacional (por exemplo, critérios de selecção, procedimentos, etc. ). O elevado número de avaliações intermédias (mais de uma centena para os programas dos objectivos n° 1 e n° 610) indica que a sua importância já é amplamente reconhecida pelos Estados-membros. Tal reconhecimento é demonstrado, não apenas pela observância das disposições regulamentares, mas também pelo facto de que a avaliação é encarada como 8 9 Em conformidade com o n° 2 do artigo 26° do Regulamento de Coordenação, "a apreciação e a avaliação serão efectuadas, conforme os casos, confrontando, se necessário, os objectivos com os resultados obtidos, em função dos objectivos e indicadores macroeconómicos e sectoriais baseados em dados estatísticos regionais e nacionais, dos dados apurados por estudos analíticos descritivos, bem como das análises de tipo qualitativo". As cláusulas-padão dos QCA e dos DOCUP, estabelecidas em concordância com os Estados-membros, indicam que "o acompanhamento [. ] se baseia em avaliações provisórias de modo a que se possa proceder a quaisquer ajustamentos exigidos dos QCA e das operações em curso". O encontro informal dos ministros responsáveis pela política regional e pelo ordenamento do território, realizado em Madrid, em 30 de Novembro e 1 de Dezembro de 1995, suscitou, por parte dos Estados-membros, uma maior consciência da importância da avaliação intermédia e dos respectivos objectivos operacionais. 10 Ver lista do Anexo 3. um instrumento para melhorar a gestão de fundos e optimizar os resultados assim obtidos. Custo das avaliações Na comunicação sobre a avaliação SEM 2000 (1996), foi recomendado que o orçamento geral para actividades de avaliação não excedesse 0,5% do orçamento do programa. Os custos da avaliação foram geralmente financiados no âmbito da rubrica orçamental "assistência técnica" de cada programa. A percentagem de fundos atribuídos a esta actividade foi, em geral, inferior a 0,1% do custo total dos programas. De qualquer modo, a fixação de percentagens não teria sido adequada, uma vez que o custo de uma avaliação não é necessariamente proporcional ao custo do programa em causa. Processo de avaliação O ponto de partida do processo de avaliação intermédia consiste em analisar em que medida o programa em causa se presta à avaliação (a viabilidade do exercício de avaliação ou a "avaliabilidade") e à definição de uma metodologia a aplicar durante a fase seguinte. ,Para corrigir lacunas ou incoerências detectadas nas informações contidas nos documentos de programação, como a quantificação insuficiente dos alvos relativos a certas medidas, é necessário determinar a "avaliabilidade" de um dado programa. É importante reconhecer que, para que uma avaliação possa ser efectuada com êxito, é necessário garantir que foram tomadas as disposições necessárias para possibilitar a avaliação do programa em causa. Em especial, a avaliação de um programa requer, geralmente, que os indicadores e os alvos pertinentes tenham sido fixados previamente e acompanhados ao longo da duração do programa (caixa n° 1). Caixa n° I: Determinação da viabilidade da avaliação - programa operacional Andaluzia do FEDER (objectivo n° 1) Com esta avaliação pretendeu-se descrever a base lógica das acções programados e dos objectivos correspondentes, o grau de sinergia entre eles e a adequação da gestão do programa. A avaliação foi focalizada em três elementos fundamentais: qualidade da planificação, sistemas de informação e capacidade de gestão. A estratégia adoptada implicou uma análise dos documentos de programação (com recurso a um sistema do quadro lógico) e entrevistas com os principais gestores do programa. A aplicação desta metodologia levou a algumas conclusões práticas. Relativamente à qualidade do programa, o avaliador assinalou algumas deficiências da análise SWOT (a análise dos pontos fortes, das fraquezas, da oportunidades e das ameaças) e problemas em alguns objectivos (por exemplo, o turismo), mal focalizados. Além disso, considerou-se que a base de informação dependia excessivamente das realizações, em detrimento dos indicadores de impacto. O sistema de gestão foi, também, objecto de apreciação, afim de extrapolar possíveis melhoramentos, dando especial atenção à divisão de tarefas e das responsabilidades na administração regional. Embora nem todas as recomendações tenham sido tidas em conta, esta primeira avaliação suscitou nos gestores de programa uma maior consciência da necessidade de promover uma cultura da avaliação e uma melhor compreensão do seu próprio programa. A avaliação intermédia em si é efectuada a meio caminho da execução de um programa. Com ela, pretende-se determinar até que ponto o programa alcançou os seus objectivos, medir o impacto inicial das intervenções e, nos casos necessários, propor recomendações para melhorar a gestão do programa e optimizar os seus resultados. As avaliações intermédias deveriam, de um modo geral, tomar como ponto de referência os resultados das avaliações ex ante efectuadas com base nos planos apresentados pelos Estados- membros. Independência dos avaliadores Os Estados-membros reconheceram ser particularmente importante garantir que os independentemente das autoridades relatórios de avaliação sejam estabelecidos responsáveis pela gestão dos fundos estruturais e dos organismos executivos responsáveis pelas acções co-financiadas. Por conseguinte, foram criados mecanismos para a designação dos avaliadores externos (consultores, equipas universitárias de especialistas, etc. ). Nos Estados-membros em que a avaliação faz parte integrante dos programas de despesas públicas, os do aconselhamento e apoio das autoridades competentes. externos beneficiam frequentemente avaliadores As avaliações internas podem apresentar algumas vantagens (por exemplo, a promoção da "aprendizagem pela experiência"), uma vez que as autoridades de gestão estão estreitamente envolvidas no "como" e no "porquê" das suas actividades. Contudo, para as avaliações intermédias e ex post, as avaliações internas podem não ser práticas, rentáveis, nem mesmo desejáveis. Itália constitui uma excepção, uma vez que a avaliação intermédia, efectuada pela unidade de avaliação do Ministério do Orçamento, levantou um certo número de pontos críticos, especialmente no que se refere à qualidade dos documentos de programação e à falta de objectivos e de indicadores adequados. c) Criação da capacidade de avaliação nos Estados-membros Estabelecimento de estruturas de gestão De um modo geral, compete aos comités de acompanhamento a responsabilidade pela execução das avaliações intermédias. Os comités de acompanhamento definiram o teor dos relatórios de avaliação e estabeleceram um programa de trabalho para os avaliadores. Mas, acima de tudo, analisaram e debateram os relatórios de avaliação completos e, quando necessário, apresentaram propostas ou aconselharam possíveis alterações do programa para maximizar a eficácia das contribuições dos fundos estruturais. Em vários casos, os comités de acompanhamento criaram grupos técnicos ou sub-comités (ver caixa n° 2) encarregados de garantir uma ligação permanente entre os próprios comités e os avaliadores. Em seguida, estes grupos redigiram relatórios e propostas (com base nos resultados da avaliação) para discussão e aprovação do comité no seu conjunto. Caixa n°2: Gestão das avaliações - criação de estruturas ad-hoc Na Irlanda, tanto o quadro comunitário de apoio no seu conjunto, como cada um dos três principais programas operacionais beneficiaram dos conselhos e dos conhecimentos de uma unidade de avaliação específica. Avaliadores externos forneceram um serviço semelhante, mediante pedido, em relação a cinco outros programas operacionais. Os comités de acompanhamento debateram os relatórios de avaliação intermédia em duas reuniões. As suas conclusões e recomendações, juntamente com o conteúdo das avaliações de cada programa operacional, constituíram o material de base para a avaliação intermédia do quadro comunitário de apoio. Além disso, um relatório de avaliação regional foi utilizado como fonte de informação para a avaliação global do quadro comunitário de apoio e o exame teve também em conta as directrizes da Comissão. Em Portugal, foram criados grupos de avaliação técnica para orientar e controlar o processo de avaliação. As suas principais competências incluíam, nomeadamente, a validação dos mandatos, a assistência na selecção dos avaliadores e a discussão dos relatórios finais antes da sua apresentação aos comités de acompanhamento. Estes grupos eram formados por funcionários da Comissão e representantes das administrações nacionais e regionais em causa. De um modo geral, reuniam, no mínimo, duas vezes por ano, antes das reuniões do comité de acompanhamento. As relações construtivas entre os parceiros destes grupos contribuíram para o melhoramento da qualidade do trabalho de avaliação. Papel das parcerias Em geral, os parceiros dos programas mostraram-se positivos relativamente às avaliações intermédias e aceitaram de bom grado a responsabilidade pela sua realização. No entanto, o empenho das autoridades regionais nas diversas tarefas associadas à avaliação intermédia diferiu. Tais diferenças reflectem características dos regimes políticos e institucionais (por exemplo, o grau de descentralização), diferentes formas de intervenções dos fundos estruturais (programas nacionais, sectoriais, regionais e sub- regíonais) e diferenças de práticas e experiências entre os vários Estados-membros. Em alguns casos, as autoridades regionais foram encarregadas da criação e gestão do processo de avaliação. Participaram na selecção dos avaliadores, na definição das suas tarefas e na facilitação do seu trabalho e esforçaram-se no sentido de garantir que os comités de acompanhamento debatessem e analisassem o resultado das avaliações. Além disso, garantiram que as recomendações da avaliação fossem aplicadas ao nível do programa. Noutros casos, as responsabilidades e o trabalho foram assumidos pelas autoridades nacionais e regionais. Contudo, de um modo geral, nos casos em que existiam quadros comunitários de apoio (como em algumas regiões do objectivo n° 1), a avaliação foi da competência das autoridades nacionais. Outra situação é a dos Estados-membros em que as autoridades regionais não têm responsabilidades executivas pela programação e gestão dos fundos estruturais. A sua participação no processo consiste em facilitar a transmissão dos dados e das informações necessários para estabelecer os relatórios de avaliação, cooperar na análise do impacto das medidas políticas ao nível local e, em certa medida, participar na redefinição das directrizes estratégicas e operacionais a partir das recomendações dos relatórios de avaliação. Os parceiros sociais também foram associados a este processo na medida da sua participação nos comités de acompanhamento. De um modo geral, as parcerias foram desenvolvidas de um modo pragmático e flexível. Criação de competências profissionais no domínio da avaliação Nos últimos quatro anos, as actividades de avaliação conheceram um grande desenvolvimento em todos os Estados-membros, principalmente devido às exigências dos regulamentos dos fundos estruturais. A prestação de serviços de avaliação reside ainda, em grande medida, fora das várias administrações, embora a Irlanda e a Itália constituam excepções notórias, uma vez que criaram as suas próprias equipas especializadas. O desenvolvimento da avaliação enquanto serviço especializado levou a um aumento do profissionalismo e das competências. Embora as equipas de avaliação nomeadas para os diferentes programas tendam a dispor de conhecimentos técnicos multidisciplinares e a incluir firmas de consultoria e centros de investigação académica, os seus principais pontos fortes consistem, de um modo geral, nos domínios da economia e da gestão. d) Melhoramento da qualidade das avaliações A qualidade média das avaliações intermédias efectuadas no período de programação 1994-1999 melhorou indubitavelmente em comparação com a do período anterior (1989- 93), embora factores como o atraso do arranque de alguns programas ou a adopção de 10- metodologias inadequadas indiquem que determinados exercícios continuam a ser inferiores à média. Os relatórios de avaliação foram objecto de apreciações segundo os oito critérios estabelecidos pelo programa MEANS11. De acordo com estas apreciações, a qualidade da maior parte dos relatórios é bastante boa (ver caixa n° 3). Com frequência, as avaliações forneceram informações e análises actualizadas dos programas relativamente aos objectivos e alvos; determinadas avaliações (por exemplo, Irlanda do Norte) aplicaram os seus próprios critérios de qualidade em termos de pontos fortes e lacunas. Para melhorar a qualidade dos relatórios contribuíram, igualmente, a presença de avaliadores com experiência e a disponibilidade de conhecimentos e estudos mais alargados sobre os aspectos práticos da avaliação. Caixa n" 3: Determinação da qualidade de uma avaliação - avaliação do QCA irlandês O relatório de avaliação satisfaz os seguintes critérios: resposta adequada às necessidades de informação; exame exaustivo da base lógica do programa e dos seus objectivos (embora continuem a existir lacunas e deficiências): desenvolvimento de um quadro metodológico específico para determinar a eficácia das medidas; recolha de uma quantidade adequada de dados fiáveis; apresentação de uma análise bem fundamentada da execução do QCA; produção de constatações credíveis com consequências práticas na estrutura do programa; proposta de conclusões objectivas, suficientemente pormenorizadas para uma utilização operacional; apresentação acessível e redacção clara; A qualidade global é, por conseguinte, muito elevada, graças a um quadro de avaliação bem concebido. O relatório foi publicado e colocado à disposição do público. No respeitante aos programas de desenvolvimento rural, a apreciação difere bastante consoante as avaliações intermédias. Em certos casos é considerada aceitável (Espanha), noutros satisfatória (diferentes Lãnder alemães), atingindo o objectivo de apresentar bons resultados. Nalguns casos é considerada de muito bom nível, atendendo à experiência e qualidade dos avaliadores independentes e a uma definição mais específica dos objectivos e dos cadernos de encargos (Irlanda). Por vezes, dado o seu carácter académico ou demasiado global, ou por se limitar a abordar a execução e a gestão em vez 11 Apreciação da qualidade dos relatório de avaliação : um quadro de referência. O programa MEANS (métodos de avaliação das acções de natureza estrutural) é um programa da Comissão Europeia destinado a melhorar os instrumentos metodológicos disponíveis para avaliar acções estruturais. A qualidade dos relatórios de avaliação foi apreciada em função dos oito critérios seguintes: satisfação das necessidades -as avaliações permitem obter todas as informações de que o comité de acompanhamento necessita e correspondem ao mandato?; pertinência do campo de aplicação: a base lógica, as realizações e os impactos do programa, bem como os resultados imprevistos, são inteiramente analisados?; metodologia adequada: o modelo de avaliação é adequado para dar resposta às questões levantadas?; dados: os dados utilizados/colhidos são adequados e a sua fiabilidade é devidamente tomada em consideração?; análise fundamentada: a informação disponível é sujeita a uma análise adequada?; credibilidade das constatações: as constatações decorrem logicamente da análise e são por ela justificadas?; conclusões imparciais: as conclusões são justas, não influenciadas pelo ponto de vista dos participantes e operacionais?; clareza: o relatório é redigido de uma forma compreensível? - 11 - dos resultados e do impacto (França e Bélgica), as avaliações têm um âmbito mais limitado. Determinadas avaliações foram independência relativamente ao serviço da administração comanditaria. Noutros casos, verificaram-se factores limitativos, como a falta de colaboração com as administrações que dificultou o trabalho do avaliador. também criticadas por falta de A natureza e a qualidade das metodologias utilizadas pelos avaliadores variam consoante o programa. Embora a Comissão tenha promovido vários métodos e instrumentos através do programa MEANS, a sua execução continua numa fase inicial. Por exemplo, os impactos no emprego continuam a ser difíceis de medir, especialmente quando se têm em conta os efeitos de inércia e de deslocação12. Apesar de um determinado número de melhoramentos qualitativos, continua a ser necessário reforçar, mediante uma orientação adequada, a utilização de métodos de avaliação fiáveis durante as próximas etapas de avaliação. 2. 2. Principais constatações Uma das principais finalidades das avaliações intermédias consistiu em tentar determinar os progressos alcançados na realização dos vários objectivos dos programas, assim como a sua possível repercussão na criação de postos de trabalho, por exemplo. As avaliações intermédias procuraram, igualmente, analisar o processo de gestão dos programas, bem como o de selecção e acompanhamento dos projectos que os integram. O objectivo da presente secção consiste em rever, com base numa selecção representativa interesse de avaliações, resultados fundamental, bem como assinalar determinados aspectos que devem ser melhorados. Serão destacados alguns elementos-chave das análises efectuadas em relação a três temas fundamentais: importantes relacionados com questões de - repercussões macroeconómicas dos principais programas, especialmente em relação ao crescimento e ao emprego, - avaliação microeconómica, centrada em aspectos relativos à eficácia; - qualidade dos sistemas de concessão, nomeadamente sistemas de acompanhamento e indicadores e critérios de selecção de projectos. Esta análise permite tirar algumas conclusões gerais acerca da utilização e incorporação destes resultados no processo de revisão intermédia. a) Repercussões macroeconómicas: efeitos sobre o crescimento e o emprego A maior parte das avaliações dos QCA do objectivo n° 1 contém uma apreciação macroeconómica que fornece ao processo de revisão intermédia no seu conjunto observações valiosas. Estas ilustram a importância de ter em conta os impactos tanto do 12 Cf. documentos da Comissão Europeia, "Contar os Empregos", 1997 e "European Job Challenge" (1998). - 1 2- lado da oferta como do lado da procura, e oferecem uma quantificação preliminar da escala previsível destes impactos. No caso das intervenções de grande envergadura, como é o caso dos principais QCA do objectivo n° 1, os efeitos macroeconómicos em termos de crescimento económico e emprego são geralmente perceptíveis. Contudo, a quantificação destes efeitos é difícil, devido à necessidade de determinar qual seria a situação contrafactual, ou seja, sem a intervenção dos fundos estruturais. Uma opção possível é a utilização de técnicas de simulação baseadas em modelos que têm em conta a interdependência macroeconómica das variáveis. Embora vários destes modelos quantifiquem os efeitos a curto prazo do lado da procura (por exemplo, modelos "input-output"), apenas alguns têm em conta os efeitos a longo prazo das condições do lado da procura, cuja melhoria é o principal objectivo dos fundos estruturais13. No contexto das avaliações intermédias, os efeitos no lado da oferta resultantes do acréscimo de infra-estruturas, capital humano e investimentos produtivos são avaliados através de diferentes métodos de complexidade variável. No caso da Irlanda e de Espanha, foram aplicados modelos do tipo HERMIN14 enquanto na Grécia, Portugal e Itália foram empregues modelos econométricos mais gerais. Muitas variáveis são endógenas, mas as influências "externas" incluem taxas de juro, taxas de câmbio e o crescimento económico dos parceiros sociais. No caso da avaliação da Alemanha, dado que não se dispõe de um modelo macroeconómico para a Alemanha de Leste, a avaliação foi efectuada com base numa perspectiva ad hoc, tendo sido aplicadas em cada fase estimativas dos vários parâmetros que influenciam o PIB e o emprego; os próprios autores do relatório assinalaram que o grau de incerteza dos resultados é elevado. Dois dos estudos não incluíram no seu modelo o lado da oferta, tendo-se limitado a realizar cálculos adicionais sobre os efeitos no lado da oferta baseados em valores médios citados na bibliografia especializada. A avaliação portuguesa calcula o efeito adicional na produtividade entre 1,17% e 2,35%. O estudo referente à Alemanha de Leste estabelece que os efeitos a longo prazo do lado da oferta no PIB equivalem a 20% dos efeitos a curto prazo no lado da procura. Por esta razão, os resultados a seguir apresentados para estes dois países (e, no momento presente, para a Grécia) apenas incluem os efeitos do lado da procura. Para os países cujo território não é totalmente abrangido pelo objectivo n° 1 (D, E, I) apresenta-se um problema específico de macromodelos. As várias avaliações abordaram este problema de modos diferentes: na avaliação alemã, foram analisados exclusivamente as repercussões no Leste do país, enquanto a avaliação espanhola considerou as repercussões apenas ao nível de Espanha no seu conjunto. Por seu lado, a estrutura 13 14 As tentativas mais recentes para quantificar os efeitos combinados do lado da procura e da oferta dos fundos estruturais foram realizadas utilizando o modelo QUEST II, cujos resultados foram apresentados no Primeiro Relatório sobre a Coesão (1996), e o modelo HERMIN, utilizado para a Revisão do Mercado Único ( 1996). Hermin é um modelo macroeconómico especificamente concebido para quantificar o impacto a médio e longo prazo dos QCA. Oferece uma perpectiva comum que se baseia nas características estruturais mais importantes dos "Países da Coesão" e explica os mecanismos através dos quais os QCA irão afectar as suas economias pelo lado da oferta. - 1 3- dualista do modelo macroeconómico italiano permitiu avaliar o impacto quer ao nível do Sul da Itália quer ao nível da Itália no seu conjunto. Os resultados das várias avaliações intermédias (ver gráfico n° 1) devem ser comparados com cautela, dado que os métodos empregues variam de um país para o outro. Não obstante, os efeitos positivos no crescimento e no emprego dos programas do objectivo n° 1 não oferecem qualquer dúvida. Em geral, as repercussões no emprego são muito inferiores às repercussões no crescimento, como consequência, principalmente, do aumento da produtividade. A título de exemplo, o gráfico n° 1 mostra que, no caso da Espanha, se estima que o QCA pode contribuir para um aumento de cerca de 5,1% do PEB, o que pressupõe um crescimento anual adicional de cerca de 0,8% em média, enquanto o emprego pode crescer 2,4% em 1999, em comparação com a situação de referência (ou seja, a situação sem QCA). O desafio colocado às futuras avaliações da repercussão macroeconómica dos fundos estruturais consistirá na maior utilização das metodologias que representam os últimos progressos na matéria. Os macromodelos deverão apresentar os lados da procura e da oferta integrados, permitindo estes últimos distinguir as principais categorias de intervenções, como as infra-estruturas, o capital humano e os investimentos produtivos. As principais variáveis para as quais há que fornecer resultados são o PD3, o investimento, o emprego, os preços no consumidor, o défice orçamental, as importações e as exportações. Os casos mais interessantes de adicionalidade são o financiamento exclusivo da UE e o financiamento conjunto nacional e da UE, excluindo em ambos os casos o co-financiamento privado. Devem ter-se em conta, além disso, os custos de oportunidade do financiamento público, ou seja, as repercussões de uma utilização alternativa dos fundos nacionais e da UE. Por último, ao reflectirem as alterações ao nível das despesas do QCA e da política económica, os resultados podem fornecer respostas mais concretas em termos de conclusões políticas. Gráfico n° 1: Resultados da avaliação intermédia - desvios percentuais da situação de referência em 1999 % • PIB EU emprego 2. 0 m:\- Iiiiritz irlJr Alemanha Grécia Espanha Irlanda Itália Portugal (Obj. 1) (Obj. 1) Nota: Fontes: O valor relativo ao emprego em Portugal corresponde à redução da taxa de desemprego em pontos percentuais. Ifo Institut (D), KEPE (EL), Quasar (E), ESRI (IRL), Ministero dei Tesoro-Nucleo di Valutazione (I), CISEP (P). - 14 Apreciação do impacto macroeconómico nas pequenas regiões No caso das pequenas regiões, foram concebidos modelos específicos para apreciar o impacto a longo prazo no crescimento, no investimento e no emprego. Foi desenvolvida uma metodologia interessante na região belga do Hainaut (objectivo n° 1), apesar das dificuldades encontradas para recolher os dados regionais, que se apresentam muito desagregados (caixa n° 4). Caixa n° 4: Hainaut (objectivo n" l)-o modelo HELM HELM (Hainaut Lead-in Model) é um modelo econométrico que implica uma relação essencial entre o crescimento do produto e o crescimento da produtividade. Este modelo é alargado para integrar diferentes componentes do crescimento da produtividade (investigação e desenvolvimento, capital físico, competências). Os resultados apresentados dizem respeito a três situações: a situação de referência (A), o documento único de programação sem limitações (B) (medição do impacto suplementar do documento único de programação) e o documento único de programação com limitações (C) (medição do impacto suplementar, mas integrando a taxa de intervenção e os critérios de selecção retidos para os regimes de ajuda). A comparação destas situações permite calcular o impacto adicional do documento único de programação em relação à situação de referência. Os resultados das simulações efectuadas para a avaliação intermédia do documento único de programação abrangem as três grandes variáveis (investimento, valor acrescentado, emprego) no sector industrial e dos serviços às empresas. De acordo com este modelo, o documento único de programação vai gerar um crescimento adicional dos investimentos de 0,7% por ano para o período 1994-2005 e um crescimento suplementar do emprego de 0,3% por ano, correspondente a 5100 empregos líquidos em 1999 e 15800 empregos líquidos em 2005. A absorção maciça dos fundos no fim do período reduzirá a eficácia da execução do documento único de programação. Os atrasos de execução podem igualmenm ter como efeito que os impactos serão mais visíveis no fim do período e para além do mesmo. O modelo mostra que qualquer aumento da taxa de intervenção apenas terá um efeito moderado nos investimentos, mas que estes produzirão efeitos benéficos (indirectos) na zona. Por este motivo, o risco de se voltar a um crescimento mais lento do que a média europeia após a conclusão do documento único de programação é significativo. b) Apreciação microeconómica Apreciar a eficácia Os avaliadores foram convidados a fornecer uma análise da eficácia das intervenções. A maior parte das avaliações procurou determinar em que medida os programas estavam a atingir os objectivos fixados15. No âmbito do seu trabalho, os avaliadores tiveram de examinar os indicadores existentes e, nalguns casos, propuseram alguns indicadores- chave novos ou revistos, de comum acordo com as autoridades regionais. Esta avaliação implicou frequentemente uma revisão substancial dos sistemas de indicadores, tanto em termos de resultados financeiros como de acompanhamento dos indicadores físicos e de impacto acordados. 15 As questões ligadas à eficiência, um dos aspectos mais difíceis da avaliação, foram raramente abordadas. Uma análise da eficiência implica estabelecer comparações entre "entradas" (recursos financeiros) e "saídas" dos programas (os bens e serviços que este produz) e resultados (efeitos iniciais) para determinar se os mesmos benefícios poderiam ter sido alcançados usando menos entradas ou, alternativamente, se as mesmas entradas poderiam ter gerado maiores benefícios. Uma discussão sobre a eficácia acarreta necessariamente comparações com várias posições contrafactuais. A dificuldade principal nesta área é, consequentemente, a escolha de marcos de referência adequados. -- 15- A avaliação irlandesa do QCA seguiu uma abordagem sistemática orientada para a eficácia, utilizando um modelo microeconómico para determinar se as acções estavam convenientemente concebidas e se eram capazes de atingir os seus objectivos. Este procedimento implica que não se possa julgar os fundos estruturais unicamente com base nas despesas, mas também nos benefícios sociais que trazem à economia. A metodologia adoptada pelo avaliador tem por objectivo comparar a eficácia das acções a fim de garantir a melhor repartição possível dos fundos (ou seja, o valor financeiro comparável entre programas) e definir as melhores práticas. Na caixa n° 11 será fornecida uma descrição mais pormenorizada. A um nível mais operacional, as avaliações devem procurar determinar em que medida os grandes objectivos do programa são atingidos. No caso de Merseyside, a avaliação contém determinados indicadores-chave (PME, terrenos viabilizados, área útil), incluindo os dados relativos às realizações e os resultados correspondentes em termos de criação de empregos e de efeito de alavanca no sector privado. Estão disponíveis objectivos quantificados para 1999, e a avaliação intermédia apresentou valores que medem os progressos realizados até à data. Estes indicadores são dados de forma agregada a nível das prioridades. Posteriormente à avaliação intermédia, foi iniciado um processo de revisão da situação de referência de Merseyside, bem como dos dados relativos aos objectivos e às realizações. Caixa n° 5: Avaliação da eficácia mediante indicadores de programa - o exemplo de Merseyside- Objectivo n° l (1994-1999) - realizações e resultados efectivos das intervenções do FEDER Priori- dade Despesas do FEDER Total Empregos Brutos (directos e indirectos) Area Util Total Total de Terrenos Melhorados Total Investimentos Privados £m %do DOCUP OOOs % do obj. DOCUP OOOm2 %do obj. DOCUP (Hec) % do obj. DOCUP £m %do obj. DOCUP 28. 8 44. 4 15. 4 4. 8 22. 1 115. 5 21 54 42 16 26 31 5. 4 9. 2 0. 8 0. 7 3. 0 19. 2 15 142 16 64 454 39 114 116 1 9 240 20 70 0 15 n/a 24 255 17 32 210 513 5 2; 12 n/a 300 67 76 0 8 23 73 176 40 90 28 n/a 77 As prioridades do DOCUP de Merseyside são as seguintes: 1) investimento exógeno, 2) empresa autóctone, 3) medidas baseadas no conhecimento, 4) cultura, meios de comunicação e lazer, 5) acções para Merseyside Relatório de avaliação intermédia (Novembro de 1996). 1 2 3 4 5 Total Nota: Fonte: Os indicadores definidos nos PO e nos DOCUP constituem uma base que permite efectuar o acompanhamento e a avaliação da eficácia. Contudo, não é possível extrair dos mesmos conclusões definitivas, especialmente no que respeita às repercussões, devido à dificuldade em estabelecer a causalidade em determinados sectores (i. e. , os indicadores podem externos). Frequentemente, é necessário complementá-los com uma análise qualitativa e um trabalho de avaliação adequado. ser afectados por factores Síntese das principais realizações e resultados Não é fácil apresentar de uma forma agregada os dados microeconómicos sobre as realizações e os resultados procedentes dos relatórios de avaliação, em virtude da sua especificidade e da falta de comparabilidade entre os vários programas. Por outro lado, as possibilidades de quantificação destes dados na fase intermédia variam em função dos - 1 6- sectores de intervenção (infra-estraturas, PME, recursos humanos, etc. ) e das regiões em causa. O nível de cobertura dos relatórios de avaliação apresenta, inevitavelmente, variações, diferindo igualmente as possibilidades de quantificar elementos-chave como os as realizações, os resultados e as mudanças nas disparidades acusadas. Na caixa n° 6 são apresentadas algumas das realizações dos programas dos objectivos n° 1 e n° 6. Infra-estruturas de base » reduzir as disparidades As infra-estruturas de base são o domínio onde o impacto da acção comunitária é mais visível e mensurável. Estes grandes investimentos têm por vezes uma incidência elevada em termos estruturais. Por exemplo, em Espanha, as infra-estruturas das redes de transportes, de comunicações e de energia que receberam financiamento através do quadro comunitário de apoio representam, em média, mais de 25% das infra-estruturas nacionais. A redução das disparidades em relação ao resto da União progrediu nitidamente na maior parte dos sectores (ver caixa n° 6). Caixa n° 6: Realizações importantes no domínio das infra-estruturas de base • Continua a realizar-se um esforço financeiro importante relativamente ao desenvolvimento das redes rodoviárias estratégicas nos países que beneficiam da intervenção do Fundo de Coesão, nomeadamente através do melhoramento de quatro corredores essenciais na Irlanda (atingindo 49% em 1996 para um objectivo fixado em 53% para 1999) e a conclusão da auto-estrada Atenas-Salónica (400 km já construídos). Em Portugal, a construção das auto-esiradas e das estradas principais atingiu 74% do objectivo para 1999. Em Espanha, o. parque de infra-estruturas físicas de auto-estradas aumentou 13% entre 1993 e 1995 (últimos dados disponíveis), beneficiando especialmente regiões menos desenvolvidas, como a Andaluzia. • Em todas as regiões do objectivo n° 1 foram realizados investimentos importantes no sector das telecomunicações, com a instalação de sistemas modernos, como centrais digitais e ligações por fibra óptica. Tal permitiu reduzir significativamente as disparidades em relação ao resto da União. Em Portugal, a densidade média das linhas telefónicas (por 100 habitantes) atingiu o nível comunitário, embora este objectivo estivesse fixado para 1999. Analogamente, em Itália, a taxa de digitalização das regiões meridionais atingiu o mesmo nível (85%) do Centro Norte. Em Espanha, as redes digitais aumentaram 36% em termos absolutos entre 1993 e 1995. • Foram igualmente alcançados progressos no domínio da diversificação da energia, nomeadamente através da redução da dependência do petróleo. O fornecimento de gás natural através da nova rede de distribuição deverá poder ser iniciado na Grécia, uma vez que projectos importantes, nomeadamente o gasoduto de alta pressão (513 km) estão já concluídos e que um outro projecto (rede de 1 000 km de gás natural de baixa pressão) está prestes a ser concluído (84%). Em Portugal, mais de metade da rede de gasodutos (600 km) foi colocada em 1996, o que representará em 1997 7,5% do consumo total de energia. Nestes últimos anos, a Grécia, a Espanha e Portugal assistiram à diminuição significativa do seu consumo de energia em relação ao PIB. • No que respeita ao sector do ambiente, o apoio dado destina-se a melhorar as redes de abastecimento de água e aumentar a capacidade das estações de tratamento de águas residuais. Na Grécia, as redes de abastecimento de água, de saneamento e de tratamento de águas residuais servem cerca de 5 milhões de habitantes (metade da população) e estão já concluídas. Foram igualmente feitos investimentos em regiões mais pequenas do objectivo n" 1, como o subprograma da Irlanda do Norte relativo à construção de instalações de abastecimento de água e de tratamento de águas residuais, o que gerou cerca de 2 270 empregos na região. Foram igualmente obtidos benefícios ambientais significativos a partir de uma série de intervenções específicas, incluindo a recuperação de grandes industriais contaminados, auditorias ecológicas efectuadas nas PME, assistência ao sítios desenvolvimento de ecoprodutos e a redução de emissões devido à diversificação das fontes de energia. Ambiente produtivo - apoio ao emprego No sector produtivo, as intervenções estruturais incidiram no melhoramento das condições de empresas existentes, fomentando, por este meio, novas actividades. É 1*7 amplamente reconhecido que a ajuda, especialmente no caso das PME, é um poderoso motor de criação de empregos, que contribui para ultrapassar desigualdades estruturais entre níveis de produtividade e de rendimento. Alguns exemplos poderão evidenciar as tendências recentes dos impactos dos fundos estruturais neste sector (ver caixa n° 7). Caixa n° 7: Algumas realizações no sector do ambiente produtivo • Os principais mecanismos de ajuda fomentaram a criação de empregos, o que permitiu compensar parcialmente as consequências negativas da reestruturação industrial. No Hainaut, quase todos os fundos disponíveis para os programas de ajuda, em particular para as PME, foram utilizados antes do final do período; calcula-se que os objectivos de criação de empregos destas acções foram já ultrapassados (mais de 2 200 empregos criados, contra 1 800 previstos). Na Alemanha (objectivo n° 1), a intervenção dos fundos estruturais contribuiu activamente para apoiar o emprego, nomeadamente na Saxónia-Anhalt, onde foram subvencionados 18 500 empregos na indústria química, e cerca de 20 000 empregos nas PME. Em Itália, estima-se que o programa "Indústria" criou ou manteve mais de 75 000 empregos no decurso do período 1994-1996. • No sector do turismo, obter-se-ão benefícios acrescentados das novas capacidades oferecidas, como na Saxóniá (capacidade suplementar de 11 500 camas na hotelaria) ou na Irlanda, onde 18 grandes projectos já concluídos irão fornecer equipamentos que permitem melhorar a qualidade e o nível das atracções turísticas. As melhorias obtidas através destas intervenções estruturais permitirão gerar novas possibilidades de emprego. • A reconversão física dos sítios industriais vai igualmente contribuir para melhorar o ambiente económico e atrair novas empresas. Tratava-se de uma das principais prioridades em alguns Lander alemães, como em Berlim Leste, onde 51 000 m2 foram renovados - criando, potencialmente, 600 empregos, ou na Saxónia, onde 620 ha de terras foram transformados em zonas de actividades. No Nord-Pas de Calais, cerca de 40-45% das áreas industrias situadas na zona do objectivo n° 1 foram melhorados. Recursos humanos: quantificar os impactos O plano de trabalho das avaliações específicas levadas a cabo no domínio dos recursos humanos compreendeu uma análise do impacto das acções de formação nos beneficiários. Os principais resultados destes estudos são a seguir apresentados na caixa n° 8. Caixa n° 8: Impacto das acções deformação nos beneficiários Em Espanha, o avaliador realizou uma análise comparativa da colocação dos estagiários por grupo-alvo, utilizando a base de dados do INEM (Instituto Nacional do Emprego) como grupo de controlo de referência. Nesta análise, apenas foram consideradas as medidas de formação profissional. As principais conclusões coincidem com os resultados da avaliação ex-post de 1989-1993: do ponto de vista do impacto bruto, a percentagem de pessoas que arranjaram um emprego é, em média, 20% mais elevada do que no grupo de controlo; a percentagem de colocação é mais elevada entre os jovens, os homens e as pessoas que possuem um diploma do ensino secundário. Contudo, se se calcular o impacto líquido tendo em conta as características dos estagiários, esta diferença varia sensivelmente. Por exemplo, em relação à idade, os estagiários com mais de 45 anos têm uma taxa de colocação 32% superior à do grupo de controlo. A formação parece igualmente aumentar as oportunidades das mulheres de encontrarem um emprego: o impacto líquido é de 27,1%, contra 14,9% para os homens. Se se tomar em conta os níveis de qualificação, o efeito da formação nos titulares de um diploma do ensino primário é extraordinário: a participação numa formação faz passar as suas oportunidades de encontrar um emprego para 48,8%. Alemanha: impacto da GlOst (Gemeinschaft Initiative - Ost) Na Alemanha, calculou-se que o programa federal de ajuda aos GlOst (escolas de aprendizagem para os jovens) fez recuar o desemprego nos jovens de 3 pontos em 1995. A nível dos Lander foram reunidos muito poucos indicadores de colocação até ao momento presente. A combinação das acções deformação e das subvenções permite geralmente obter melhores resultados, mas trata-se mais da excepção do que da regra. É possível citar alguns resultados regionais. Para Berlim Leste, o avaliador conclui que, - 1 8- considerando conjuntamente a formação contínua e a formação para os desempregados, 60% dos estagiários encontraram ou mantiveram um emprego após um período de seis meses. Os programas de formação no Mecklemburgo-Pomeránia Ocidental permitiram atingir taxas de colocação de 40-45% (21- 32% no mercado do primeiro emprego). Um programa a favor da criação de empresas, que tem por objectivo principal ajudar as pessoas a garantir a viabilidade da empresa que querem criar, resultou em cerca de 50% de iniciadores de empresas "bem sucedidos". Vários programas de formação contínua e de educação para os trabalhadores (acções abrangidas pelo objectivo n° 4) em Mecklemburgo-Pomeránia Ocidental, Turíngia e Saxónia-Anhalt fizeram progredir de 35 para 77% a segurança dos participantes de manterem o seu emprego. Portugal: impacto no sistema educativo Constatou-se que o impacto no reforço no sistema educativo português (através do PRODEP) está relacionado com a diversificação das fileiras e com a atenção dada às questões da quantidade e da qualidade. A formação de professores e de outros agentes parece ser uma das principais contribuições do programa, no primeiro e segundo ciclos (ou seja 49,3% do pessoal docente) e ao nível universitário (bolsas para programas para Masters e PhD). No que respeita à expansão e diversificação das fileiras de educação/formação, as alterações mais importantes incluíram o alargamento do âmbito do ensino secundário, aproximando-o do local de trabalho, e o reforço em matéria de orientação e de aconselhamento nas escolas. Na realidade, a ajuda à formação de técnicos de nível médio criou um subsistema que fornece um nível de qualificação técnica directamente ligada ao mercado do emprego e uma alternativa ao ensino geral. Agricultura e desenvolvimento rural A agricultura e o desenvolvimento rural, que constituem programas separados ao nível nacional, foram objecto de avaliações específicas. A avaliação dos DOCUP e das partes agrícolas dos programas regionais foi integrada numa avaliação mais global. Alguns Estados-membros, como a Irlanda, lançaram avaliações pormenorizadas dos diferentes grandes eixos dos programas (agro-indústria, instalação de jovens agricultores, indemnizações compensatórias, igualdade de oportunidades, formação agrícola, etc). Nestes casos, a avaliação constituiu um instrumento que permiíe conhecer melhor a situação, analisar os problemas e encontrar as medidas mais adequadas para os resolver. Caixa n" 9: Avaliação das intervenções agrícolas - o caso do PAMAF (modernização das estruturas agrícolas em Portugal). O relatório de avaliação dá conta de um arranque bastante lento na execução financeira e física, devido essencialmente aos atrasos verificados na elaboração da legislação na matéria, bem como a modificações ao nível da gestão. Contudo, o atraso constatado à partida foi controlado e o avaliador mostrou-se optimista quanto à possibilidade de o programa ser executado, permitindo atingir os objectivos previstos, mediante alguns reajustamentos a nível da gestão e da repartição financeira entre medidas. As medidas desta intervenção operacional centram-se no apoio aos investimentos em explorações agrícolas com uma taxa de execução elevada, em infra-estruturas como a irrigação, os caminhos rurais, a drenagem e a conservação dos solos, as florestas, a transformação e a comercialização de produtos agrícolas e silvícolas, as indemnizações compensatórias para as zonas desfavorecidas, a formação e a investigação. Este tipo de medidas tem por objectivo reforçar a competitividade das explorações agrícolas. Estas medidas prosseguem, na maioria dos casos, o programa anterior, cuja aplicação se revelou benéfica e, além disso, fazem parte da política estrutural a nível da UE. O avaliador sublinha, em particular, uma certa dispersão das medidas, com consequências no impacto real e na gestão e na execução. Preconiza uma reafectação dos montantes disponíveis a favor de medidas consideradas prioritárias, nomeadamente a ajuda às explorações agrícolas e à irrigação, e insiste na necessidade de reforçar a formação profissional. Além disso, nota um esforço de concentração dos apoios no sector privado e uma repartição regional heterogénea dos projectos. O relatório evidenciou alguns resultados do programa "Agricultura" durante o período 1994-1996, nomeadamente o financiamento de 500 explorações agrícolas e a instalação de 2 800 jovens cerca de 20 000 projectos, o apoio ali agricultores. 19- Pescas O IFOP apoia cinco domínios principais de intervenção: o ajustamento dos esforços de pesca (26% do orçamento), a renovação e modernização da frota (24%), a transformação e comercialização dos produtos (23%), o desenvolvimento da aquicultura (11%) e o equipamento dos portos de pesca (7%). O IFOP representa actualmente 31 programas, dos quais 17 do objectivo n° 1, 12 do objectivo n° 5a e 2 do objectivo n° 6. Em termos orçamentais, 65% do orçamento diz respeito ao objectivo n° 1. As avaliações intermédias destes programas proporcionaram informações interessantes em termos de eficácia das intervenções e de reprogramação (reafectação dos fundos entre domínios de intervenção ou entre medidas). Revelaram algumas insuficiências do controlo, especificamente no fornecimento de dados socioeconómicos. Em alguns casos, foram feitas propostas de melhoramento dos indicadores e de primeiras análises do impacto no emprego. Caixa n" 10: Um exemplo -programa Espanha, objectivo n° 1 Este programa operacional "Pesca ", dotado de um montante de cerca de mil milhões de ecus, constitui um dos eixos prioritários do QCA. As medidas deste programa concentram-se essencialmente no ajustamento do esforço da pesca, na modernização da frota, na transformação dos produtos, na aquicultura e no equipamento dos portos de pesca. O relatório de avaliação constata que a taxa média de realização é satisfatória (57%) mas muito variável segundo os domínios de intervenção: fraca relativamente à modernização da frota e à aquicultura (10 a 20%) e elevada para os equipamentos portuários e a transformação dos produtos (60 a 100%). A taxa de eficácia mais fraca é a da aquicultura (2%): esta medida é afectada pelos longos circuitos administrativos a percorrer para a concretização dos projectos, por uma fraca rentabilidade que desencoraja os investidores potenciais, assim como por limitações ambientais impostas aquando da selecção dos projectos. A taxa de eficácia mais elevada é a da transformação (65%): neste domínio, os beneficiários estão em forte crescimento, pelo que têm uma boa capacidade para investir. O avaliador propõe que os fundos inicialmente atribuídos ao ajustamento do esforço de pesca e da aquicultura sejam reafectados à modernização dos navios e à transformação dos produtos. Um inquérito aos beneficiários revelou que 35% dos projectos subvencionados pelo programa geraram ou mantiveram empregos (em primeira análise: 780 empregos no total) sobretudo no domínio da transformação dos produtos. Além disso, foram feitas propostas no sentido de melhorar os indicadores de realização e de resultados, diminuir o número de indicadores específicos da aquicultura, estabelecer indicadores de impacto relativamente à frota bem como indicadores de emprego para todos os domínios de intervenção. Por último, constatando a aplicação estrita do principio de protecção do ambiente no domínio da aquicultura, o avaliador recomenda uma melhor consideração deste princípio noutros domínios (transformação dos produtos e equipamentos dos portos) c) Qualidade dos mecanismos de atribuição Outro dos domínios das avaliações intermédias consistia em avaliar o modo como os fundos são geridos, especialmente os sistemas de acompanhamento e os critérios de selecção dos projectos. Sistemas de acompanhamento e de indicadores Em relação ao período de programação precedente, observa-se nos programas actuais uma progressão importante da utilização de indicadores quantitativos como meio para controlar a execução dos programas, avaliar o seu impacto e determinar os progressos alcançados na realização dos objectivos globais. 20 A Comissão preparou as Orientações comuns para o acompanhamento e as avaliações intermédias com vista a garantir uma abordagem coerente e normas uniformes16. Estas orientações forneceram um impulso inicial para estes melhoramentos. Contudo, a experiência no que respeita aos vários programas é mitigada. Numa série de programas, a informação disponível através dos indicadores muitas vezes não é adequada para medir os desempenhos ou verificar se foram alcançados progressos satisfatórios. Outras grandes insuficiências dizem respeito à determinação de objectivos apropriados e práticos directamente ligados às medidas em causa, bem como à ausência de um sistema coerente e regular de recolha de dados sobre as realizações físicas, os resultados ou os impactos. Apesar de numerosos melhoramentos, a definição e quantificação de indicadores apropriados continua a ser um domínio insatisfatório da gestão dos programas. E seja necessário continuar a aperfeiçoar os sistemas de indicadores, a fim de melhorar o acompanhamento e assistir o trabalho de avaliação, devendo este trabalho começar por identificar exemplos de boas práticas neste domínio. Alguns programas apresentam tentativas interessantes de elaboração de sistemas de informação e gestão adequados, de que se dão alguns exemplos na caixa n° 11. Caixa n° 11: Melhorar os sistemas de acompanhamento Um sistema de informação bem gerido é uma condição necessária (mas não suficiente) para apoiar o processo de avaliação. O caso de Nord-Pas-de-Calais (objectivo n° 1) constitui um exemplo de sistema de acompanhamento integrado, que associa os indicadores financeiros e físicos a nível do projecto. Na Manda do Norte, a avaliação intermédia consagrou uma parte importante do seu trabalho ao exame aprofundado de NIQUID (base de dados de todos os indicadoras aprovados para o DOCUP) com o objectivo de o transformar num sistema de informação eficaz para o documento único de programação. O avaliador propôs acompanhar regularmente a evolução de 52 indicadores, em vez dos 330 indicadores definidos no documento único de programação. Além disso, foi elaborado para cada subprograma um conjunto de indicadores-chave para determinar o seu impacto específico. Foram igualmente realizados trabalhos importantes em Itália, onde foi implementado um sistema de indicadores normalizado para as intervenções do FSE. Em Portugal, os indicadores foram melhorados em quase todos os domínios de intervenção, embora ainda seja possível melhorar a qualidade dos dados. Critérios de selecção dos projectos Nos primeiros dois ou três anos de execução dos programas foram desenvolvidos sistemas de pontuação relativamente sofisticados para os projectos co-financiados. Os sistemas implementados (por exemplo, em Merseyside) consideram um vasto leque de factores em simultâneo e, para além da apreciação da elegibilidade, examinam critérios de selecção tanto a nível de prioridades como de medidas. Por exemplo, entre os critérios de prioridade comuns a todos os projectos, é possível citar as realizações do projecto, a optimização dos recursos, o efeito de alavanca no sector privado e, mais recentemente, o impacto ambiental. 16 As orientações da Comissão destinguem entre indicadores de realização, resultados e impacto. Os indicadores de realização referem-se à implementação financeira e física (por exemplo, o número de quilómetros de estradas construídos e os custos, o número de cursos de formação fornecidos). Os indicadores de resultados referem os efeitos imediatos de uma intervenção (por exemplo, a poupança de tempo devido a um projecto rodoviário; o número de pessoas que completaram com êxito um curso de formação). Os indicadores de impacto referem os resultados das intervenções. Pode ser feita uma distinção entre impacto imediato e específico de uma intervenção (por exemplo, o número de pessoas colocadas num posto de trabalho) e o impacto geral ou final, ou seja, os efeitos socioeconómicos (por exemplo, o aumento do emprego ou PIB). - 2 1- Uma série de avaliações intermédias questionou a eficácia destes sistemas. A presença de critérios transparentes e objectivos, que constitui por si só uma boa prática, pode não ser condição suficiente para garantir a selecção dos melhores projectos. Deverá proceder-se a novas verificações, nomeadamente em relação ao grau de credibilidade da informação e das previsões das realizações fornecidas pelos candidatos. Caixa n" 12: Merseyside - sistemas de pontuação dos projectos FSE/FEDER No documento único de programação de Merseyside, o sistema implementado para seleccionar os projectos comporta três aspectos: elegibilidade ou "critérios centrais", critérios de selecção de prioridades comuns a todos os projectos e critérios de selecção de medidas (que podem ser diferentes dos critérios de prioridades). O objectivo consistia em definir uma série de critérios compreensíveis, transparentes e que pudessem ser aplicados a um grande número de projectos heterogéneos. Os critérios de prioridades principais compreendem as realizações esperadas dos projectos, a optimização dos recursos, a natureza dos beneficiários (para o FSE), questões ligadas ao mercado do trabalho, a realidade das parcerias e das ligações, o efeito de alavanca no sector privado e o impacto ambiental. - 2. 3. Utilização dos resultados da avaliação Tal como indicado no capítulo anterior, as avaliações intermédias constituem uma fonte importante de informação para os gestores dos programas e para os responsáveis pela tomada de decisões, que são desta forma informados sobre questões essenciais, como a pertinência dos objectivos das suas intervenções ou sobre a eficácia dos efeitos económicos mais vastos na região em questão. Uma avaliação autorizada deverá ser apoiada por uma análise rigorosa e ser suficientemente operacional para poder ser utilizada para desenvolver a política desejada. Contudo, a qualidade dos resultados da avaliação não garante obrigatoriamente a sua utilização. Por outras palavras, as avaliações não podem ser consideradas como os únicos dados para proceder à revisão intermédia. As instituições e os agentes responsáveis pelas políticas trocam informações continuamente. Outros factores, relacionados com o influenciar contexto político do quadro macroeconómico, podem directamente as decisões finais de reprogramação. Na perspectiva deste quadro mais alargado, convém fazer a distinção de três níveis de utilização diferentes no processo de avaliação intermédia. igualmente O primeiro nível de utilização implica considerar a avaliação como um mecanismo de retroacção em relação à eficácia das medidas. Num grande número de casos, os resultados e as recomendações da avaliação foram seguidos e incluídos nas alterações aos programas. O melhor exemplo é a avaliação intermédia do QCA da Irlanda, que produziu conclusões credíveis e úteis que permitiram reatribuir os fundos entre várias medidas e subprogramas (ver caixa n° 12). Em segundo lugar, a avaliação desempenhou um papel fundamental quanto ao fornecimento de novas fontes de informação ou aconselhamento contínuo, tanto para os gestores de programas como para os responsáveis pelas políticas em causa. Por exemplo, a avaliação do programa do objectivo n° 1 de Hainaut, que incluía um modelo macroeconómico específico (ver caixa n° 3), foi igualmente considerada útil para a reprogramação das acções. As suas conclusões abriram perspectivas a mais longo prazo sobre a tendência convergente da economia regional. Outras avaliações, com uma perspectiva mais limitada, destacaram a importância de alguns aspectos críticos da gestão dos programas em vez de abarcar de forma exaustiva todo o ciclo de execução. 22- Por último, a experiência demonstrou igualmente que a cooperação é um factor fundamental para o êxito e a eficácia do processo de avaliação. Um resultado importante é o facto de as autoridades responsáveis pela tomada de decisões participarem nos debates sobre a avaliação e extraírem consequências em termos de melhorarem as suas intervenções. Embora este processo de aprendizagem nem sempre tenha sido estruturado formalmente, teve uma grande repercussão no resultado final das revisões intermédias. I I I. RESULTADOS PRINCIPAIS E AJUSTAMENTOS O processo de revisão intermédia assenta nas avaliações, na medida em que estas fornecem um exame global dos resultados obtidos durante a primeira metade do período de programação. Com base nestes elementos, esta parte do relatório analisa os principais resultados deste processo prioritário, em termos de ajustamentos efectuados nos programas existentes, tendo, igualmente, em conta em que medida as prioridades definidas pela Comissão foram integradas nos programas. 3. 1. Relação entre avaliação e reprogramação As avaliações foram entregues no prazo acordado para permitir a utilização dos resultados pelas revisões intermédias realizadas entre 1997 e 199817. Há que referir, em especial, os três novos Estados-membros, que adoptaram disposições formais a fim de lançar as avaliações intermédias, apesar de os respectivos programas terem sido iniciados um ano mais tarde do que os dos outros Estados-membros. A Comissão promoveu a troca de experiências entre avaliadores, de que resultaram novas ideias no que se refere à condução das avaliações. É importante realçar que antes das avaliações e da revisão formal dos programas não foi efectuado qualquer ajustamento importante. De um modo geral, as avaliações revelaràm-se úteis para abordar as questões fundamentais e apontar para os tipos de decisão a adoptar, dependendo a sua utilidade da qualidade intrínseca da análise e do objectivo operacional das suas recomendações. intermédias produziram No domínio do desenvolvimento rural, as avaliações recomendações e propostas concretas a pedido da Comissão e das autoridades gestoras. Nestas condições, foram propostas redistribuições de recursos que, em Espanha e na Alemanha coincidiram com as propostas das autoridades responsáveis, uma vez que os elementos comprovativos (progresso das medidas a partir dos dados relativos ao acompanhamento), eram os mesmos. Por vezes, as avaliações foram realizadas depois de os programas serem alterados, tendo-se constatado a posteriori a inexistência de contradições (França). Em Itália, o avaliador analisou, principalmente, os problemas e as dificuldades de realização; os responsáveis dos programas propuseram redistribuições de recursos. Para a Irlanda, foi referido que as recomendações do avaliador sobre o reforço de certas medidas não puderam ser seguidas por falta de financiamento. 17 As negociações relativas à revisão intermédia sofreram um certo atraso em França - objectivo n° 1 (especialmente, Reunião) e na Grécia (reprogramação das intervenções FEDER; alterações do FSE programadas para a segunda metade de 1998). Em Itália, foram decididas algumas acções de reprogramação em Abril de 1998 e a revisão intermédia terminará em Outubro, com base no progresso real de alguns programas de despesas lentas. - 23 - Exemplo da Irlanda e de Merseyside A título de ilustração do processo de revisão intermédia na sua totalidade, desde o exercício formal de avaliação até à execução das decisões de reatribuição financeira, podem citar-se dois exemplos ligados a dois níveis diferentes de intervenção: um grande QCA (Irlanda) e um DOCUP (Merseyside) (ver caixas n° 13 e n° 14). Caixa n" 13: Revisão intermédia (I) - QCA irlandês De acordo com o relatório, o QCA irlandês constitui um êxito notório e os fundos foram utilizados de um modo eficaz para apoiar e promover uma franca recuperação económica. No âmbito do QCA, a planificação a médio prazo das despesas públicas permitiu uma programação mais sistemática e mais eficaz em vários domínios. A avaliação do QCA levantou questões acerca do interesse da afectação de recursos públicos a determinadas medidas específicas, nomeadamente no que se refere à oferta de serviços gratuitos ou subsidiados que as empresas ou os indivíduos estariam dispostos a pagar. Esta suposição baseia-se no pressuposto de que os mercados constituem o meio mais eficaz para atingir os objectivos económicos e sociais, pelo que a intervenção pública só se justifica no caso de o mercado não funcionar de um modo adequado e se a intervenção em causa não criar distorções económicas. A luz destas considerações, foram identificadas quatro situações em que, do ponto de vista dos avaliadores, a intervenção pública numa economia de mercado se poderia justificar: a oferta de bens e serviços públicos (como infra-estruturas de transportes), que não poderiam existir sem intervenção pública; a introdução de subvenções correctivas destinadas a alterar o preços dos bens e serviços nos casos em que o preço de mercado não reflecte adequadamente os benefícios sociais deles resultantes (por exemplo, custo dos empréstimos a PME); a gestão de projectos centrados no objectivo de mudar os comportamentos graças à correcção de lacunas resultantes da falta de conhecimento, sensibilização ou compreensão (por exemplo, apresentação de novas tecnologias aos proprietários de empresa ou assalariados), a redistribuição da riqueza através de subsídios ou de prestações sociais, para alcançar objectivos sociais muito amplos. A avaliação do QCA agrupou em categorias as 166 medidas QCA recorrendo aos critérios acima referidos. Para cada categoria, foram escolhidas uma ou duas medidas fulcrais - medidas de larga escala ou respeitantes a elementos da política pública existentes desde há muito tempo e bem conhecidos - que foram utilizadas como pontos de referência para as outras medidas da mesma categoria. Com base nestas comparações, determinaram-se as medidas que tinham obtido êxito e as que não o tinham tido. Foram formuladas em seguida cerca de 150 recomendações sobre o modo de utilizar mais eficazmente os recursos QCA, dando particular atenção às medidas mal centradas ou com efeitos indesejáveis. A avaliação sublinhou a necessidade de aumentar as despesas públicas em infra-estruturas físicas, especialmente em estradas não urbanas. Em relação a algumas medidas baseadas na procura, foi sugerido que os objectivos de despesas fossem revistos de acordo com a evolução real, reduzindo, por exemplo, a subvenção para o subprograma da indústria alimentar. Reconheceu-se, também, em discussões no âmbito dos comités de acompanhamento, que se deveria dar uma maior ênfase ao desemprego dos jovens e ao desemprego duradouro, e aumentar as contribuições para medidas específicas a favor da educação e das pessoas desfavorecidas. A avaliação do QCA contém, igualmente, uma série de recomendações pormenorizadas relacionadas com a gestão e a execução de medidas específicas. E realçado, por exemplo, que a concorrência em matéria de fornecimento de serviços subsidiados é insuficiente, devido à posição predominante dos organismos estatais e à falta de concorrência. Em relação ao acompanhamento, o relatório propõe novos melhoramentos dos indicadores de realização, embora ao mesmo tempo admita que o actual QCA constitui a experiência mais avançada no domínio dos sistemas de acompanhamento e dos indicadores. Os resultados da revisão intermédia seguiram, em grande medida, estas recomendações. Assim, as mudanças consistiram, principalmente, na deslocação do interesse do sector produtivo para o desenvolvimento dos recursos humanos e a infra-estrutura económica. As dotações financeiras cifraram-se em 163 milhões de ecus, dos quais 37 milhões para a IDT, 36 milhões para infra-estruturas de transporte - 2 4- e 46 milhões para um leque de medidas para os jovens que não terminaram a escolaridade obrigatória e outros grupos marginalizados. Caixa n° 14: Revisão intermédia (II) - Merseyside (objectivo n° 1) A contribuição financeira dos fundos estruturais para Merseyside compreende uma verba de 816 milhões de ecus repartidos entre os cinco "motores de mudança" do documento único de programação do Merseyside: investimentos estrangeiros e sector das empresas; empresas nacionais e indústrias locais; indústria baseada no conhecimento e tecnologia avançada; cultura, meios de informação e indústria dos tempos livres; acções para os habitantes do Merseyside. A maior parte dos fundos do programa (mais de dois quintos) foi atribuída a este último vector. Os motores "investimentos estrangeiros" e "empresas locais" receberam, respectivamente, um quarto e um quinto dos fundos do programa. O aparecimento do programa único coincidiu com um melhoramento cíclico da conjuntura económica do Reino Unido, caracterizado pela descida do desemprego e pelo crescimento económico, em ambos os casos a níveis superiores à média da UE. Merseyside beneficiou deste melhoramento e, consequentemente, as contribuições dos fundos estruturais estão a ser utilizadas numa situação mais favorável do que a prevista aquando do desenvolvimento do programa único. Embora sejam pequenos relativamente ao Reino Unido na sua totalidade, os melhoramentos em termos de desemprego devem ser encarados no contexto do recente declínio dos principais indicadores sociais e económicos. A avaliação intermédia examinou o impacto actual e potencial do DOCUP nos habitantes e nas actividades de Merseyside, criticou as disposições existentes em matéria de acompanhamento e formulou recomendações sobre o modo como o programa deveria evoluir durante o restante período de programação. A investigação documental foi completada pela análise de 100 projectos individuais, bem como por um inquérito exaustivo e entrevistas aos beneficiários do programa. O volume e a qualidade da investigação em matéria de avaliação foi considerável e compensou em grande medida as restrições financeiras, que limitavam as análises aprofundadas possíveis. O avaliador formulou uma série de recomendações pormenorizadas e fundamentadas, tendo, em particular, proposto que o futuro trabalho de acompanhamento e avaliação incida em projectos maiores que possam obter maior impacto e em questões como as deslocações e a sustentabilidade. Recomendou, igualmente, que o conjuntos existente de indicadores fosse alargado, afim de fomentar a avaliação do impacto do programa. Os indicadores propostos incluíam, entre outros, as taxas de sobrevivência das PME e a utilização de novas tecnologias. Além disso, foi referido que as sinergias no âmbito dos cinco motores do programa e os temas transversais comuns a várias medidas não recebem uma atenção suficiente. Os ajustamentos de reprogramação na fase da revisão intermédia seguirão em linhas gerais as propostas do avaliador, respeitando as prioridades da política regional da Comissão para o final de 1999. No total, foram atribuídos 97 milhões de ecus, principalmente para medidas susceptíveis de provocar directamente a criação de emprego (PME, tecnologia e integração social). Foram criadas novas medidas para a transformação de peixe e o desenvolvimento e aplicação das tecnologias de comunicação. A Comissão também fixou uma data-limite para a revisão exaustiva dos dados de base e de objectivos quantificados, com uma particular atenção para o impacto líquido no emprego. 3. 2. Contribuições globais dos fundos estruturais No âmbito dos objectivos n° 1 e n° 6, todos os QCA, DOCUP e outras formas de intervenção foram objecto de uma revisão intermédia. A única excepção diz respeito aos novos Lànder alemães, onde os ajustamentos aos programas estão a ser efectuados numa base contínua. Todas estas revisões levaram a contribuições financeiras de importância variável para melhorar a eficiência global das intervenções. Devido aos montantes financeiros em causa, a importância destas mudanças é maior em relação aos QCA, de grande dimensão e complexidade, do que aos DOCUP. Não é, contudo, directamente proporcional ao êxito ou ao fracasso dos programas em causa. -25 Mesmo nos casos de êxito (como o QCA irlandês), os programas podem ser melhorados e ajustados, sem por isso alterar as suas grandes prioridades e objectivos. A incidência das contribuições varia bastante entre programas. De um modo geral, as acções centraram-se no progresso financeiro, principalmente no que diz respeito aos programas que não utilizaram totalmente as dotações disponíveis. Além disso, as contribuições reflectiram, igualmente, o grau em que as prioridades da UE foram tomadas em consideração (cf. ponto 4. 3). De um modo geral, foram efectuados poucos ajustamentos (afinações) aos programas, e as prioridades estratégicas não foram afectadas. Em alguns casos (por exemplo, Itália - objectivo n° 1, QCA Portugal), estas alterações implicaram a transferência de recursos de programas ou subprogramas com uma taxa de utilização mais baixa para programas com uma taxa de utilização superior, dando a devida consideração a outros critérios qualitativos. Contudo, na maioria dos casos, procederam-se a alterações no interior dos programas e entre as medidas. Foram também utilizados recursos adicionais provenientes do deflator para recentrar algumas acções, especialmente a favor da criação de emprego. O gráfico n° 4 indica a dimensão das transferências de recursos para cada Estado-membro. As alterações mais importantes foram introduzidas no QCA do objectivo n° 1 em Itália (cerca de 700 milhões de ecus, incluindo recursos não programados e a indexação do QCA para 1998), seguido por Espanha (mais de 600 milhões de ecus) e Grécia (400 milhões de ecus apenas para os programas nacionais). Apesar de avultados, os montantes financeiros envolvidos representam apenas entre 2% (Espanha) e 5% do total das contribuições dos fundos estruturais. Na Irlanda, as transferências financeiras ascenderam a 160 milhões de ecus dos fundos estruturais, ou seja, 3% dos fundos estruturais da União Europeia para o período 1994-99. Na Irlanda do Norte, não foram efectuadas transferências de fundos entre programas, com excepção da atribuição de recursos resultantes do deflator. Na Finlândia e na Suécia, a maior parte das principais alterações foram efectuadas através da fusão de várias medidas, para simplificar a estrutura do programa. Em contrapartida, em alguns programas relativamente pequenos foram introduzidas alterações significativas em termos relativos, isto é, em termos de percentagem do total das contribuições estruturais. No Hainaut belga, cerca de 19% dos recursos disponíveis foram transferidos, nomeadamente para regimes de ajuda às PME. No caso de Flevoland, apesar de relativamente elevados (13%), os fundos transferidos envolveram várias alterações menores nas medidas DOCUP, sem afectar os objectivos globais. É de certo modo difícil apresentar uma visão global da natureza destes ajustamentos. Na secção que se segue serão apresentadas outras análises qualitativas respeitantes exclusivamente a algumas prioridades essenciais da UE. 26- Gráfico n° 4: Reaíribuição dos fundos estruturais por Estado-membro no âmbito da revisão intermédia (milhões de ecus) N> \ ^ Jb. <\. <S <\. <S * ~V -^ ^ V^N'. ^N V<$>N. N> V<S>N ~v. ->. <0^. <0^ •& •& & Q Montante em milhões de ecus • % da reatribuição dos F. S. 1 2 3 3 Dos quais Nord-Pas-de-Calais (19,6 milhões de ecus). Córsega (10,1 milhões de ecus), Guiana (36,1 milhões de ecus) e Martinica (22,4 milhões de ecus). Não foi efectuada qualquer avaliação intermédia. Apenas financiamento do FEDER. Dos quais Irlanda do Norte (69,8 milhões de ecus), Merseyside (97,0) e Highlands e Islands (21 milhões de ecus). 3. 3. Inclusão das prioridades da UE Nem sempre é fácil determinar em que medida foram respeitadas as prioridades da UE estabelecidas nas linhas directrizes da Comissão para a revisão intermédia. Algumas medidas novas ou já existentes que recebam financiamentos adicionais podem dar uma indicação da dimensão dos ajustamentos efectuados. Infra-estrutura de base - reforço das redes transeuropeias de transportes (TEN) A redução das disparidades no respeitante às dotações de infra-estruturas nos sectores dos transportes, da energia, das telecomunicações e do ambiente foi reconhecida como um empenho a longo prazo dos fundos estruturais. Isto reflectiu-se, especialmente, na parte das contribuições (mais de 30%) atribuídas a esta área nos actuais documentos de programação do objectivo n° 1 para 1994-1999. Embora continue a constituir uma prioridade essencial para a maior parte das regiões, a construção de novas infra-estruturas não foi objecto de financiamentos consideráveis. De um modo geral, a ênfase foi dada a projectos específicos TEN, com o objectivo de estabelecer ligações e sistemas eficientes, particularmente no domínio dos transportes (caixa n° 15). - 2 7- Caixan° 15:Programa "Aeroportos"-Itália, objectivou01 O programa "Aeroportos" (contribuição de 10 milhões de ecus), recentemente aprovado pela Comissão, tem por objectivo melhorar ou modernizar os aeroportos existentes no Sul de Itália. Na sequência da revisão intermédia, foi acordada uma contribuição adicional para este programa (50 milhões de ecus), exclusivamente para projectos TEN, afim de aumentar as dotações regionais neste domínio. Ambiente produtivo - uma maior incidência no emprego Os resultados das revisões intermédias mostram que era necessária uma maior incidência no emprego através de uma série de acções (reforço dos regimes de ajuda, pactos territoriais para o emprego, iniciativas de desenvolvimento local, etc). Já foram tomadas várias decisões (por exemplo, a inclusão dos pactos territoriais para o emprego nos principais programas, caixa n° 16) que demonstram a vontade e o empenho políticos de combater mais eficazmente o desemprego. A crescente importância dada ao papel dos projectos enquanto gerador de emprego, especialmente os projectos PME, está também de acordo com as orientações políticas da maior parte dos Estados-membros, o que se reflecte nos QCA e nos DOCUP. Neste contexto, a revisão intermédia pôs em causa a eficácia dos instrumentos políticos em termos de apoio à criação de emprego e de resposta à necessidade de políticas de emprego mais activas através de medidas no domínio dos recursos humanos e da educação. A um nível mais operacional, foi também realçada a determinação dos impactos no que se refere ao emprego (por exemplo, regiões do Reino Unido, Nord-Pas de Calais) e uma melhor tomada de consideração das questões ligadas ao emprego nos critérios de selecção dos projectos (por exemplo, Itália). Caixa n" 16: Pactos territoriais para o emprego Em três Estados-membros (Espanha, Grécia e Itália), os comités de acompanhamento concederam recursos do QCA a um programa ou a uma medida específica para financiar planos de acção para os pactos territoriais para o emprego. Em Espanha (objectivo n° 1), foi dada prioridade a cinco pactos que beneficiarão de uma contribuição de 55 milhões de ecus da UE (resultantes do deflator do QCA), para integrar no novo programa multirregional. Na Grécia, foi previsto que os recursos resultantes do deflator de 1997 e 1998 serão concedidos a sub-programas específicos no âmbito de programas regionais que estão actualmente a ser revistos. Em Itália, as autoridades nacionais propuseram, no contexto da revisão intermédia, um programa multirregional e multifundos de 280 milhões de ecus, dos quais 140 milhões dos fundos estruturais para assistir 9 pactos. Os regimes de ajudas nacionais, co-financiados pelos fundos estruturais, foram, igualmente revistos com vista a uma maior focalização na criação de emprego e nas PME (ver caixa n° 17). Caixa n° 17: PME - QCA grego As autoridades gregas recentraram o seu programa operacional "Indústria" nas PME, com uma contribuição financeira suplementar de 136 milhões de ecus. O regime de ajudas nacionais foi alterado de acordo com as linhas directrizes da Comissão, aumentando o apoio aos serviços às empresas e fornecendo assistência indirecta, em vez de subvenções directas. Foram criados organismos intermediários para gerir as acções a favor das PME e os projectos serão seleccionados por concurso. Foi igualmente iniciada uma avaliação prévia dos projectos de PME a financiar (quase 1 450 projectos para 4 200 pedidos). Ambiente e desenvolvimento sustentável O ambiente, enquanto elemento de um desenvolvimento sustentável, constitui uma das grandes prioridades da União Europeia mais frequentemente abordada no contexto da revisão intermédia. Este objectivo é procurado através da introdução de medidas - 2 8- específicas e, principalmente, através da integração horizontal noutras prioridades do programa. Devido a dificuldades objectivas indicadores, aspectos metodológicos), os resultados da revisão intermédia nem sempre levaram a conclusões directas de carácter operacional no sentido de ajustar os programas. Foi dada especial atenção à inexistência de uma avaliação sistemática da incidência ambiental dos projectos e aos ganhos qualitativos que a sistematização dessas avaliações poderia oferecer aos projectos. Foi preparado o terreno para que a protecção do ambiente e os processo gerais de selecção dos projectos sejam melhorados no próximo período de programação (caixa n° 18). (falta de Caixa n° 18: Integração do ambiente O ambiente é uma preocupação de longa data para a maior parte dos Estados-membros. Para contribuírem adequadamente para a protecção do ambiente, os fundos estruturais devem ter em conta esta questão em todas as decisões de projecto, de modo a minimizar os efeitos nocivos para o ambiente e a maximizar os efeitos positivos, dando preferência, por exemplo, a projectos com um impacto ambiental positivo (acção preventiva, ecoprodutos, etc. ). Os serviços da Comissão estão activamente envolvidos em acções de avaliação do impacto ambiental (lançamento de um estudo temático específico, preparação de um "Manual de avaliação do impacto ambiental dos planos de desenvolvimento regional e programas dos fundos estruturais da UE", etc), afim de melhorar o aspecto da integração. Foram realizados progressos para que o ambiente se torne um verdadeiro "critério de fundo " na selecção de projectos, especialmente na Finlândia e na Suécia. Recentemente, este critério foi igualmente introduzido na Itália, no âmbito do programa Indústria, para a selecção de novos projectos industriais. Investigação e desenvolvimento tecnológico Embora, de um modo geral, já exista uma infra-estrutura de investigação e desenvolvimento, é necessário optimizar os instrumentos já disponíveis. Foram introduzidos alguns melhoramentos, nomeadamente graças ao aumento do investimento DDT destinados às empresas e às indústrias locais (ver caixa n° 19). Caixa n" 19: Investigação e desenvolvimento tecnológico - Irlanda A importância da IDTfoi sublinhada no QCA original e posteriormente alargada, no âmbito da revisão intermédia. Foram consagrados cerca de 37 milhões de ecus a medidas complementares de IDT, no contexto do programa operacional "Indústria ". Serão introduzidos concursos e taxas de ajuda reduzidas. O comité de acompanhamento acordou igualmente que determinados serviços destinados ao sector industrial poderiam ser fornecidos numa base de recuperação dos custos. Sociedade da informação Foram afectados novos meios à sociedade da informação, dada a sua importância para reduzir os efeitos da perifericidade e, deste modo, aumentar o investimento e a produtividade (ver caixa n° 20). Caixa n°20: Sociedade da informação (Portugal, Espanha) Em Espanha, foi criado um novo sub-eixo (6. 6) sobre a sociedade da informação no âmbito do QCA, na sequência de uma recomendação específica do avaliador. Um financiamento inicial de 46 milhões de ecus foi reservado para apoiar esta prioridade. Medidas do FEDER serão consagradas à oferta de serviços profissionais e interactivos às universidades, ao sector do turismo e às empresas. As medidas FSE centrar- se-ão em acções deformação específica para cidadãos e autoridades locais. Em Portugal, a decisão de introduzir uma nova medida de apoio à sociedade da informação no âmbito do sub-programa Telecomunicações constitui uma inovação fulcral do QCA português. Esta medida recebeu cerca de 7 milhões de ecus do FEDER. Além disso, foram igualmente efectuados esforços substanciais em relação a outras intervenções do QCA, nomeadamente o programa de Desenvolvimento Local, graças ao - 2 9- qual todos os organismos de desenvolvimento local estão ligados entre si, ou o programa Educação, com o acesso à Internet nas escolas secundárias. Desenvolvimento dos recursos humanos Em matéria de desenvolvimento dos recursos humanos foi considerado necessário recentrar as intervenções nos desempregados, depois de três anos em que a tónica tinha incidido fortemente nos jovens. A ênfase nos desempregados, de acordo com a abordagem preventiva adoptada nas directrizes para o emprego, revestiu várias formas: reforço das intervenções integradas (orientação e aconselhamento, formação e ajuda ao emprego), subsídios para incentivar a criação de micro-empresas, desenvolvimento de novas formas de formação e serviços de emprego local. No âmbito das intervenções a favor dos jovens, os programas de educação e de formação clássicos foram preteridos às intervenções a favor de jovens ameaçados de exclusão e dos jovens que abandonam prematuramente a escola. Em relação a este aspecto, foi apoiada uma maior integração dos sistemas de educação clássicos e dos sistemas de formação e emprego, especialmente no que se refere à formação profissional do secundário superior (caixa n° 21). Caixa n" 21: Desenvolvimento dos recursos humanos - Irlanda, objectivo n" 1 A revisão intermédia do programa operacional de desenvolvimento dos recursos humanos (HRDOP) na Irlanda foi aprovada pelo comité de acompanhamento (CA) em Outubro de 1997. Esta revisão foi efectuada com base nos relatórios do HRDOP, do QCA e da unidade de avaliação de programas do FSE, mas também em orientações políticas nacionais e comunitárias, como os Livros Brancos do Governo e a Estratégia do Emprego da UE. O pacto relativo à revisão intermédia adoptado pelo CA consiste num quadro político amplo, em reafectações financeiras acompanhadas por um plano financeiro revisto (aproximadamente, 40 milhões de ecus de alterações no âmbito do programa, com um aumento líquido de 14 milhões de ecus para o PO) e na definição de recomendações qualitativas das avaliações dos PO e dos QCA que requerem acção. A medida a favor dos jovens que abandonam prematuramente a escola (reforçada com 26 milhões de ecus) constituiu a principal reafectação do PO; o objectivo era o de oferecer, no mínimo, 1 000 lugares suplementares (a verba financeira permite criar, se necessário, mais 1 400 lugares). As medidas de acompanhamento foram reforçadas, o que possibilitou uma abordagem mais flexível. Também outras medidas previram a reafectação e a atribuição de lugares suplementares para os jovens que abandonam prematuramente a escola. O comité de acompanhamento adoptou recomendações qualitativas para recentrar a acção nos desempregados de longa duração, aumentar a capacidade de resposta da formação em empresas a fim de satisfazer as necessidades dos empregadores e aumentar os investimentos em estruturas de acolhimento para crianças. Igualdade de oportunidades O tema da igualdade de oportunidades foi reforçado em muitos programas, embora esta prioridade constitua, com frequência, um objectivo horizontal, e não, sistematicamente, uma medida propriamente dita. Contudo, foram efectuados esforços significativos para recentrar algumas medidas nesta prioridade, especialmente ao abrigo das intervenções no domínio dos recursos humanos. No âmbito das intervenções do FEDER, foram introduzidas medidas específicas para o empresariado feminino, especialmente nos programas no domínio industrial em Itália e na Grécia (ver caixa n° 22). Caixa n°22: Igualdade de oportunidades - aumento do empresariado feminino O acesso das mulheres aos regimes de criação de empresas foi incentivado num determinado número de programas. Em Itália e na Grécia, uma medida específica a favor do empresariado feminino - apoiada pela legislação nacional - foi introduzida no âmbito dos programas operacionais no domínio industrial. -30- Na Finlândia está previsto garantir o acesso garantido a um regime de "empréstimos a taxas reduzidas ", actualmente em estudo. IV. IMPLICAÇÕES POLÍTICAS E DESAFIOS FUTUROS Os elementos do processo de revisão intermédia apresentados supra tiveram várias implicações em termos políticos. Chamaram a atenção para certas questões de execução e gestão, que poderiam ser tratados durante o resto do período de programação. Além de apontarem para os desafios futuros decorrentes da actual prática de avaliação, constituem uma base de reflexão sobre as prioridades estratégicas para futuros programas. 4. 1. Implicações a curto prazo para os actuais sistemas de concessão Aquando das discussões sobre as revisões intermédias, foi frequentemente referido que os processos de acompanhamento tendem a dar mais importância à execução financeira do que às realizações físicas. A maior parte das avaliações intermédias insistiram na necessidade de novos conjuntos de indicadores que permitam determinar melhor os resultados e os impactos do programa. A definição de tais indicadores - bem como a garantia da fiabilidade e uma quantificação adequada - garantirá a qualidade e o alcance da próxima série de avaliações intermédias. Alguns Estados-membros já tomaram medidas para melhorar um determinado número de elementos nos seus sistemas de concessão actuais, nomeadamente: - fixar objectivos e indicadores claros e quantificados para o acompanhamento e a avaliação (Áustria, Portugal, Itália, Reino Unido); - - estabelecer critérios de selecção dos projectos mais adequados (incluindo critérios ligados ao emprego e ao ambiente - Itália); simplificar os processos de gestão, especialmente no que se refere a programas pequenos (Finlândia, Suécia); - assegurar sinergias entre as diferentes intervenções dos fundos estruturais (Portugal, Espanha). 4. 2. Primeiras reflexões para programas futuros Um dos objectivos da revisão intermédia foi o de introduzir nos programas as alterações necessárias para ter em conta a evolução das circunstâncias e das necessidades ao longo da fase de execução. Paralelamente às avaliações intermédias, tanto a Comissão como os Estados-membros desenvolveram várias análises estratégicas que abarcavam o período após as actuais intervenções. Tais análises destinavam-se a preparar as futuras intervenções dos fundos estruturais, na medida em que abrangiam questões a longo prazo que não poderiam ser tratadas durante o resto dos programas em curso. Por exemplo, a Comissão completou a pequena base de informação oferecida pela avaliação intermédia em Itália com uma série de estudos temáticos sobre as grandes prioridades do QCA: regimes de ajuda ao sector industrial, IDT, ambiente, infra-estruturas de transporte e desenvolvimento dos recursos humanos. Estes estudos visam responder a algumas questões políticas fulcrais, bem como formular recomendações para alterar os futuros QCA. Embora as perspectivas destes exercícios sejam necessariamente vastas, o processo de revisão intermédia beneficiou deste modo de - 3 1- informações úteis, nomeadamente no domínio da futura reorientação das prioridades em matéria de despesas. Alguns Estados-membros já deram início ao processo de reexame das prioridades de financiamento, no contexto da revisão intermédia. Foram, igualmente, realizadas discussões e seminários informais com as autoridades nacionais para abordar alguns problemas essenciais para o futuro. A Comissão lançou quatro estudos temáticos (IDT, PME, ambiente e princípio da parceria) para ajudar a definir as grandes orientações da políticas e facilitar a introdução de novas disposições para o período pós-1999. 4. 3. O desafio da avaliação O presente relatório demonstrou que a avaliação diferentes programas dos objectivos n° 1 e n° 6 registou grandes progressos. Entre os exemplos de boas práticas da avaliação intermédia destacados ao longo do relatório, há que referir: - uma avaliação sã (metodologia e critérios de qualidade); - o envolvimento das parcerias do programa no processo de avaliação; - a organização e o calendário do processo de revisão intermédia; - o papel de feedback da avaliação nas decisões de reprogramação e na antecipação de problemas importantes. Os ensinamentos extraídos desta experiência podem constituir uma base de orientação para os próximos programas em matéria de melhores práticas, a fim de aperfeiçoar a gestão dos fundos. A questão crucial é, por conseguinte, a de saber como ter em conta os resultados para promover uma disseminação mais sistemática das boas práticas, tanto dentro das regiões como entre elas. À luz da experiência obtida até agora, a revisão intermédia mostra que continua a ser necessário melhorar a qualidade do processo, para fazer face aos desafios a enfrentar nos futuros programas. Consolidação da avaliação enquanto instrumento de tomada de decisão A avaliação é cada vez mais encarada como um instrumento de gestão, que deve assistir os responsáveis de decisão e os gestores de programas nas suas tarefas, fornecendo-lhes informações essenciais sobre a eficácia das medidas e dos programas. Esta função deve ser organizada de modo a estabelecer uma relação mais estreita entre a produção de resultados fiáveis e operacionais e a sua integração no processo de tomada de decisão. Para isso há que criar, quando não existam, estruturas adequadas para gerir as actividades de avaliação no contexto da parceria. Melhoramento dos sistemas de acompanhamento e dos indicadores As autoridades nacionais e regionais já adoptaram algumas medidas necessárias para obviar a lacunas ou deficiências dos seus sistemas de acompanhamento durante o resto do período de programação. Para permitir uma gestão mais eficaz, será necessário melhorar a definição dos indicadores e a colheita de dados, bem como melhorar a integração entre os indicadores financeiros e físicos, aspecto este de grande importância para os gestores dos programas. -32 Para os futuros programas, é necessário que exista uma quantificação adequada da situação de referência e dos indicadores de objectivos e que sejam fornecidos dados de referência para facilitar a comparação dentro de um mesmo programa e entre programas diferentes. A este respeito, a Comissão publicará, atempadamente, um documento de lista indicativa dos orientação sobre questões metodológicas, que incluirá uma indicadores pertinentes para as principais áreas das intervenções dos fundos estruturais. Apoio às metodologias de avaliação No que se refere à metodologia de avaliação, foram realizados grandes progressos. O programa MEANS, iniciado pela Comissão em 1994, contribuiu para desenvolver a capacidade de organização da Comissão com base na experiência directa dos fundos estruturais. Não existe uma metodologia de avaliação única e normalizada, existe sim um vasto leque de métodos que deveriam ser aplicados em função das necessidades específicas e da situação de cada programa. No entanto, é necessário que, tanto os avaliadores, como os gestores de projectos, que deverão determinar a qualidade dos resultados das avaliações, melhorem os seus conhecimentos em matéria de técnicas de avaliação. Promoção da troca de experiências multilateral Dado que a avaliação foi considerada um instrumento fundamental da tomada de decisões as autoridades nacionais e regionais de um modo geral estão muito interessadas em reunir de modo informal para trocar experiências e opiniões neste domínio. O Grupo Técnico de Avaliação ao nível europeu, constituído por representantes dos Estados-membros e funcionários da Comissão ligados à gestão dos fundos estruturais, poderia ser um fórum adequado para debater questões ligadas à avaliação e difundir as melhores práticas. As principais questões de interesse comum incluem o tipo e a importância dos métodos de avaliação (por exemplo, a medição dos efeitos no emprego) e a difusão dos resultados da avaliação para fins políticos. A eficácia global das intervenções dos fundos estruturais dependerá, igualmente, da medida em que as autoridades nacionais e regionais dêem os passos necessários para melhorar os sistemas de acompanhamento e da sua capacidade para aplicar os princípios das boas práticas ao próximo processo de revisão intermédia. 33 Anexo 1 : lista de Caixas Caixa 1: Determinação da viabilidade da avaliação - programa operacional Caixa 2: Caixa 3: Caixa 4: Caixa 5: Caixa 6: Caixa 7: Andaluzia do FEDER (objectivo n° 1) Gestão das avaliações - criação de estruturas ad-hoc Determinação da qualidade de uma avaliação - avaliação do QCA irlandês Hainaut (objectivo n° 1) - o modelo HELM Avaliação da eficácia mediante indicadores de programa - o exemplo de Merseyside-Objectivo n° 1 (1994-1999) - realizações e resultados efectivos das intervenções do FEDER Realizações importantes no domínio das infra-estruturas de base Algumas realizações no sector do ambiente produtivo Caixa 8: Impacto das acções de formação nos beneficiários Caixa 9: Avaliação das intervenções agrícolas - o caso do PAMAF (modernização das estruturas agrícolas em Portugal). Caixa 10: Um exemplo - programa Espanha, objectivo n° 1 Caixa 11 : Melhorar os sistemas de acompanhamento Caixa 12: Merseyside - sistemas de pontuação dos projectos FSE/FEDER Caixa 13: Revisão intermédia (I) - QCA irlandês Caixa 14: Revisão intermédia (II) - Merseyside (objectivo n° 1) Caixa 15: Programa "Aeroportos" - Itália, objectivo n° 1 Caixa 16: Pactos territoriais para o emprego Caixa 17: PME - QCA grego Caixa 18: Integração do ambiente Caixa 19: Investigação e desenvolvimento tecnológico - Irlanda Caixa 20: Sociedade da informação (Portugal, Espanha) Caixa 21: Desenvolvimento dos recursos humanos - Irlanda, objectivo n° 1 Caixa 22: Igualdade de oportunidades - aumento do empresariado feminino 34 Anexo 2: Implementação financeira dos programas Objectivo 1 e 6 Compromissos/total da intervenção dos Fundos Estruturais do Objectivo 1 Pagamento/total da intervenção dos Fundos Estruturais do Objectivo 1 nsw-aj annual • acumulado N*% A* 1994 1995 1996 1997 1998(1° semestre) annual —•— acumulado ! Implementação financeira dos programas Objectivo por Estado Membro (31. 12. 97) % 75 7(H 65 60 55 50 i 45 : I 40 '' 35 30 25 20 15 10 5 0 69 iiiiiin Alemanha Espanha França Grécia Manda Itália Bélgica Falses Baixos Áustria Rxlugal Reino Unido Total QOorrprorrissos/lota] da intervenção dos Fundos Estruturais 1994-97 • Pagamento/total da intervenção dos Fundos Estruturais 1994-1997 (Áustria : DOCUP aprovado em 1995) -35 Implementação financeira dos programas Objectivo 6 - Finlândia Compromissos/total da intervenção dos Fundos Estruturais do Objectivo 6 Finlândia Pagamento/total da intervenção dos Fundos Estruturais do Objectivo 6 Finlândia 57 1994 1995 1996 1997 annual acumulado ' — õ— 1998(1° semestre) 1995 1996 1997 annual -•— acumulado 1998(1° serrestre) L Implementação financeira dos programas Objectivo 6 - Suécia Compromissos/total da intervenção dos Fundos Estruturais do Objectivo 6 - Suécia Compromissos/total da intervenção dos Fundos Estruturais do Objectivo 6 - Suécia % 60 50 40 30 + 20 10 0 1994 1 annual 1995 1996 —•— acumulado 1997 I 1998(1 semestre) I annual -•— acumulado 1997 1998(1° semestre) - 3 6- Anexo 3: Lista de relatórios Relatórios Objectivo 1 Austria Belgium Germany Germany Germany Germany Germany Germany Germany Spain Spain Spain Spain Spain Spain Spain BURGENLAND : ZWISCHENEVALUATION DES ZIEL1-PROGRAMMS BURGENLAND: Endbericht HAINAUT : EVALUATION INTERMEDIAIRE DU DOCUP OBJECTIF 1 HAINAUT - RAPPORT FINAL - REGION WALLONNE BERLIN: ZWISCHENBEWERTUNG DER EU- STRUKTURFONDSINTERVENTIONEN IM LAND BERLIN IM ZEITRAUM 1994 BIS 1996 BRANDENBURG: ZWISCHENBEWERTUNG ZUM EINSATE DES EFRE, DES ESF UND DES EAGFL-A IM LAND BRANDENBURG 1994-1996 MECKLENBURG-VORPOMMERN : ZWISCHENBEWERTUNG DES EINSATZES DER EUROPÀISCHEN STRUKTURFONDS (EAGFL, EFRE, ESF) FUR DIE PERIODE 1994 BIS 1996 IM BUNDESLAND MECKLENBURG-VORPOMMERN SACHSEN : ZWISCHENEVALUIERUNG DES EINSATZES DER EUROPÀISCHEN STRUKTURFONDS IM FREISTAAT SACHSEN 1994-1996 SACHSEN-ANHALT: ZWISCHENBEWERTUNG DES EINSATZES DER EU-STRUKTURFONDS IN SACHSEN-ANHALT FUR DEN ZEITRAUM 1994 BIS 1996 THURINGEN : DIE EUROPÀISCHEN STRUKTURFONDS IN THURINGEN : ZWISCHENBEWERTUNG DES MITTELEINSATZESVON 1994 BIS 1996 NEUE BUNDESLÀNDER : DIE EUROPÀISCHEN STRUKTURFONDS IN DEN NEUEN BUNDESLÀNDERN - ZWISCHENBEWERTUNG DES MITTELEINSATZES VON 1994 BIS 1996 (BERLIN/ BRANDENBURG/MECKLENBURG- VORPOMMERN/SACHSEN/SACHSEN- ANHALT/THURINGEN) PO CANARIES : EVALUACION INTERMÉDIA PROGRAMA OPERATIVO DE CANÁRIAS (FEDER) 1994-1999 OP INCENTIVOS REGIONALES : EVALUACION INTERMÉDIA DEL PROGRAMA OPERATIVO DE INCENTIVOS REGIONALES FEDER (1994-1999) PARA LAS REGIONES ESPANOLAS INCLUÍDAS EN EL OBJETIVO N°l DELOS FONDOS ESTRUCTURALES EUROPEOS CANTÁBRIA : ESTÚDIO DE EVALUACION INTERMÉDIA DEL PROGRAMA OPERATIVO DE CANTÁBRIA (FEDER) 1994-1999 CASTILLA Y LEON : EVALUACION DE LOS PROGRAMAS OPERATIVOS DEL FEDER Y DEL FSE 1994-1999 DE CASTILLO Y LEON EVALUACION INTERMÉDIA DE LA SUBVENCION GLOBAL FEDER-CDTI EN LAS REGIONES OBJETIVO 1 (1994-1999) ESTÚDIO DE EVALUACION INTERMÉDIA DEL PROGRAMA OPERATIVO DE INFRAESTRUCTURA CIENTIFICA DEI PERÍODO 1994-1999, EN REGIONES ESPANOLAS INCLUÍDAS EN EL OBJ. I, COFINANCIADO CON FEDER Y COORDINADO POR CICYT EVALUACION INTERMÉDIA DEL MARCO COMUNITÁRIO DE APOYO-REGIONES OBJETIVO 1- 1994-1999-ESPANA 37 Apr-98 OIR Apr-97 SEMA GROUP/RIDER- UCL May-97 PROGNOS BERLIN May-97 TROJE BERENTUNG HANN, MÚNCHEN Apr-97 BUSTRO GmbH ROSTOCK May-97 DIW BERLIN May-97 ISW HALLEFLEIPZIG May-97 IFOINSTITUTFUR WIRTSCHAFTSFOR- SCHUNG DRESDÈN Sep-97 IFOINSTITUT FOR WIRTSCHAFTSFOR- SCHUNG DRESDÊN Jun-97 SERVICIOS OMICRON, S. A. May-97 SERVICIOS OMICRON SA Jun-97 INFYDE Jan-97 (UNIV. VALLADOLID) Jun-97 INFYDE/CDTI Jul-97 PRICE WATERHOUSE Sep-97 QUASAR Spain Spain Spain Spain Spain Spain Spain Spain Spain Spain Spain France France France France Jul-97 (UNIV. VALLADOLID) Jun-97 GEDESA May-97 AGRO CONSULTING INTERNATIONAL May-97 Jul-96 ARANDA Y BELTRAN S. L. ESTÚDIOS Y ANALISIS SÓCIO ECONÓMICOS UNIVERSIDAD DE OVIEDO Dec-97 ANDERSON ARTHUR Aug-97 ECOTEC Jul-97 Mar-98 UNIVERSIDAD DE CASTILLA-LA MANCHA INSTITUTO DE DESARROLLO REGIONAL, FUNDACIÓN UNIVERSITÁRIA ARENAL GRUPO CONSULTOR SL INSTITUTO DE DESARROLLO REGIONAL, FUNDACIÓN UNIVERSITÁRIA FERE CONSULTANTS Jun-97 Feb-98 ERNST & YOUNG Dec-97 ACT Feb-96 CODE/ATHOS CASTILLA Y LEON. EVALUACION DE LOS PROGRAMAS OPERATIVOS DEL FEDER Y DEL FSE 1994-1999 DE CASTILLO Y LEON CEUTA : 2e ESTÚDIO DE EVALUACION INTERMÉDIA DEL MARCO DE APOYO COMUNITÁRIO DE LAS REGIONES OBJETIVO N°l PARA CEUTA (PO CEUTA 1994-1999) GALICIA: EVALUACION INTERMÉDIA DEL PROGRAMA OPERATIVO DE GALICIA 1994-1999 cofinanciado por el FEDER (PO GALICIA) PO MELILLA : EVALUACION INTERMÉDIA DEL PROGRAMA OPERATIVO FEDER DE MELILLA 1994- 1999 ASTÚRIAS : EVALUACION DEL PROGRAMA OPERATIVO DEL PRINCIPADO DE ASTÚRIAS (FEDER) 1994-1999 - INFORME PREPARATÓRIO OP LOCAL : ESTÚDIO DE EVALUACION INTERMÉDIA DEL PROGRAMA OPERATIVO LOCAL (FEDER) 1994-1999 PARA LAS REGIONES ESPANOLAS INCLUÍDAS EN EL OBJETIVO N° 1 DE LOS FONDOS ESTRUCTURALES EUROPEOS OP MÉDIO AMBIENTE: EVALUACION INTERMÉDIA DEL PROGRAMA OPERATIVO DEL MÉDIO AMBIENTE LOCAL (FEDER) 1994-1999 EN REGIONES ESPANOLAS INCLUÍDAS EN EL OBJETIVO NO 1 DE LOS FONDOS ESTRUCTURALES EUROPEOS OP CASTILLA-LA-MANCHA. SEGUNDO INFORME DE EVALUACION-PROGRAMA OPERATIVO FEDER DE CASTILLA-LA MANCHA 1994-1999 ANDALUCÍA : EVALUACION INTERMÉDIA DEL P. O. ANDALUCIA 1994-1999 ANDALUCÍA : SUBVENCIÓN GLOBAL DE ANDALUCÍA 1994-1999 : INFORME DE EVALUACION INTERMÉDIA DONANA : EVALUACION INTERMÉDIA DEL P. O. DONANA Ha PHASE (OBJ. 1) Mar-98 May-97 CORSE : EVALUATION INTERMEDIAIRE DOCUP OBJECTIF 1 CORSE 1994-1999 GUYANE : EVALUATION INTERMEDIAIRE DE LA MISE EN OEUVRE EN GUYANE DES PROGRAMMATIONS REGIONALES (1994-1999) COFTNANCEES PAR LUNION EUROPEENNE (DOCUP ET REGIS II) - SYNTHESE DU RAPPORT NORD-PAS-DE-CALAIS (AVESNES / DOU AI / VALENCIENNES): PROGRAMME OBJECTIF 1 (1994- 1999): EVALUATION INTERMEDIAIRE, EVALUATION DENSEMBLE DU PROGRAMME, ASPECTS SECTORIELS EVALUATION DES MESURES GUADELOUPE:EVALUABILITE DU DOCUP GAUDELOUPE : RAPPORT D'ETUDE (DOCUP 1994- 1999) -38 Greece Greece Greece Greece Greece Greece Greece Greece Greece Greece Greece Greece Ireland Ireland Ireland Ireland Ireland Ireland Ireland Ireland Ireland Ireland Ireland Italy Netherlands Portugal Portugal PELOPONNESE: INTERMEDIATE EVALUATION OBJECTIVE 1 - OPERATIONAL PROGRAMME 1994- 1999 (a) VOL. A (b) VOL. B GRECE OCCIDENTALE (GRECE OUEST): INTERMEDIATE EVALUATION OBJECTIVE 1 - OPERATIONAL PROGRAMME CDS P. O. EPIRIUS : INTERMEDIATE EVALUATION 1994-1999 OBJECTIVE 1 - OP CRETE : INTERMEDIATE EVALUATION OBJECTIVE 1 - OPERATIONAL PROGRAMME 1994-1999 THESSALIE : INTERMEDIATE EVALUATION OBJECTIVE 1 ~O. P. 1994-1999 ILES IONIENNES : INTERMEDIATE EVALUATION OBJECTIVE 1 -O. P. 1994-1999 MACEDOINE CENTRALE + THRACE : INTERMEDIATE EVALUATION OBJ. 1 - O. P. 1994-99 MACEDOINE OCCIDENTALE: INTERMEDIATE EVALUATION OBJECTIVE 1 O. P. 1994-1999 MACEDOINE CENTRALE: INTERMEDIATE EVALUATION OBJECTIVE 1 - O. P. 1994-1999 PO GRECE CONTINENTALE (=CENTR. ): INTERMEDIATE EVALUATION O. P. OBJ. 1 - 1994-1999 EGEE DU SUD : INTERMEDIATE EVALUATION OBJECTIVE 1 ILES DE LA MER EGEE SUD - OPERATIONAL PROGRAMME 1994-1999 CSF GRECE : OBJ. l - 1994-1999 EXTERNAL EVALUATION OF THE OPERATIONAL PROGRAMME FOR INDUSTRIAL DEVELOPMENT 1994-1999 : MID-TERM REVIEW CSF MID-TERM EVALUATION MID TERM EVALUATION OF OPERATIONAL PROGRAMME FOR ECONOMIC INFRASTRUCTURE MID-TERM EVALUATION OF THE LOCAL, URBAN AND RURAL DEVELOPMENT O. P. MID-TERM EVALUATION OF THE HUMAN RESOURCES DEVELOPMENT-O. P. 1994-1999 MID TERM EVALUATION OF THE O. P. FOR ENVIRONMENTAL SERVICES 1994-1999 OPERATONAL PROGRAMME FOR TRANSPORT - MID TERM EVALUATION MID-TERM EVALUATION OF THE OPERATIONAL PROGRAMME FOR TOURISM 1994-1999 OPERATIONAL PROGRAMME FOR AGRICULTURE, RURAL DEVELOPMENT AND FORESTRY 1994-1999 MID-TERM EVALUATION OF OPERATIONAL PROGRAMME FOR FISHERIES 1994-1999 MID-TERM EVALUATION : REGIONAL IMPACT OF THE COMMUNITY SUPPORT FRAMEWORK FOR BRELAND 1994-1999 VALUTAZIONE Dl MÉDIO TERMINE QUADRO COMUNITÁRIO Dl SOSTEGNO 1994-99 delle REGIONI ITALIANE DELUOBIETTIVO 1 FLEVOLAND: ON-GOING EVALUATIE DOELSTELLING 1 PROGRAMMA AMBIENTE:AVALIACAO INTERCALAR DO PROGRAMA AMBIENTE - EVALUATION DU SOUS- PROGRAMME ENVIRONNEMENT DU CCA II PT ALENTEJO:AVALIACAO INTERCALAR DO PROGRAMA OPERACIONAL DA REGIÃO DO ALENTEJO - CCA 1994-1999 May-97 OMAS LTD Jun-97 EEO GROUP SA Apr-97 May-97 May-97 PROPTIKI S. A. - METPON ASTIKI DIACHIRISI S. A. YPODOMILTD May-97 PROOVADISMA LTD Apr-97 INDECO S. A. May-97 EXANTAS LRD May-97 EUROTEC LTD May-97 LDK May-97 ENVIPLAN Mar-98 Feb-97 REMACO ERNST & YOUNG Apr-97 Feb-97 ESRI INDECON Jan-97 GOODBODY Feb-97 GOODBODY Jan-97 ERM Feb-97 Feb-97 Jan-97 Feb-97 Feb-97 DKM ECONOMIC CONSULTANTS F1TZPATRICK ASSOCIATES FITZPATRICK ASSOCIATES INDECON FITZPATRICK ASSOCIATES Jul-97 Jan-97 Feb-97 NÚCLEO Dl VALUTAZIONE/INEA E ISFOL RESEARCH VOOR BELEID QUATERNAIRE (PINHO PAULO) Feb-97 CESO I&D 39 Portugal Portugal Portugal Portugal Portugal Portugal Portugal Portugal Portugal Portugal Portugal Portugal Portugal Portugal Portugal Portugal Portugal Portugal AMBIENTE:ESTUDO DE AVALIACAO INTERCALAR DA INTERVENCAO OPERACIONAL-RENOVACAO URBANA DO PROGRAMA"AMBIENTE E REVITALIZACAO URBANA DO QUADRO COMUNITARIO DE APOIO 1994-1999 SOCIAL:SUB-PROGRAMA INTEGRAR AVALIAÇÃO INTERCALAR LISBOA E VALE DO TEJO:ESTUDO DE AVALIAÇÃO INTERCALAR DO PROGRAMA OPERACIONAL DA REGIÃO DE LISBOA E VALE DO TEJO PPDR:ESTUDO DE AVALIAÇÃO INTERCALAR PROGRAMA OPERACIONAL PROMOÇÃO DO POTENCIAL DE DESENVOLVIMENTO REGIONAL - QUADRO COMUNITÁRIO DE APOIO 1994-1999 SAUDE. AVALIACAO INTERCALAR DA INTERVENÇÃO OPERACIONAL DA SAÚDE ENERGIA:AVALIACAO INTERCALAR DO PROGRAMA ENERGIA E DO PROJECTO DE GAS NATURAL (INTERREG II - CONCLUSÃO DAS REDES DE ENERGIA) DO QCA II (1994-1999) PO CENTRO:ESTUDO DE AVALIAÇÃO INTERCALAR DO P. 0. REGIÃO CENTRO PO NORTE:ESTUDO DE AVALIAÇÃO INTERCALAR DO PRONORTE PEDIP II: AVALIAÇÃO INTERCALAR DO PEDIP II: RELATÓRIO FINAL INTERCALAR PESCA : AVALIAÇÃO INTERCALAR DA INTERVENÇÃO OPERACIONAL DAS PESCAS TURISMO : ESTUDO DE AVALIAÇÃO INTERCALAR DA INTERVENÇÃO OPERACIONAL TURISMO E PATRIMÓNIO CULTURAL DO PROGRAMA MODERNIZAÇÃO DO TECIDO ECONÓMICO AGRICULTURA : QCA II: ESTUDO DE AVALIAÇÃO INTERCALAR DA INTERVENÇÃO OPERACIONAL AGRICULTURA : PROGRAMA MODERNIZAÇÃO DO TECIDO ECONÓMICO - PERÍODO 1994-1996 PROFAP : PROGRAMA INTEGRADO DE FORMAÇÃO PARA A MODERNIZAÇÃO DA ADMINISTRAÇÃO PUBLICA - PROFAP 2 : ESTUDO DE AVALIAÇÃO INTERCALAR ALGARVE : ESTUDO DE AVALIAÇÃO INTERCALAR DO PROGRAMA OPERACIONAL DO ALGARVE TELECOMUNICAÇÕES : ESTUDO DE AVALIAÇÃO DA INTERVENÇÃO OPERACIONAL DAS TELECOMUNICAÇÕES DO PROGRAMA INFRA- ESTRUTURAS DE APOIO AO DESENVOVIMENTO DO QCA SUB-PROGRAMMETRANSPORTES-. AVALIACAO INTERCALAR DA INTERVENÇÃO OPERACIONAL DOS TRANSPORTES DO PROGRAMA INFRA- ESTRUTURAS DE APOIA AO DESENVOLVIMENTO DO QUADRO COMUNITARI DE APOIO 1994-1999, NO PERÍODO ENTRE 1994 E 1996 SUB-PROGRAMME COMERCIO E SERVIÇOS :ESTUDO DE AVALIAÇÃO INTERCALAR DA INTERVENÇÃO OPERACIONAL COMERCIO E SERVIÇOS ACORES=ESTUDO DE AVALIAÇÃO INTERCALAR DO PROGRAMA OPERACIONAL DA REGIÃO AUTÓNOMA DOS AÇORES DO QUADRO COMUNITÁRIO DE APOIO 1994-1999 40 Mar-97 Jan-97 PARTEX-INSTITUTO DE GESTAO E ALIENACAO DO PATRIMONIO HABITACIONAL DO ESTADO CIES Jan-97 CEDRU Jan-97 CEETA Feb-97 CESO I&D Jan-97 IESE Jan-97 CEDRU Jan-97 QUATERNAIRE Mar-97 Apr-97 UNIVERSIDADE CATÓLICA PORTUGUESA CESO I&D Feb-97 DELOITTE & TOUCHE Jun-97 AGRO. GES Mar-97 QUATERNAIRE Jan-97 CEDRU Mar-97 SILICON Apr-97 CISED Nov-97 CESO I&D Feb-97 CESO I&D Portugal Portugal Portugal Portugal United Kingdom (IRN) United Kingdom (IRN) United Kingdom (IRN) United Kingdom (IRN) United Kingdom (IRN) United Kingdom (IRN) United Kingdom (IRN) United Kingdom (IRN) United Kingdom (IRN) United Kingdom United Kingdom SUB-PROGRAMME EDUCACAO:AVALIACAO INTERCALAR DE PRODEP II: EDUCACAO CIÊNCIA E TECNOLOGIA:ESTUDO DE AVALIAÇÃO INTERCALAR DO SUB-PROGRAMA CIÊNCIA E TECNOLOGIA OP PESSOA: ESTUDO DE AVALIAÇÃO INTERCALAR PROGRAMA OPERACIONAL EMPREGO E FORMAÇÃO PROFISSIONAL DO OCA II 1994-1999 (PROGRAMMA PESSOA) CSF PORTUGAL-OBJ. l AVALIAÇÃO INTERCALAR DO QUADRO COMUNITÁRIO DE APOIO II NORTHERN IRELAND SINGLE PROGRAMME 1994- 1999 - MID TERM REVIEW - EXTERNAL EVALUATION MID-TERM REVIEW OF THE ENVIRONMENTAL SERVICES AND PROTECTION SUB-PROGRAMME MEASURES 4. 1. 8 AND 4. 19. OF THE SUB- PROGRAMME FOR AGRICULTURE AND RURAL DEVELOPMENT : MID TERM EVALUATION MID-TERM EVALUATION OF THE NORTHERN IRELAND SINGLE PROGRAMME FOR AGRICULTURE AND RURAL DEVELOPMENT (SPARD) ENERGY SUB-PROGRAMME 1994-1999 : MID-TERM REVIEW Sep-97 QUATERNAIRE Feb-98 IESE/GEOIDEIA Mar-97 IESE (INSTITUTO DE ESTUDOS SOCIAIS E ECONÓMICOS jun-98 CISEP May-97 COLIN STUTT CONSULTING Dec-96 PIEDA CONSULTANTS Feb-97 COOPERS & LYBRAND Mar-97 ERM Jan-97 ERM MID TERM EVALUATION OF THE TRANSPORTATION SUB-PROGRAMME, 1994-1999 Jan-97 ERM MID-TERM EVALUATION OF THE INVESTMENT IN THE DEVELOPMENT OF PEOPLE SUB-PROGRAMME, NORTHERN IRELAND SINGLE PROGRAMME 1995-99 MID TERM REVIEW OF PHYSICAL & SOCIAL ENVIRONMENT PROGRAMME (EU S. F. ) Dec-96 LRDP Jan-97 COOPERS & LYBRAND MID-TERM EVALUATION OF THE TOURISM SUBPROGRAMME 1994-1999 Feb-97 NIERC MERSEYSIDE: MID-TERM EVALUATION OF MERSEYSIDE OBJECTIVE ONE PROGRAMME HIGHLANDS AND ISLANDS - OBJECTIVE 1 PROGRAMME INTERMEDIATE ASSESSMENT Nov-96 PIEDA PLC Jun-97 SQW Relatórios Objectivo 6 Finland SUOMEN TAVOITE 6 - OHJELMAN ARVIOINNIN VÀLIRAPORTTI [FI] Jan-98 Sweden HALVTIDSUTVÀRDERING AV SVERIGES NAL-6- PROGRAM Nov-97 HELSINGIN YLIOPISTON TIETOPALVELUT OY/ETLATIETO OY/OY FINNAGRO AB/INT. DEVEL. IRL/PE LLERVON NORD-REGIO-EPRC 41 ISSN 0257-9553 COM(98) 782 final DOCUMENTOS PT 04 13 09 16 N. ° de catálogo : CB-C0-98-786-PT-C Serviço das Publicações Oficiais das Comunidades Europeias L-2985 Luxemburgo (A Z~