title: Relatório Especial nº 15/98 sobre a avaliação das intervenções dos fundos estruturais nos períodos de 1989-1993 e 1994-1999, acompanhado das respostas da Comissão (Apresentado nos termos do nº 4, segundo parágrafo, do artigo 188º-C do Tratado CE)

eurovoc_concepts:
Community support framework
Structural Funds
impact study
management
operational programme
project evaluation

text: 16. 11. 98 PT Jornal Oficial das Comunidades Europeias C 347/1 I (Comunicações) TRIBUNAL DE CONTAS RELATÓRIO ESPECIAL No. 15/98 sobre a avaliação das intervenções dos fundos estruturais nos períodos de 1989-1993 e 1994-1999, acompanhado das respostas da Comissão (Apresentado nos termos do no. 4, segundo parágrafo, do artigo 188o. -C do Tratado CE) (98/C 347/01) ÍNDICE Pontos Página 1. INTRODUÇÃO. 1. 1 — 1. 4 2. ÂMBITO DA AUDITORIA. 2. 1 — 2. 3 3. RESUMO DAS PRINCIPAIS OBSERVAÇÕES. 3. 1 — 3. 12 4. PROBLEMAS GERAIS. 4. 1 — 4. 36 Introdução. 4. 1 — 4. 11 Quadro de refereˆncia. 4. 12 — 4. 13 Bases estatísticas e informações sobre os objectivos visados. 4. 14 — 4. 15 Indicadores. 4. 16 — 4. 21 Tomada em conta da avaliação. 4. 22 — 4. 27 Objectividade das avaliações. 4. 28 — 4. 30 Contratos de avaliação adjudicados pela Comissão. 4. 31 — 4. 36 5. AVALIAÇÕES EX POST DOS QCA DOS OBJECTIVOS No. s 1 e 2 (1989- -1993). 5. 1 — 5. 17 Introdução. 5. 1 Avaliações ex post dos QCA do objectivo no. 1 (1989-1993). 5. 2 — 5. 8 Avaliações ex post do objectivo no. 2 (1989-1993). 5. 9 — 5. 17 3 3 4 5 5 6 7 7 8 8 9 9 9 10 11 C 347/2 PT Jornal Oficial das Comunidades Europeias 16. 11. 98 Pontos Página 6. AVALIAÇÕES INTERCALARES (1994-1999). 6. 1 — 6. 27 Desenvolvimento e integração dos princípios de avaliação intercalar. 6. 1 — 6. 7 Procedimentos de execução. 6. 8 — 6. 13 Prioridades atribuídas aos objectivos da avaliação. 6. 14 — 6. 20 Abordagens, me´todos e te´cnicas. 6. 21 — 6. 26 Realização dos programas do objectivo no. 2 (1994-1996). 6. 27 7. IMPACTO DOS FUNDOS ESTRUTURAIS E MODELOS DE AVALIA- ÇÃO. 7. 1 — 7. 22 Impacto ao nível dos QCA e dos programas. 7. 1 — 7. 15 Resultados dos modelos em mate´ria de impacto dos fundos estruturais 7. 1 — 7. 13 Crescimento do PIB. 7. 2 — 7. 3 Convergeˆncia real em termos de PIB per capita. 7. 4 — 7. 8 Emprego e desemprego. Eficácia dos instrumentos dos QCA. 7. 9 7. 10 Obrigação de adicionalidade e de co-financiamento. 7. 11 — 7. 12 Desenvolvimento durável. 7. 13 Papel da avaliação a nível macroeconómico no processo decisório dos fundos estruturais. 7. 14 — 7. 15 Impacto ao nível dos subprogramas, das medidas e dos projectos. 7. 16 — 7. 22 8. CONCLUSÃO. 8. 1 — 8. 19 QUADROS. ANEXOS. Respostas da Comissão. 13 13 14 15 15 16 17 17 17 17 17 18 18 18 18 19 19 20 22 31 40 16. 11. 98 PT Jornal Oficial das Comunidades Europeias C 347/3 1. INTRODUÇÃO 1. 1. A reforma dos fundos estruturais (FE) de 1988 previa a obrigação de a Comissão e de os Estados- -Membros avaliarem as políticas estruturais europeias. Essa obrigação foi reforçada em 1993 pela nova regula- mentação resultante da revisão da reforma dos FE (1994- -1999) e pelas cláusulas-padrão dos novos quadros comunitários de apoio (QCA) e dos documentos únicos de programação (DOCUP). 1. 2. A avaliação, instrumento indispensável para uma boa gestão dos FE, e´ definida nas principais disposições regulamentares (1) como uma apreciação da eficácia a treˆs níveis: a) Impacto do conjunto das acções estruturais sobre os objectivos definidos no artigo 130o. -A do Tratado; b) Impacto do conjunto das acções previstas nos CA; c) Impacto específico de cada intervenção operacional (programas e outras formas de intervenção). 1. 3. A avaliação processa-se, nomeadamente, em treˆs fases: a) A apreciação ex ante (2), que permite identificar cor- rectamente os problemas socioeconómicos a resolver e os objectivos a atingir, por um lado e, por outro, a estrate´gia adoptada para os resolver, dotada dos meios disponíveis; b) A avaliação intercalar, que permite verificar, durante a execução de um programa, a pertineˆncia dos objec- tivos e a existeˆncia de boas perspectivas quanto ao alcance dos resultados esperados; c) A avaliação ex post, realizada após o encerramento do programa, que serve para analisar se os resultados e efeitos obtidos podem ser considerados positivos, já que os efeitos a longo prazo de uma acção estrutural só começam a ser observados vários anos depois do encerramento do programa. (1) Trata-se, nomeadamente, do: a) Artigo 6o. do regulamento-quadro [Regulamento (CEE) no. 2052/88, com a última redacção que lhe foi dada pelo Regulamento (CEE) no. 2081/93], relativo às missões dos fundos com finalidade estrutural, à sua eficácia e à coordenação das suas intervenções; b) Artigo 26o. do regulamento sobre a coordenação dos fundos [Regulamento (CEE) no. 4253/88, com a última redacção que lhe foi dada pelo Regulamento (CEE) no. 2082/93]. (2) Por vezes, a «apreciação ex ante» e´ designada por «avaliação ex ante». No presente relatório, o Tribunal preferiu manter o termo regulamentar «apreciação ex ante». 1. 4. A regulamentação, alterada em 1993, sublinha a responsabilidade dos Estados-Membros e da Comissão em mate´ria de avaliação, que se inscreve no âmbito da parceria (3). Nesse contexto, a Comissão tomou a inicia- tiva do enquadramento e da coordenação geral da execu- ção da avaliação e apresenta, de treˆs em treˆs anos, um relatório de avaliação, previsto pelo artigo 16o. do Regu- lamento (CEE) no. 2052/88, sobre os progressos alcança- dos em mate´ria de coesão económica e social e sobre a forma como os fundos e o co-financiamento dos Estados- -Membros contribuíram para o efeito. 2. ÂMBITO DA AUDITORIA 2. 1. O inque´rito do Tribunal (4) teve como objectivo geral verificar os progressos realizados em mate´ria de avaliação das intervenções estruturais comunitárias, tanto a nível dos sistemas e dos procedimentos de avaliação como a nível metodológico. O exame incidiu sobre as modalidades de execução da avaliação das intervenções estruturais, tanto pela Comissão como no âmbito da parceria, tendo sido examinadas a utilização legal e regular das dotações do orçamento das Comunidades destinadas à avaliação, bem como a qualidade da sua gestão financeira. 2. 2. O inque´rito em causa apreciou, igualmente, as te´c- nicas de avaliação do impacto socioeconómico das acções estruturais. Embora não pretendesse constituir uma ava- liação directa dos programas para produzir novos resulta- dos científicos, o inque´rito não deixa de fazer refereˆncia a alguns dos resultados constatados na mate´ria por peritos, a fim de identificar mais claramente a relação entre os instrumentos de política económica utilizados e os resul- tados obtidos. 2. 3. Foram realizados inque´ritos específicos sobre as avaliações ex post dos QCA e dos programas operacio- nais (PO) dos objectivos no. s 1 e 2 para o período de programação de 1989-1993, e sobre as avaliações inter- calares dos QCA, DOCUP e PO do período de progra- mação de 1994-1999. Consideraram-se todas as avalia- ções ex post dos QCA de 1989-1993 do objectivo no. 1, (3) A acção comunitária estrutural está concebida como um complemento das correspondentes acções nacionais ou como um contributo para as acções nacionais. É fixada atrave´s de uma concertação estreita, designada por «parceria», entre a Comissão, o Estado-Membro, as autoridades regionais e locais e as outras autoridades competentes, os parceiros económicos e sociais e os outros organismos competentes. A parceria e´ levada a cabo no pleno respeito pelas competeˆn- cias institucionais, jurídicas e financeiras de cada parceiro envolvido. (4) Nos seus relatórios anuais relativos aos exercícios de 1990 (capítulo 7), 1993 (capítulos 6, 7, 8 e 9) e 1994 (capítulo 4), o Tribunal referia uma se´rie de careˆncias em mate´ria de avaliação para o período de programação de 1989-1993. C 347/4 PT Jornal Oficial das Comunidades Europeias 16. 11. 98 bem como cerca de 20 % dos relatórios de avaliação ex post dos QCA de 1989-1993 do objectivo no. 2 e 15 % dos relatórios de avaliação intercalar dos QCA de 1994- -1999, tendo estes relatórios sido seleccionados em função da distribuição geográfica e da natureza das intervenções (QCA, DOCUP, PO). Por outro lado, dos 25 relatórios de avaliação que tratavam principalmente de aspectos de natureza macroeconómica, foram analisa- dos 15. O inque´rito decorreu junto dos serviços da Comissão e em oito Estados-Membros (Be´lgica, Gre´cia, Espanha, França, Irlanda, Itália, Países Baixos e Portu- gal), tendo sido consultados os avaliadores e os responsá- veis das administrações nacionais competentes. bros devem melhorar a qualidade das estatísticas (ver pontos 4. 14-4. 21). 3. 5. Muitas avaliações são concluídas tardiamente, o que pode atrasar os ajustamentos dos programas. Ale´m disso, no que diz respeito às reprogramações, o sistema decisório poderia ter mais em conta os resultados da avaliação respeitantes ao desempenho ou à eficácia das formas de intervenção (ver pontos 4. 22-4. 27). 3. RESUMO DAS PRINCIPAIS OBSERVAÇÕES 3. 1. A avaliação desenvolveu-se sobretudo, sob o impulso da Comissão, a partir do período de programa- ção 1994-1999, nomeadamente no âmbito do FEDER, tendo resultado igualmente no reconhecimento desse ins- trumento no domínio da gestão e da programação. A partir desse período de programação, a avaliação passou a ser aplicada sistematicamente às duas primeiras fases (ex ante, intercalar) (1994-1999) e será aplicada no fim do período (ex post) (ver pontos 4. 2-4. 8). 3. 2. A Comissão, embora tendo conhecimento das suas despesas directas para a avaliação, nem sempre dispõe da totalidade das informações no que respeita às despesas de avaliação no âmbito da parceria (ver pontos 4. 9-4. 11). 3. 3. A Comissão contribuiu fortemente para a difusão da cultura da avaliação, embora não tenha introduzido um enquadramento suficiente para os indicadores e a metodologia de avaliação no seu programa «Me´todos de avaliação das acções de natureza estrutural» (MEANS). Tendo em conta a complexidade dos aspectos metodoló- gicos inerentes à avaliação, não existe uma metodologia única aplicável a todas as situações específicas. É impor- tante, no entanto, que a Comissão tenha condições para fornecer enquadramentos metodológicos que permitam dispor de orientações apropriadas para realizar as avalia- ções adequadas às situações específicas (ver pontos 4. 12- -4. 13). 3. 4. A qualidade dos indicadores está estreitamente ligada à fiabilidade dos dados resultantes do acompanha- mento das intervenções e das bases estatísticas existentes; estas últimas, da responsabilidade dos Estados-Membros, revelam-se, muitas vezes, insuficientes; os Estados-Mem- 3. 6. No que diz respeito à objectividade das avaliações, a Comissão não efectua qualquer controlo no local da coereˆncia e da fiabilidade dos indicadores ou dos sistemas que os produzem (ver pontos 4. 29-4. 30). 3. 7. A nível da Comissão, os procedimentos de adjudica- ção de contratos de consultoria em mate´ria de avaliação continuam a apresentar lacunas importantes. A selecção dos consultores nem sempre e´ justificada de forma clara. Os cadernos de encargos continuam a ser bastante gerais nos capítulos da te´cnica ligada à metodologia, dos indica- dores e das obrigações de resultado. Daí resultam atrasos e perturbações na elaboração dos relatórios de avaliação, uma qualidade variável a nível da análise e, por vezes, recomendações vagas (ver pontos 4. 31-4. 36). 3. 8 A aplicação das metodologias relativas às avaliações ex post dos objectivos no. s 1 e 2 (1989-1993) confrontou- -se com lacunas estatísticas, auseˆncia de objectivos e de indicadores previsionais quantificados e um acompanha- mento dos efeitos ineficaz, e as avaliações nem sempre foram realizadas de modo suficientemente rigoroso. Não obstante, as referidas avaliações revelaram um valor acrescentado comunitário dos FE, tanto no plano das realizações, dos resultados e dos efeitos dos QCA, PO e medidas, como no plano da programação, da organiza- ção, do acompanhamento, da coordenação, da parceria e da adicionalidade (ver pontos 4. 15-4. 19, 5. 1, 5. 4, 5. 10- -5. 16). 3. 9. Quanto às avaliações intercalares das intervenções dos FE no período de 1994-1999 realizadas em regime de parceria no âmbito dos comite´s de acompanhamento, foram atribuídos diversos níveis de prioridade aos dife- rentes objectivos da avaliação, muito embora a análise das realizações físicas e financeiras ocupe uma posição importante em qualquer avaliação intercalar. A avaliação dos efeitos e´ dificultada por problemas existentes ao nível, nomeadamente, dos indicadores e da modelização dos efeitos. Estas avaliações, na maioria dos casos, conti- nuam a ter apenas uma utilidade relativa para o processo decisório, a gestão dos projectos, a reprogramação ou a preparação das intervenções futuras (ver pontos 4. 16- -4. 21, 6. 5, 6. 7, 6. 14-6. 26). 16. 11. 98 PT Jornal Oficial das Comunidades Europeias C 347/5 3. 10. No que diz respeito especificamente ao objectivo no. 2 (O2), a avaliação revelou as seguintes lacunas: a) Não existe uma relação adequada entre a realização dos programas e o financiamento comunitário, já que as dotações transitadas de um programa para outro ainda são consideráveis; na passagem do período de 1994-1996 para o período de 1997-1999, transita- ram, em me´dia, 12 % das dotações (ver ponto 6. 27); b) A sucessão de períodos de programação curtos não permite que os resultados da avaliação sejam utiliza- dos da melhor forma (ver ponto 4. 23); c) Os efeitos indirectos continuam a ser insuficiente- mente avaliados para determinar o impacto das inter- venções estruturais, nomeadamente a nível do emprego (ver pontos 5. 12-5. 15). 3. 11. As avaliações macroeconómicas realizadas revela- ram resultados positivos a nível, nomeadamente, do impacto das acções estruturais (crescimento do PIB, efei- tos sobre a oferta e a procura, aumento da taxa de emprego, melhoria da convergeˆncia, eficácia dos instru- mentos dos QCA), não obstante existirem lacunas nos sistemas de programação, de execução e de acompanha- mento dessas acções (ver pontos 7. 1-7. 14). 4. 2. A avaliação passou a inscrever-se explicitamente no âmbito da parceria a partir da reforma de 1988 [artigo 26o. do Regulamento (CEE) no. 4253/88, definido em pormenor no regulamento alterado de 20 de Julho de 1993]. No entanto, no primeiro período de programação e ate´ 1995, as avaliações foram realizadas sobretudo por iniciativa da Comissão (5). Tais avaliações — nomeada- mente as ex post — foram dificultadas por estrate´gias de desenvolvimento pouco precisas e por um acompanha- mento não satisfatório, não tendo, aliás, de uma maneira geral, sido objecto de uma verdadeira tomada em consi- deração e de um debate aprofundado a nível dos comite´s de acompanhamento. 4. 3. Numa primeira fase, a Comissão envidou esforços principalmente para criar o seu próprio sistema de avalia- ção para o conjunto dos QCA que cobrem os cinco objectivos prioritários da reforma (6). Entre as iniciativas da Comissão ligadas ao desenvolvimento das avaliações e dos me´todos correspondentes, há que destacar, nomeada- mente, a criação do grupo te´cnico «Avaliação das políti- cas regionais» em 1992 e, no plano metodológico, o lançamento do programa «Me´todos de avaliação das acções de natureza estrutural» (MEANS) em 1994. 3. 12. As avaliações dos subprogramas ou das medidas continuam a ser insuficientes. Para ale´m disso, confron- tam-se com dificuldades de ordem te´cnica decorrentes da dispersão e falta de coereˆncia de um grande número de medidas e de subprogramas (ver ponto 7. 17). 4. 4. Para o período de programação 1994-1999, a Comissão esteve na base de uma nova dinâmica de avaliação que se traduz, doravante, por uma aplicação sistemática da avaliação às duas primeiras fases (ex ante e intercalar) e, ulteriormente, à fase ex post. 4. PROBLEMAS GERAIS Introdução 4. 1. A avaliação tem como objectivo determinar os efeitos socioeconómicos das acções levadas a cabo, ou seja, analisar os resultados obtidos, comparar esses resul- tados com os recursos investidos e analisar os seus custos. Ale´m disso, todos estes elementos devem ser objecto de uma análise comparativa face às previsões. Ora, para se efectuar esta avaliação, e´ indispensável dispor de uma boa base estatística, definir objectivos quantificados assentes num sistema de indicadores e desenvolver o quadro metodológico e analítico, recor- rendo-se, ao mesmo tempo, a uma análise das relações entre meios utilizados, resultados finais e resultados inter- calares. O Tribunal detectou falhas a todos os níveis, falhas essas que, ate´ ao momento, teˆm limitado a utili- dade das avaliações realizadas no âmbito dos fundos estruturais, apesar de alguns progressos reais registados que contribuíram para consolidar a dinâmica da avalia- ção. 4. 5. A avaliação intercalar, não prevista explicitamente nos regulamentos dos FE, passou a ser aplicada a partir de 1995-1996 a todos os QCA, DOCUP e PO referentes ao período de programação de 1994-1999. A avaliação inscreve-se concretamente no âmbito da parceria e pro- porciona aos comite´s de acompanhamento um instru- (5) Trata-se das seguintes avaliações: a) Para o período de programação de 1989-1993: — apreciações ex ante dos QCA O1 e O5b (1990- -1991), — avaliações ex post dos QCA O1 (1994-1995), — avaliações ex post dos QCA O2 (1996-1997), — avaliações temáticas (PME, telecomunicações); b) Para o período de programação de 1994-1999: — apreciações ex ante dos planos de desenvolvimento regional O1, — apreciações ex ante dos programas O5b, — apreciações ex ante dos DOCUP O2 1994-1996, — apreciações ex ante dos DOCUP O2 1997-1999, — análises críticas dos DOCUP e QCA O1 (1995). A Comissão tambe´m encomendou avaliações, por Estado- -Membro, do impacto das políticas estruturais europeias sobre a coesão económica e social da União Europeia. (6) Nota da DG XXII de 14 de Março de 1991. C 347/6 PT Jornal Oficial das Comunidades Europeias 16. 11. 98 mento de gestão integrada que contribui, desse modo, para uma vasta difusão da cultura de avaliação. Para a avaliação intercalar, a Comissão criou um dispositivo a ser executado em fases sucessivas nos Estados-Mem- bros (7). 4. 6. No entanto, este dispositivo não estipulou as moda- lidades concretas do processo (definição do caderno de encargos, crite´rios de selecção do avaliador, estrutura do relatório de avaliação, recolha de dados, requisitos de qualidade exigidos, calendário, etc. ). 4. 7. Paralelamente, a Comissão organizou diversas manifestações, complementadas por uma se´rie de publica- ções (8). Ao reunir profissionais da avaliação e gestores dos FE, as referidas manifestações contribuíram para o desenvolvimento da cultura de avaliação e para sensibili- zar os gestores nesta mate´ria. A avaliação foi apresen- tada, essencialmente, como um processo de aprendizagem pela via da experieˆncia. 4. 8. Em Maio de 1998, a Comissão apresentou, no âmbito do anteprojecto de orçamento geral das Comuni- dades Europeias para o exercício de 1999, o documento de trabalho «Balanço da avaliação 1996/1997», que continha uma descrição das actividades de avaliação levadas a cabo em 1996-1997, uma lista das avaliações realizadas e em curso, bem como uma resenha dos (7) a) A elaboração, em 1994, dos primeiros «termos de refe- reˆncia para a avaliação contínua dos QCA e das formas de intervenção do objectivo no. 1». Estes termos confir- mam o papel da avaliação intercalar como instrumento auxiliar dos comite´s de acompanhamento para a tomada de decisões, bem como a sua realização em regime de parceria. Tambe´m estabelecem as modalidades de execu- ção, nomeadamente o perfil da equipa de avaliação e as tarefas que lhe são incumbidas; b) A divulgação, em 1995, das «Orientações comuns para o acompanhamento e as avaliações intercalares», para os FE comunitários, que definem os elementos de análise (objectivos gerais e específicos, indicadores), bem como a relação entre o acompanhamento e a avaliação interca- lar; c) O envio de cartas aos Estados-Membros em 1995 que recordavam a estes a obrigação da avaliação intercalar e definiam novamente as modalidades de execução deseja- das. (8) Como: a) A Confereˆncia de Bruxelas sobre a avaliação da política regional europeia (16 de Novembro de 1995), no que diz respeito, nomeadamente, aos resultados das avaliações ex post do O1 (1989-1993) e das apreciações ex ante (1994-1999); b) A Confereˆncia Europeia sobre os me´todos de avaliação das intervenções dos FE (Berlim, 2 e 3 de Dezembro de 1996), que incidiu, essencialmente, sobre os problemas de impacto nos planos microeconómico, avaliação do macroeconómico e temático; c) A Confereˆncia de Sevilha (Março de 1998), com o intuito de fomentar as trocas de experieˆncias em mate´ria de avaliação no âmbito da parceria. resultados das avaliações realizadas no período de 1996- -1997. 4. 9. As despesas de avaliação podem ser financiadas directamente pela Comissão ou co-financiadas em parce- ria com os Estados-Membros. Os quadros 1 e 2 indicam as despesas efectuadas directamente pela DG XVI no domínio da avaliação para os períodos de programação 1989-1993 e 1994-1999. 4. 10. Como indica o quadro 1, as despesas de avaliação para o período de 1989-1993 ascendem a cerca de 10 milhões de ecus. Cerca de dois terços dessas despesas foram efectuadas em dois domínios da responsabilidade directa da Comissão e da sua própria iniciativa: por um lado, as iniciativas comunitárias nos termos do artigo 11o. do Regulamento (CEE) no. 4253/88, num montante de 3,1 milhões de ecus e, por outro lado, as avaliações transversais e temáticas como as PME, as telecomunica- ções, o ambiente ou os recursos humanos, num montante de 3,2 milhões de ecus. As verbas afectas à avaliação dos O1 e O2 dos FE foram relativamente reduzidas, tendo em conta que nesse mesmo período a parceria foi pouco desenvolvida no domínio da avaliação. Relativamente ao período de 1994-1999, o montante consagrado à avalia- ção ascendeu a 25,2 milhões de ecus em Abril de 1988, tal como mostra o quadro 2. Este aumento em relação ao período precedente ficou a dever-se ao desenvolvimento da avaliação intercalar e da respectiva metodologia no âmbito da parceria. 4. 11. No que respeita às despesas efectuadas pela Comissão e pelos Estados-Membros nesta área, que regis- taram um aumento considerável desde 1996, a Comissão nem sempre dispõe da totalidade das respectivas informa- ções, nomeadamente quando as mesmas se inscrevem na medida «assisteˆncia te´cnica» dos programas operacionais, que pode incluir igualmente outras despesas. No sentido de tornar o custo da avaliação mais transparente, poderia ser prevista, logo desde a fase inicial de programação, uma verba consagrada especificamente às necessidades de avaliação. Quadro de refereˆncia 4. 12. O programa MEANS (1995-1998), num montante total de 2,8 milhões de ecus, ocupa uma posição específi- ca no processo de desenvolvimento da avaliação (9). O processo aplicado pretende suscitar um desenvolvimento metodológico, uniforme e coerente, atrave´s do inventário das metodologias utilizadas pelos Estados-Membros e da (9) Este programa e´ gerido em conjunto pela Comissão e por um consultor externo, cuja participação e´ financiada pela rubrica orçamental B2-1 8 2 0, sendo atribuído um montante anual de 932 000 ecus. 16. 11. 98 PT Jornal Oficial das Comunidades Europeias C 347/7 amostragem de exemplos válidos. Esta abordagem, essen- cialmente incentivadora e empírica, não permite à Comis- são pronunciar-se sobre as modalidades concretas de execução dos me´todos de avaliação ou sobre a escolha dos indicadores, nomeadamente os que se destinam a avaliar os impactos socioeconómicos no domínio do desenvolvimento regional. Tendo em conta a complexi- dade dos aspectos metodológicos inerentes à avaliação, não existe uma metodologia única aplicável a todas as situações específicas. É importante, no entanto, que a Comissão tenha condições para fornecer enquadramentos metodológicos que permitam dispor de orientações apro- priadas para realizar as avaliações adequadas às situações específicas. 4. 13. Ate´ ao momento, os resultados do programa MEANS serviram para estabelecer os primeiros funda- mentos de uma nova abordagem em mate´ria de avalia- ção, nomeadamente atrave´s da introdução de uma lingua- gem comum, tendo permitido preparar a avaliação inter- calar no âmbito da parceria. Os quadros 3 e 4 mostram o processo geralmente aceite utilizado na avaliação. Con- tudo, o programa MEANS ainda não respondeu de forma aprofundada às questões relativas aos aspectos práticos ou operacionais associados à avaliação. Assim, ainda existem duas questões fundamentais que permane- cem sem resposta: por um lado, qual e´ o sistema de indicadores mais adequado para formular uma aprecia- ção global sobre um programa estrutural comunitário e, por outro, qual e´ a abordagem de avaliação mais ade- quada para avaliar o impacto socioeconómico de um determinado programa estrutural no âmbito do desenvol- vimento regional. A Comissão não está em condições de formular instruções precisas sobre as te´cnicas concretas a aplicar em cada situação específica da avaliação. Esta lacuna pesa, nomeadamente, na execução das avaliações intercalares das formas de intervenção do período de programação de 1994-1999. Bases estatísticas e informações sobre os objectivos visa- dos 4. 14. Regra geral, as avaliações, quer sejam ex ante, intercalares ou ex post, são confrontadas com objectivos formulados de forma demasiado geral, mesmo a nível das medidas. Indicadores 4. 16. A existeˆncia de um sistema de indicadores fiáveis e adequados constitui um elemento indispensável ao pro- cesso de programação. Para satisfazer as necessidades da avaliação, os programas estruturais devem conter infor- mações sobre a realização financeira e física e sobre os resultados ou o desempenho das acções. Estes indicadores devem, por um lado, poder informar os gestores sobre os efeitos imediatos ou duradouros das acções levadas a cabo e, por outro, permitir avaliar os progressos realiza- dos face aos objectivos globais dos programas como, por exemplo, o desenvolvimento regional ou a redução da taxa de desemprego. 4. 17. A fiabilidade dos indicadores financeiros está estreitamente ligada à fiabilidade dos certificados de despesas enviados à Comissão para que esta efectue os pagamentos comunitários correspondentes. Frequente- mente, os indicadores físicos são referenciados como um complemento da informação, tendo uma fiabilidade rela- tiva. As bases de dados existentes nem sempre permitem registar a evolução física das realizações, e os beneficiá- rios finais nem sempre informam periodicamente os ges- tores sobre o estado das realizações físicas. A avaliação intercalar do PO de Lisboa e Vale do Tejo em Portugal apresenta indicadores físicos estritamente proporcionais às despesas e não faz alusão a qualquer variação moti- vada por atrasos de realização ou por outras causas. Os Estados-Membros devem melhorar os seus mecanismos de acompanhamento e as bases de dados de apoio dos indicadores. 4. 18. A avaliação, por um lado, dos resultados e efeitos ao nível dos subprogramas e das medidas e, por outro, do impacto ao nível dos programas, confronta-se com incertezas que pesam na identificação das cadeias de causalidade existentes entre os diferentes níveis de objec- tivos e entre os objectivos, as medidas e os projectos, bem como na identificação das relações horizontais de com- plementaridade e de sinergia entre medidas e entre objec- tivos. Deste modo, torna-se difícil concretizar o efeito específico de uma medida sobre o desenvolvimento regio- nal ou o impacto de um investimento sobre a procura ou, a fortiori, sobre a oferta. Nesse âmbito, no que respeita ao QCA 1994-1999, a procura de indicadores que sejam um instrumento adequado para avaliar os resultados e o impacto está ainda em curso (ver 6. 23). 4. 15. O nível de desenvolvimento das bases estatísticas existentes constitui um entrave ao acompanhamento e à avaliação dos programas e das medidas co-financiadas pelos fundos estruturais. As lacunas são, nomeadamente, a falta de cobertura estatística circunscrita às zonas em causa, a inexisteˆncia de estatísticas para determinados aspectos e uma inadequada periodicidade da recolha de informações relativamente às necessidades de acompanha- mento e de avaliação. 4. 19. O exercício de apreciação ex ante do QCA e´ indispensável para a realização de ulteriores avaliações. Essa avaliação garante a definição e a quantificação de todos os indicadores de resultados e de impacto para permitir avaliar o impacto previsional do programa e estabelecer uma comparação com os efeitos reais. Nesse contexto, a abordagem da gestão por objectivos nem sempre foi aplicada de forma harmonizada ou satisfató- C 347/8 PT Jornal Oficial das Comunidades Europeias 16. 11. 98 ria, o que teve um impacto relativamente ao número dos indicadores necessários à avaliação. Exemplo disso e´ o QCA italiano 1994-1999 que conte´m um número de indicadores reduzido, facto que poderá, eventualmente, dificultar as avaliações posteriores. Em contrapartida, o QCA portugueˆs 1994-1999, aprovado pela Comissão sem alterações significativas, conte´m um número de indi- cadores demasiado elevado (cerca de 300), o que poderá, igualmente, complicar o exercício da avaliação. Esta divergeˆncia no estabelecimento de indicadores de um QCA para outro sublinha a falta de coereˆncia da progra- mação. Quando o sistema de indicadores aprovado pela Comissão na fase de apreciação ex ante conte´m um grande número de objectivos gerais e pouco quantificá- veis, esses indicadores são por vezes revistos aquando da avaliação intercalar por razões da sua insuficiente defini- ção e funcionalidade. 4. 20. As intervenções estruturais e as situações socioeco- nómicas sobre as quais estas actuam, geram uma grande variedade de indicadores que, regra geral, são estabeleci- dos de modo descentralizado. A Comissão não elaborou listas de indicadores que considera serem indispensáveis e representativos ao nível do desenvolvimento regional ou no âmbito dos diferentes tipos de acções, embora tenham sido comunicadas listas parciais a certas instâncias nacio- nais ou regionais e estas já tenham sido objecto de debate. 4. 21. No âmbito do acompanhamento, deveria desen- volver-se uma maior quantificação dos indicadores de resultados e de impacto, sem, no entanto, esquecer a fiabilidade dessa quantificação. Com efeito, a quantifica- ção pode não ser fiável e, em certos casos, não evita a dupla contagem de postos de trabalho criados ou não permite distinguir os efeitos ilíquidos dos efeitos líquidos sobre o emprego. Esta situação foi constatada quando se comparou o relatório de avaliação intercalar do PO Brandeburgo com as estatísticas sobre o número de pessoas inscritas na segurança social. Tomada em conta da avaliação 4. 22. O contributo da avaliação para a utilização eficaz dos fundos comunitários depende, em larga medida, da qualidade do conteúdo, da data de recepção dos resulta- dos e da data da decisão da alteração da estrate´gia. No entanto, um determinado número de avaliações intercala- res dos QCA, DOCUP e PO do período de programação 1994-1999 foi concluído bastante tardiamente, atra- sando, desse modo, os eventuais ajustamentos. disponíveis para se retirar ensinamentos do passado e adaptar as futuras intervenções e as datas nas quais devem ser tomadas as decisões a nível da programação. Verifica-se um certo desfasamento entre o ciclo de pro- gramação do O2 e o respectivo ciclo de avaliação. Assim, a versão final do relatório de síntese da avaliação ex post do O2, referente ao período 1989-1993, só foi recebido pela Comissão no Verão de 1997. Nessa altura, estava em curso a apreciação ex ante da programação de 1997-1999, e a avaliação ex post do período de 1994- -1996 ainda não tinha sido iniciada. Independentemente dos resultados dos programas 4. 24. estruturais revelados pelos relatórios de avaliação, a dota- ção orçamental destinada a esses programas ou aos seguintes mante´m-se frequentemente inalterada. O sis- tema decisório muito raramente tomou em consideração as avaliações no primeiro período de programação e, geralmente, as reprogramações assentaram sobretudo no nível de absorção financeira. Justificam-se, assim, as recomendações úteis feitas pelo consultor principal no âmbito da avaliação ex post dos QCA do objectivo no. 1 de 1989-1993 (ver ponto 5. 7). 4. 25. Os aspectos mais qualitativos de desempenho ou de eficácia dos programas identificados nas avaliações intercalares ou nos relatórios de execução não influíram suficientemente na gestão operacional dos FE, nem no processo de responsabilização dos parceiros abrangidos pelo desenvolvimento dos programas. 4. 26. Os resultados da avaliação intercalar dos DOCUP, QCA e PO do objectivo no. 2 (1994-1996), bem como do acompanhamento, revelam ser inadequada a relação que existe entre o financiamento programado e a realização dos programas. Esta situação coloca em primeiro plano a preocupação da absorção das dotações e pode levar à subestimação do papel da avaliação na análise da zona em causa, nomeadamente no que diz respeito à coereˆncia entre os objectivos, aos recursos atribuídos e ao impacto das intervenções estruturais. 4. 27. As conclusões e recomendações das avaliações ex post e das avaliações intercalares no âmbito da parceria são, muitas vezes, evidentes para os gestores das formas de intervenção, embora possam ser úteis para outros parceiros (ver ponto 5. 8). Objectividade das avaliações 4. 23. Quanto à programação do O2, em virtude de os seus períodos de programação serem mais curtos do que os do O1, torna-se particularmente difícil fazer coincidir as datas em que os resultados das avaliações ficam 4. 28. A auseˆncia de um quadro de refereˆncia claro dificulta a aplicação de te´cnicas adequadas e aplicáveis de forma objectiva às situações de avaliação específica para assegurar um controlo fácil dos resultados e garantir a independeˆncia do avaliador. Todavia, pode dar-se o caso de o me´todo preconizado não ser fundamentado em 16. 11. 98 PT Jornal Oficial das Comunidades Europeias C 347/9 termos objectivos e de o avaliador adaptar a sua aborda- gem, com demasiada facilidade, às dificuldades encontra- das ou escolher os indicadores em função das informa- ções disponíveis. 4. 29. A independeˆncia face aos gestores tambe´m não parece estar sempre assegurada, nomeadamente a nível das informações (ver ponto 6. 11), e os relatórios de avaliação nem sempre indicam a fonte das informações que fundamentam as suas observações. Esta lacuna pode suscitar dúvidas quanto à fiabilidade e validade das informações apresentadas nos relatórios de avaliação. 4. 30. Embora a objectividade deva ser garantida por um sistema de controlo, cujos objectivos assentem na quali- dade dos indicadores (de realização, resultado e impacto), na fiabilidade das informações de base e no nível de execução da metodologia, os serviços da Comissão anali- sam as informações e os resultados apresentados no âmbito da avaliação, mas não procedem a qualquer controlo no local nem verificam o bom funcionamento dos sistemas de avaliação em vigor nos Estados-Mem- bros. Contratos de avaliação adjudicados pela Comissão 4. 31. O exame dos procedimentos de adjudicação dos contratos em mate´ria de avaliação, encomendado pela Comissão, identificou as seguintes lacunas: procedimen- tos de selecção insatisfatórios, cadernos de encargos demasiado vagos, atrasos e pouca qualidade dos relató- rios. 4. 32. Os elementos de apreciação ou de análise que levaram a Comissão a seleccionar o consultor nem sem- pre são claramente indicados nas actas das reuniões relativas aos concursos. A auditoria realizada pelo Tribu- nal não permitiu provar que foram seleccionados os peritos mais competentes da área de competeˆncia mais adequada. 4. 33. No caso da avaliação ex post do QCA 1989-1993 do O1 e do O2, foram escolhidos, respectivamente, um consultor principal acompanhado de consultores nacio- nais e consultores coordenadores que, por sua vez, sub- contrataram estudos a outros consultores. Nesta cadeia de consultores, a Comissão pode perder o controlo das modalidades de execução da avaliação que garanta a coereˆncia, a homogeneidade e a qualidade dos resulta- dos. 4. 34. O caderno de encargos e´ por vezes impreciso quanto à descrição dos trabalhos a executar e às obriga- ções de resultado esperadas. As cláusulas contratuais são bastante gerais. É frequente as modalidades de execução da avaliação possibilitarem um acordo ulterior a celebrar com a Comissão sobre o quadro metodológico. 4. 35. Quanto aos prazos de apresentação dos relatórios, constatam-se atrasos com frequeˆncia. Assim, no que diz respeito à avaliação do conjunto dos QCA 1989-1993 O1, o contrato estipulava o prazo de 28 de Fevereiro de 1995 para a entrega do relatório, tendo este, pore´m, sido concluído apenas em Novembro de 1995. A Comissão não previu qualquer sanção pelo incumprimento das obrigações contratuais em mate´ria de prazo, tendo, no entanto, efectuado o pagamento da última parcela de 40 % em dívida em 11 de Julho de 1995 nos termos do disposto no artigo 4o. do contrato. 4. 36. A auseˆncia de termos de refereˆncia contratuais, precisos e claros quanto ao processo metodológico a seguir e aos resultados previstos dão lugar a que os serviços da Comissão reajam de modo diverso aos relató- rios. Constata-se, assim, a aprovação de determinados relatórios que se limitam a apresentar simples descrições ou análises vagas sobre a utilidade das realizações, relató- rios baseados em declarações gene´ricas das pessoas inqui- ridas ou ainda relatórios que conteˆm recomendações demasiado generalizadas. No caso da avaliação ex post do QCA 1989-1993 da Irlanda, um dos serviços da Comissão manifestou-se a favor da rescisão do contrato com o consultor devido à má qualidade, enquanto que outro serviço deu o seu aval ao relatório. No caso da avaliação ex post do QCA 1989-1993 de Portugal, os serviços da Comissão declararam que o relatório não continha elementos de avaliação, limitando-se a repetir os elementos das realizações físicas já apresentadas pelo Estado-Membro. Esses serviços tambe´m declararam que o relatório da avaliação ex post do QCA 1989-1993 da Espanha era demasiado descritivo e continha um redu- zido número de análises. O relatório da avaliação ex post do QCA 1989-1993 da Irlanda do Norte foi considerado incompleto. O relatório da avaliação ex post do QCA1 da Itália foi considerado mal estruturado e mal organi- zado. O relatório da avaliação do QCA 1989-1993 da Gre´cia não apresentou a conclusão global, apresentando apenas conclusões no final de cada capítulo. 5. AVALIAÇÕES EX POST DOS QCA DOS OBJECTIVOS No. s 1 E 2 (1989-1993) Introdução 5. 1. Os avaliadores são frequentemente confrontados com as seguintes dificuldades: a) Uma programação inicial feita apressadamente e sem que tivessem sido efectuadas avaliações ex ante dos programas, nomeadamente dos fundamentos econó- micos inerentes, sobretudo no que diz respeito às regiões do O1; b) Auseˆncia de objectivos quantificados e de indicadores de resultado; c) Lacunas estatísticas quanto à situação socioeconómica nos períodos anterior e posterior à intervenção dos FE no âmbito do O2, nomeadamente no que diz respeito ao tecido industrial, aos investimentos e ao produto regional bruto. Note-se que as ferramentas estatísticas nem sempre correspondem à área de análi- se seleccionada (concelho, município, bacia de emprego); C 347/10 PT Jornal Oficial das Comunidades Europeias 16. 11. 98 d) A não conclusão de determinadas acções; e) A existeˆncia de factores exógenos que contribuem para explicar a evolução da situação socioeconómi- ca; f) A natureza heteroge´nea dos projectos e dos respecti- vos objectivos, nos casos em que a concessão de ajudas não se encontra suficientemente ligada às necessidades regionais ou locais; g) Difícil identificação dos efeitos inerentes às medidas e ao programa, em virtude da multiplicidade de acções a favor da mesma região ou zona; h) Dificuldades na avaliação dos efeitos indirectos do programa (nomeadamente em mate´ria de emprego), decorrentes do facto de não ter sido estabelecido qualquer sistema de observação dos programas a partir do seu lançamento, e de não ter havido um inque´rito aprofundado após a sua conclusão. Avaliação ex post dos QCA do objectivo no. 1 (1989- -1993) 5. 2. A avaliação ex post dos QCA O1 foi coordenada por um consultor central e incluiu avaliações ex post dos QCA em causa, realizadas entre Janeiro de 1994 e Junho de 1995 por consultores nacionais. O consultor responsá- vel pela coordenação preparou o processo metodológico a aplicar, processo esse que recorre a me´todos de análise macroeconómica, de medidas e projectos. Este processo visa analisar a estrate´gia e a lógica inerente aos QCA, PO e às medidas, fazer um primeiro balanço das realizações físicas e do impacto e, por último, efectuar uma análise dos mecanismos de execução. O resumo deste processo consta do anexo I. 5. 3. Embora a metodologia proposta seja coerente no seu todo, revela pontos fracos. Preveˆ que a análise da estrate´gia e da lógica inerente aos QCA, PO e às medidas assente numa estrutura harmonizada de objectivos, asso- ciada a uma nomenclatura-padrão de actividades. Esta abordagem, embora permitindo efectuar comparações entre Estados-Membros, não origina, necessariamente, uma hierarquização dos objectivos baseada, simultanea- mente, nas prioridades reconhecidas pelos Estados-Mem- bros e nos crite´rios de hierarquia, complementaridade, substituibilidade e sinergia. De igual modo, não permite identificar todas as lacunas em mate´ria de coereˆncia existentes na estrate´gia própria de cada QCA e PO. Ale´m disso, os indicadores físicos e de impacto incluídos no documento sobre a metodologia não permitem, muitas vezes, responder às questões pertinentes sobre os efeitos previstos e não previstos a que a metodologia deve responder. 5. 4. O Tribunal constatou as seguintes lacunas: a) A evolução do ambiente socioeconómico dos QCA e dos PO nem sempre e´ objecto de uma comparação entre a situação inicial sobre a qual deveria incidir uma intervenção comunitária (1988-1989) e a situa- ção final (1993-1994). Por vezes, verifica-se uma enorme desactualização dos dados, nomeadamente no que diz respeito às disparidades regionais; b) A hierarquização dos objectivos prevista na metodo- logia muitas vezes não e´ suficientemente analisada. Quer por não ter sido estabelecida, quer por ter sido apenas parcial, essa hierarquização apenas abarca os PO e as medidas escolhidas para serem alvo de uma análise específica ou, então, não aplica os crite´rios de estruturação de modo sistemático. Assim, a hierarqui- zação dos objectivos e dos instrumentos não conduz a uma melhor identificação dos problemas de coereˆncia e de pertineˆncia das prioridades e das suas importân- cias relativas; c) Por vezes, os ajustamentos efectuados nos QCA e PO não são objecto de uma análise aprofundada quanto às causas; d) Embora os relatórios de avaliação façam uma boa abordagem da execução financeira e dos mecanismos de execução, bem como das realizações físicas, o mesmo já não acontece quanto aos efeitos dos progra- mas ou das medidas que não foram, em certos casos, objecto de investigação (com excepção dos postos de trabalhos criados) ou são formulados em termos não quantitativos. Os únicos efeitos quantificados são, por vezes, os fornecidos atrave´s da aplicação de modelos macroeconómicos e dizem respeito ao crescimento do PIB, à criação de postos de trabalho ou à competitivi- dade. Tal revelou a insuficieˆncia dos dados fornecidos pelos gestores no âmbito dos sistemas de acompanha- mento; e) As análises do tipo bottom-up (da base para o topo) não permitiram, de um modo geral, tirar conclusões em termos de impacto a nível dos programas; f) Por vezes, o valor acrescentado comunitário e´ expresso apenas em termos qualitativos (por exemplo, a tomada em conta da lógica programática, a execu- ção de uma estrate´gia integrada, o efeito sobre o processo organizativo). Ale´m disso, esse valor nem sempre e´ examinado de forma sistemática; 16. 11. 98 PT Jornal Oficial das Comunidades Europeias C 347/11 g) Os efeitos esperados a longo prazo, quando aborda- dos, são analisados apenas no plano qualitativo. 5. 8. A avaliação ex post do conjunto dos QCA 1989- -1993 O1 efectuada pelos avaliadores nacionais incidiu mais sobre a melhoria dos sistemas de acompanhamento e de gestão dos Estados-Membros, do que sobre um exercício real de avaliação do impacto dos FE. 5. 5. O QCA1 O1 da Espanha foi objecto, simultanea- mente, de uma avaliação ex post, encomendada pela Comissão, e de uma avaliação iniciada pelas autoridades espanholas e que beneficiou de um co-financiamento comunitário. As duas avaliações, elaboradas na mesma altura e com objectivos ideˆnticos, desenrolaram-se de modo independente e separado. 5. 6. No que diz respeito aos resultados e ao impacto, as avaliações ex post destacam as realizações físicas decor- rentes dos QCA O1, os impactos macroeconómicos dos QCA seleccionados em certas avaliações nacionais e os progressos realizados em mate´ria de planificação, embora, nesta área, a abordagem por programa tivesse deparado com alguns obstáculos (10). Essas avaliações salientam, igualmente, o contributo dos QCA em mate´ria de estruturas organizativas inovadoras, gestão financeira, acompanhamento, sistemas de informação, coordenação e parceria, níveis em que ainda e´ necessário realizar pro- gressos significativos. 5. 7. A síntese feita pelo consultor principal em 1995 incluiu algumas recomendações úteis, às quais, no entanto, a Comissão não pôde dar pleno seguimento; por exemplo, aquando da elaboração da programação deveria fazer-se uma distinção mais clara entre as intervenções estruturais comunitárias que fomentam os factores endó- genos de crescimento e as intervenções que visam o reequilíbrio regional ou a melhoria do nível de vida; deveria haver um equilíbrio entre a prioridade concedida aos investimentos a nível de infra-estruturas e as especifi- cidades regionais que devem ser desenvolvidas ou entre o combate ao desemprego e a necessidade de aumentar a produtividade e a competitividade; por último, deveria ser dada maior importância à questão do emprego nas políticas regionais. (10) Os obstáculos à abordagem por programa são os seguintes: Prazos de planificação curtos que implicam, nomeada- mente, a auseˆncia de uma avaliação ex ante; i) ii) Auseˆncia de objectivos concretos e de indicadores quan- resultado e realização, tificados em mate´ria de impacto; iii) Restrições administrativas, sobretudo quando os sub- programas pertencentes a um mesmo programa depen- dem de administrações diferentes, ou quando se verifica um cruzamento entre as abordagens sectoriais e regio- nais; iv) Deficieˆncias nas normas comunitárias que conduzem nomeadamente, à aprovação, no âmbito de iniciativas comunitárias, de projectos rejeitados pelos PO O1; v) A abordagem por projecto do Fundo de Coesão, que tambe´m não favorece uma aplicação harmoniosa da abordagem por programa. Avaliações ex post do objectivo no. 2 (1989-1993) 5. 9. As avaliações ex post dos programas do O2 referen- tes ao período de 1989-1993 foram coordenadas por um avaliador externo nas 60 regiões elegíveis. Cada região foi alvo de uma análise global e 22 dessas regiões mereceram um estudo mais aprofundado. Tais avaliações visavam, principalmente, analisar o impacto das interven- ções estruturais no processo de reconversão industrial nessas regiões e retirar ensinamentos para a programação subsequente. O anexo II apresenta uma síntese da abor- dagem no âmbito da avaliação. 5. 10. Embora tenha sido previsto um quadro comum, verifica-se que as abordagens seleccionadas são muito heteroge´neas, nomeadamente no que diz respeito às prio- ridades e ao nível de desenvolvimento da análise, ao seu carácter descritivo ou crítico e aos me´todos e te´cnicas utilizados. 5. 11. A análise da estrate´gia e da natureza adequada dos QCA e PO, bem como das alterações introduzidas nos mesmos em relação ao ambiente socioeconómico, rara- mente conduziu à reformulação da estrutura dos objecti- vos, dos subprogramas e das medidas em função da lógica de desenvolvimento ou de reconversão regional e na base dos crite´rios de hierarquia, complementaridade e substituibilidade. Uma reformulação deste tipo, efectuada cuidadosamente, deveria permitir identificar mais sistema- ticamente as lacunas da estrate´gia aplicada no que diz respeito à coereˆncia, ao adequado peso relativo das prioridades, às sinergias, às complementaridades e à eficá- cia face ao ambiente socioeconómico. No entanto, veri- fica-se que um grande número de análises de estrate´gia, cujo ponto de partida e´ a estrutura dos QCA e PO, são parciais e pouco críticas no que diz respeito a esta estrate´gia. 5. 12. Quanto ao impacto das intervenções dos FE, os avaliadores, que se baseiam numa amostra de projectos e na análise dos seus resultados, do seu valor acrescentado e da sua adicionalidade, não conseguem agregar as obser- vações feitas ao nível das medidas individuais e do impacto socioeconómico do programa. 5. 13. São em número reduzido as avaliações de impacto que se baseiam numa verdadeira combinação de aborda- gens top down e bottom up. Esta combinação foi nomea- damente utilizada na avaliação das intervenções O2 a C 347/12 PT Jornal Oficial das Comunidades Europeias 16. 11. 98 favor da Toscânia. Neste caso, a abordagem top down, baseada num modelo econome´trico birregional Toscânia- -resto de Itália, permitiu avaliar, tanto na Toscânia como no resto do território italiano, o impacto global do aumento da procura em termos de produção por sector, níveis de consumo e valor acrescentado. Este modelo tambe´m permite avaliar os multiplicadores de efeito por tipos de intervenção (infra-estruturas, serviços oferecidos às empresas, apoios aos investimentos privados), bem como os efeitos sobre o emprego (11). Para avaliar os efeitos directos sobre o emprego recorreu-se a uma te´cni- ca de coeficientes-padrão que incidiu sobre as diferentes tipologias de intervenção. Assim, esta abordagem top down incide sobre os efeitos directos a curto prazo associados à procura. A abordagem bottom up, que parte de numa amostra de projectos e de medidas, dispõe de melhores condições para traduzir os efeitos a longo prazo, mais estruturantes e indirectos, sobre o emprego e as economias externas que permitem reduzir os custos de produção. Mesmo quando se torna muito difícil isolar e quantificar esses efeitos e esta abordagem não permite agregar os efeitos a nível das medidas e do programa (embora seja esse o objectivo da avaliação aprofundada), a abordagem top down tem como complemento útil as considerações qualitativas sobre a eficácia das medidas e o nível de adicionalidade das intervenções comunitárias. A combinação das duas abordagens pode fornecer um real valor acrescentado à análise se for baseada em te´cnicas de modelização ou de formalização. 5. 14. Tambe´m são raras as avaliações em mate´ria de impacto que recorrem a inque´ritos sistemáticos como, por exemplo, inque´ritos sobre a adicionalidade das medi- das ou a aplicação de um determinado me´todo de avalia- ção dos empregos líquidos criados ligados às medidas, atrave´s da comparação de um grupo experimental e um grupo de controlo. No entanto, esses inque´ritos fornecem à avaliação do impacto um verdadeiro valor acrescen- tado. Os avaliadores teriam feito uma melhor avaliação da eficácia das medidas e dos programas se tivessem efectuado inque´ritos estatísticos que gostariam sobre determinados indicadores de resultado. Assim, nem sem- pre e´ possível encontrar dados sobre o número de empre- sas implantadas nas novas zonas industriais cujo desen- volvimento beneficie do apoio dos FE, ou sobre as transfereˆncias de tecnologias dos institutos de investiga- ção para as empresas. As reuniões com os gestores de medidas e projectos geralmente previstas nos procedimen- tos de avaliação muito raramente permitem obter infor- mações exactas sobre as realizações, os resultados e o impacto das operações. 5. 15. Os resultados em mate´ria de criação de postos de trabalho são incertos no que diz respeito ao carácter duradouro dos mesmos e à parte especificamente imputá- vel às acções estruturais. Ale´m disso, os relatórios de avaliação produzem, por vezes, dados contraditórios. 5. 16. Quanto ao impacto dos programas O2, as avalia- ções ex post destacam os seguintes factos: a) Os PO O2, embora em muitos casos não tenham conseguido melhorar a situação socioeconómica, con- tribuíram, pelo menos, para evitar uma degradação suplementar, nomeadamente no que diz respeito à manutenção do emprego (12), e para lançar as bases da reconversão. Com efeito, a maioria das regiões pro- cura diversificar a sua economia e o seu tecido indus- trial e, eventualmente, eliminar a sua imagem de zona exclusivamente industrial; b) Apesar do processo integrado baseado no conceito de programa, os PO consistem, por vezes, numa altera- ção das políticas nacionais e regionais já estabelecidas e nem sempre constituem um instrumento de progra- mação; c) A existeˆncia simultânea de PO O2 e de iniciativas comunitárias deu lugar a confusões e sobreposições de ajudas; d) A intervenção dos FE produziu efeitos positivos sobre a programação, as modalidades de execução, a parce- ria, as sinergias, a coordenação e a avaliação. Todavia, destacou-se frequentemente a falta de sinergia e de intercâmbios entre gestores e as acções do FEDER e do FSE; e) A nível da adicionalidade, os FE permitem abordar novos domínios, realizar projectos que teriam sido impossíveis sem apoio comunitário, acelerar a sua execução ou realizar projectos mais ambiciosos ou, ainda, conferir um carácter estruturante ao projecto inicial. A adicionalidade das tipologias de medidas (apoios às infra-estruturas, serviços oferecidos às empresas, apoios aos investimentos privados) pode variar consideravelmente; (11) Todavia, isso não implica a criação de postos de trabalho, pois o modelo econome´trico baseia-se na hipótese do pleno emprego e as empresas são confrontadas com sobrecapacida- des de produção quando passam por um ciclo económico fraco. (12) O oitavo relatório anual sobre os FE apresenta importantes efeitos de alavanca referentes aos resultados brutos, tais como a criação de postos de trabalho ou de empresas. 16. 11. 98 PT Jornal Oficial das Comunidades Europeias C 347/13 f) Muitas vezes, os FE não actuam como uma alavanca para a participação de financiamentos privados ou, pelo menos, as avaliações omitem este aspecto; g) As avaliações salientam o facto de os estudos e as negociações preparatórias, os procedimentos adminis- trativos em mate´ria de adopção e execução de deter- minados projectos, bem como a integração de novas políticas nacionais, implicarem prazos que, frequente- mente, são subestimados. 5. 17. Em mate´ria de gestão, constatou-se, a partir das avaliações, que certos me´todos de acompanhamento dos programas se revelaram insuficientes e que os ajustamen- tos internos feitos durante o período de programação incidiram, essencialmente, na maximização da taxa de absorção das dotações e não na revisão dos eixos priori- tários de desenvolvimento regional. 6. AVALIAÇÕES INTERCALARES (1994-1999) públicos, etc. ), bem como a avaliação dos resultados em mate´ria de emprego e PME. 6. 3. Ale´m disso, a Comissão sugeriu que a avaliação fosse global e que as avaliações temáticas sobre um determinado sector de actividade ou uma zona geográfica decorressem numa fase posterior. 6. 4. Alguns Estados-Membros, nomeadamente a Espa- nha (13), a França (14), a Irlanda (15) e os Países Baixos (16) definiram igualmente um quadro para a avaliação inter- calar; esta, segundo esses países, deve incidir sobre: a) A evolução da situação socioeconómica; b) A análise da estrate´gia e a sua coereˆncia interna e externa; c) As condições de execução que englobam a programa- ção e os crite´rios de selecção, a organização adminis- trativa, o dispositivo de acompanhamento e os circui- tos de financiamento dos projectos; Desenvolvimento e integração dos princípios de avalia- ção intercalar d) A execução e as realizações, tendo em conta os resultados previstos; 6. 1. A avaliação intercalar está prevista no capítulo sobre as disposições de execução incluídas em cada QCA, DOCUP e em qualquer outra forma de intervenção e destina-se a reforçar o acompanhamento. Assinale-se que as avaliações intercalares implicam uma análise crítica dos dados recolhidos no âmbito do acompanhamento, explicam os eventuais desvios face aos objectivos perse- guidos e avaliam os resultados previstos da intervenção, para ale´m de incluírem um parecer sobre a validade da intervenção em curso e a pertineˆncia dos objectivos visados. 6. 2. Nas notas que enviou aos Estados-Membros durante o exercício de 1995, a Comissão realçou o facto de as avaliações intercalares deverem «fornecer aos comi- te´s de acompanhamento os indicadores adequados sobre o bom funcionamento dos programas, propor eventuais acções de reprogramação e apresentar uma imagem objectiva e independente dos progressos realizados». A Comissão propôs, igualmente, que o relatório da avalia- ção se concentrasse, numa primeira fase, nas condições de funcionamento das formas de intervenção e, nomeada- mente, nos indicadores, as capacidades de gestão dos responsáveis e os procedimentos de selecção dos projec- tos. Numa segunda fase, e a fim de propor as alterações necessárias e fazer adaptações à programação, esse mesmo relatório devia tratar de questões como a perti- neˆncia da estrate´gia e da validade dos objectivos das intervenções levadas a cabo, a eficácia da programação relativamente às realizações e dos primeiros resultados face aos objectivos, a eficieˆncia do programa, a correcta aplicação das políticas comunitárias (ambiente, contratos e) Os primeiros efeitos obtidos, juntamente com uma avaliação dos efeitos esperados; f) Os custos inerentes à avaliação da eficácia, ou seja, a relação entre os meios e os resultados; e, caso seja necessário, conduzir a propostas de alteração em mate´ria de prioridades ou de acções previstas. 6. 5. Embora o princípio da parceria tenha sido introdu- zido em 1988 como meio de garantir a eficácia dos FE, só a partir de 1995, com a avaliação intercalar do conjunto dos QCA 1994-1999, começou a desempenhar plenamente o seu papel no sistema de gestão descentrali- zada. Nessa altura, estabeleceu-se que os comite´s de acompanhamento ficariam incumbidos de adoptar os objectivos da avaliação, as normas de qualidade previstas que garantam a coereˆncia do conjunto do processo, adaptar o caderno de encargos às particularidades das regiões em causa respeitando o objectivo do exercício, seleccionar os avaliadores com base em listas restritas (13) «Evaluación intermedia de programas operativos regionales del objetivo no. 2 (fase 1994-1996). Orientaciones sobre contenidos comunes a recoger en los pliegos de condiciones te´cnicas», 23 de Maio de 1996. (14) DATAR, calendário regulamentar e administrativo. (15) «General criteria to underpin Terms of Reference for Mid- Term Evaluation of Operational Programmes/Community Initiatives». (16) «Evaluatiekader voor de programma’s van de Europese Structuurfondsen, Terp Advies-CBEA Pieter van Run», Dezembro de 1997. C 347/14 PT Jornal Oficial das Comunidades Europeias 16. 11. 98 preparadas pelos responsáveis pela avaliação (membro do comite´ de acompanhamento e relator comunitário) após a publicação do anúncio de concurso público. A avaliação intercalar contribuiu para o reforço da parceria, ao fazeˆ-la intervir na análise causal das intervenções estrutu- rais. Os quadros 5 e 6 indicam a execução operacional das avaliações intercalares e o contributo importante dos Estados-Membros no âmbito da parceria para a identifi- cação do impacto dos FE. de um determinado saber-fazer e, por outro, a imparciali- dade das conclusões sobre a conformidade da estrate´gia, a coereˆncia entre as análises socioeconómicas e a quanti- ficação objectiva dos efeitos previstos. As necessidades em mate´ria de avaliação no domínio dos FE geraram, em poucos anos, uma rede de avaliadores externos reconheci- dos pela Comissão e pelos Estados-Membros. Tal, não obstante trazer vantagens como, por exemplo, uma maior especialização neste domínio, acaba por delimitar um mercado específico. 6. 6. A abordagem da avaliação intercalar no âmbito da parceria teve igualmente uma forte influeˆncia nas estrutu- ras institucionais e nas tradições nacionais ou regionais das administrações responsáveis. Essa abordagem possibi- litou uma melhor divulgação da cultura da programação plurianual, cuja avaliação e´ um elemento indispensável para se fazer um balanço crítico das intervenções estrutu- rais e preparar os ajustamentos necessários. No âmbito do O1, a parceria em mate´ria de avaliação encontra-se particularmente bem desenvolvida. 6. 7. Actualmente, os trabalhos de avaliação intercalar teˆm por objectivo fornecer respostas globais ao conjunto dos parceiros, desde o responsável pela concepção do programa ate´ ao responsável político, passando pelo gestor. Esses trabalhos incluem relatórios bastante volu- mosos, com informações provenientes do próprio pro- grama, da apreciação ex ante, dos relatórios anuais de execução e das avaliações intercalares ou ex post. Toda- via, de acordo com declarações das entidades inquiridas durante os controlos, só uma parte dos resultados ou das recomendações são verdadeiramente úteis para o processo de decisão, a gestão dos projectos, a reprogramação ou a preparação da futura geração de intervenções. Procedimentos de execução 6. 8. Das 389 avaliações intercalares autorizadas, 320 incidem sobre os objectivos no. s 1, 2, 5b e 6 (17). Na maioria dos Estados-Membros, a execução dessas avalia- ções sofre atrasos consideráveis. 6. 9. Inicialmente, o processo de avaliação intercalar deveria desenrolar-se em duas etapas distintas. A primeira fase tinha a ver com as possibilidades de avaliação e a identificação dos problemas conexos. A segunda fase consistia na avaliação propriamente dita, que seria con- cluída com a elaboração de um relatório. Na prática, este plano foi aplicado muito poucas vezes. 6. 10. De um modo geral, a Comissão insistiu para que as avaliações intercalares fossem efectuadas por peritos externos, a fim de garantir, por um lado, a credibilidade (17) Dessas avaliações, 36 foram analisadas localmente e/ou na Comissão. 6. 11. Na prática, os controlos no local efectuados pelo Tribunal revelaram os factores que limitam a independeˆn- cia do consultor externo. Tendo em conta o tempo limitado de que o avaliador dispõe e que está dependente de facto dos gestores de programa relativamente à obten- ção das informações necessárias, a separação das respecti- vas funções não e´ muita clara. Muitas vezes, os resulta- dos obtidos em mate´ria de eficieˆncia limitam-se a repro- duzir e actualizar as informações do sistema de acompa- nhamento, sendo essas informações apresentadas como uma contribuição externa. 6. 12. Ale´m disso, para selecção de um consultor em mate´ria de avaliação nem sempre e´ seguido o procedi- mento de concurso público publicado em jornal oficial. Nos Países Baixos, o procedimento de selecção consistiu em convidar um número limitado de consultores que constavam de uma lista de potenciais avaliadores a apre- sentar propostas. A selecção foi feita na base dessas propostas. 6. 13. Embora a Comissão participe regularmente nas reuniões dos comite´s de acompanhamento e tenha a possibilidade de fazer prevalecer os seus crite´rios em mate´ria de selecção de consultores, a sua intervenção neste processo nem sempre e´ uniforme. Assim, na Be´lgica, Gre´cia e Portugal, a participação dos serviços da Comis- são começa a partir da selecção do avaliador no âmbito dos grupos te´cnicos ou do comite´ de acompanhamento te´cnico ad hoc, responsáveis pela escolha do consultor e pelo acompanhamento da execução da avaliação. Em contrapartida, na França, os serviços da Comissão só são oficialmente informados após a escolha das duas propos- tas consideradas melhores. Nessa comunicação, acompa- nhada da proposta final, o Governador Civil, na sua qualidade de entidade adjudicante, solicita que lhe sejam transmitidas eventuais observações. No entender dos Paí- ses Baixos, a Comissão, que participa nos trabalhos do comite´ nacional que supervisa as avaliações ex ante, intercalares e ex post das regiões dos objectivos no. s 1 e 2, bem como nos trabalhos dos comite´s de acompanha- mento, reagiu tardiamente ao conteúdo do projecto de relatório de avaliação intercalar do DOCUP O1 Flevo- land. 16. 11. 98 PT Jornal Oficial das Comunidades Europeias C 347/15 Prioridades atribuídas aos objectivos da avaliação respeito às sinergias entre as actividades do FEDER e do FSE. 6. 14. No que diz respeito à execução das avaliações intercalares, a prioridade atribuída aos objectivos da avaliação e´ variável, com excepção da análise das realiza- ções físicas e financeiras ao nível das intervenções, que desempenha um papel importante em todas as avaliações intercalares. Muitas vezes, os desenvolvimentos prioritá- rios correspondem a uma verdadeira necessidade regio- nal, como e´ o caso da Córsega em que a tónica foi colocada no tratamento dos problemas inerentes à gestão, ao acompanhamento e à relação entre a avaliação e o acompanhamento. A persecução de determinados objecti- vos da avaliação e´ dificultada por problemas de ordem te´cnica como, por exemplo, a medida dos indicadores para a avaliação do impacto. 6. 15. É frequente as avaliações intercalares não darem suficiente importância à apreciação crítica da estrate´gia de desenvolvimento regional seleccionada, à viabilidade dos projectos financiados pelos FE, aos crite´rios de selecção dos projectos, aos efeitos e ao impacto no contexto dos objectivos específicos e gerais dos progra- mas. 6. 16. O valor acrescentado comunitário, cuja análise figurava nos objectivos das avaliações ex post dos QCA O1 e O2 para o período de programação de 1989-1993, tratado pelas avaliações intercalares apenas a título e´ excepcional. 6. 17. A evolução do contexto socioeconómico, um espaço de intervenção comunitária em que os contratos de avaliação preveˆem, geralmente, o acompanhamento e a actualização, e´ tratada, em certos casos, de modo sistemático (por exemplo, atrave´s de mapas de gestão bastante elaborados no que diz respeito à região da Valónia) enquanto que, noutros casos, e´ tratada de forma insuficiente, influenciando directamente a qualidade e a actualização das análises dos pontos fortes/pontos fracos efectuadas, geralmente, no quadro da avaliação interca- lar. 6. 18. O respeito e a manutenção, no tempo, da coereˆn- cia interna e externa de cada programa em todos os seus componentes (objectivos do programa, dos subprogramas e das medidas, relações de complementaridade e de sinergia entre os objectivos e entre as medidas) só rara- mente são analisados de forma sistemática. Por exemplo, no PO Brandeburgo, referente ao período de 1994-1996, as autorizações financeiras a favor dos eixos 1. 1 (investi- mentos produtivos) e 1. 2 (infra-estruturas) representam, respectivamente, 138 % e 242 % da previsão inicial, sem que o avaliador tenha dado qualquer justificação em mate´ria de estrate´gia de desenvolvimento regional. Por vezes, as sinergias são alvo de análises que se revelam, muitas vezes, incompletas. Este aspecto mereceria um tratamento mais sistemático, nomeadamente no que diz 6. 19. De igual modo, quando a avaliação visa explicita- mente a reorientação das prioridades do programa e a afectação dos recursos, os trabalhos de avaliação nem sempre dão origem a uma apresentação global e coerente das alterações propostas ou a uma exposição de motivos. Para ale´m disso, as implicações das prorrogações ou dos encurtamentos propostos a nível das medidas nem sempre são claramente especificadas. 6. 20. A análise de um grande número de avaliações revela que o avaliador não conseguiu cumprir todos os objectivos previstos no contrato, nomeadamente no que diz respeito à avaliação do impacto. O tempo e os meios disponíveis nem sempre foram proporcionais aos objecti- vos. Abordagens, me´todos e te´cnicas 6. 21. Dado que, muitas vezes, os objectivos da avaliação e as abordagens a aplicar são formuladas em termos gerais nos contratos, a escolha das abordagens, dos me´todos e das te´cnicas e´ deixada ao crite´rio dos avaliado- res que, por vezes, os adaptam aos problemas surgidos durante a execução. Desse modo, os avaliadores acabam por transformar a única informação disponível em indica- dores. 6. 22. As te´cnicas e os me´todos nem sempre foram desenvolvidos de forma a poder responder aos objectivos da avaliação. Como ainda não existe um verdadeiro consenso sobre a metodologia operacional adequada para avaliar o desenvolvimento regional, a Comissão limita-se a divulgar «as melhores práticas» em termos gerais, sem efectuar uma verdadeira coordenação ou harmonização da sua execução. Esta imprecisão, aliada às disparidades verificadas entre Estados-Membros em mate´ria de progra- mação, execução ou avaliação, conduz à elaboração de relatórios de avaliação de qualidade variável e dificulta bastante a comparabilidade dos resultados a nível euro- peu. 6. 23. Assim, as te´cnicas aplicadas na avaliação do impacto, nomeadamente no que diz respeito à especifici- dade e complexidade dos efeitos a avaliar, revelaram as seguintes lacunas: a) Nem sempre foi efectuada uma busca aprofundada de indicadores ainda mais pertinentes. Por vezes, os indicadores previstos serviram apenas para avaliar a realização física e financeira; b) Os indicadores de impacto nem sempre foram infor- mativos; c) A avaliação do impacto socioeconómico ou de desen- volvimento regional parece ser dificultada pela multi- plicidade de acções, subprogramas e medidas (objec- tivo no. 1). Por outro lado, os inúmeros programas C 347/16 PT Jornal Oficial das Comunidades Europeias 16. 11. 98 destinados a apoiar a reconversão e/ou a redinamiza- ção do tecido industrial (PO, iniciativas comunitárias, programas nacionais) podem ser objecto de uma mobilização conjunta. Ale´m disso, as acções comuni- tárias e nacionais teˆm, por vezes, âmbitos diferentes e as suas datas de lançamento divergem. Por último, e´ frequente os objectivos não serem quantificados e serem formulados de um modo bastante generali- zado (18). Neste contexto, nem sempre são evidentes as relações entre, por um lado, o diagnóstico dos problemas socioeconómicos que necessitam de resolu- ção e os objectivos do conjunto das medidas, dos subprogramas e dos projectos executados e, por outro, entre os objectivos desse conjunto, dado que os indicadores físicos e de impacto atribuídos aos dife- rentes níveis de um programa não reflectem completa- mente as necessidades de avaliação do mesmo. Ale´m disso, tornase difícil identificar os resultados de cada programa e separá-los dos de outras acções a nível privado, regional ou nacional; d) A modelização que permite avaliar os efeitos e impac- tos esperados com base em realizações intercalares e realizações ainda previstas, continua a ser pouco aplicada. A avaliação intercalar de certos QCA nacio- nais baseou-se num modelo input-output (Portugal) ou num modelo macroeconome´trico (Espanha, Irlanda), enquanto que a modelização regional conti- nua a ser bastante marginal. Neste contexto, merece ser citado o exemplo do modelo de desenvolvimento para a província de Hainaut (Be´lgica), utilizado no âmbito da avaliação intercalar. A modelização dos efeitos no âmbito das medidas tambe´m não e´ muito utilizada, excepto no domínio das infra-estruturas de transporte. Importa referir a aplicação do modelo input-output ao projecto da Expo’98 (Portugal) no âmbito das avaliações ex ante e intercalar, embora as previsões devam ser consideradas cautelosamente; e) A avaliação dos efeitos sobre o emprego tambe´m e´ precária. A aplicação de modelos e outras te´cnicas de análise e de inque´rito não fornecem precisões suficien- tes sobre, por um lado, o volume líquido dos postos de trabalho gerados tomando em conta, nomeada- mente, os postos de trabalho criados não atribuíveis à execução do programa, bem como os efeitos de substituição e, por outro, sobre o grau de durabili- dade dos postos de trabalho não atribuíveis à execu- ção do programa. (18) Por exemplo: revitalização do mundo rural, reforço do tecido económico na região, alterações estruturais a nível do desen- volvimento regional. 6. 24. No âmbito da abordagem bottom-up e com o intuito de fazer uma apreciação quantitativa e qualita- tiva do contributo do programa comunitário, alguns contratos de avaliação preveˆem a realização de inque´- ritos junto dos parceiros envolvidos no desenvolvi- mento económico local e dos beneficiários finais, incluindo empresas beneficiárias de apoios comunitá- rios. Por vezes, os resultados dos inque´ritos são sub-representativos, tendo em conta o número de empresas e parceiros que colaboraram nos inque´ritos, sendo a sua fiabilidade limitada, uma vez que nem sempre são sujeitos a controlos. 6. 25. Relativamente aos indicadores de resultado e de impacto, constata-se o seguinte: a) Muitas vezes, são longos os prazos para obter dados e estatísticas; b) Os dados existentes abrangem zonas geográficas que não correspondem às zonas ou bacias visa- das; c) Os dados sobre as empresas não são recolhidos ao nível dos estabelecimentos, o que falseia as estatís- ticas locais. Numa zona pode existir um único estabelecimento, embora a empresa possa ter várias filiais espalhadas pelo território nacional; d) Muitos organismos de estatística não podem seg- mentar os dados globais de forma pormenorizada para circunscrever uma zona, uma bacia ou um determinado problema. 6. 26. O avaliador, quando apresenta indicadores mais adequados para avaliar o impacto, seja para colmatar uma lacuna ou substituir os indicadores previstos, não dá informações sobre os mesmos, suscitando dúvidas quanto ao seu carácter operacional. Ale´m disso, o avaliador nem sempre faz refereˆncia aos inque´ritos que ainda faltam para a concretização desses indicadores, nem preveˆ os custos desses inque´ritos. Saliente-se igualmente que, na auseˆncia de informações sobre se´ries históricas, torna-se difícil a quantificação dos indicadores sobre os objectivos do programa. Realização dos programas do objectivo no. 2 (1994- -1996) 6. 27. Os resultados da avaliação intercalar dos DOCUP, QCA e PO do período de 1994-1996, bem como os do acompanhamento, revelam ser inadequada a relação que existe entre o financiamento programado e a realização dos programas. Não obstante o grande número de adap- tações aos programas feitas na última fase de programa- ção 1994-1996 com o intuito de absorver os montantes das ajudas financeiras, uma me´dia de 12 % das dotações do período de programação de 1994-1996 transitou para o período de programação de 1997-1999. Esta situação pode levar a que se torne preponderante a preocupação 16. 11. 98 PT Jornal Oficial das Comunidades Europeias C 347/17 da absorção das dotações e a que se subestime o papel da avaliação, nomeadamente no que diz respeito à coereˆncia entre os objectivos, os recursos afectados e o impacto das intervenções estruturais. 7. IMPACTO DOS FUNDOS ESTRUTURAIS E MODELOS DE AVALIAÇÃO Impacto ao nível dos QCA e dos programas Resultados dos modelos em mate´ria de impacto dos fundos estruturais 7. 1. Os modelos utilizados no âmbito da avaliação macroeconómica no domínio dos FE (ver anexo III), tendo em conta as suas características específicas, fazem uma apreciação distinta do impacto dos FE relativa- mente: a) À realização dos objectivos do FE no que diz respeito ao crescimento do PIB, à convergeˆncia real do PIB per capita, ao emprego e ao desemprego; b) À satisfação das condições ligadas à execução dos FE, como a adicionalidade, o desenvolvimento durável (referindo, nomeadamente, o controlo da dívida pública e da balança de pagamentos), à distribuição dos rendimentos, ao respeito pelo ambiente; c) Aos efeitos em termos de procura e oferta; d) À eficácia dos instrumentos dos FE, como os investi- mentos públicos, os investimentos a nível de recursos humanos e os apoios às empresas privadas. Crescimento do PIB 7. 2. Como se pode verificar no quadro 7, os resultados dos principais modelos utilizados (HERMIN, OGM e DIO) no processo de apreciação do impacto dos FE revelam um crescimento positivo do PIB nos países abrangidos pelo Fundo de Coesão e, consequentemente, uma melhoria da convergeˆncia. Assim, em termos reais do PIB, o crescimento cumulativo da economia desses países, entre 1994 e 1999, decorrente das acções estrutu- rais inscritas nos QCA, seria o seguinte: para Portugal 5,5 %, para a Gre´cia 5,9 %, para Espanha 2,6 % e para a Irlanda 3,3 %. Esses resultados pressupõem o cumpri- mento integral do princípio da adicionalidade, podendo ser alterados em caso de incumprimento (ver pontos 8. 11 a 8. 13). Por outro lado, os diferentes modelos macroeco- nómicos produziram uma se´rie de resultados suficiente- mente coerentes para que o impacto dos QCA 1994-1999 em mate´ria de crescimento em termos reais do PIB anual possa ser considerado verosímil. Todavia, na sua maioria, os efeitos ligados à procura continuam a ser predominan- tes a curto prazo, enquanto que os efeitos sobre a oferta só se manifestam muito mais tarde. De igual modo, o modelo regional HELM, utilizado para a região de Hai- naut, avalia o impacto do DOCUP em termos de cresci- mento anual do valor acrescentado total, como tendo registado um aumento de 1,7 % para 2,5 %, tomando por base o período 1994-2002. Já no caso do Mezzo- giorno (Itália), o impacto dos FE sobre o crescimento parece ser bastante limitado, ou quase nulo. O modelo QUEST da Comissão, ao introduzir hipóteses sobre as antecipações das empresas e dos consumidores, apresenta estimativas dos efeitos sobre o crescimento e o emprego mais baixas do que os modelos precedentes. Os ganhos apresentados por este modelo no que respeita ao poten- cial de crescimento e à redução do desemprego fazem-se sentir apenas a longo prazo. 7. 3. Em termos de aceleração me´dia do crescimento anual decorrente das acções estruturais inscritas nos QCA, o quadro 8 indica que os efeitos multiplicadores de um crescimento de 1 % no PIB decorrente do QCA conduzem a um aumento do crescimento anual, no período 1994-1999, de 0,2 % para 0,3 % nos efeitos da procura e de 0,2 %, no máximo, nos efeitos de oferta. A nível económico, o domínio dos efeitos sobre a procura, destacado pelo modelo HERMIN, que desapareceriam com o corte dos apoios comunitários, apenas contribui para a realização dos objectivos definidos no artigo 130o. -A do Tratado CE se os efeitos sobre a oferta tiverem um desenvolvimento duradouro e reforçarem as capacidades produtivas das regiões em causa. Na medida em que o desenvolvimento dos efeitos sobre a oferta ocorre muito mais tarde do que os sobre a procura, e´ possível que os correspondentes efeitos multiplicadores sejam subestimados. Convergeˆncia real em termos de PIB per capita 7. 4. Os modelos utilizados no âmbito dos FE mostram que o processo de convergeˆncia nem sempre e´ garantido e que determinadas programações dos QCA podem, na melhor das hipóteses, atenuar a divergeˆncia e não desen- volver a convergeˆncia. 7. 5. No que diz respeito à Irlanda, as previsões de Bradley (HERMIN 1994) e Honohan (HERMIN 1997) incidiram sobre o que poderia ser o efeito do apoio dos QCA de 1989-1993 e 1994-1999 no PIB per capita. Bradley considera modesto o contributo do QCA 1994- -1999 para esta recuperação. Honohan, pelo contrário, afirma que os QCA desempenham um papel significativo no processo de convergeˆncia. Por seu lado, Beutel (1997) e´ de opinião que a Irlanda acabará por apanhar o resto da Europa mesmo sem QCA 1994-1999, que aumentaria a taxa anual de crescimento em 0,6 %. Da mesma forma, a Espanha, Portugal e a Gre´cia registariam um aumento da taxa anual de crescimento de, respectivamente, 0,4 %, 1,1 % e 1 % para o período 1994-1999 graças ao C 347/18 PT Jornal Oficial das Comunidades Europeias 16. 11. 98 impacto dos FE, o que, em qualquer caso, teve um efeito positivo sobre a convergeˆncia real em termos de PIB per capita. 7. 6. As simulações previsionais feitas com o modelo OGM sobre a convergeˆncia em PIB real per capita em relação à me´dia da União revelam estimativas que salien- tam que o contributo líquido dos QCA para a convergeˆn- cia continua a ser modesto para os países abrangidos pelo Fundo de Coesão, não obstante as previsões para a Irlanda em 1995 terem apontado um quadro demasiado pessimista (ver quadro 9). 7. 7. No que diz respeito à região de Hainaut, o modelo HELM toma em consideração os aspectos da convergeˆn- cia real para a avaliação intercalar e preveˆ que, graças aos FE, a taxa anual previsional de crescimento passe de 1,4 % para 1,6 %, valor superior à me´dia europeia, permitindo, assim, uma recuperação efectiva. 7. 8. Essas previsões salientam que, dadas as diferenças existentes nas estruturas regionais ou sectoriais produti- vas dos Estados-Membros do O1, os contributos dos FE produzem efeitos variáveis; confirmam tambe´m a necessi- dade de melhorar a qualidade da programação dos FE, de modo a que as suas intervenções, num intuito de conver- geˆncia, permitam melhorar as capacidades produtivas da economia. Emprego e desemprego 7. 9. O quadro 10 sintetiza os resultados das avaliações do impacto dos FE sobre o emprego e o desemprego. Todos os estudos afirmam que os QCA são criadores de empregos líquidos. Regra geral, estes novos empregos são criados no sector dos serviços não comerciais, ao contrá- rio do que acontece com os efeitos de produtividade dos QCA que se concentram particularmente no sector indus- trial. Por último, alguns estudos destacam uma diminui- ção do emprego no sector industrial em virtude de um aumento da produtividade do trabalho. Eficácia dos instrumentos dos QCA 7. 10. As avaliações HERMIN para países como a Espa- nha, Irlanda e Portugal revelam que os apoios aos investimentos públicos, nomeadamente os apoios consa- grados às infra-estruturas, são mais produtivos em termos de crescimento do que os apoios aos investimentos em recursos humanos (com excepção da Espanha) e os apoios aos investimentos privados. Este facto e´ ilustrado no quadro 11 que mostra, por instrumento, o cresci- mento do PIB nacional derivado do aumento de 1 % do PIB total gerado pelo QCA durante o período de 1994- -1999. O estudo HERMIN para a Gre´cia tambe´m con- cluiu que os investimentos em infra-estruturas («hard infrastructure») incluídos nos QCA contribuem em maior escala para o crescimento do PIB do que os investimentos em recursos humanos. A aplicação do modelo OGM (Pereira, 1991) para avaliar os efeitos da substituição dos apoios aos investimentos privados ou aos investimentos em recursos humanos por apoios adicionais aos investi- mentos em infra-estruturas revela que os FE impulsionam o crescimento do PIB e melhoram o processo de conver- geˆncia. Obrigação de adicionalidade e de co-financiamento 7. 11. Os modelos tambe´m permitiram avaliar a impor- tância da adicionalidade e do co-financiamento público. Assim, Honahan (HERMIN 1997) considera que, se não existisse a obrigação de co-financiamento público, a taxa de crescimento da economia irlandesa teria sido inferior em 1 % ao impacto do QCA e ter-se-ia registado igual- mente uma taxa de crescimento menor a nível do emprego. Por outro lado, as previsões de Honahan apon- tam para uma redução mais significativa da relação dívida pública/PIB, bem como do excedente da balança de pagamentos se não existisse a obrigação de co- -financiamento público. Relativamente a Portugal, de acordo com a avaliação HERMIN, o requisito do co- -financiamento público dá ao PIB um ganho adicional acumulado da ordem de 1,3 %, mas origina uma evolu- ção menos positiva em mate´ria de dívida pública. 7. 12. A avaliação HELM para a região de Hainaut atribui grande importância à adicionalidade. Segundo esta avaliação, a taxa de crescimento me´dio do valor acrescentado para o período de 1994-1999 dos treˆs cenários (política regional com DOCUP, prosseguimento da política regional sem apoio comunitário, política regional sem DOCUP) e´ de, respectivamente, 2,5 %, 1,7 % e 0,1 %, enquanto que a taxa de crescimento do emprego regista uma redução de 0,8 % para 0,2 %. A situação da indústria sofreu igualmente uma deterioração substancial. A avaliação HELM demonstrou igualmente que, variando a taxa de subvenção, o apoio ao investi- mento não fomenta este último na mesma medida, e que com níveis de ajudas mais baixos ter-se-iam realizado numerosos investimentos. Desenvolvimento durável 7. 13. Atrave´s do quadro 10 e´ possível constatar que os efeitos dos FE sobre o saldo da balança comercial, da balança corrente ou da dívida pública nem sempre são objecto de avaliação. Para ale´m disso, os vários estudos efectuados apresentam conclusões diferentes. Assim, enquanto que, em certos casos, a expansão económica induzida pelos QCA permite melhorar as finanças públi- cas atrave´s da fiscalidade, segundo outros modelos o QCA e´ responsável pela criação de de´fices orçamentais. 16. 11. 98 PT Jornal Oficial das Comunidades Europeias C 347/19 Papel da avaliação a nível macroeconómico no processo decisório dos fundos estruturais 7. 14. Tendo em conta os efeitos a curto prazo dos FE sobre a procura, a avaliação intercalar tem tendeˆncia a sobrestimar os problemas da absorção dos fundos comu- nitários junto das autoridades políticas e a subestimar os efeitos a mais longo prazo sobre a oferta. Deste modo, as reorientações ou reprogramações dos PO ou QCA podem sofrer distorções. Com efeito, as medidas ou projectos que não sejam ce´leres em absorver as dotações comunitá- rias correm o risco de serem suprimidos, nomeadamente em domínios de execução complexa, como a inovação ou as novas tecnologias, a favor de estruturas já existentes com níveis de produtividade bastante mais fracos, nem sempre sendo considerados os aspectos macroeconómicos do desenvolvimento sustentável. 7. 15. Neste contexto, as avaliações macroeconómicas complementares que incluem os aspectos ligados à susten- tabilidade, ao crescimento ou à convergeˆncia, são indis- pensáveis antes de qualquer tomada de decisão a nível da programação inicial e do seu reajustamento. Com efeito, numa se´rie de casos, como em Espanha, na Gre´cia ou nos novos Länder alemães, já foram efectuadas reprograma- ções no âmbito da avaliação intercalar sem que tivesse sido feita uma análise global se´ria no plano macroeconó- mico. No que diz respeito às regiões do O1 na Alemanha, não foi efectuada qualquer análise macroeconómica aquando da avaliação intercalar. Impacto ao nível dos subprogramas, das medidas e dos projectos 7. 16. Existe um número bastante reduzido de avaliações a nível do impacto dos subprogramas e medidas, não obstante o facto de estes constituírem o motor da progra- mação dos FE. A dispersão, a indefinição e falta de coereˆncia de muitos subprogramas ou medidas, bem como a quantificação insuficiente dos correspondentes objectivos específicos, podem ajudar a explicar as dificul- dades da avaliação do impacto. 7. 17. Esta lacuna dificulta quaisquer esforços para iden- tificar e avaliar a sinergia e a complementaridade entre as medidas ou entre os diferentes programas. Ale´m disso, as relações entre os objectivos gerais do programa e os objectivos específicos dos subprogramas ou das medidas são, muito frequentemente, pouco claros. Deste modo, os relatórios de avaliação intercalar revelaram uma se´rie de problemas de coereˆncia nos programas dos QCA 1994- -1999 O1. micos antes descritos apenas permitem fornecer uma avaliação da eficácia dos principais instrumentos dos QCA (investimentos públicos, investimentos privados e investimentos em recursos humanos) no que diz respeito ao seu contributo para o crescimento do PIB. As despesas com infra-estruturas, complementares ao capital privado, parecem aumentar o rendimento deste último e acelerar mais a convergeˆncia do que outras formas de investi- mento (ver quadro 11). 7. 19. Contudo, a selecção das medidas ou dos subpro- gramas que constituem o programa, bem como o respec- tivo financiamento, não e´ neutra em termos do impacto do desenvolvimento regional em mate´ria de crescimento endógeno durável. Os trabalhos de avaliação levados a cabo pela Comissão ou pelos Estados-Membros, no âm- bito da parceria ao nível dos subprogramas ou das medidas, ainda são insuficientes para permitir examinar as consequeˆncias de uma medida específica em outras zonas ou sectores ou fazer uma comparação entre essa medida e outras medidas com objectivos similares. Ale´m disso, a análise do impacto das medidas ou dos subpro- gramas deverá igualmente ter em conta a arbitragem inicial entre o crescimento e a igualdade interregional que determinou a sua escolha, de modo a ponderar os ganhos de eficácia esperados e realizados. 7. 20. A nível dos projectos, a análise custos/vantagens e´, em princípio, elaborada com vista à aprovação do finan- ciamento do projecto. Em conformidade com o disposto no artigo 5o. do Regulamento (CEE) no. 2083/93 (FE- DER), esta análise e´ obrigatória para os grandes projectos cujo custo total e´ superior a 25 milhões de ecus para os investimentos em infra-estruturas e a 15 milhões de ecus para os investimentos produtivos. Estas apreciações ex ante dos grandes projectos fazem parte da apreciação dos pedidos de apoios comunitários e determinam o mon- tante do financiamento; no entanto, a avaliação ex post não está prevista nos regulamentos dos FE e não pode ser exigida pela Comissão para efeitos de verificação da concretização efectiva das vantagens socioeconómicas esperadas face aos recursos comunitários afectos para o efeito. Esta deficieˆncia no processo de avaliação de gran- des projectos torna inoperante o próprio conceito de avaliação, uma vez que a apreciação ex ante apenas se justifica caso haja, efectivamente, uma avaliação ex post. Ale´m disso, estes estudos microeconómicos e sectoriais poderiam igualmente avaliar o potencial impacto dos FE sobre a produtividade e transformarem-se, desse modo, num instrumento eficaz para analisar esse impacto a curto ou a me´dio prazo. 7. 18. Ale´m disso, são raras as te´cnicas adaptadas à avaliação do impacto de um subprograma ou de uma medida específica. Deste modo, os modelos macroeconó- 7. 21. Aquando da avaliação de projectos, tambe´m devem ser tomadas em consideração as sinergias e as complementaridades, cuja avaliação continua a ser insufi- C 347/20 PT Jornal Oficial das Comunidades Europeias 16. 11. 98 ciente ou superficial. De modo a não fragilizar o impacto previsível, e´ indispensável que as complementaridades e as sinergias entre projectos sejam adequadas. 8. 4. O mesmo acontece no que diz respeito às bases estatísticas, cujas lacunas põem em questão a validade dos indicadores e condicionam fortemente o processo de acompanhamento e de avaliação. 7. 22. Ainda que a avaliação intercalar aborde os proble- mas de gestão dos programas, muitas vezes não tem em conta os crite´rios que determinaram a selecção dos pro- jectos, tal como a duração do projecto ou a sua contri- buição para o desenvolvimento regional. Com efeito, o sistema de gestão dos programas deve ter capacidade para garantir uma utilização dos crite´rios de selecção dos projectos capaz de optimizar os resultados dos progra- mas. Seria necessário evitar, nomeadamente, os projectos com um fraco valor acrescentado em mate´ria de desen- volvimento, mesmo que estes apresentem a vantagem de consumir as dotações muito rapidamente. É necessária uma maior transpareˆncia no sistema de selecção de projectos, de modo a permitir o seu controlo e a assegu- rar a sua posssibilidade de avaliação. 8. CONCLUSÃO 8. 1. A avaliação das intervenções estruturais comunitá- rias resulta das obrigações regulamentares decorrentes das decisões do Conselho, sendo bastante utilizada no âmbito da parceria. A avaliação tornou-se um sistema de apoio à concepção e gestão das intervenções e contribui para um melhor conhecimento dos seus efeitos e da sua utilidade. No ano de 1997, mais de 250 avaliações intercalares relativas ao período de 1994-1999 foram concluídas a nível dos comite´s de acompanhamento (19). 8. 2. Com a revisão da reforma dos FE, a avaliação entra numa fase de maturidade que importa desde já consolidar atrave´s de um melhor enquadramento metodológico. Assim, há que concentrar esforços para determinar os me´todos de avaliação mais adequados para avaliar o impacto socioeconómico dos programas no âmbito do desenvolvimento regional, relativamente ao qual o pro- grama MEANS não deu uma resposta satisfatória. 8. 3. Deveria igualmente ser feito um esforço importante no domínio dos indicadores a todos os níveis em mate´ria de pertineˆncia, modos de informação e respectivos custos. De igual modo, deveria ser feito um esforço para forma- lizar os aspectos qualitativos. Se não forem realizados progressos nestes domínios, o processo de avaliação corre o risco de estagnar. (19) Os comite´s de acompanhamento são constituídos por repre- sentantes das instâncias nacionais em causa e da Comissão. 8. 5. A multiplicidade de indicadores existentes, mais ou menos pertinentes, prejudica a qualidade da avaliação e impede que esta se torne funcional. Deveria ser cuidado- samente seleccionado um pequeno número de indicadores de impacto indispensáveis para justificar ou reorientar uma política estrutural, tendo em conta as obrigações da regionalização dos dados e as possibilidades materiais da recolha de informações. A fiabilidade dos indicadores referidos deve ser objecto de controlo. A comparabilidade dos indicadores e a sua agregação à escala europeia tambe´m devem ser melhoradas. 8. 6. Para que a avaliação possa ser tida em conta no processo decisório e na gestão operacional dos FE, importa garantir a transpareˆncia e a objectividade das avaliações, a correspondeˆncia dos seus objectivos às necessidades e uma data de finalização adequada. 8. 7. De modo a garantir a objectividade dos resultados da avaliação, há que preservar a independeˆncia dos avaliadores face aos gestores e às autoridades públicas envolvidas. 8. 8. A utilização de um quadro de refereˆncia comum facilitaria a leitura e a comparabilidade dos relatórios de avaliação, bem como o intercâmbio de experieˆncias. 8. 9. Para cada avaliação deveriam ser definidos objecti- vos mais operacionais. Os termos de refereˆncia e os cadernos de encargos que, regra geral, são aprovados pela Comissão, deveriam indicar claramente qual a metodolo- gia mais adequada para tratar de aspectos regionais, sectoriais ou nacionais ou para incidir especificamente nos efeitos a curto ou a longo prazo. Quaisquer outras metodologias devem ser sujeitas a uma análise de pontos fortes/pontos fracos em comparação com a metodologia da Comissão. Ale´m disso, o quadro de refereˆncia de cada avaliação deveria incluir uma lista mínima de indicadores proposta pela Comissão para avaliar a eficieˆncia dos objectivos dos programas, por forma a garantir à análise a coereˆncia indispensável. Outros indicadores de situação socioeconómica e estrutural podem, naturalmente, ser utilizados para completar e aperfeiçoar a análise. 8. 10. Considerando a diversidade das abordagens à ava- liação, a Comissão deve exigir aos avaliadores que expli- quem mais claramente a sua abordagem na fase de concurso, nomeadamente o tipo de efeitos ou de impacto 16. 11. 98 PT Jornal Oficial das Comunidades Europeias C 347/21 que e´ suposto avaliar, bem como a sua duração, de modo a poder julgar da exaustividade das metodologias utiliza- das. Ale´m disso, a avaliação deveria incluir uma análise pormenorizada das relações entre os objectivos dos pro- gramas, os eixos e as medidas aplicadas para a sua concretização, bem como a necessária articulação «em cascata» dos objectivos/resultados/realização dos progra- mas, eixos e medidas. 8. 15. A modelização macroeconómica faz uma distinção fundamental entre os efeitos sobre a procura a curto prazo e os ajustamentos estruturais da oferta. A progra- mação das intervenções dos FE deveria colocar a tónica na melhoria da capacidade produtiva da economia, a fim de garantir a permaneˆncia dos efeitos e evitar uma dependeˆncia demasiado acentuada da procura, cenário esse que poderia conduzir a uma situação em que o apoio comunitário se tornaria indispensável a longo prazo. 8. 11. Neste contexto, e´ necessário uma melhor segmen- tação da avaliação em função dos destinatários envolvi- dos, de modo a melhorar a eficácia e dar uma resposta mais adequada às suas expectativas específicas, nomeada- mente no domínio das avaliações intercalares. De igual modo, deveria procurar-se um melhor controlo dos cus- tos, dado que a Comissão nem sempre conhece os montantes afectados às despesas com avaliações no âmbi- to da parceria. 8. 16. Uma vez que os efeitos sobre a oferta só são visíveis a mais longo prazo, a avaliação intercalar e´ geralmente levada a prestar maior atenção aos efeitos sobre a procura. A Comissão deveria levar a cabo uma acção tendente a desenvolver os instrumentos necessários ao acompanhamento e à avaliação dos efeitos estrutura- dores sobre a economia. 8. 12. A Comissão deveria igualmente indicar os aspectos da política regional que devem ser objecto de uma avaliação especial: adicionalidade, convergeˆncia, parceria, concentração, emprego, desenvolvimento económico en- dógeno ou bem-estar social. A avaliação da eficácia das intervenções estruturais não pode ser unicamente ajuizada pelo crite´rio PIB per capita. 8. 17. Atrave´s dos modelos macroeconómicos, chega-se igualmente à conclusão de que uma política de cresci- mento económico nem sempre e´ compatível com o desen- volvimento durável. Seria necessário analisar mais deta- lhadamente as relações entre o impacto sobre o cresci- mento e os efeitos sobre o desenvolvimento durável e ter em conta esta dualidade, de modo sistemático, na progra- mação das intervenções dos FE. 8. 13. A avaliação dos efeitos, do impacto e do valor acrescentado comunitário deve assentar em modelos de desenvolvimento nacional e regional a nível do programa e em modelos de impacto das medidas. 8. 18. Não e´ fácil identificar os efeitos da obrigação de adicionalidade e de co-financiamento público, que nem sempre são examinados. Deveriam ser efectuadas análises mais sistemáticas e aprofundadas nesta área. 8. 14. Os resultados macroeconómicos das acções estru- turais devem ser mais aperfeiçoados tendo em conta as imperfeições dos modelos subjacentes às mesmas, os efeitos secundários provocados por essas acções e o conjunto dos efeitos das mesmas sobre o bem-estar social. 8. 19. A avaliação em si não pretende substituir o pro- cesso de decisão política que integra considerações mais amplas, devendo, contudo, ser um instrumento indispen- sável à gestão sã e eficaz das intervenções estruturais comunitárias que teˆm em conta os resultados socioeconó- micos. O presente relatório foi aprovado pelo Tribunal de Contas, no Luxemburgo, na sua reunião de 23 de Setembro de 1998. Pelo Tribunal de Contas Bernhard FRIEDMANN Presidente Custo da avaliação directamente financiada pela Comissão (DG XVI) para o primeiro QCA Quadro 1 País Objectivo no. 1 1989-1993 Objectivo no. 2 Iniciativas comunitárias Temática Outras Total Ex ante Ex post Ex ante Ex post Ex ante Ex post (em ecus) Be´lgica Dinamarca Alemanha Gre´cia Espanha França Irlanda Itália Luxemburgo Países Baixos Portugal Reino Unido CE 35 000 31 000 42 000 35 000 35 000 35 000 53 000 150 172 207 372 97 662 109 572 150 552 193 022 72 572 17 500 35 000 17 500 70 000 35 000 35 000 17 500 35 000 122 500 69 040 25 520 138 570 117 090 253 185 96 580 15 880 47 925 131 500 14 815 65 963 10 514 143 480 526 347 739 274 197 228 201 915 395 955 15 128 46 816 452 706 223 428 98 400 35 395 25 000 593 350 260 977 104 371 464 064 390 156 25 000 625 169 626 694 77 500 151 845 30 000 151 845 151 845 35 000 550 256 187 898 96 034 299 550 1 456 714 1 455 713 881 291 810 551 1 255 088 48 508 154 741 1 340 897 1 229 694 740 971 Total 266 000 980 924 385 000 910 105 3 117 154 3 227 676 1 070 791 9 957 650 Fonte: Comissão Europeia. C 3 4 7 2 2 / P T J o r n a l O f i c i a l d a s C o m u n i d a d e s E u r o p e i a s 1 6. 1 1. 9 8 Custo da avaliação directamente financiada pela Comissão (DG XVI) para o segundo QCA ate´ 1 de Abril de 1998 Quadro 2 1994-1999 1994-1996 1997-1999 1994-1999 País Objectivo no. 1 Objectivo no. 2 Objectivo no. 2 IC Temática Ex ante Intercalar Ex ante Intercalar Ex ante Ex ante (em ecus) Estudos Coesão Desenvolvimento metodológico e outros Total Be´lgica Dinamarca Alemanha Gre´cia Espanha França Irlanda Itália Luxemburgo Países Baixos Áustria Portugal Finlândia Sue´cia Reino Unido CE 24 000 352 527 38 940 108 303 68 995 86 841 56 000 83 809 19 000 17 671 60 000 71 774 49 150 1 030 037 4 171 941 1 382 117 481 092 1 067 557 1 514 311 37 499 11 827 1 631 604 339 214 281 295 70 885 26 530 23 312 94 784 85 102 186 122 105 287 9 143 46 431 33 000 16 750 27 000 154 591 127 300 611 348 9 278 128 450 209 078 807 462 722 690 61 741 104 924 171 201 326 614 247 636 10 600 9 600 29 200 19 000 45 600 31 169 10 600 10 600 30 000 1 559 39 702 23 286 29 725 36 091 4 326 33 185 460 4 406 245 35 247 35 845 4 314 127 986 2 576 126 19 417 33 357 62 217 55 167 48 367 56 967 52 317 49 417 14 597 46 817 38 417 52 122 90 000 4 030 438 1 045 981 75 547 1 551 316 4 358 697 1 842 384 1 700 175 1 180 200 2 539 868 96 541 269 677 233 944 1 765 268 682 578 555 931 415 217 6 877 328 Total 684 483 12 371 906 935 352 3 400 422 196 369 248 391 2 704 112 619 179 4 030 438 25 190 652 Fonte: Comissão Europeia. 1 6 1 1 9 8. P T J o r n a l O f i c i a l d a s C o m u n i d a d e s E u r o p e i a s C 3 4 7 / 2 3 C 347/24 PT Jornal Oficial das Comunidades Europeias 16. 11. 98 Quadro 3 Articulação entre controlo, acompanhamento e avaliação Meios RR Realizações RR Impactos Input Output Outcome rr Controlo RR rr Acompanhamento (de gestão) RR rr Avaliação (dos efeitos) RR Fonte: MEANS. Quadro 4 Julgar o valor de um programa Referências Conformidade com os textos administrativos Normas de boa gestão Satisfação dos cidadãos Impactos qq QQ QQ Sociedade Necessidades O que está em jogo QQ QQ Resultados qq QQ QQ RR Meios Recursos RR Intervenções Realizações QQ Objectivos específicos globais Pertinência Eficiência Eficácia Utilidade Acção pública Avaliação Fonte: MEANS. 16. 11. 98 PT Jornal Oficial das Comunidades Europeias C 347/25 Quadro 5 Número de avaliações intercalares por país e por objectivo País Objectivo no. 1 Objectivo no. 2 Objectivo no. 3 Objectivo no. 4 Objectivo no. 5a Objectivo no. 5b Objectivo no. 6 Total Be´lgica Dinamarca Alemanha Gre´cia Espanha França Irlanda Itália Luxemburgo Países Baixos Áustria Portugal Finlândia Sue´cia Reino Unido Total 1 8 28 27 6 11 24 1 1 25 12 144 4 2 9 9 27 11 1 5 4 1 5 13 91 5 1 13 12 1 1 1 1 1 4 1 1 5 1 1 2 1 1 1 1 1 4 1 42 19 1 1 1 1 1 1 1 1 8 3 1 8 7 20 13 1 5 7 2 5 11 83 19 6 40 28 58 55 11 50 4 13 15 25 13 14 38 389 1 1 2 A nível do QCA foram efectuadas cinco avaliações intercalares (Espanha, Gre´cia, Irlanda, Itália e Portugal), tendo sido elaborada uma síntese dos trabalhos de avaliação para as acções do objectivo no. 1 (Alemanha). Fonte: Comissão Europeia. Estado de adiantamento das avaliações intercalares dos objectivos no. s 1, 2 e 6 Quadro 6 Estado-Membro Comite´s de acompanhamento Concurso Organismo seleccionado Número de relatórios apresentados ou previstos Obj. 1 País abrangido pelo Fundo de Coesão Espanha 1 comite´ QCA 12 subcomite´s regionais 7 subcomite´s sectoriais FEDER 1 regional/central (Cantábria) Concluído 12 concluídos 7 concluídos 1 externo 12 externos 7 externos 1 relatório previsto para 7/1997 12 relatórios previstos para 5/1997; 1 relatório apresentado 7 relatórios previstos para 5-6/1997; 1 relatório apresentado 1 concluído 1 externo Relatório previsto para 5/1997 Gre´cia 1 comite´ QCA Em fase de selecção 13 subcomite´s regionais 17 subcomite´s sectoriais 13 concluídos 7 concluídos 3 publicados 6 propostas recebi- das 13 externos Nomeação em curso — 13 relatórios apresentados em 6/1997 — Irlanda Portugal 1 comite´ QCA 9 comite´s sectoriais Lançado em 1996 Lançado em 1996 1 externo 9 externos 1 relatório intercalar apresentado em 3/1997 9 relatórios intercalares apresentados em 3/1997 1 comite´ QCA 7 subcomite´s regionais 3 subcomite´s pluriregio- nais 7 subcomite´s sectoriais Concluído Concluído Concluído Concluído 1 externo 7 externos 3 externos 14 externos Relatório previsto para finais de 1997 7 relatórios apresentados no primeiro trimestre de 1997 3 relatórios apresentados no primeiro trimestre de 1997 12 relatórios apresentados no primeiro trimestre de 1997 — 1 relatório previsto para 7/1997 — 1 relatório previsto para 9/1997 Obj. 1 Outros países Alemanha 1 comite´ QCA 6 subcomite´s regionais 3 subcomite´s FSE-FEOGA-IFOP 1997 (limitado) 1996 1 externo 6 externos — 1 relatório final previsto para 8/1997 6 relatórios apresentados em 5/1997 — Be´lgica 1 comite´ DOCUP 3. 9. 1994 1 externo Relatório final apresentado em 5/1997 C 3 4 7 2 6 / P T J o r n a l O f i c i a l d a s C o m u n i d a d e s E u r o p e i a s 1 6. 1 1. 9 8 Estado-Membro Comite´s de acompanhamento Concurso Organismo seleccionado Número de relatórios apresentados ou previstos França 6 comite´s DOCUP 6 concluídos 6 externos Córsega: relatório intercalar apresentado em 12/1996 Hainaut: relatório previsto para 7/1997 Martinica/Guadalupe: relatórios previstos para 6/1997 Reunião/Guiana: relatórios previstos para finais de 1997 Itália 1 comite´ QCA 8 subcomite´s regionais 12 subcomite´s pluriregio- nais Lista limitada dispo- nível, selecção pre- vista para 11/1997 Lançados Publicação em curso, selecção prevista (Verão de 1997) 0 Avaliação interna: relatório previsto para 7/1997 Avaliação externa: relatório previsto para 6/1998 2 em 8 externos 0 Relatórios previstos para o início de 1998 — Países Baixos 1 comite´ DOCUP 3/1996 1 externo Relatório previsto para finais de 1997 Reino Unido 2 comite´s DOCUP 1: 2/1996 (Mersey- side) 2: 1996 (H&I) 1 externo 1 externo 1 relatório apresentado no início de 1997 1 relatório apresentado para o Verão de 1997 Irlanda do Norte 1 comite´ CCA 9 subcomite´s sectoriais 1: 6/1996 Maio de 1996 1 externo 9 externos Relatório apresentado em Maio de 1997 9 relatórios apresentados no primeiro semestre de 1997 Áustria 1 comite´ Concluído 1 externo Relatório previsto para o Outono de 1997 Obj. 6 Finlândia 1 comite´ DOCUP Concluído 1 externo Relatório previsto para 10/1997 Sue´cia 1 comite´ DOCUP Concluído 1 externo Relatório apresentado em 6/1997 Fonte: Comissão Europeia. 1 6 1 1 9 8. P T J o r n a l O f i c i a l d a s C o m u n i d a d e s E u r o p e i a s C 3 4 7 / 2 7 C 347/28 PT Jornal Oficial das Comunidades Europeias 16. 11. 98 Impacto dos programas do segundo QCA (incluindo o co-financiamento nacional) sobre o crescimento do PIB Quadro 7 QCA 1994-1999 como % do PIB HERMIN (1) (Taxa de crescimento me´dio anual para o período 1994-1999) Procura Oferta Total OGM (2) (Taxa de cresci- mento me´dio anual para o período 1994-1999) DIO (3) (Taxa de cresci- mento me´dio anual para o período 1994-1999) Gre´cia Espanha(4) Portugal Irlanda 5,9 2,6 5,5 3,3 0,9 0,6 1,6 0,5 0,9 0,3 0,2 0,2 1,8 0,8 1,8 0,7 0,6 0,2 0,4 0,1 1 0,5 1 0,6 (1) HERMIN: Modelo econome´trico que tem por base o modelo original HERMES «Harmonised Econometric Research for Modelling Economic Systems», mas que tem a particularidade de ser de tamanho mínimo (Min), daí a designação (HER)MIN. Ver capítulo 7, designadamente os pontos 7. 2, 7. 5, 7. 10, 7. 11, bem como o anexo III, ponto 5. (2) «Optimal Growth Model» (OGM) de Pereira (1991 e 1995). Ver capítulo 7, designadamente os pontos 7. 2, 7. 6, 7. 10, bem como o anexo III ponto 7. (3) «Dynamic Input-output Model (DIO)» de Beutel (1995, 1996 e 1997). Ver ponto 6. 23 d), bem como o anexo III, ponto 9. (4) No que respeita a Espanha, nem todas as regiões são elegíveis para o objectivo no. 1. Fonte: Avaliações com base nos modelos macroeconómicos pertinentes, co-financiadas pela Comissão. Multiplicadores do crescimento anual do programa do QCA em 1994-1999 Quadro 8 HERMIN Procura Oferta Total OGM DIO Gre´cia Espanha Portugal Irlanda 0,2 0,2 0,3 0,2 0,2 0,1 0 0,1 0,4 0,3 0,3 0,3 0,1 0,1 0,1 0 0,2 0,2 0,2 0,2 Fonte: Avaliações com base nos modelos macroeconómicos pertinentes, co-financiadas pela Comissão. Quadro 9 Convergência real do PIB per capita na abordagem OGM 9 0 90 8 0 80 7 0 70 60 6 0 50 5 0 40 4 0 E U a d a i d é m a d % Grécia G r e e c e I r e l a n d Irlanda P o r t u g a l Portugal S p a i n Espanha 30 3 0 1993 1 9 9 3 1995 1 9 9 5 1997 1 9 9 7 1999 1 9 9 9 2003 2 0 0 3 2007 2 0 0 7 Nota: Destas simulações previsionais realizadas com base em dados relativamente pouco recentes, convém reter apenas a orientação das tendências e não os valores absolutos das projecções que se revelam demasiado pessimistas, em especial no caso da Irlanda. Fonte: Avaliações com base no modelo OGM (Pereira, 1995). 16. 11. 98 PT Jornal Oficial das Comunidades Europeias C 347/29 Impacto dos programas QCA sobre o emprego e a sustentabilidade no período de 1989-1999 Quadro 10 Autores Emprego e desemprego Bradley e. o. [HERMIN] — Aumento da taxa de emprego global — Diminuição do emprego no sector da indústria transformadora, devido, em parte, ao aumento da produtividade Sustentabilidade Finanças públicas Balança de pagamentos Deterioração da balança co- mercial — A necessidade de finan- ciamento do sector pú- blico aumentou aquando do arranque do programa e decres- ceu posteriormente com a presença dos efeitos sobre a oferta — Os efeitos do cresci- mento, aliados à inalte- rável necessidade de fi- nanciamento do sector público são mais redu- zidos — Aumento da taxa de emprego no sector não comercial — Aumento da taxa de emprego global — Ver estudo anterior — Diminuição substancial do rácio dívida/PNB — Aumento da taxa de emprego global — Ver estudo de Bradley e. o. — Diminuição da taxa de desemprego — Diminuição do rácio dívida/PNB Melhoria da balança de pa- gamentos, desde que os fi- nanciamentos comunitários prossigam Deterioração da balança co- mercial devido aos efeitos sobre a procura — Aumento da taxa de emprego global — Aumento do de´fice Não considerado principal — Diminuição da taxa de desemprego nas cida- des — Aumento da taxa de emprego global Não considerado Não considerado — Diminuição da taxa de emprego no sector da indústria transformadora — Aumento da taxa de emprego nos serviços comerciais Modelo de pleno emprego Lolos e Zonallas [BBM] Aumento da taxa de emprego e diminuição da taxa de desemprego Aumento do de´fice do sec- tor público em termos de percentagem do PNB Aumento do de´fice fiscal a partir de 1989-1993, e res- pectiva diminuição em 1994-1995 Aumento do de´fice das transacções correntes, ex- cepto no caso de Espanha em 1997-1999 Deterioração das transacções correntes Beutel [DIO] — Aumento da taxa de emprego em Portugal, Não considerado Gre´cia e Espanha Aumento das exportações- -importações em Portugal e na Gre´cia. Diminuição na Irlanda — O primeiro QCA da Irlanda diminuiu a taxa de emprego, ao passo que o segundo QCA criou novos postos de trabalho FIDIMS Aumento da taxa de emprego no norte e no sul de Itália Não considerado Não considerado Honohan (ed. ) [HERMIN] Herce e Sosvilla- -Rivero [HERMIN] Christodoulakis e Kalyvitis [HERMIN] Sema Group [HELM] Pereira (1995) [OGM] C 347/30 PT Jornal Oficial das Comunidades Europeias 16. 11. 98 Aumento percentual acumulado do PIB (PNB) gerado pelo aumento de um ponto percentual na participação do QCA no PIB (1994-1999) Quadro 11 Capital físico Capital humano Capital privado Espanha Irlanda Portugal 2 1,4 1,9 3,3 1,2 1,3 1,5 1,1 Não disponível Fonte: Avaliações HERMIN. 16. 11. 98 PT Jornal Oficial das Comunidades Europeias C 347/31 ANEXO I SÍNTESE DA METODOLOGIA A APLICAR NO ÂMBITO DA AVALIAÇÃO EX POST DOS QCA DO OBJECTIVO No. 1 PARA 1989-1993 1. Os principais objectivos da avaliação ex post dos QCA O1 de 1989-1993 foram os seguintes: a) Apreciar a estrate´gia e os objectivos incluídos nos QCA e extrair os ensinamentos para futuras acções. Em relação aos objectivos inicialmente determinados, analisar as consequeˆncias da redefini- ção e adaptação das intervenções no decurso do período de execução; b) A nível dos QCA e PO, efectuar um primeiro balanço das realizações físicas das acções significativas e fazer uma primeira apreciação do seu impacto; c) Analisar a eficácia dos mecanismos de execução e extrair os ensinamentos para eventuais adaptações no futuro. 2. O principal consultor, responsável pela coordenação das avaliações efectuadas por outros consultores dos Estados-Membros envolvidos, elaborou as seguintes abordagens metodológicas: a) Para o primeiro objectivo, a fim de avaliar a lógica inerente aos QCA e PO e aos respectivos ajustamentos a partir de 1989 e, mais concretamente, para analisar as suas causas, o valor acrescentado comunitário, a coereˆncia interna, a coereˆncia externa, a pertineˆncia da estrate´gia face aos problemas e a adequação dos financiamentos, deviam ser levadas a cabo as seguintes tarefas no âmbito de uma abordagem top-down: — recolha de informações e dados-chave: dados financeiros, objectivos ex ante, outputs/efeitos esperados, grupos e domínios-alvo, principais instrumentos utilizados, número de projectos/ /medidas aprovadas, número de projectos realizados, — descrição do ambiente do programa e respectiva evolução (situação inicial — situação actual), identificação dos factores externos que influenciam a evolução do programa e respectivo eˆxito/fracasso, análise dos problemas e das causas de base, concretização dos indicadores-chave do desenvolvimento regional, incluindo os indicadores associados à alteração das disparidades, — identificação dos instrumentos de política (empre´stimos, subvenções, assisteˆncia te´cnica), — hierarquização dos objectivos, identificação dos níveis hierárquicos e das relações entre objectivos e instrumentos; b) Para o segundo objectivo, as análises a efectuar seriam baseadas simultaneamente em abordagens top-down e bottom-up: — análise dos outputs e dos efeitos a nível de PO, medidas e projectos, tendo em conta as «perdas líquidas» e os efeitos de substituição e multiplicação, — análise da eficácia relativa das medidas e de combinações de medidas; análise dos factores causais de eˆxitos/fracassos, — comparação de outputs e inputs, e, igualmente, a concretização de indicadores-chave e facultativos; c) Para o terceiro objectivo, o objectivo consistia em analisar a eficácia dos mecanismos de execução a nível do QCA e PO e de um reduzido número de medidas, bem como em identificar as melhorias realizadas e a realizar no processo de programação, execução, acompanhamento e avaliação. Para cada Estado-Membro, deviam ser examinados os mecanismos de decisão, planificação, controlo financeiro, execução, acompanhamento, controlo, bem como os circuitos financeiros, a parceria, a adicionalidade, a coordenação dos fundos e o processo de simplificação e de harmonização mais flexível e mais transparente. Para uma pequena amostra de medidas/grandes projectos, a execução e o acompanhamento deviam ser objecto de uma análise aprofundada; d) Foram seleccionadas amostras ad hoc de programas, medidas e projectos, visando, por um lado, informar sobre um número limitado de indicadores físicos e de impacto e, por outro, realizar análises aprofundadas. C 347/32 PT Jornal Oficial das Comunidades Europeias 16. 11. 98 ANEXO II SÍNTESE DA ABORDAGEM DA AVALIAÇÃO EX POST DO OBJECTIVO No. 2 PARA 1989-1993 A avaliação ex post das intervenções comunitárias no âmbito do objectivo no. 2 relativamente ao período de programação de 1989-1993 que, em geral, inclui componentes FEDER e FSE, compreendeu o seguinte: a) Análises gerais sobre todas as regiões e zonas abrangidas pelo O2, com vista a estabelecer uma comparação entre a situação socioeconómica nos períodos anterior e posterior à intervenção dos FE no âmbito do O2, procurando efectuar tambe´m uma análise da estrate´gia aplicada, da hierarquização dos objectivos, prioridades e medidas, dos indicadores, dos efeitos planeados e não planeados, das sinergias entre os diversos componentes dos programas e da integração dos diversos fundos. Estas análises deviam basear-se no conteúdo dos QCA e PO, nos relatórios de execução anuais ou nos relatórios apresentados ao comite´ de acompanhamento, bem como nas avaliações ex ante e ex post, nos casos em que estivessem disponíveis; b) Estudos aprofundados sobre 22 regiões, com os seguintes objectivos: — estudo aprofundado dos QCA, PO e tipos de medidas adaptadas, — análise das estruturas institucionais e das modalidades de gestão dos programas, — avaliação dos impactos e dos efeitos de «valor acrescentado» susceptíveis de serem imputados aos QCA e PO, — avaliação dos custos e da eficácia dos impactos, — estudo do papel desempenhado pela intervenção do programa O2 no processo de desenvolvimento regional. As avaliações aprofundadas foram feitas com base na abordagem bottom-up e tinham como objectivo, atrave´s de uma análise do processo de escolha das operações, da respectiva tipologia, do processo de gestão de que são objecto, do seu impacto e efeito de valor acrescentado, das sinergias e da adicionalidade, partir de um nível para o nível superior e recolher informações primeiramente sobre as medidas individuais e, por último, sobre o programa na sua globalidade. ANEXO III CARACTERÍSTICAS DOS MODELOS MACROECONÓMICOS UTILIZADOS NO ÂMBITO DA AVALIAÇÃO DOS FE 1. Os principais modelos utilizados no âmbito da avaliação macroeconómica no domínio dos FE conteˆm os seguintes componentes: a) Elos econome´tricos, como o HERMIN (1), o HELM (2) e o QUEST II (3); b) Modelos de equilíbrio geral calculável, como o OGM (4) e o BBM (5); c) Modelos input-output, como o DIO (6) e FIDIMI (7); d) Análise estrutural-residual. (1) HERMIN: Modelo econome´trico baseado no modelo HERMES («Harmonised Econometric Research for Modelling Economic Systems») original, mas com a particularidade de a sua dimensão ser mínima («Min»), dando origem à designação de (HER)MIN. (2) HELM: «Hainaut Economic Lead-in Model». (3) QUEST II: «A Multy Country Business Cycle and Growth Model — Economic Papers no. 123 — October 1997», DG II — Assuntos económicos e financeiros. (4) «Optimal Growth Model» (OGM), de Pereira (1991 e 1995). (5) «Bourguignon, Branson and de Melo model» (BBM), de Lolos e Zonzilas (1992). (6) «Dynamic Input-output model» (DIO), de Beutel (1995; 1996 e 1997). (7) FIDIMI Consulting Company, Avaliação do impacto macroeconómico do QCA objectivo no. 1 — Itália, bem como dos mecanismos de execução. 16. 11. 98 PT Jornal Oficial das Comunidades Europeias C 347/33 Os quadros III-1 e III-2 apresentam sob a forma de esquema as características da aplicação desses modelos nos casos examinados. O quadro III-3 apresenta a modelização das características dos QCA. 2. Ale´m disso, atrave´s da simulação da evolução da economia dos países abrangidos pelo O1 num intervalo de tempo superior a dez anos e assente em bases plurisectoriais, e´ possível observar as mudanças estruturais gerados pelo FE e avaliar a solidez do processo de recuperação que deve ser apoiado e consolidado pelos apoios comunitários. 3. No âmbito do seu inque´rito, o Tribunal de Contas mandou efectuar uma análise (8) para estimar em que medida as te´cnicas no plano macroeconómico são adequadas para avaliar o impacto das intervenções estruturais e ate´ que ponto estas podem contribuir de forma eficaz para o processo decisório e estrate´gico da programação. 4. Deste exercício, depreende-se que os factores endógenos ou exógenos que condicionam o eˆxito dos programas estruturais variam em função das metodologias e abordagens conceptuais utilizadas. Com efeito, os modelos macroeconómicos visam representar os mecanismos do sistema económico de um país ou de uma região e captar ou simular os efeitos de um choque exógeno como, por exemplo, a intervenção dos programas estruturais. Na verdade, não existe uma representação única e completa da realidade económica. 5. O modelo econome´trico HERMIN, que toma em consideração as especificidades de cada Estado- -Membro e agrega os efeitos a nível nacional, parte da hipótese de que as economias não operam na plena utilização da sua capacidade de produção e que, por conseguinte, os efeitos multiplicadores e aceleradores dos crescimentos ligados aos investimentos geram um aumento da produção e do emprego, dando resultados satisfatórios em termos de efeitos sobre a procura. Quanto aos efeitos sobre a oferta, e tomando em conta a curva de Phillips, este modelo pressupõe que a redução do desemprego conduz a um aumento de salários, limitando simultaneamente o efeito sobre a inflação. Ale´m disso, os efeitos sobre a produtividade são explicitamente tomados em conta atrave´s da modelização dos efeitos das economias externas sobre a produtividade decorrentes do crescimento e da melhoria do capital humano e do capital físico público e privado. No entanto, a tomada em conta destes factores varia de país para país. O modelo fornece apenas informações parciais em mate´ria de desenvolvimento durável e não considera, nomeadamente, as variações das taxas cambiais que visam assegurar a estabilidade da balança de pagamentos ou as variações nas transfereˆncias fiscais. 6. O modelo macroeconómico HELM, aplicado para a avaliação intercalar do DOCUP 1994-1999 O1 da Província de Hainaut (Be´lgica), e´ um dos raros modelos que tomam em consideração especificamente a abordagem regional de desenvolvimento considerando os efeitos do crescimento endógeno ligados à produtividade a longo prazo, embora a melhoria da produtividade decorrente da intervenção dos FE seja, em grande medida, limitada ao sector industrial e diga respeito apenas à produtividade do trabalho. Partindo do mesmo tipo de premissa do modelo HERMIN no que diz respeito à utilização das capacidades de produção e aos efeitos multiplicadores e aceleradores dos investimentos sobre a procura, o modelo HELM indica os efeitos globais e agregados do DOCUP, tais como o investimento acumulado gerado, o valor acrescentado ou o emprego nos sectores da indústria transformadora e dos serviços comerciais, sobre a economia da província de Hainaut para o período de 1994 ate´ ao horizonte de 2002 ou 2005. Cabe salientar que o modelo HELM toma em linha de conta as exportações regionais, mas não as importações em provenieˆncia de outras regiões, pelo que os efeitos sobre a procura correm o risco de serem sobrestimados. Os valores referentes a essa procura podem tambe´m ser inflacionados pelo facto de não serem tomados em conta os ajustamentos de salários decorrentes da diminuição do desemprego, nem os custos mais elevados ou as limitações de capacidade. O modelo HELM tambe´m não fornece muitos indicadores sobre a evolução do desemprego ou da oferta de emprego. Por último, este modelo baseia-se em informações estatísticas históricas que não foram objecto de um teste de confirmação com outras se´ries de informações pertinentes. 7. Os modelos de equilíbrio geral calculável aplicam-se especialmente a nível nacional. Estes modelos destacam os efeitos da oferta a longo prazo das intervenções estruturais comunitárias. O modelo OGM, que adoptou um quadro de crescimento endógeno intertemporal, considera que os mercados dos factores de produção são equilibrados e que a economia opera utilizando plenamente a sua capacidade (8) O Tribunal contou com os serviços de um avaliador externo altamente especializado nos domínios dos modelos macroeconómicos e da economia europeia. C 347/34 PT Jornal Oficial das Comunidades Europeias 16. 11. 98 de produção. As alterações na procura não produzem quaisquer efeitos na produção e no emprego, e os programas dos FE apenas podem fomentar o crescimento atrave´s do aumento da produtividade; estes efeitos de produtividade são claramente especificados na função de produção. O modelo visa determinar uma situação óptima para o país, atrave´s da maximização de uma função de bem-estar social intertemporal. Partindo da hipótese de uma situação sem incertezas, os agentes económicos, atrave´s de uma antecipação perfeita do volume dos fundos que lhes serão atribuídos e do período de duração da ajuda, tomam, em princípio, as melhores decisões possíveis a nível de consumo e investimento em relação a esses dados. Por último, o modelo OGM preveˆ a longo prazo a estabilidade da balança de pagamentos e o equilíbrio orçamental. 8. O modelo BBM preveˆ, para determinados sectores de mercados de trabalho equilibrados em que, por conseguinte, os efeitos da procura não exercem influeˆncia sobre a produção e o emprego. Já no que diz respeito a outros sectores, um aumento da procura e´ suposto gerar crescimento. O modelo incorpora igualmente efeitos de produtividade ligados às alterações tecnológicas que provocam reduções nos inputs. 9. O modelo entradas-saídas DIO procura representar as relações entre todos os recursos de que dispõe uma economia e todos os consumos finais. Assim, esse modelo determina as interdependeˆncias existentes ao nível dos diferentes sectores de um país, ligados entre si na base de consumos interme´dios. A abordagem entradas-saídas maximiza os efeitos das intervenções estruturais sobre a procura e ignora os efeitos sobre a oferta (efeitos sobre a produtividade, os salários e o ajustamento da inflação). Este modelo não contempla o desenvolvimento durável. O modelo FIDIMI e´ uma combinação do modelo de equilíbrio geral e do modelo entradas-saídas e permite analisar os efeitos produzidos no norte de Itália pelas intervenções comunitárias realizadas no sul de Itália. 10. Entre outras te´cnicas existentes para avaliar os efeitos das políticas regionais, a mais utilizada pelo Eurostat e´ a análise estrutural-residual que avalia o impacto dos FE em certas zonas elegíveis abrangidas pelo O1 ou O2. Esta análise identifica o residual, ou seja, a diferença entre a situação real e a situação contrafactual resultante da aplicação das tendeˆncias nacionais estimadas. No entanto, a avaliação deste impacto realizada desta forma mistura simultaneamente os resultados do programa que está a ser avaliado, de outras acções políticas a nível nacional e europeu, bem como a trajectória da política regional no passado. Ale´m disso, os estudos efectuados pelo Eurostat em 1997 incluem dados respeitantes aos indicadores, os mais recentes dos quais datam de 1993, o que relativiza consideravel- mente o valor das suas conclusões. 11. O modelo QUEST II procura analisar as economias dos Estados-Membros e as interacções das mesmas com o resto do mundo, nomeadamente com os Estados Unidos e o Japão. O modelo interessa-se mais particularmente pela transmissão dos efeitos da política económica no plano nacional e internacional. Foi concebido, na origem, para servir de instrumento de simulação e não tanto para a previsão. O modelo QUEST II integra mais efeitos de oferta do que o modelo precedente e toma em consideração as interacções em termos de existeˆncias. No entanto, as implicações em termos dos agentes económicos são pouco ou insuficientemente tomadas em consideração neste modelo. Quadro III-1 Características essenciais dos modelos macroeconómicos Autores Modelo País ou região Efeitos sobre a procura Sustentabilidade Salários Produtividade Efeitos sobre a oferta Bradley e. o. (1994) HERMIN Irlanda e Portugal — O modelo-padrão keyne- siano sobre a necessidade de investimento estimula a procura global Honohan (ed. )(1997) HERMIN Irlanda — Os mercados de trabalho não estão automatica- mente equilibrados — A economia não opera com toda a sua capaci- dade — O sector monetário e as taxas de câmbio não são modelizados — O modelo da curva de Phillips respeitante ao au- mento da taxa de desem- prego estabelece uma rela- ção entre o emprego, os salários e a inflação — O impacto inflacionista do aumento da procura e´ limi- tado — A subida de salários causa um afluxo laboral na Irlanda — Os investimentos em capi- tal humano não produzem efeitos salariais — Os investimentos inerentes aos QCA aumentam a to- talidade dos factores de produtividade sectorial, na Irlanda — Em Portugal, não existem efeitos de produtividade no investimento privado e em certas despesas com infra- -estruturas — A modelização dos efeitos de produtividade e´ discutí- vel, nomeadamente no que diz respeito ao capital hu- mano — Os efeitos de produtividade podem levar a uma diminuição da taxa de emprego Herce e Sosvilla-Ri- vero (1994) HERMIN Espanha Ver modelo para a Irlanda. Contudo, não se verifica mi- gração laboral Ver modelo para a Irlanda Ver modelo para a Irlanda. Contudo: — o investimento em capital humano aumenta a produ- tividade do trabalho em vez da globalidade dos fac- tores de produtividade — o apoio ao investimento privado diminui o custo de utilização do capital Balança de pagamentos: — os efeitos sobre a procura geram um aumento das importações — Os efeitos de produtivi- dade aumentam as impor- tações e atraem o investi- mento directo estrangeiro na Irlanda — A taxa cambial exógena não permite uma avaliação completa da balança de pagamentos Finanças públicas — Modelização limitada do sector público — A necessidade de financia- mento do sector público e´ maior devido aos QCA — É tomada em conta uma simulação de uma necessi- dade de financiamento do sector público inalterável Ver modelo para a Irlanda. Contudo, não existe relação entre o efeito de produtivi- dade e o investimento directo estrangeiro. 1 6 1 1 9 8. P T J o r n a l O f i c i a l d a s C o m u n i d a d e s E u r o p e i a s C 3 4 7 / 3 5 Autores Modelo País ou região Efeitos sobre a procura Sustentabilidade Salários Produtividade Efeitos sobre a oferta Christodoulakis e Kalyvitis (1995) HERMIN Gre´cia — Ver modelo para a Espa- Ver modelos para a Irlanda nha — A taxa de câmbio e´ mo- delizada Auseˆncia de efeitos sobre salá- rios e preços Sema Group (1997) HELM Hainaut — Modelo keynesiano/Kal- dor — A necessidade de investi- mento estimula a procura global — A necessidade de mão-de- -obra e´ modelizada — A oferta de trabalho e o desemprego não são mo- delizados — As importações prove- nientes de outras regiões não são modelizadas Ver modelo para a Espanha e a Irlanda. Contudo: — os investimentos em capital humano conduzem a uma diminuição dos custos uni- tários de trabalho Ver modelo para a Espanha. Contudo: — a taxa cambial nominal e´ ajustada de modo a man- ter uma taxa cambial real constante — o apoio ao investimento privado não produz efeitos de produtividade — pressupõe-se que a fiscali- dade e´ um elemento esta- bilizador da dívida pública — o investimento em infra-es- truturas «soft» faz aumen- tar a taxa de emprego na função pública — Os programas inerentes aos QCA aumentam, sobre- tudo, a produtividade do factor mão-de-obra no sec- tor da indústria transfor- madora — Na apresentação dos resul- tados, não e´ feita qualquer distinção entre os efeitos sobre a oferta e a procura Auseˆncia de avaliação das consequeˆncias para a dívida pública ou a balança de paga- mentos C 3 4 7 3 6 / P T J o r n a l O f i c i a l d a s C o m u n i d a d e s E u r o p e i a s 1 6. 1 1. 9 8 Quadro III-2 Características essenciais dos modelos de equilíbrio geral calculável e de input-output Autores Modelo País ou região Efeitos sobre a procura Sustentabilidade Efeitos sobre a oferta Pereira (1991) Modelo de cresci- mento optimizado (OGM) Portugal — Auseˆncia de efeitos keynesianos sobre a procura — Equilíbrio entre todos os facto- res do mercado Pereira (1995) Portugal, Gre´cia, Irlanda e Espanha — A economia opera com toda a sua capacidade Salários Produtividade — Os salários são ajus- tados de modo a tornar o mercado laboral mais aberto Efeitos sobre a produti- vidade em virtude da produção envolver capi- tais públicos, humanos e privados Lolos e Zonzilas (1992) Modelo de Bour- guignon, Branson e de Melo (BBM) Gre´cia — Efeitos keynesianos sobre a pro- cura — Os mercados de trabalho são mais abertos em alguns sectores do que noutros — São tomadas em conta as taxas cambiais fixas e variáveis — Os salários são ajus- tados de modo a tornar os mercados laborais mais aber- tos em alguns secto- res — Curva de Phillips do aumento da taxa de desemprego, nos restantes sectores — É discutível que o investimento em ca- pital público e pri- vado aumenta a glo- balidade do factor produtividade secto- rial — O investimento em capital humano au- menta o factor de mão-de-obra espe- cializada e a taxa de emprego no sector público — A maximização do bem-estar intertemporal garante uma solução dinâmica e optimizada — Satisfação das limita- ções impostas à ba- lança de pagamentos e às finanças públicas — Nenhuma limitação im- posta à necessidade de financiamento do sec- tor público — São tomadas em conta medidas referentes à desigualdade de rendi- mentos Beutel (1995, 1996, 1997) Modelo input-out- put dinâmico (DIO) Gre´cia, Portugal e Espanha Efeitos keynesianos sobre a procura Auseˆncia de efeitos sa- lariais Auseˆncia de efeitos de produtividade Auseˆncia de modelização das limitações da balança de pagamentos e das finanças públicas. 1 6 1 1 9 8. P T J o r n a l O f i c i a l d a s C o m u n i d a d e s E u r o p e i a s C 3 4 7 / 3 7 Quadro III-3 Modelização das características dos programas dos QCA Autores Programa QCA Incideˆncia a nível de sectores Instrumentos Co-financiamento e adicionalidade Ponto de partida e final Bradley et al (1994) 1994-1999 Honohan (ed:) (1997) Herce e Sosvilla-Rivero (1994) [HERMIN] — 4 sectores: comercial, não comercial, público e agrí- cola — O sector comercial e´ o sector-chave para os efei- tos sobre a oferta — Os sectores não comercial e público são sectores- -chave para os efeitos so- bre a procura — Investimentos (públicos) em infra- — Alguns estudos comparam a globa- — Previsões para 1991-2020, -estruturas físicas — Investimento em capital humano — Investimentos e apoios à produção no sector privado lidade do co-financiamento nacio- nal com a não existeˆncia ou a existeˆncia parcial de co-financia- mento nacional excepto Honohan (1993-2010) — São tomados em conta os cenários hard e soft lan- ding Christodoulakis e Kalyvitis [HERMIN] 1994-1999 Igual aos estudos anteriores — Infra-estruturas «hard» — As simulações pressupõem a con- — Previsões para 1991-2010 Sema Group [HELM] 1994-1999 — 6 sectores: agricultura, in- dústria transformadora, energia, construção, servi- ços comerciais, serviços não comerciais — Infra-estruturas «soft» — Apoio ao investimento produtivo — Educação e formação cretização das taxas de co-financia- mento previstas — Cenário hard landing — Investimentos em capital físico pú- — Cenário onde prossegue a ajuda — Previsões para 1994-2005 blico e privado — Investimentos em capital humano — Investimentos em capital I&D comunitária e regional de 1989-1993 — Cenário que inclui ajuda comunitá- ria adicional + co-financiamento nacional para o período de 1994-1999 — Cenário onde está ausente a ajuda comunitária atribuída em 1989-1999 Lolos e Zonzilos [BBM] 1989-1993 Nove sectores: agricultura, energia e minas, indústria ali- mentar, indústria ligeira, in- dústria de bens intermediá- rios, construção, come´rcio, serviços de transportes e tele- comunicações, outros serviços (incluindo governamentais) — Investimentos públicos em sectores seleccionados — Os investimentos em capital hu- mano aumentam a taxa de em- prego no sector público, o número de trabalhadores especializados e geram transfereˆncias para os agre- gados familiares — Apoio a empresas privadas A adicionalidade não e´ objecto de dis- cussão, presumindo-se que tenha sido imposta ao modelo — Previsões para 1988-1995 — Hard landing C 3 4 7 3 8 / P T J o r n a l O f i c i a l d a s C o m u n i d a d e s E u r o p e i a s 1 6. 1 1. 9 8 Autores Programa QCA Incideˆncia a nível de sectores Instrumentos Co-financiamento e adicionalidade Ponto de partida e final Beutel [DIO] 1989-1999 25 sectores, com base em quadros input-output — Modelização focada a nível secto- rial dos investimentos públicos, privados e em capital humano — Os investimentos na formação afectam salários na economia FIDIMI (1991) 1989-1993 16 sectores, com base em quadros input-output — Modelização focada a nível secto- rial dos programas dos QCA A adicionalidade e´ imposta ao modelo — Previsões para 1989-1994 — A adicionalidade e´ um elemento- — Apenas os efeitos totais -chave do estudo — O cenário difere nos montantes são apresentados sem um intervalo de um ano dos financiamentos que seriam in- vestidos no sul de Itália, com e sem programas QCA — Os cenários hard e soft landing não foram discuti- dos Pereira (1991) [OGM] 1989-1993 2 sectores: comercial e não comercial — Investimentos em infra-estruturas — São impostos requisitos de — Previsões para 1990-2006 no sector público co-financiamento — Investimentos em capital humano — Apoio ao investimento privado — O modelo permite uma avaliação sobre se ocorrerá uma adicionali- dade — São tomados em conta os cenários hard e soft lan- ding Pereira (1995) [OGM] 1994-1999 e comparação com 1989-1993 Ver modelo anterior Ver modelo anterior — São impostos requisitos de — Previsões para 1993-2007 co-financiamento — As simulações estabelecem compa- — Cenário hard landing rações entre casos de: i) não adicionalidade ii) definição oficial e iii) definição inter-temporal de adi- cionalidade. 1 6 1 1 9 8. P T J o r n a l O f i c i a l d a s C o m u n i d a d e s E u r o p e i a s C 3 4 7 / 3 9 C 347/40 PT Jornal Oficial das Comunidades Europeias 16. 11. 98 RESPOSTAS DA COMISSÃO I. OBSERVAÇÃO GERAL A Comissão reconhece que a actividade de avaliação, que para muitos ainda tem um carácter inovador, padece ainda de aproximação quanto ao seu conteúdo e à utilização que pode ser feita da mesma, querendo no entanto recordar que no espaço de alguns anos foram alcançados progressos notáveis. Consciente das dificuldades ainda por vencer, a Comissão multiplicou os seus esforços tanto no plano organizativo como metodológico a fim de se aproximar de uma situação tão satisfatória quanto possível, realizando um diálogo constante com todos aqueles que, nos diferentes países da União, reflectem e desenvolvem investigações neste domínio. Treˆs grandes etapas caracterizam o desenvolvimento da actividade de avaliação nas intervenções dos fundos estruturais, relacionadas com os treˆs períodos de progra- mação: Período de 1989-1993: Os regulamentos da primeira reforma dos fundos estrutu- rais só foram adoptados pelo Conselho em Dezembro de 1988; os planos nacionais entregues no início de 1989, apenas reflectiam parcialmente as exigeˆncias em mate´ria de visão estrate´gica, escolha dos objectivos a alcançar e quantificação dos impactos previstos. Por conseguinte, os trabalhos de avaliação ex post tenta- ram obviar essas careˆncias comparando os resultados obtidos com os objectivos reconstituídos. Este trabalho considerável comporta os seus próprios limites que se reflectem nos relatórios dedicados às intervenções nas zonas de Objectivo 1 e de Objectivo 2. Constitui, con- tudo, a primeira tentativa de análise coerente do impacto desta reforma na coesão económica e social. Período 1994-1999: Tanto a pedido de certos Estados-Membros como a pedido da Comissão, esta primeira experieˆncia foi seguida de um reforço da regulamentação em mate´ria de acompanhamento e de avaliação, com a fixação de treˆs fases, ex ante, intercalar e ex post. O eˆxito da fase intercalar e´ incontestável. Ultrapassando inclusivamente uma estrita aplicação dos regulamentos, pela primeira vez, as avaliações intercalares foram organizadas por cada Comite´ de Acompanhamento, aproximando avalia- dor e beneficiários da avaliação. Os relatórios que foram elaborados foram objecto de apresentação e de debates em cada Comite´, dando a esta actividade uma função simultaneamente pedagógica e operacional à qual podem dificilmente pretender os trabalhos organizados e realiza- dos pela Comissão. Podem existir discordâncias nos me´todos utilizados, na escolha dos avaliadores, no custo dos trabalhos, no grau de pormenor dos resultados, mesmo se a coordenação e o enquadramento geral eram assegurados pela unidade de coordenação da avaliação dos serviços da Comissão e pelos seus correspondentes nacionais no grupo te´cnico de avaliação. No entanto, não obstante certas diferenças relacionadas com a margem de manobra de que dispõe cada Estado-Membro no âmbito da subsidiariedade, a Comissão considera que esta actividade desempenhou um papel essencial na disseminação de uma verdadeira cul- tura da avaliação. Assim, foi demonstrado aos beneficiá- rios que dispunham de um instrumento operacional por forma a gerirem melhor as intervenções financiadas tanto por fontes nacionais como comunitárias. As futuras ava- liações terão tudo a ganhar deste estado de espírito, pois a qualidade das suas conclusões depende tanto da quali- dade das informações detidas e fornecidas pelo gestores como do grau de conhecimento dos avaliadores indepen- dentes. Período 2000-2006: As novas propostas de regulamentos tem, em especial, como objectivo reduzir ainda mais os factores que limi- tam o alcance da actividade de avaliação, sendo a preocu- pação principal aumentar a eficácia na utilização dos fundos estruturais. Assim, são nomeadamente propostos: — Uma verdadeira incorporação da avaliação ex ante nos planos que os Estados-Membros deverão entregar com uma quantificação rigorosa dos objectivos a alcançar; — A tomada em conta dos resultados das avaliações já realizadas temáticas ou específicas por programa, do período anterior; — O estabelecimento de uma relação estreita entre reprogramação intercalar e conclusões das avaliações intercalares. Numa preocupação de garantir uma maior eficácia na utilização dos fundos estruturais, a Comissão propôs que 10 % do montante dos fundos estruturais fossem atribuí- dos numa fase intercalar em função do desempenho realizado, encontrando-se os crite´rios de desempenho 16. 11. 98 PT Jornal Oficial das Comunidades Europeias C 347/41 estreitamente relacionados com a qualidade da programa- ção, do acompanhamento e das avaliação ex ante e intercalar. II. OBSERVAÇÕES ESPECÍFICAS 2. ÂMBITO DA AUDITORIA Por último, no domínio mais estritamente metodológico, a Comissão pretende publicar ate´ ao Outono, todos os trabalhos realizados no âmbito de MEANS (1), que lhe permitem garantir uma maior harmonização da activi- dade de avaliação na União. Tal irá abranger: — A descrição exacta de um caderno de encargos e da metodologia para uma avaliação ex ante, intercalar ou ex post; — A apresentação dos diferentes me´todos de avaliação existentes na literatura e respectivas condições de utilização; — A análise dos sistemas de indicadores por domínio de intervenção; — Harmonização dos conceitos e lista indicativa de indicadores; — A metodologia das avaliações temáticas e respectiva organização; — Um glossário multilingue dos principais conceitos de avaliação; — Uma apresentação das experieˆncias nacionais ou comunitárias mais inovadoras. As observações que se seguem revelam que, num certo número de casos, a Comissão pode partilhar as observa- ções do Tribunal. Mas, conve´m sempre tomar em conta as dificuldades e os limites inerentes a qualquer activi- dade de avaliação, mesmo se estes forem progressiva- mente superados ou ultrapassados. De qualquer forma, no entanto, nunca se deve perder de vista que a avaliação e´ antes de mais um instrumento te´cnico de auxílio à decisão ou à gestão e que não tem como vocação substituir-se a decisores políticos. Tem como objectivo esclarecer, sempre parcialmente, as conse- queˆncias das opções a adoptar ou já adoptadas. Deve, ale´m disso, conservar uma imprescindível flexibilidade quanto aos me´todos utilizados a fim de tomar em conta os contextos sempre diferentes de avaliação para avalia- ção. Por último, a Comissão recorda que desde o início da reforma dos fundos, em 1988, as responsabilidades recí- procas das administrações nacionais e da Comissão em mate´ria de gestão dos fundos estruturais e, designada- mente, em mate´ria de avaliação, teˆm vindo a ser sempre cada vez mais precisadas. Com efeito, os Estados- -Membros são cada vez mais chamados a assumirem uma responsabilidade principal e a realizarem as suas próprias avaliações. (1) Programa plurianual de análises e de propostas sobre as metodologias de avaliação. 2. 3. O Tribunal não cobriu, atrave´s da sua auditoria, países como a Alemanha e o Reino Unido, Estados- -Membros que apresentam uma atitude, em relação à avaliação, particularmente contrastada. 3. RESUMO DAS PRINCIPAIS OBSERVAÇÕES 3. 2. A Comissão considera que os casos de avaliação relativamente aos quais não disporia de elementos orça- mentais, são marginais em termos de custo. Dado que a avaliação intercalar se encontra em pleno desenvolvi- mento e e´ realizada a um nível descentralizado, o nível das despesas que lhe e´ consagrado encontra-se em plena evolução. Os montantes consagrados à avaliação são discriminados por país, objectivo e tipo de intervenção. Os dados são igualmente publicados no balanço anual da Comissão sobre a avaliação. A Comissão irá prosseguir a sua acção para obter uma identificação sistemática da despesa reservada para ava- liação nos montantes atribuídos à assisteˆncia te´cnica e gerida no contexto da parceria. 3. 3. Os regulamentos e o princípio de subsidiariedade não atribuem à Comissão competeˆncias para um enqua- dramento preciso em termos de metodologia de avaliação e de indicadores. A Comissão, numa preocupação de fazer evoluir as práticas nacionais e melhorar a qualidade de avaliação: Criou o programa MEANS e divulgou oito cadernos de questões metodológicas: — organizou treˆs confereˆncias europeias sobre as te´cni- cas e a prática de avaliação; — divulgou documentos como por exemplo, o quadro de refereˆncia para as avaliações ex ante e um guia para avaliação dos grandes projectos; — criou grupos te´cnicos de avaliação com a participação dos Estados-Membros e organizou diversos seminá- rios. 3. 5. Existe uma dificuldade objectiva de assegurar uma articulação entre a avaliação ex post e as diferentes fases de programação das intervenções estruturais. Uma efec- tiva avaliação ex post deve ser realizada dois ou treˆs anos após o termo da programação. C 347/42 PT Jornal Oficial das Comunidades Europeias 16. 11. 98 A fim de resolver esta dificuldade, a Comissão concen- trou-se em realizar avaliações intercalares e avaliações temáticas. Assim, por exemplo, avaliações temáticas reali- zadas em 1992 e 1993 permitiram dispor de elementos para a preparação da programação de 1994-1999. Para a preparação da programação para depois do ano 2000, as avaliações intercalares estarão disponíveis pois já foram realizadas, estando já a ser eleborados, para cada objectivo, balanços de avaliação que constituem um aprofundamento e uma actualização das avaliações inter- calares. Ale´m disso, já foram tambe´m lançadas quatro avaliações temáticas. A Comissão introduziu, por outro lado, este dispositivo nessas propostas de alteração dos Regulamentos. 3. 6. Conve´m distinguir objectividade das avaliações e suficieˆncia e qualidade dos dados. A questão dos dados e´ frequentemente salientada no âmbito da avaliação. Raros são os relatórios que não evidenciam esta dificuldade. Observa-se, contudo, um melhoramento nítido a nível dos dados graças, designadamente, às exigeˆncias da ava- liação. A Comissão não está satisfeita com o estado da situação dos dados, mas tal não deve ser considerado como uma critica da avaliação mas sim dos sistemas de acompanha- mento. A Comissão salienta o facto de que o problema da pertineˆncia dos dados de controlo e dos indicadores e´, aliás, uma questão principalmente abrangida pela audito- ria do acompanhamento. A Comissão prossegue a sua acção com vista a melhorar a situação e dará seguimento à observação do Tribunal respeitante a uma avaliação mais sistemática da fiabilidade dos dados. As actividades registadas a título da auditoria e do controlo permitirão igualmente reforçar o melhoramento da situação verifi- cada no terreno desde há alguns anos. 3. 7. Os serviços em causa respeitam os procedimentos de celebração dos contratos previstos pelas directivas na mate´ria e o procedimento estabelecido pela CCAM. No entanto, não e´ possível negociar o mandato antes da assinatura do contrato. Tal requer, por vezes, clarifica- ções que dificultam a gestão dos calendários, permane- cendo, no entanto, este problema marginal. rios num país podem ser excelentes enquanto noutros casos são insuficientes. 3. 8. A Comissão partilha a opinião do Tribunal sobre as dificuldades encontradas pelas primeiras avaliações orga- nizadas, nomeadamente, num clima pouco entusiasta nos Estados-Membros. As avaliações ex post dos Objectivos 1 e 2 foram realizadas por sociedades de consultores de renome inter- nacional e por peritos de alto nível, a partir de uma metodologia comum. A segunda parte do ponto 3. 7. justifica tanto a actividade como a utilidade do exercício, não obstante essas limitações. As críticas do Tribunal incidem sobre avaliações realizadas em 1993-1994, mas, desde então, e por iniciativa da Comissão, muitos traba- lhos foram realizados no que se refere ao desenvolvi- mento das metodologias. A crítica do Tribunal sobre a avaliação ex post do Objectivo 2 e´ igualmente, em parte, pertinente. Uma visão mais pragmática deve ser, no entanto, conservada quanto à possibilidade de se poder medir de forma quantativamente precisa o impacto ou o valor acrescentado comunitário. 3. 9. A avaliação intercalar incidiu sobre a análise das realizações das intervenções. A avaliação dos efeitos será sobretudo conduzida no âmbito dos balanços e das avaliações ex post. No entanto, essas avaliações nem sempre estão relacionadas com a instauração de modelos econome´tricos — frequentemente muito onerosos — e nem sempre os mais adaptados à medição dos impactos. A avaliação e´ um instrumento de apoio à gestão e, enquanto tal, apenas constitui um sistema de ajuda relativo ao processo decisional. 3. 10. A Comissão verificou que o corte em dois perío- dos de programação do Objectivo 2 não corresponde de maneira satisfatória às necessidades das zonas em causa, complicando a execução dos programas. As propostas da Comissão em Março de 1998 para a reforma dos fundos estruturais consideram uma única fase de programação para o Objectivo 2, como e´ o caso para os restantes objectivos. 3. 11. -3. 12. A fim de evitar uma multiplicação da avalia- ção de programas ou de subprogramas dificilmente gerí- vel, uma abordagem mais selectiva em certos domínios essenciais pode ser, por vezes, uma solução mais bem adaptada. Ale´m disso, os serviços da Comissão não podem ser considerados como os únicos responsáveis desta dificul- dade. Tanto a competeˆncia dos consultores como a qualidade dos dados disponíveis podem encontrar-se na origem das deficieˆncias de certos relatórios de avaliação: com base nos mesmos termos de refereˆncia, alguns relató- A Comissão partilha a opinião do Tribunal sobre a oportunidade de reduzir o número das medidas e subgru- pos, inclusivamente o número dos programas. Aliás, a Comissão apresentou propostas concretas neste sentido no âmbito da reforma dos fundos. 16. 11. 98 PT Jornal Oficial das Comunidades Europeias C 347/43 4. PROBLEMAS GERAIS Introdução 4. 1. A Comissão deplorou, em várias ocasiões, que certos Estados-Membros não tivessem quantificado de forma suficiente os seus objectivos. A auseˆncia de uma gestão por objectivos da despesa pública nacional difi- culta igualmente o desenvolvimento dos sistemas à base de indicadores. Por conseguinte, trata-se menos de uma deficieˆncia do quadro metodológico ou analítico que de um problema de concepção dos programas e do estado de evolução das estatísticas nacionais. 4. 3. A Comissão recorda que: — a partir de 1994 transmitiu aos Estados-Membros «orientações comuns para o acompanhamento e as avaliações intercalares»; — em Dezembro de 1994, apresentou ao Grupo Te´cnico de Avaliação — responsável pela avaliação dos Estados-Membros — um documento-quadro sobre a finalidade, o conteúdo e o modo de execução das avaliações intercalares. Esta primeira concertação foi seguida de quatro outras reuniões no mesmo grupo; — em 1995, colocou à disposição das administrações um caderno MEANS «organizar a avaliação intercalar no âmbito da parceria» do qual treˆs capítulos em cinco abordam a «elaboração do caderno de encargos e dos convites à apresentação de propostas», «a selecção dos avaliadores» e «a gestão da qualidade da avalia- ção»; — em 1996 e antes de receber as primeiras avaliações, colocou à disposição das administrações um caderno MEANS sobre «a apreciação da qualidade dos relató- rios de avaliação» com uma grelha pormenorizada. 4. 5. Recorda-se, no entanto, que certas avaliações foram realizadas no âmbito da parceria, inclusivamente durante o período de 1989-1993. Assim, os Estados-Membros e os Comite´s de acompanhamento participaram activa- mente em várias avaliações iniciadas pela Comissão — avaliações temáticas ou ex post. 4. 10. O Tribunal salienta o reduzido montante das verbas destinadas à avaliação dos Objectivos 1 e 2 durante o primeiro período de programação. Uma vez que a quase totalidade dos Estados-Membros não realizou avaliações foi, de facto, só a Comissão que tomou a iniciativa de uma primeira avaliação de todos os QCA do Objectivo 1 e de 15 DOCUP do Objectivo 2 no início do período. Para ale´m das avaliações temáticas que abrangem tambe´m o período de 1989-1993, a Comissão realizou, ale´m disso, uma avaliação ex post relativamente a todos QCA e DOCUP Objectivos 1 e 2 do período 1989-1993. 4. 11. A questão do conhecimento do custo foi evocada no ponto 3. 2. Apenas certas avaliações lançadas só por iniciativa de um Estado-Membro e financiadas pela assis- teˆncia te´cnica poderiam não ser incluídas no balanço financeiro das avaliações estabelecido pela Comissão. Trata-se, no entanto, de montantes marginais em compa- ração com os restantes trabalhos. Quadro de refereˆncia 4. 12. -4. 13. Os documentos MEANS foram concebidos como textos pedagógicos destinados a administrações cujos níveis de conhecimentos estão, frequentemente, em plena evolução no domínio te´cnico. A Comissão conside- rou como prioritário subir o nível me´dio da avaliação e não o dos peritos já especializados. Bases estatísticas e informações relativas aos objectivos prosseguidos 4. 14. -4. 15. A Comissão partilha a constatação do Tri- bunal. Indicadores 4. 16. -4. 21. O Tribunal reconhece os esforços realizados pela Comissão para fazer evoluir a questão dos indicado- res. Assim, as disposições regulamentares foram reforça- das em 1993, tendo sido lançado com cada Estado- -Membro o exercício de quantificação das disparidades. Por ocasião da avaliação ex ante a questão da quantifica- ção dos objectivos constituiu uma prioridade, tendo sido realizados progressos — as intervenções de 1994-1999 são nitidamente mais bem quantificadas do que as ante- riores. A primeira missão das avaliações intercalares foi melhorar os indicadores e a sua eficácia. A Comissão salienta que o problema não e´ unicamente completar ou reduzir o número de indicadores, mas sobretudo a dificuldade encontrada pelos sistemas de acompanhamento para assegurar a quantificação regular dos indicadores acordados e já existentes nos programas. Tambe´m não se trata de uma falta de coereˆncia de programação, mas as autoridades regionais e locais teˆm o direito, a título da subsidiariedade, de decidir quais as suas próprias prioridades e a dimensão da programação nos seus países. C 347/44 PT Jornal Oficial das Comunidades Europeias 16. 11. 98 Todavia, estão a ser realizados progressos sob a pressão e as exigeˆncias da avaliação. Objectividade das avaliações Uma vez que a análise da Comissão que constitui apenas um simples enquadramento metodológico, não e´ sufi- ciente, esta pretende adoptar iniciativas mais profundas no âmbito da reforma dos fundos. Tomada em consideração da avaliação 4. 23. A dupla fase de programação não facilitou, com efeito, a articulação avaliação/programação tendo a Comissão proposto, por esses motivos, entre outros, uma única fase de programação para o futuro. Contudo, a programação 1997-1999 beneficiou de uma avaliação ex post do período 1989-1993 e de uma apreciação ex ante dos DOCUP realizada por iniciativa da Comissão, sobre questões que são da sua competeˆncia e que são abrangi- das por prioridades da União. No que se refere à avaliação ex post do período 1994- -1996, a Comissão considera que as avaliações realizadas no âmbito da reprogramação e as avaliações temáticas relativas às PME e I&D abrangem uma parte importante da questão. A Comissão está actualmente a debater com os uma o avaliação/balanço no segundo semestre de 1998, que irá incidir sobre o período a partir de 1994. Esta avaliação (balanço) seria valorizada no âmbito da futura programa- ção. Estados-Membros lançamento de 4. 24. -4. 27. A Comissão está a elaborar um relatório, país a país, sobre a qualidade da avaliação e a sua contribuição para adaptação das intervenções. Um relató- rio de síntese retomará os pontos essenciais da revisão intercalar. Os elementos que a Comissão dispõe não corroboram as afirmações do Tribunal que cobrem situa- ções muito distintas e centenas de programas. A Comissão irá elaborar um balanço, aquando da apre- sentação do relatório sobre a revisão intercalar. De momento, a posição do Tribunal parece prematura. A Comissão recorda igualmente que as avaliações são úteis, não só para os gestores, mas tambe´m para prestar melhor contas à Autoridade Orçamental e, nomeada- mente, ao Parlamento Europeu, bem como aos cida- dãos. 4. 28. -4. 30. Nestes pontos, o Tribunal parece não tomar suficientemente em conta a complexidade da parceria, não obstante as posições positivas expressas nos pontos 6. 5-6. 7. O debate sobre a objectividade e a independeˆncia das avaliações e´ mais amplo do que as questões relacionadas com a existeˆncia de um quadro de refereˆncia preciso de aplicação de metodologias e do controlo dos dados in loco. A qualidade da avaliação depende mais do grau de profissionalismo, da e´tica da profissão e da interfereˆncia dos interesses dos Estados-Membros etc. O Tribunal não menciona que o caderno MEANS no. 5 sobre a apreciação da qualidade dos relatórios de avalia- ção preveˆ especificamente — em treˆs dos oito crite´rios utilizados — a adequação da metodologia, a fiabilidade dos dados e a credibilidade dos resultados. A Comissão está emprenhada no esforço de melhora- mento constante das normas e do nível de exigeˆncia, não deixando de tomar em conta as realidades no terreno. Neste sentido, a Comissão irá empenhar-se ainda mais na apreciação do funcionamento in loco dos sistemas de avaliação. Contratos de avaliação celebrados pela Comissão 4. 31. -4-32. A Comissão aplica as normas e os procedi- mentos de celebração de contratos estabelecidas no âmbi- to da CCAM. Assim, a selecção dos peritos e´ feita com base nos crite´rios de selecção e nos crite´rios de adjudica- ção publicados no JO. A sua aplicação e os resultados deste exercício fazem parte do relatório apresentado à CCAM. No que se refere ao grau de precisão dos contratos, deve ser tomado em conta o facto de a Comissão adquirir um conhecimento e ter todo o interesse em que os contratos sejam redigidos de forma a permitirem aos peritos con- tratados desenvolver plenamente os seus conhecimentos na mate´ria. 4. 33. O me´todo seguido relativamente ao Objectivo 1 não e´ adequado para o Objectivo 2 que comporta 60 programas. Conduziria, tendo em conta o montante em causa e o número de equipas, a um esquartejamento do convite à apresentação de propostas que seria contrário à letra e ao espírito sobre os procedimentos de celebração de contratos de obras públicas. A Comissão, nesses casos, respeitou as regras, estando preocupada em não perder o controlo das regras de 16. 11. 98 PT Jornal Oficial das Comunidades Europeias C 347/45 execução da avaliação. Para o efeito, foram criados «comite´s de pilotagem» que acompanhavam a avaliação, tendo sido organizadas com as equipas de avaliação reuniões periódicas. Os relatórios foram, seguidamente, validados pelos serviços gestores. 4. 34. A definição do caderno dos encargos depende das necessidades e dos pedidos de informação do comanditá- rio. Conve´m ao comanditário defini-los e as unidades de avaliação zelaram pelo seu conteúdo. Os termos do contrato, excepto o conteúdo do mandato, são normali- zados por iniciativa da CCAM. Tal como já foi salientado, não existe uma metodologia geralmente aceite para a avaliação dos programas. Neste contexto, e a fim de não perder o controlo da abordagem prevista, a Comissão discute a metodologia e a sua pertineˆncia em relação às questões colocadas e à aplicabi- lidade das te´cnicas propostas. As abordagens metodológi- cas gerais fazem parte do caderno de encargos, mas as suas especificações e os instrumentos te´cnicos podem ser debatidos. 4. 35. Neste caso concreto, a Comissão, com o acordo dos consultantes da avaliação, procurou melhorar a qua- lidade do relatório ao organizar um encontro/debate sobre o conteúdo e os ensinamentos, com todas as unidades e os funcionários interessados. O relatório final foi entregue em Maio de 1995 (treˆs meses após a data prevista), aceite após consulta oficial em Junho de 1995 e pago em Julho de 1995. O relatório sobre o qual o Tribunal apoia a sua crítica e´ apenas uma actualização por parte do consultante, sem orçamento suplementar. 4. 36. A Comissão salienta que os termos de refereˆncia foram estruturados em torno de treˆs questões significati- vas e bem definidas: pertineˆncia da estrate´gia, balanço e eficácia a nível das realizações e eficácia dos mecanismos de execução (páginas 2-4 do documento). A Comissão explicou no ponto 4. 12. a sua posição sobre a questão das metodologias. Os diferentes serviços são consultados e o serviço responsável assume as suas res- ponsabilidades ao decidir se aceita o relatório. Avaliação ex-post dos QCA Objectivo 1 (1989-1993) 5. 4. Certas observações do Tribunal sobre este ponto merecem ser matizadas. a) Se os dados sobre as disparidades regionais «são demasiado antigos», a crítica diz respeito aos serviços estatísticos mas não à metodologia de avaliação. b) Os avaliadores adoptaram te´cnicas de amostragem geralmente praticadas no âmbito da avaliação, bem como os estudos de casos para os aprofundamentos específicos. Essas te´cnicas bem utilizadas trazem ensi- namentos pertinentes. e) O Tribunal verifica que a análise «bottom-up» nem sempre permitiu tirar conclusões em termos de impacto a nível dos programas. O impacto sobre as políticas comunitárias, o impacto sobre o melhora- mento da gestão, sobre a transpareˆncia, etc. não podem, no entanto, ser efectuados «top-down», nem com base em modelos econome´tricos. g) O Tribunal apresenta críticas sobre questões que não faziam parte do mandato da avaliação. 5. 7. A Comissão confirma que, no âmbito da sua responsabilidade de prestar contas à Autoridade Orçamental, bem como no âmbito dos seus trabalhos a título do relatório sobre a coesão económica e social, as avaliações em questão foram plenamente utilizadas. 5. 8. Um dos treˆs objectivos do mandato da avaliação era, com efeito, emitir sugestões quanto ao melhora- mento do sistema de acompanhamento e de gestão. A pertineˆncia da estrate´gia foi igualmente analisada, tendo sido elaborado um balanço de realização que permitiu as análises sobre a eficácia das interven- ções. Avaliações ex post Objectivo 2 (1989-1993) 5. AVALIAÇÕES EX POST DOS QCA OBJECTIVOS 1 E 2 (1989-1993) Introdução 5. 13. A aplicação sistemática dos modelos econome´tri- cos não se justifica em todos os casos, quer porque o nível da ajuda não e´ elevado quer porque as se´ries estatísticas regionalizadas não existem. 5. 1. A Comissão partilha as observações do Tribunal sobre as dificuldades encontradas por essas avaliações relacionadas com a concepção dos programas da primeira geração. A maioria das apreciações sobre a política constam do relatório sobre a coesão económica e social; a Comissão sugeriu adaptações no âmbito de nova proposta para a reforma dos fundos estruturais a partir do ano 2000. C 347/46 PT Jornal Oficial das Comunidades Europeias 16. 11. 98 5. 16. A Comissão já incluiu nas suas propostas para os novos regulamentos um certo número das recomendações resultantes desta avaliação. 6. AVALIAÇÕES INTERCALARES (1994-1999) A avaliação da eficácia e da eficieˆncia e´ feita com base em abordagens «bottom-up». Relativamente aos grandes QCA, em relação aos quais se colocava a questão de delimitar as consequeˆncias da reprogramação nos impac- tos globais, foram utilizadas te´cnicas abrangidas pela modelização econome´trica, na Irlanda, na Espanha, na Gre´cia, em Portugal e na Itália. Desenvolvimento e integração dos princípios de avaliação intercalares 6. 22. A Comissão mobilizou os melhores peritos a nível europeu e nos Estados Unidos para conseguir as melhores abordagens possíveis sobre a avaliação dos programas. 6. 1. -6. 20. A Comissão partilha a apreciação do Tribunal nesta parte do relatório. Leva ao conhecimento do Tribu- nal algumas clarificações: — No ponto 6. 15. : A Comissão considera que a aprecia- ção crítica da estrate´gia de desenvolvimento, o impacto em relação aos objectivos e a viabilidade dos projectos devem ser mais especialmente abrangidos pela avaliação ex ante ou pela avaliação ex post. — No ponto 6. 16. : O mandato das avaliações intercala- res tem como objectivo a adaptação das intervenções e o melhoramento da gestão. A análise do valor acrescentado comunitário fará, sobretudo, parte das avaliações/balanço e das avaliações ex post. Contudo, a análise do impacto das prioridades comunitárias na adaptação das intervenções fornece, na maioria dos casos, informações úteis quanto ao valor acrescentado comunitário. — No ponto 6. 18. : A Comissão procurou, atrave´s da avaliação intercalar, captar, na medida do possível, a sinergia entre as acções financiadas a título dos dife- rentes fundos, nomeadamente nos países com progra- mações separadas, como e´ o caso dos DOCUP do Objectivo 1 alemães. Para o efeito, os avaliadores nomeados para as acções FEDER fizeram a síntese das avaliações realizadas a título de cada um dos fundos. A Comissão reconhece que a avaliação da região citada pelo Tribunal e´ particularmente fraca, mas que enquanto tal, não e´ representativa de todas as avaliações realizadas nesse país. É correcto afirmar, por exemplo, que a avaliação intercalar não analisou as alterações do plano financeiro indicativo que resul- tavam de um pedido de alteração do PO por parte do Land Brandenburgo. No que se refere à elevada taxa de dotações das acções citadas, as sucessivas adapta- ções das medidas foram realizadas por ocasião dos comite´s de acompanhamento de 12/6/1996 e 5/8/ 1996. Abordagens, me´todos e te´cnicas 6. 21. O Tribunal critica uma vaga formulação dos objectivos das avaliações intercalares nos contratos. A Comissão deu efectivamente orientações, mas em certos casos, estas não foram seguidas a nível descentralizado. As dificuldades metodológicas objectivas e, frequente- mente, uma insuficieˆncia dos sistemas de acompanha- mento, limitam a comparabilidade dos resultados a nível europeu. 6. 23. Regra geral, as avaliações intercalares não teˆm como objectivo medir o impacto dos programas. Trata-se de uma opção deliberada, pois esses impactos não são concretizados a partir da primeira fase das intervenções, sendo o encadeamento antes de mais a realização, seguida aos resultados e por último os impactos. A questão da estimativa do impacto global dos grandes QCA foi evo- cada no ponto 6. 21. 7. IMPACTO DOS FUNDOS ESTRUTURAIS E MODELOS DE AVALIAÇÃO Impacto a nível dos QCA e dos programas 7. 1. -7. 15. Nesta parte do relatório, o Tribunal apresenta os resultados dos diferentes modelos econome´tricos e macro-económicos o que, sem explicar nem o alcance nem a natureza dos mesmos, corre o risco de criar uma certa confusão. Esses dados já constam do relatório sobre a coesão económica e social, de forma estruturada e com o enquadramento adequado. Impacto a nível dos subprogramas, medidas e projectos 7. 16. -7. 19. O Tribunal parece criticar a auseˆncia de avaliação a nível de subprogramas ou medidas, mas a avaliação do programa, regra geral «bottom up», assenta forçosamente na avaliação das medidas e dos subprogra- mas. De igual forma, as avaliações temáticas em curso, lançadas pela Comissão, destinam-se mais especifica- mente, e de forma horizontal, a certas categorias de medidas e/ou de subprogramas, como e´ o caso das medidas PME, I&D, ambiente, etc. 16. 11. 98 PT Jornal Oficial das Comunidades Europeias C 347/47 8. CONCLUSÃO 8. 1. -8. 19. A Comissão considera que as conclusões do Tribunal representam uma crítica construtiva sobre ques- tões em relação às quais a Comissão se esforça por progredir desde há vários anos e sobre as quais continua a trabalhar. A Comissão admite que o Tribunal possa apontar defi- cieˆncias embora constatando igualmente os progressos realizados. A acção realizada pela Comissão, a título dos fundos estruturais, confortada pelo exercício SEM 2000, conduz ao desenvolvimento de uma cultura de avaliação sem precedentes. Raras são as regiões que não realizaram avaliações e que não se empenharam neste processo. Tanto o princípio de subsidiariedade como as dificulda- des e a heterogeneidade dos contextos tanto geográficos como temáticos são factores que e´ conveniente tambe´m tomar em consideração