title: Rapport från kommissionen - Översyns efter halva programperioden - Program under mål 1 och 6 (1994-99) - Att utveckla en förvaltningskultur genom utvärdering: mot en bästa metod

eurovoc_concepts:
EU programme
Structural Funds
activity report
project evaluation

text: EUROPEISKA GEMENSKAPERNAS KOMMISSION -fc -fr Bryssel den 07. 01. 1999 KOM( 1998) 782 slutlig RAPPORT FRÅN KOMMISSIONEN ÖVERSYNS EFTER HALVA PROGRAMPERIODEN PROGRAM UNDER MÅL 1 OCH 6 (1994-99) ATT UTVECKLA EN FÖRVALTNINGSKULTUR GENOM UTVÄRDERING: MOT EN BÄSTA METOD SAMMANFATTNING översyn efter halva programperioden : att höja effektiviteten 1. Halvtidsöversynen av programmen under mål 1 och 6 är ett förfarande som huvudsakligen bygger på de olika halvtidsutvärderingar som görs på programnivå. Vid denna utvärdering beaktas också andra aspekter inklusive den politik som förs av berörda medlemsstater, EU:s egna prioriteringar och andra relevanta strategiska analyser. Huvudsyftet med halvtidsöversynen är därför att genom en grundlig och systematisk bedömning komma fram till eventuellt nödvändiga ändringar av prioriteringar och omfördelning av budgetmedel till varje program. 2. Vid denna halvtidsöversyn kunde man dra nytta av ett stort antal utvärderingar (fler än hundra), och arbetet underlättades mycket av diskussioner med de nationella myndigheterna. 3. Halvtidsöversynen täckte i princip alla gemenskapsstödramar och samlade programplaneringsdokument för mål I och 6. Förfarandets betydelse varierar från en medlemsstat till en annan. I allmänhet har det möjliggjort en effektivare resursanvändning och utgjort ett stöd för specifika strategiska prioriteringar. Halvtidsutvärderingarna har visat sig användbara för justeringar i programmen 4. Halvtidsutvärderingar är förbättra programplaneringens kvalitet och relevans. De inbegriper stora mänskliga och ekonomiska resurser och i vissa fall också omfattande förberedelser och diskussioner inom programpartnerskapen. inget självändamål, utan görs för att 5. Dessa utvärderingar har inte gjorts endast för att de skall uppfylla gällande gemenskapsregler för programmen. De har också gjorts på grund av det växande intresse som nationella och regionala myndigheter visar. Dessa myndigheter betraktar allt mer utvärderingen som ett medel för att förbättra förvaltningen av anslagen och optimera uppnådda resultat. 6. Halvtidsutvärderingen erbjuder ett viktigt instrument för att bedöma nödvändig heten för ändringar av de ursprungliga målsättningarna för programmet. Planeringen av strukturåtgärder kan påverkas av ändrade yttre faktorer och de allmänna förutsättningarna. Faktorer som dessa kan skapa behov av en översyn av strategiska prioriteringar och en mer systematisk och effektiv programplanering. 7 Fördelar av denna utvärdering kan mätas i form av en bättre utdelning på de medel som investeras och som en bättre anpassning av prioriteringarna efter ändrade behov och förutsättningar. Dessutom bör utvärderingen ses som en del av en djupare inlärningsprocess som inbegriper fördelar som inte enbart kan värderas på kort sikt såsom en förbättrad utvärderingsförmåga och samordning inom de nationella och regionala förvaltningarna. Att bedöma resultaten 8. Jämfört med tidigare program påvisade halvtidsutvärderingarna avsevärda framsteg när det gäller att använda kvantitativa indikatorer för att övervaka åtgärdernas genomförande, bedöma deras effekter och fastställa de framsteg som gjorts när det gäller att uppnå programmens mål. Även om utvecklingen av indikatorer hittills har varit ganska ojämn, framgår det ofta av de "bra metoder" som identifierats i vissa program att det är relativt enkelt att mäta och bedöma resultat, och att detta inte nödvändigtvis kräver ytterligare arbete från de nationella myndigheternas sida. 9. Användningen av formella resultatindikatorer för att mäta framsteg gentemot ett programs huvudmålsättningar och prioriteringar kan vara till större nytta än vad som hittills erkänts. Detta borde leda till en effektivare förvaltning som kan ge påvisbara förbättringar av faktiska resultat. 10. Om man antar att medlemsstaterna måste göra förhandsutvärderingar av framtida program är det viktigt all programplaneringsdokumenten innehåller kvantifierade mål och indikatorer som är relevanta för halvtidsöversynen. Denna typ av information kan vara genuint användbar för dem som förvaltar programmen och tjäna som en objektiv grund vid bedömning av resultat. Detta kommer enligt kommissionens förslag till förordning om strukturfonderna, avgöra tilldelningen av reservmedel till programmen mätt utifrån deras egna interna resultat. 11. När det gäller verksamhetsramen måste övervakningssystemen kunna garantera att relevanta indikatorer kan mätas snabbt och till en låg kostnad, att lämpliga befintliga informationskällor används och att indikatorerna kontrolleras av nationella och regionala förvaltningar. Dessutom bör det fastställas realistiska mål på ett öppet sätt, och de ursprungliga målen bör kvarstå under genomförandet. De bör justeras ned endast då detta motiveras av ändrade förutsättningar. Halvtidsöversynen har varit tillräckligt flexibel för att möta ändrade behov och prioriteringar 12. Den strategi som ligger bakom halvtidsövcrsynen tycks på många sätt vara lämplig och tillräckligt flexibel för att svara mot ändrade förutsättningar och mot behovet att säkerställa en högre effektivitet i de nuvarande åtgärderna. Båda av dessa målsättningar har varit möjliga att uppfylla inom samma verksamhetsram. 13. Strategiska prioriteringar är utformade i ett särskilt ekonomiskt och institutionellt sammanhang och påverkas både av externa och interna aspekter. Även om det är önskvärt med kontinuitet, finns det alltid utrymme för ytterligare förbättringar - även för de mest framgångsrika åtgärderna. I snabbt växande ekonomier (t. ex. den irländska) medger de ekonomiska resultaten vissa strukturella ändringar i programplaneringen för att ta sig an vissa större problem såsom otillräckliga fysiska infrastrukturer eller kunskapsluckor. 14. Halvtidsöversyn som gjorts av programmen under mål 1 och 6 har inte i grunden påverkat deras övergripande strategiska inriktningar. Justeringar av åtgärderna varierar mellan medlemsländer och regioner samt mellan gemenskapsstödramar och samlade programplaneringsdokument. Även om de senare är mindre inbegriper de proportionellt sett större transfereringar mellan olika åtgärder. 15. När kommissionen lade fram sina egna prioriteringar för de justeringar som skall göras i samband med halvtidsöversynen, betonade man särskilt en tydligare sysselsättningsinriktning, och då framför allt genom att stödja mer arbetsintensiva åtgärder. Även om man kunde ha gjort mer för att stödja denna viktiga prioritering har halvtidsöversynen som ett reellt resultat påvisat uppmuntrande tecken i de nuvarande programmen. Exempel på detta är att vissa större stödprograms inriktning ändrats för att inbegripa små och medelstora företag samt sysselsättning. Vidare har de territoriella sysselsättningspakterna integrerats i huvudprogrammen och särskilda åtgärder rörande informationssamhället samt jämställdhet införts. Klara framsteg inom utvärderingsområdet men förbättringar behövs 16. Lärdomarna från denna halvtidsöversyn visar att utvärderingsarbetet inte bara är en rent akademisk övning, utan ett verksamhetsinriktat och strategiskt arbete. 1 många medlemsstater hade programförvaltare och beslutsfattare en liknande syn och tog slutsatserna från utvärderingen som utgångspunkt för de ändringar som krävdes med tanke på pågående åtgärder. innehåll, samtidigt som man 17. Det har gjorts avsevärda framsteg när det gäller halvtidsutvärderingarnas kvalitet i den övergripande och förbättrad halvtidsöversynen. Detta kommer med förvaltningskultur. Genom att identifiera "bra metoder" har faktorer såsom processförvaltning (t. ex. att identifiera nyckelfrågor, nå samförstånd etc. ) och en försiktigare planering av halvtidsöversynen konstaterats. Dessa kommer att inbegripas i en eventuell framtida vägledning för bästa metod. införlivat dem tiden att till en leda 18. Till följd av halvtidsöversynen har de nationella och regionala myndigheterna vidtagit åtgärder för att ytterligare effektivisera sina åtgärder, särskilt när det gäller deras egna system för att fördela medel från strukturfonderna. Framför allt kommer man att förbättra övervakningssystemen avsevärt, och detta särskilt genom att höja kvaliteten på och relevansen hos de indikatorer som fastställs i programmen. Man försöker för närvarande hitta andra lösningar för att förenkla förvaltningen av små program och fastställa mer samstämmiga urvalskriterier mot bakgrund av programmålen. 19. Inför nästa programperiod blir huvudfrågan att ytterligare konsolidera utvärderingsmetoderna på grundval av de resultat som hittills uppnåtts. Att förstärka utvärderingen som ett verkligt verktyg för beslutsfattande, stärka övervakningssystem och indikatorer, stödja utvärderingsmetoder och främja det multilaterala utbytet av erfarenheter inom Europeiska unionen tycks i detta sammanhang utgöra stora utmaningar när det gäller att ytterligare öka strukturåtgärdernas effektivitet. m SAMMANFATTNING INLEDNING /. Huvuddelar i halvtidsöversynen 1. 1. Bakgrund och framväxande behov 1. 2. Kommissionens riktlinjer 1. 3. Halvtidsutvärderingar 1. 4. Ekonomiskt genomförande //. Lärdomar från halvtidsutvärderingarna 2. 1. Att genomföra halvtidsutvärderingarna 2. 2. De viktigaste slutsatserna 2. 3. Att utnyttja utvärderingsresultaten ///. De viktigaste följ derna och justeringarna , 3. 1. Kopplingen mellan utvärdering och omprogrammering 3. 2. Totala omfördelningar av anslag från strukturfonderna 3. 3. Att införliva EU:s prioriteringar IV. Konsekvenser och framtida utmaningar 4. 1. Konsekvenser på kort sikt för de nuvarande fördelningssystemen 4. 2. De första reflektionerna inför kommande program 4. 3. Utmaningen att utvärdera : 3 4 4 5 5 6 6 6 12 21 22 22 25 26 30 30 30 31 2- INLEDNING Denna halvtidsutvärdering1 syftar till att säkerställa ett effektivare och kraftfullare genomförande av de strukturåtgärder som görs genom gemenskapsstödramarna och de samlade programplaneringsdokumenten (SPD). Detta förfarande är särskilt viktigt med tanke på de nuvarande strama offentliga budgetarna. Dessa gör det allt nödvändigare att åtgärder genom strukturfonderna är av hög kvalitet vad gäller deras enskilda innehåll och att de resurser som anslås utnyttjas helt. Utvärderingar är ett viktigt verktyg för att dessa mål skall kunna uppnås. En nyhet av central betydelse i de nuvarande strukturfondsförordningarna är kravet att en systematisk utvärdering skall införas för alla EU-program. Mot bakgrund av initiativet SEM 2000 (system för sund och effektiv finansförvaltning) betraktar kommissionen utvärderingar som en avgörande åtgärd för att förbättra den förvaltningskultur inom vilken gemenskapsprogrammen genomförs2. Senare har kommissionens politiska dokument Agenda 20003, som täcker perioden 2000-2006, kommit att syfta till en större kostnadseffektivitet i alla strukturåtgärder genom att stärka övervakning, ekonomisk kontroll och utvärdering i en decentraliserad förvaltning. I denna rapport sammanfattas de viktigaste delarna av de halvtidsöversyner som görs i medlemsstaterna, och vi analyserar särskilt halvtidsutvärderingarnas roll och införandet av gemenskapsprioriteringar för alla program under mål 1 och 6. informationskällan De halvtidsutvärderingar som genomförs av de enskilda medlemsstaterna är den viktigaste för denna rapport. Det görs ett försök att förstå utvärderingsförfarandets roll i utarbetandet av denna halvtidsöversyn och att identifiera en bästa utvärderingsmetod som vägledning för nästa programperiod. Dessa är representativa för en förvaltningskultur som växer fram genom utvecklingen av en utvärderingsmetod. Genom att belysa huvuddragen i en bästa metod bidrar rapporten till en bättre förståelse för hur utvärderingar genomförs och används för halvtidsöversynen mot bakgrund av deras framtida tillämpning i enlighet med de nya strukturfondsförordningarna. Rapporten utgör i detta sammanhang en experimentell grund för insatser efter 1999. Följande fyra områden granskas i denna rapport: 1. Den övergripande halvtidsöversynen. 2. De viktigaste slutsatser som kan dras av halvtidsutvärderingarna. I denna rapport görs genomgående en distinktion mellan begreppen halvtidsutvärdering och halvtidsöversyn. Även om de två begreppen emellanåt används samtidigt, beskriver hulvtidsövcrsyn på ett bättre sätt det fullständiga förfarande som inbegriper utvärderingsarbetet och de däruv följande programbudgetcn. Halvtidsutvärderingen består helt enkelt i det faktiska utvärderingsarbetet, som sedan ligger till grund för halvtidsöversynen. omfördelningar prioriteringar ändringarna och av i SEM 2000 - Meddelande om utvärderingar, 8. 5. 1996. 3 Agenda 2000 - en förstärkt och utvidgad union, 1997. - 3- 3. De viktigaste följderna och justeringarna. 4. Konsekvenser för programmens genomförande och prioriteringar samt framtida utmaningar. I. HUVUDDELAR I HALVTIDSÖVERSYNEN Halvtidsöversynen bygger på fyra huvuddelar: politiskt sammanhang, kommissionens riktlinjer, halvtidsutvärderingarna samt det ekonomiska genomförandet av program under mål 1 och 6. 1. 1. Bakgrund och framväxande behov Gemenskapsstödramarnas och de samlade programplaneringsdokumentens huvudsyfte är att minska skillnaderna mellan de olika medlemsstaternas per capita-inkomster. långsiktig förändring av mottagarnas Åtgärderna syftar till att åstadkomma en ekonomiska strukturer och resultat. De genomförs på grundval av specifika nationella prioriteringar och strategier för att gripa sig an sådana grundläggande strukturella problem som skillnader i konkurrenskraft och mänskligt kapital, vilka är av central betydelse för den regionala konkurrenskraften och därmed för den regionala tillväxten. De fyra fattigaste medlemsstaterna - "sammanhållningsländerna" - har kunnat notera en avsevärd förbättring av sina per capita-inkomster. Det finns dock fortfarande skillnader mellan de europeiska regionerna: 1995 var den genomsnittliga per capita-inkomsten i de 25 mest välmående regionerna tre gånger högre än i de minst utvecklade. Skillnaden i arbetslöshet är ännu större och drabbar framför allt de socialt mest missgynnade grupperna4. Ekonomiska, sociala eller politiska förändringar i medlemsstaterna har påverkat deras olika behov och problem, och därigenom deras justeringar av programmen. Exempelvis har Irlands positiva ekonomiska utveckling under senare år ändrat behovet av vissa typer av åtgärder, vilket främja produktionssektorn. Den halvtidsutvärdering som gjorts för Irland visar att det finns ett behov av att styra resurserna mot satsningar på offentlig infrastruktur (t. ex. landsvägar) för att kunna matcha den höga ekonomiska tillväxten. framför allt gäller åtgärder som till att syftar På samma sätt har erkännandet av sysselsättningen som en överordnad EU-prioritering också lett till ett antal justeringar i programmen, såsom den formella lanseringen av de territoriella sysselsättningspakterna. Ändringar i medlemsstaternas sysselsättningspolitik såsom strukturella reformer på arbetsmarknaden har också bidragit till att ändra vissa utbildningsåtgärders inriktning. Oförutsedda händelser har också kunnat bemötas genom strukturfonderna. Exempelvis har jordbävningarna i regionerna Umbrien och Marche i Italien medfört att dessa regioner, som ett tecken på solidaritet mellan landets regioner, kommit att få resurser genom gemenskapsstödramen. Se första rapporten från kommissionen om ekonomisk och social sammanhållning (1996), KOM(96) 542 slutlig av den 6 november 1996. 1. 2. Kommissionens riktlinjer De ändrade ekonomiska och sociala förutsättningarna i medlemsstaterna har medfört att kommissionen antagit allmänna riktlinjer5 för att främja gemenskapsåtgärdemas mervärde. Riktlinjerna syftar till att utgöra en allmän ram för åtgärder och prioriteringar, inom vilken justeringar av de nuvarande programmen under mål 1 och 6 (1994-1999) kan göras som en del av halvtidsöversynen. Riktlinjerna innehåller en rad tematiska prioriteringar till stöd för strukturåtgärdemas huvudsyfte genom att bidra till att skapa förutsättningar för en hållbar ekonomisk utveckling, tillväxt och sysselsättning, och därigenom till varaktiga arbetstillfällen. Det specifika överordnade målet att främja sysselsättningen prioriteringar: grundläggande infrastruktur, ett produktionsfrämjande klimat (alla typer av åtgärder för att förbättra företagens och industrins tillväxt och konkurrenskraft), forskning och teknisk utveckling, miljö och en hållbar utveckling, utveckling av mänskliga resurser samt jämställdhet. stöds genom följande 1. 3. Halvtidsutvärderingar I enlighet med strukturfondsförordningarna och programmens standardbestämmelser har alla medlemsstater (med undantag för Italien6) lyckats genomföra halvtidsutvärderingar som underlag för en översyn av deras strukturåtgärder. Dessa utvärderingar var utformade för att bidra till arbetet att förbättra genomförandet och förvaltningen av programmen under återstoden av perioden. I det vägledningsdokument7 som offentliggjorts av kommissionen fastslogs att halvtidsutvärderingar bör inbegripa en kritisk analys av all insamlad information, och då framför allt av uppgifter från övervakningen, samt en analys av i vilken grad målen hade uppnåtts. I samband med detta bör också eventuella skillnader mellan faktiska och förväntade resultat av åtgärderna förklaras. Utvärderingarna bör också inbegripa en bedömning av åtgärdernas motiv och målens fortsatta relevans. Dessutom bör man vid utvärderingarna tillhandahålla information som gör det möjligt för övervakningskommittéerna att inta en ståndpunkt och föreslå berörda myndigheter korrigerande åtgärder så att justeringar i programmen kan göras. För program som löper över mer än tre år skall som allmän regel en halvtidsutvärdering genomföras i slutet av det tredje året. Dessa program skall också vara föremål för en Prioriteringar vid justeringar av de strukturfondsprogram som löper ut i slutet av 1999* - kommissionens riktlinjer, maj 1997. Riktlinjernas utformning fick stöd av medlemsstaterna vid ett informellt möte mellan de ministrar som ansvarar för regionalpolitik och fysisk planering i Ballyconnell, Irland, den 14-15 november 1996. Medlemsstaterna bad formellt kommissionen alt "utforma politiska riktlinjer i enlighet med subsidiaritetsprincipen som syftar till att utveckla de nuvarande programmen under mål 1 och 6 så att de får en arbetsintensivare inriktning för den period som löper ut i slutet av 1999". Halvtidsutvärderingen genomfördes av de italienska myndigheterna som en mellanliggande utvärdering (budgetministeriets utvärderingsenhet) under första halvåret 1997. 7 Gemensam vägledning för kontroll och mellanliggande utvärderingar (1996). - 5- slutlig utvärdering i slutet av referensperioden. I utvärderingen skall denna tidsplan beaktas. /. 4. Ekonomiskt genomförande Utvärderingarna handlar normalt om att bedöma effekter och framsteg mot bakgrund av uppställda mål och prioriteringar. För att göra detta förlitar man sig normalt till ekonomiska uppgifter om programmens genomförande, vilka tillhandahålls genom berörda övervakningssystem. Genomförandet av budgeten på EU-nivå ger också en översikt över åtagande- och betalningsbemyndiganden. De viktigaste tendenserna för program under mål 1 och 6 sammanfattas nedan (se bilaga 2). Sedan 1994 har det gjorts kontinuerliga och regelbundna framsteg i genomförandet av programmen under mål 1. Denna tendens kvarstod under första halvåret 1998. 1 slutet av 1997 hade 64 % av medlen tagits i anspråk för åtaganden (46 % i slutet av 1996) och gjorda betalningar uppgick till 48 % av anslagna medel (33 % i slutet av 1996). 1997 användes samtliga medel som fanns tillgängliga för åtaganden och betalningar. Denna allt snabbare utveckling var tydligast i Spanien och Portugal, där man under perioden 1994- 1997 tagit 69 % respektive 70 % av anslagna medel i anspråk för åtaganden och betalat ut 53 % respektive 56 % av medlen. I andra medlemsstater kunde man konstatera allvarliga förseningar i genomförandet mätt i åtaganden (framför Nederländerna, Frankrike och Belgien), medan förseningarna i Italien och Österrike främst rörde betalningar. När det gäller mål 6 råder det stora skillnader mellan de två berörda medlemsstaterna. Genomförandet har hunnit längre i Finland än i Sverige: 59 % av anslagna medel hade i slutet av 1997 tagits i anspråk för åtaganden i Finland jämfört med bara 32 % i Sverige. II. LÄRDOMAR FRÅN HALVTIDSUTVÄRDERINGARNA Arbetet att genomföra halvtidsutvärderingar, som utgör en av de viktigaste nyheterna i förvaltningen av strukturfonderna, erbjuder en värdefull ram för överväganden kring EU- åtgärdernas totala effektivitet. De viktigaste lärdomar som bör dras rör själva genomförandet, samt vilket värde de viktigaste resultaten har i fråga om åtgärdernas inriktning. 2. 1. Att genomföra halvtidsutvärderingarna a) Halvtidsutvärdering - ett delat ansvar En nyhet av central betydelse i gällande förordningar om strukturfonderna är de skärpta kraven på utvärdering av hur effektiva och kraftfulla åtgärderna är. Dessa krav fastställs i flera artiklar i dessa förordningar8. Enligt artikel 26. 2 i samordningsförordningen skall "förhandsbedömningen och utvärderingen, alltefter omständigheterna, utföras genom en jämförelse av målen med de erhållna resultaten, i förekommande fall, och med hänsyn till makroekonomiska och sektorsvisa mål och indikatorer som grundas på regional eller nationell statistik, samt information från beskrivande och analytiska undersökningar och kvalitativa analyser". I standardbestämmelserna för gemenskapsstödramarna och de tillsammans med medlemsstaterna, anges att "övervakningen l. ] skall stödjas genom mellanliggande utvärderingar så att eventuella justeringar som krävs i gemenskapsstödramarna och pågående verksamhet kan göras ". samlade programplaneringsdokumenten, skall beslutas som - 6- samarbetat Kommissionen och medlemsstaterna har att definiera de verksamhetsförfaranden som skall följas eftersom kravet på utvärderingar är ett delat ansvar. Under 1995 arbetade medlemsstaterna och kommissionen aktivt för att försöka nå samförstånd om innehållet i dessa utvärderingar och om de verksamhetsförfaranden som skall följas i varje fall. Även om den verksamhetsram som föreslagits av kommissionen diskuterades multilateralt, så har uppgiften att genomföra utvärderingarna i första hand legat på varje övervakningskommitté. för Trots de problem som normalt åtföljer alla nya förfaranden och de svårigheter som vissa medlemsstater har haft när det gäller att definiera och initiera utvärderingen, har det i allmänhet inte funnits några större meningsskiljaktigheter mellan medlemsstaterna och kommissionen9. h) Att organisera halvtidsutvärderingar Utöver förordningarna - att förbättra förvaltningen tematiska (för Flertalet typer av åtgärder (gemenskapsstödramar, samlade programplaneringsdokument, operativa program, globala stöd etc. ) som programmerades i varje medlemsstat skulle utvärderas enligt specifika former. Vissa medlemsstater har initierat andra utvärderingar som antingen varit t. ex. små och medelstora företag eller på forskningsområdet) eller verksamhetsinriktade (t. ex. urvalskriterier, förfaranden etc. ) för att komplettera sina halvtidsutvärderingar. Det stora antalet halvtidsutvärderingar (fler än hundra för program under mål 1 och 6)10 tyder på att medlemsstaterna numera allmänt erkänner deras betydelse. Detta framkommer inte bara genom att de följer gällande bestämmelser, utan också genom deras syn på utvärderingar som ett verktyg för att förbättra förvaltningen av fonderna och optimera resultaten av fondernas verksamhet. Utvärderingarnas kostnad I meddelandet SEM 2000 om utvärderingar (1996) rekommenderades att den totala budgeten för utvärderingsarbete inte skulle överstiga 0,5 % av programbudgeten. Utvärderingskostnaderna finansierades i allmänhet under varje programs budget för "tekniskt bistånd". De andel av medlen som anslagits till denna verksamhet har i allmänhet understigit 0,1 % av programmens totalkostnad. I vilket fall som helst skulle det ha varit olämpligt att fastställa specifika procentuella andelar eftersom kostnaden för en utvärdering inte nödvändigtvis är proportionell mot kostnaden för programmet i fråga. Utvärderingsförfarandet Halvtidsutvärderingarna inleds med en analys av i vilken grad det aktuella programmet låter sig utvärderas {utvärderingsbarhet), och man beslutar i detalj vilken metod man skall tillämpa under nästa steg. Bedömningen av utvärderingsbarhet var nödvändig för att avhjälpa vissa i programplaneringsdokumenten, såsom otillräckligt kvantifierade mål för vissa åtgärder. luckor eller motsägelser information i den finns som 9 Det informella mötet i Madrid mellan de ministrar som ansvarar för regionalpolitik och fysisk planering den 30 november-1 december 1995 visade på en ökad medvetenhet i medlemsstaterna om vikten av halvtidsutvärderingar och deras syfte för verksamheten. 10 Se förteckning i bilaga 3. - 7- Det är viktigt att understryka att en grundförutsättning för en framgångsrik utvärdering är att man kan se till att förhållandena verkligen är sådana att de medger en utvärdering av det aktuella programmet. Utvärderingen av ett program kräver i allmänhet att relevanta indikatorer och mål har fastställts på förhand och att de övervakats under programmets hela löptid (ruta 1). Ruta 1: Att bedöma utvärderingsbarhet (dvs. möjligheten att genomföra en utvärdering) - ERUF:s operativa program för Andalusien (mall) Denna utvärdering syftade till att beskriva motiven bakom och målen för planerade åtgärder, graden av samverkansvinster mellan dessa samt huruvida programförvaltningen var lämpligt utformad. Utvärderingen var koncentrerad till tre huvudområden: planeringens kvalitet, informationssystem och förvaltningskapacitet. Den strategi som antogs bestod i att analysera programplaneringsdokumenten (efter det sedvanliga schemat) och intervjua nyckelpersoner inom programmets förvaltning. Tillämpningen av denna metod ledde till vissa praktiska slutsatser. När det gäller programmets kvalitet noterade utvärderaren vissa brister i SWOT-analysen (styrka, svagheter, möjligheter och hot) samt problem ifråga om vissa av målen (t. ex. turism), där målinriktningen var svag. Informationsbasen ansågs vara alltför inriktad på resultat på bekostnad av effektmätande indikatorer. Det gjordes också en bedömning av förvaltningssystemet för att åstadkomma möjliga förbättringar, särskilt vad gäller fördelningen av arbetsuppgifter och ansvar inom den regionala förvaltningen. Även om inte alla rekommendationer kom att beaktas ökade denna första utvärdering programförvaltarnas medvetenhet om behovet att främja en utvärderingskultur och att bättre förstå sina egna program. Halvtidsutvärderingen görs efter halva programmets löptid. Den syftar till att bedöma i vilken grad man uppnått programmets mål, att avgöra vilken effekt åtgärderna haft i initialskedet och, när så krävs, att föreslå rekommendationer för att förbättra för programmets halvtidsutvärderingarna bör man därför i allmänhet använda resultaten från den förhandsbedömning som gjorts på grundval av de planer som medlemsstaterna lagt fram. förvaltning och optimera dess resultat. Som referenspunkt Utvärderarnas oberoende Medlemsstaterna har kommit överens om att det var särskilt viktigt att säkerställa att utvärderingsrapporterna utarbetades oberoende både av de myndigheter som ansvarar för förvaltningen av strukturfonderna och av de verkställande organ som ansvarar för samfinansierade åtgärder. Man har därför fastställt förfaranden för att utse externa utvärderare (konsulter, specialistgrupper från den akademiska världen etc). I vissa medlemsstater där utvärderingar är en väletablerad del av de offentliga programmen har de externa utvärderarna ofta kunnat dra nytta av fortlöpande rådgivning och stöd. Interna utvärderingar kan innebära vissa fördelar, till exempel genom att "erfarenhet ger färdighet", eftersom förvaltningsmyndigheterna ofta har anledning att fråga sig "hur" och "varför" deras verksamhet ser ut som den gör. När det gäller halvtidsutvärderingar och förhandsbedömningar är det dock kanske inte praktiskt, kostnadseffektivt eller ens önskvärt att göra interna utvärderingar. Ett anmärkningsvärt undantag var Italien där halvtidsutvärderingarna genomfördes av budgetministeriets utvärderingsenhet, och där man tog upp en rad kritiska frågor, särskilt när det gäller programplaneringsdokumentens kvalitet och bristen på lämpliga mål och indikatorer. c) Att bygga upp utvärderingskapacitet i medlemsstaterna Att inrätta förvaltningsstrukturer Övervakningskommittéerna ansvarar vanligtvis för att genomföra halvtidsutvärderingar. De har deltagit i utformningen av innehållet i utvärderingsrapporterna och i fastställandet av utvärderamas arbetsprogram. Ännu viktigare är att de har analyserat och diskuterat utvärderingsrapporternas innehåll och, när så varit lämpligt, föreslagit eller gett råd om tänkbara ändringar i programmet för att maximera effektivitet och verkan hos de strukturmedel som anslagits till programmet. I ett stort antal fall har övervakningskommittéerna inrättat tekniska grupper eller underkommittéer (se ruta 2), som ansvarat för att upprätthålla de fortlöpande kontakterna mellan kommittéerna och utvärderarna. På grundval av utvärderingsresultaten har de sedan utarbetat rapporter och förslag för diskussion inom och godkännande av hela kommittén. Ruta 2: Att genomföra utvärderingarna - genom särskilda arbetsformer Gemenskapsstödramarna i deras helhet och de tre största operativa programmen bistods var och en av en särskild utvärderingsenhet som gav kontinuerlig rådgivning och sakkunskap. Externa utvärderare har gett liknande direkttjänster till fem andra operativa program. två separata övervakningskommittéerna har diskuterat halvtidsutvärderingsrapporterna vid sammanträden. De enskilda utvärderingarna av de operativa programmen och slutsatserna från övervakningskommittéernas sammanträden har för den övergripande halvtidsutvärderingen av gemenskapsstödramarna. En regional utvärderingsrapport har också legat till grund för utvärderingen av stödramarna, och i översynen har man beaktat kommissionens riktlinjer. grund legat till tekniska utvärderingsgrupper upprättats I Portugal har utvärderingsprocessen. Deras huvuduppgifter bestod bland annat i att kontrollera anvisningar, bistå i urvalet av utvärderare och diskutera slutrapporterna innan de lades fram för övervakningskommittéerna. Dessa grupper utgjordes av tjänstemän från kommissionen och företrädare för berörda nationella och sammanträdde som regel minst regionala förvaltningar. De övervakningskommitténs sammanträden. De konstruktiva samarbetet mellan parterna i dessa grupper har bidragit till att förbättra kvaliteten på utvärderingsarbetet. styra och kontrollera två gånger per år för att fört Partnerskapens roll Programmens parter har i allmänhet ställt sig positiva till halvtidsutvärderingarna och gärna påtagit sig ansvaret att vidareutveckla dem. De regionala myndigheterna har dock i varierande grad engagerat förknippade med halvtidsutvärderingarna. Dessa variationer återspeglar olika egenskaper hos de politiska och institutionella systemen (graden av decentralisering), de olika typerna av strukturåtgärder (nationella, sektoriella, regionala eller lokala program) samt olika praxis och erfarenheter i medlemsstaterna. i de uppgifter som är sig I vissa fall ansvarade de regionala myndigheterna för att organisera och genomföra utvärderingarna. De ansvarade för urvalet av utvärderare, för att definiera och underlätta deras arbete samt för att säkerställa att övervakningskommittéerna diskuterade och analyserade utvärderingsresultaten. Dessutom säkerställde de att rekommendationerna från utvärderingarna kom att tillämpas på programnivå. I andra fall påtog sig både nationella och regionala myndigheter detta ansvar och arbete. I de fall det handlade om gemenskapsstödramar (vilket gäller vissa regioner under mål 1) ansvarade dock normalt de nationella myndigheterna för utvärderingen. -9 Ännu ett fall utgörs av de medlemsstater där de regionala myndigheterna inte har det verkställande ansvaret för programplaneringen och förvaltningen av strukturfonderna. Deras deltagande i utvärderingen bestod i att underlätta tillhandahållandet av de uppgifter och den information som krävdes för att utarbeta utvärderingsrapporterna, att samarbeta vid analysen av åtgärdernas lokala effekter samt att i viss mån delta i omformuleringen av de strategiska riktlinjer och verksamhetsriktlinjer som följde av rekommendationerna i utvärderingsrapporterna. Arbetsmarknadens parter var också delaktiga i denna process i den mån som de deltog i övervakningskommittéerna. De nationella parterna och kommissionen har som tänkt arbetat sida vid sida, och inriktningen vid utvecklingen av partnerskapen har i allmänhet varit flexibel och pragmatisk. Att skapa professionell kompetens i utvärderingen Under de senaste fyra åren har utvärderingsarbetat utvecklats avsevärt i samtliga medlemsstater. Strukturfondernas regelverk har varit en avgörande faktor för denna utveckling. Ansvaret för att tillhandahålla dessa tjänster har till stor del legat utanför de olika förvaltningarna, även om Irland och Italien utgör undantag genom att ha skapat sina egna specialiserade arbetsgrupper. Utvärderingarnas utveckling till en specialiserad tjänst har lett till en allt större professionalism och bättre sakkunskaper. Även om de utvärderingsgrupper som utsetts för olika program ofta har haft en tvärvetenskaplig sammansättning, och inbegripit både konsultföretag och akademiska forskningscentrcr, har de i allmänhet varit fokuserade på ekonomi och förvaltning. d) Att förbättra utvärderingarnas kvalitet Den genomsnittliga kvaliteten på de halvtidsutvärderingar som genomfördes under programperioden 1994-1999 har onekligen förbättrats jämfört med föregående period (1989-1993), även om förseningar i att komma igång med vissa program eller olämpliga metoder fortfarande inneburit att delar av arbetet inte nått upp till uppställda-standarder. Utvärderingsprogrammet har varit föremål för bedömningar enligt de åtta kriterierna i programmet Means11. Dessa bedömningar tyder på att flertalet rapporter var av förhållandevis god kvalitet (ruta 3). I utvärderingarna tillhandahölls ofta uppdaterade uppgifter och analyser av programmen mot bakgrund av deras mål, och vid vissa utvärderingar (t. ex. Nordirland) har man tillämpat en egen kvalitetsbedömning i fråga om starka och svaga sidor. Erfarna utvärderare och mer uttömmande kunskaper och Kvalitetsbedömning av utvärderingsrapporter - en ram. MEANS (Méthodes d'Evaluation des Actions de Nature Structurelle - utvärderingsmetoder för strukturåtgärder) är ett program som utarbetats av Europeiska kommissionen, och som syftar till att förbättra de metoder som finns tillgängliga för att bedöma strukturåtgärder. Utvärderingsrapporterna skall enligt dessa bedömas utifrån följande åtta kriterier: uppfyllande av behov: beaktas i utvärderingsrapporterna i tillräcklig grad övervakningskommitténs informationsbehov, och är de anpassade till villkoren för uppdraget?; relevant räckvidd: täcks programmets motiv, resultat och effekter fullständigt, inklusive oväntade följder?; lämplig utformning: är utvärderingen lämpligt utformad för att ge svar på de frågor som ställs?; information: är den information som används/samlats in lämplig, och har man i tillräcklig grad beaktat dess tillförlitlighet?; relevant analys: har den tillgängliga informationen analyserats på ett relevant sätt?; trovärdiga slutsatser: är slutsatserna en logisk följd och motiverade av analysen?; objektiva slutsatser:, är slutsatserna rättvisa, oberoende av dem som har intressen i programmen, och praktiskt användbara?; tydlighet: är rapporten författad på ett lättförståeligt sätt? - 10- forskning om de praktiska frågorna kring utvärderingarna har också bidragit till att höja rapporternas kvalitet. Ruta 3: Att bedöma en utvärderings kvalitet: utvärdering av Irlands gemenskapsstödram Utvärderingsrapporten uppfyller följande kriterier: • Den uppfyller i tillräcklig grad behoven av information. • I rapporten granskas motiven för programmet och dess mål på ett uttömmande sätt. • Den är utformad efter en specifik metod för att bedöma åtgärdernas effektivitet. • De insamlade uppgifternas tillförlitlighet är bekräftad (även om vissa luckor och brister kvarstår). • Det görs en lämplig analys av gemenskapsstödramens resultat. • De dras trovärdiga slutsatser som har haft praktiska konsekvenser för programmets struktur. • Slutsatserna är objektiva och tillräckligt detaljerade för att kunna tillämpas. • Den är tydligt skriven och presenteras för berörda parter på ett överskådligt sätt Den totala kvaliteten anses därför vara mycket hög, tack vare en välutformad ram för utvärderingen. Rapporten har offentliggjorts och finns tillgänglig för allmänheten. När det gäller programmen för landsbygdens utveckling skiljer sig bedömningen åt från en mellanliggande utvärdering till en annan. I vissa fall anses den vara godtagbar (Spanien), i några fall är den tillfredsställande (de olika delstaterna i Tyskland), där man har uppnått målet att visa goda resultat. I andra fall anses den slutligen vara av mycket hög kvalitet, vilket är ett resultat av de oberoende utvärderarnas erfarenhet och kompetens och av att målen och kravspecifikationerna fastställdes med större precision (Irland). Ibland är utvärderingarna av begränsat intresse på grund av de är alltför akademiska, alltför översiktliga, eller på grund av att de enbart ägnat sig åt genomförandet och förvaltningen och inte åt resultaten och effekterna (Frankrike och Belgien). Vissa utvärderingar har också kritiserats för att de inte är tillräckligt oberoende i förhållande till den myndighet som begärt att få utvärderingen utförd. I andra fall finns det begränsande faktorer i form av att utvärderarens arbete blivit svårare på grund av myndigheternas bristande samarbete. De metoder som tillämpats av utvärderarna varierade i form och kvalitet från ett program till ett annat. Även om kommissionen har förespråkat ett antal metoder och verktyg genom Means-programmet, befinner sig tillämpningen av dessa fortfarande på ett tidigt stadium. Exempelvis anser man ofta att det är svårt att mäta effekterna på sysselsättningen, effekter att man särskilt undanträngni ngseffekter12. neutraliserande beaktat efter Trots avsevärda kvalitetsförbättringar måste man med lämplig vägledning fortfarande öka användningen av lämpliga utvärderingsmetoder under kommande utvärderingssteg. 12 Se Europeiska kommissionens dokument, ''Counting the jobs", 1997 och "European Job Challenge" (1998). -11 2. 2. De viktigaste slutsatserna Bland de viktigaste målen för halvtidsutvärderingarna är att bedöma de framsteg som gjorts när det gäller att uppnå programmens mål och deras troliga effekter (t. ex. skapande av sysselsättning) samt att undersöka hur programmen har förvaltats och hur projekt har valts ut och övervakats. Syftet med detta avsnitt är därför att genom ett tvärsnitt av utvärderingarna granska vissa viktiga resultat i frågor som ställts samt ge en indikation på vilka förbättringar som krävs. Vi kommer att belysa vissa huvuddrag i de analyser som gjorts inom följande tre områden: - Makroekonomiska effekter för de största programmen, och då särskilt effekter på tillväxten och sysselsättningen. - Mikroekonomisk bedömning med inriktning på effektivitetsfrågor. - Fördelningssystemens kvalitet med tanke på systemen för övervakning och indikatorer samt kriterierna för urval av projekt. Utifrån denna analys kan man göra vissa allmänna iakttagelser beträffande användningen av dessa resultat och hur de integreras i halvtidsöversynen. a) Makroekonomiska effekter: effekter på tillväxten och sysselsättningen inbegriper en Flertalet utvärderingar av gemenskapsstödramarna under mål 1 makroekonomisk bedömning, som ger värdefulla i den övergripande halvtidsöversynen. De illustrerar vikten av att beakta både utbuds- och efterfrågesidan. De illustrerar också effekter och ger en första kvantifiering av dessa effekters troliga omfattning. insikter För stora åtgärder, såsom större gemenskapsstödramar under mål 1, är det troligt att makroekonomiska effekter i form av ekonomisk tillväxt och sysselsättning kommer att bli synbara. Dessa effekter är dock svåra att mäta på grund av behovet av att identifiera en alternativsituation, det vill säga den situation som skulle ha rått utan strukturfonderna. Detta innebär att man måste använda simuleringsteknik baserad på modeller där man beaktar variablernas ömsesidiga makroekonomiska beroende. Även om det finns flera modeller där man kvantifierar de kortsiktiga effekterna på efterfrågesidan (t. ex. input-output-modeller), så finns det bara ett fåtal där man beaktar de långsiktiga effekterna av förhållandena på utbudssidan, och strukturfondernas huvudsyfte är ju att förbättra just dessa13. I samband med halvtidsutvärderingarna uppskattar man med hjälp av olika modeller effekterna på utbudssidan till följd av ytterligare infrastruktur, mänskliga resurser och produktiva investeringar i en ekonomi. Vissa av dessa modeller är sofistikerade, andra ganska enkla. För Irland och Spanien har man använt modeller av Herminl4-typ, medan 13 14 De senaste försöken att kvantifiera strukturfondernas samlade effekter på efterfråge- och utbudssidan i den första har gjorts med hjälp av QUEST Il-modellen, vars resultat presenterades sammanhållningsrapporten (1996), och HERMIN-modellen, framför allt i samband med översynen av den inre marknaden (1996). för att kvantifiera Hermin är en makroekonomisk modell gemenskapsstodramarnas effekter på medellång till lång sikt. Det utgör en gemensam ram som är som utformats speciellt - 1 2- man för Grekland, Portugal och Italien använt allmänna ekonometriska modeller. De flesta av variablerna är "endogena" för modellerna, med undantag av dem som anses vara "externa" såsom ränta,, valutakurser och handelspartnernas ekonomiska tillväxt. Då det inte finns någon makromodell för östra Tyskland har man vid utvärderingen av Tyskland använt en speciell strategi genom att steg för steg tillämpa skattningar för de olika parametrar som påverkar BNP och sysselsättning. Författarna påpekar i rapporten att det råder en hög grad av osäkerhet kring dessa resultat. I två studier integrerades inte utbudssidan i tillämpad modell. I stället gjorde man helt enkelt ytterligare beräkningar av effekterna på utbudssidan på grundval av de genomsnittsvärden som fanns tillgängliga i litteraturen. I den portugisiska utvärderingen beräknas en ytterligare produktivitetseffekt på minst 1,17 % och högst 2,35 %. I studien över östra Tyskland antar man att utbudssidans långsiktiga effekter på BNP uppgår till 20 % av efterfrågesidans kortsiktiga effekter. Av denna anledning rör de resultat som presenteras nedan bara efterfrågesidan för dessa båda länder (vilket på detta stadium också gäller Grekland). Det finns ett särskilt problem vid användningen av makromodeller i de länder som inte i sin helhet omfattas av mål 1 (Tyskland, Spanien, Italien). Vid var och en av dessa utvärderingar har man hanterat detta problem på olika sätt: i den tyska utvärderingen har man bara analyserat effekterna på södra Tyskland, i den spanska utvärderingen har man bara beaktat effekterna på hela Spanien, medan den italienska makromodellens dubbla struktur medgett bedömningar av effekterna både på södra Italien och på landet i dess helhet. De olika halvtidsutvärderingarnas resultat (se figur 1) bör behandlas med försiktighet eftersom de metoder som använts skiljer sig åt mellan de olika länderna. Icke desto mindre råder det inget tvivel om de större mål 1-programmens positiva effekter på tillväxt och sysselsättning. Till följd av produktivitetsförbättringar anses effekterna på sysselsättningen vanligtvis vara mycket mindre än effekterna på tillväxten. Figur 1 visar till exempel att gemenskapsstödramarna i Spanien sannolikt ökar BNP med 5,1 % fram till år 1999 jämfört med referensen (situationen utan stödramarna), vilket innebär en ytterligare årlig tillväxt på i genomsnitt ungefär 0,8 %. Sysselsättningen ökar samtidigt med 2,4 % fram till 1999 jämfört med utgångsvärdena (dvs. en situation utan stödramar). Svårigheten när det gäller framtida utvärderingar av strukturfondernas makroekonomiska effekter kommer att bestå i att i större utsträckning använda sig av de senaste och bästa metoderna på området. I makromodellerna måste man ha integrerat efterfråge- och utbudssidan. Den senare skall göra det möjligt att urskilja insatsernas huvudsakliga inriktningar, t. ex. infrastruktur, mänskliga resurser och produktiva investeringar. Resultat skall redovisas för nyckelvariabler som BNP, investeringar, sysselsättning, konsumentpriser, budgetunderskott, import och export. De mest intressanta scenarierna beträffande mervärde är dels finansiering enbart från EU, dels finansiering från EU tillsammans med nationell offentlig finansiering. Inte i något av fallen ingår finansiering från den privata sektorn. Hänsyn måste också tas till alternativkostnader för den offentliga sektorn, dvs. de effekter som skulle ha uppstått om EU-medlen och de fokuserad på "sammanhållningsländernas" strukturella nyckelegenskaper, och förklarar de mekanismer genom vilka gemenskapsstödramarna kommer att påverka utbudssidan i dessa ekonomier - 1 3- nationella offentliga medlen hade använts på ett annat sätt. Till sist är det så att resultatens känslighet för förändringar i stödramarnas utgifter och i den ekonomiska politiken kan leda till mer konkreta resultat i fråga om att dra slutsatser om vilken policy man bör ha på det här området. Figur 1: Resultat av halvtidsutvärderingarna - procentuell avvikelse från utgångsvärdena för 1999 % • BNP • sysselsättning Tyskland Grekland (Mål. 1) Spanien Irland Italien (Mål. 1) Portugal Obs!: Källor: Sysselsättningsuppgiften för Portugal utgörs av arbetslöshetens minskning i procentenheter. Ifo Institut (D), KEPE (EL), Quasar (E), ESRI (IRL), Ministère del Tesoro-Nucleo di Valutazione (I), CISEP (P). Att bedöma de makroekonomiska effekterna i små områden För små områden utformades specifika modeller för att uppskatta de långsiktiga effekterna på tillväxt, investeringar och sysselsättning. Det gjordes ett intressant försök i den belgiska Hainaut-regionen (mål 1), trots de svårigheter man stötte på när man samlade in regional information på en mycket splittrad nivå (ruta 4). Ruta 4: Hainaut (mål 1): HELM-modellen HELM (Hainaut Lead-in Model) är en ekonometrisk modell där man antar att det råder ett nyckelsamband mellan produktionsökningar och produktivitetsökningar. Denna modell har utökats till att inbegripa olika komponenter i produktivitetsökningen (forskning och utveckling, fysiska tillgångar och kunskaper). Resultat presenteras för tre olika scenarier: utgångsvärdet (A), det samlade programplaneringsdokumentet utan begränsningar (B) (mätning av dessa dokuments ytterligare effekter) och det samlade programplaneringsdokumentet med begränsningar (C) (mätning av de ytterligare effekterna, men i stödprogrammen inbegrips den stödnivå och de urvalskriterier som antagits). Jämförelsen mellan dessa scenarier gör det möjligt att uppskatta programplaneringsdokumentets ytterligare effekter jämfört med utgångsvärdet. Resultaten av de simuleringar som gjorts i samband med halvtidsutvärderingen av det samlade programplaneringsdokumentet rör de tre viktigaste variablerna (investeringar, mervärde, sysselsättning) inom tillverknings- och företagstjänstesektorn. Enligt denna modell skulle dokumentet gtnerera en ytterligare investeringsökning på 0,7% per år under perlodin 1994-2005 och en ytterligare 14 sysselsättningstillväxt på 0,3% per år, vilket motsvarar 5 100 nettoarbetstillfällen 1999 och 15 800 år 2005. Den kraftiga förbrukningen av anslag i slutet av perioden skulle minska effektiviteten i genomförandet av programplaneringsdokumentet. Förseningar i genomförandet har också den följden att effekterna skulle bli synligare i slutet av och efter perioden. Modellen visar att varje höjning av stödnivån bara skulle få begränsade effekter på investeringarna, men att dessa skulle generera vissa (indirekta) positiva effekter inom området. Risken för att man efter det att programplaneringsdokumentet löpt ut åter skulle fö en tillväxt under EU. s genomsnitt är därför inte försumbar. b) Mikroekonomisk bedömning Att bedöma effektiviteten Utvärderarna ombads göra en analys av åtgärdernas effektivitet. Vid de flesta av utvärderingarna beaktades i vilken omfattning programmen uppnådde de uttalade målen (effectiveness)15. Som en del av arbetet var man tvungen att se över befintliga indikatorer, och i vissa fall föreslogs ett antal centrala indikatorer som man var tvungna att enas om med de regionala myndigheterna. Denna bedömning krävde ofta en omfattande Översyn indikatorerna, både vad gäller ekonomiska resultat och övervakningen av av överenskomna indikatorer för fysiska resultat och effekter. Vid den irländska utvärderingen av gemenskapsstödramen tillämpade man en systematisk strategi för att mäta effektivitet, och använde sig då av en mikroekonomisk modell för att bedöma huruvida måtten var lämpligt utformade och uppfyllde uppställda mål. Denna strategi innebär att strukturfonderna inte kan bedömas utifrån utgifter, utan snarare utifrån de sociala fördelar som de skapar i ekonomin. Den metod som utvärderaren antagit syftar till att jämföra åtgärdernas effektivitet, för att på så sätt säkerställa en optimal fördelning av medlen (dvs. en jämförbar avkastning för de olika programmen) och att identifiera vissa bästa metoder. En mer detaljerad beskrivning ges i ruta 11. På en mer verksamhetsnäri nivå bör utvärderingarna syfta till att mäta i vilken grad programmets huvudsyften uppfylls. När det gäller fallet Merseyside innehåller utvärderingen vissa nyckelindikatorer (små och medelstora företag, markförbättringar och golvutrymmen), inklusive produktionsuppgifter och motsvarande resultat i fråga om skapande av sysselsättning och hävstångseffekter på den privata sektorn. Kvantifierade mål finns uppställda för 1999, och i halvtidsutvärderingarna presenterades siffror på de framsteg som gjorts dittills. Dessa indikatorer redovisas i sammanställd form på prioriteringsnivå. Efter halvtidsutvärderingen påbörjades en översyn av uppgifterna beträffande utgångsläget, målen och resultaten för åtgärderna i Merseyside. 15 Frågor angående kostnadseffektivitet (efficiency) togs sällan upp då de hör till de svåraste att utvärdera. Man jämför i detta fall insatser (ekonomiska resurser) med programmets produktion (de varor och tjänster som tillhandahålls) samt resultat (initiala effekter). En effektivitetsundersökning inbegriper frågan om samma fördelar skulle ha kunnat genereras med lägre insatser, eller alternativt om samma insatser skulle ha kunnat generera större fördelar. Diskussionen om effektivitet inbegriper nödvändigtvis jämförelser med alternativ till programmet. Den största svårigheten inom detta område är därför valet av lämpliga referenspunkter -15 - Ruta 5: Att bedöma effektivitet genom programindikatorer -fallet Merseyside - mål l (1994-1999) - faktisk produktion/resultat av åtgärder genom ERUF Priori- tering Utgifter genom ERUF Bruttoarbets- tillfallen totalt (direkta & indirelcta) Totala golvutrymmen Totala landforbattringar Totala privata investeringar milj. GBP %av SPD tusen- % av målet i SPD tal tusen- % av tal m2 milet i SPD (ha) %av malet i SPD milj. GBP %av malet i SPD 28,8 44,4 15,4 4,8 22,1 21 54 42 16 26 5,4 9,2 0,8 0,7 3,0 15 142 16 64 454 114 116 1 9 20 70 0 15 255 17 - 32 i. u. 210 52 12 i. u. 300 67 76 0 8 23 40 90 - 28 i. u. 39 19,2 31 ade prog 115,5 lentet for Merseysid ingar: 1) Det sami interna investeringar, 2) lokala företag, 3) kunskapsbaserade åtgärder, 4) kultur, media och fritid, 5) insatser för Merseyside. Halvtidsutvärderingsrapporten (nov. 1996). 73 e inneh&ller foljand 176 e prioriter ramplaneringsdokun 513 240 24 77 1 2 3 4 5 Alia Obs!: Källa: De indikatorer som definierats i nivå med det operativa programmet eller det samlade för kontroll och bedömning av programplaneringsdokument utgjorde grunden effektivitet. De medger dock inte i sig själva att man kan dra några definitiva slutsatser, särskilt inte om åtgärdens effekter, på grund av svårigheten att fastställa orsakssamband inom vissa områden (exempelvis kan indikatorerna påverkas av externa faktorer). De måste ofta kompletteras med kvalitativa analyser och lämpligt utvärderingsarbete. översikt över de viktigaste följ derna och resultaten Det är inte lätt att presentera mikroekonomiska uppgifter om följder och resultat från utvärderingsrapporterna i en sammanställd form eftersom de är specifika för de olika programmen och inte låter sig jämföras. Det har också erkänts att kvantifieringsgraden efter programmens halva löptid varierar både mellan olika åtgärdsområden (infrastruktur, små och medelstora företag, mänskliga resurser etc. ) och berörda regioner. Utvärderingsrapporternas utformning och täckning varierar av naturliga skäl, vilket också gäller möjligheten att kvantifiera nyckelelement såsom följder, resultat och förändringar av de viktigaste skillnaderna. I ruta 6 presenteras vissa viktigare insatser genom program under mål 1 och 6. Grundläggande infrastruktur - att minska skillnaderna Grundläggande infrastruktur är det område där effekterna av gemenskapens åtgärder är mest synliga och mätbara. Betydelsen av dessa stora investeringar är i vissa fall stor mätt i strukturella termer. I Spanien, till exempel, står det infrastrukturstöd till transport-, telekommunikations- och energinäten som finansieras genom gemenskapsstödramen i genomsnitt för mer än 25 % av de nationella infrastrukturinvesteringarna. Inom de flesta sektorer har man gjort stora framsteg när det gäller att minska skillnaderna gentemot övriga unionen (se ruta 6). 16- Ruta 6: Viktigare resultat inom området grundläggande infrastruktur. • Det görs fortsatt stora insatser för att stödja utbyggnaden av strategiska vägnät i sammanhållhingsländerna, till exempel genom att förbättra fyra viktiga korridorer i Irland (där man 1996 nådde 49 % av det mål på 53 % som satts för 1999) och fullbordandet av motorvägen mellan Aten och Thessaloniki (hittills har 400 km byggts). I Portugal uppgår utbyggnaden av motorvägar och huvudvägar till 74% av målet för 1999. I Spanien har den totala motorvägslängden ökat med 13% mellan 1993 och 1995 (senaste tillgängliga uppgifter), vilket särskilt gynnat mindre utvecklade regioner som Andalusien. • I alla regioner som omfattas av mål 1 har det gjorts stora telekommunikationssektorn för att tillhandahålla modernare system såsom digitala stationer och optisk fiber-förbindelser. Detta har bidragit till en avsevärd minskning av skillnaderna gentemot övriga unionen. 1 Portugal ligger det genomsnittliga antalet telefonanslutningar (per 100 invånare) redan på EU-nivå, även om detta mål hade satts Ull 1999. 1 södra Italien har digitaliseringsgraden nu uppnått samma nivå (85 %) som i de centrala och norra delarna. I Spanien ökade digitaliseringen av näten i absoluta termer med 36 % mellan 1993 och 1995. investeringar inom • Det har också gjorts framsteg när det gäller att diversifiera energianvändningen mellan olika energikällor. Leveranserna i Greklands nya distributionssystem för naturgas bör snart inledas, eftersom större projekt såsom högtrycksledningen för naturgas (513 km) redan har fullbordats och ett annat (ett lågtrycksledningsnät för naturgas på 1 000 km) snart är fullbordat (84 %). 1 Portugal stod mer än hälften av gasnätet (600 km) klart 1996, och 1999 kommer detta att stå för 7,5 % av den totala energiförbrukningen. Grekland, Spanien och Portugal har under senare år kunnat konstatera avsevärda minskningar av sin energiförbrukning som andel av BNP. • När det gäller miljön har det gjorts stora stödinsatser för att förbättra distributionssystemen för vatten och öka reningsverkens kapacitet. I Grekland har vattenförsörjnings-, avlopps- och reningssystem som betjänar 5 miljoner invånare (halva befolkningen) redan fullbordats. Det har också gjorts investeringar i mindre regioner inom mål 1, såsom Nordirlands delprogram för att bygga vattenförsörjnings- och vattenreningsanläggningar, vilket skapat ungefär 2 270 arbetstillfällen i regionen. Det har också gjorts avsevärda landvinningar på miljöområdet genom en lång rad olika specifika åtgärder, inklusive sanering av större förorenade industriområden, miljörevisioner i små och medelstora företag, stöd till utveckling av miljömärkta produkter och utsläppsminskningar tack vare det diversiflerade energiutbudet. " Ett produktivt klimat - nyckelstöd till sysselsättningen Inom produktionssektorn har strukturstödet varit inriktat på att förbättra villkoren för befintliga företag och främja ny verksamhet. Det erkänns allmänt att särskilt stöd till små och medelstora företag är en viktig faktor när det gäller att skapa sysselsättning, och detta bidrar till att överbrygga strukturella skillnader i produktivitet och inkomstnivåer. Några exempel kan belysa de senaste tendenserna när det gäller strukturfondernas effekter inom detta område (se ruta 7). Ruta 7: Några viktigare resultat av ett produktivt klimat • I större stödprogram har man betonat skapande av sysselsättning, vilket delvis motverkat de negativa effekterna av omstruktureringar inom industrin. I den belgiska regionen Hainaut kommer nästan samtliga medel som finns tillgängliga för stödprogram, och då särskilt för små och medelstora företag att ha använts före programperiodens slut. Det har beräknats att dessa åtgärders sysselsättnings/nål redan har överträffats (mer än 2 200 skapade arbetstillfällen jämfört med 1 800förväntade). 1 Tyskland (mål 1) har stödet genom strukturfonderna aktivt bidragit till sysselsättningen, exempelvis i delstaten Sachsen-Anhålt där 18 500 arbetstillfällen i första hand inom kemiindustrin och närmare 20 000 arbetstillfällen i små och medelstora företag har fått stöd I Italien kommer industriprogrammet sannolikt att ha skapat eller räddat mer än 75 000 arbetstillfällen under perioden 1994-1996. • Inom turismsektorn kommer allt större fördelar att följa av den nya kapacitet som gjorts tillgänglig i exempelvis Sachsen (11 500 nya hotellbäddar) eller i Irland, där 18 stora projekt som redan -17- fullbordats kommer att tillhandahålla ytterligare anläggningar som ökar turistattraktionernas kvalitet och standard. Nya sysselsättningsmöjligheter kommer att genereras genom dessa förbättringar, som gjorts genom strukturåtgärderna. Fysisk förnyelse av industriområden kommer också att bidra till att förbättra det ekonomiska klimatet och attrahera nya företag. Detta var också en huvudprioritering i vissa tyska delstater, till exempel i de östra delarna av Berlin där 51 000 kvadratmeter rustats upp och skapat upp till 600 arbetstillfällen, eller i Sachsen där markområden på 620 hektar omvandlats till en företagspark I Nord-Pos de Calais kommer ungefär 40-45 % av de industriområden som omfattas av mål 1 att ha förbättrats. Mänskliga resurser: att kvantifiera effekterna De specifika utvärderingar som gjorts inom området mänskliga resurser innehöll, som en del av arbetsplanen, en analys av vilka effekter olika utbildningsåtgärder haft på de personer som omfattats av åtgärderna. De viktigaste resultaten av dessa analyser presenteras i ruta 8 nedan. Ruta 8: Effekterna av utbildningsåtgärder på deltagande personer I Spanien gjorde utvärderaren en komparativ analys av anställning av personer som genomgått utbildningsåtgärder, efter målgrupp, med INEM. s (det nationella sysselsättningsinstitutet) databas som kontrollgrupp. I denna analys beaktades bara yrkesinriktade utbildningsåtgärder. De viktigaste slutsatserna stämmer överens med resultaten från efterhandsutvärderingen för perioden 1989-1993: i bruttotermer var anställningsgraden hos dem som utbildats 20% högre än hos kontrollgruppen. Anställningsgraden är högre för yngre personer, män och persöner med gymnasieexamen. Om man beräknar nettoeffekterna och beaktar de utbildades egenskaper varierar dock denna skillnad avsevärt. Om man exempelvis beaktar ålder var de utbildade som var äldre än 45 år 32 % bättre på att finna ett arbete än personerna i kontrollgruppen. Utbildning tycks också öka kvinnors möjlighet att fö arbete: nettoeffekten är i detta fall 27,1%, medan den är 14,9 %för män. Om man beaktar kvalifikationsnivån är utbildningens effekter på dem som bara har grundskoleutbildning slående: om de genomgår en utbildningsåtgärd ökar deras möjligheter att få arbete till 48,8 %. Tysklan4; effekter ay GIQst (Qem$insçhaft Initiative - Ost) I Tyskland har man beräknat att förbundsprogrammet för stöd till GlOst (dvs. lärlingsskolor för ungdomar) under 1995 minskade ungdomsarbetslösheten med tre procentenheter. På delstatsnivå har man hittills samlat in mycket få uppgifter om anställningsgraden. Kombinationen av utbildningsåtgärder och bidrag kan leda till bättre resultat, men detta är snarare undantag än regel. Vissa regionala resultat kan nämnas: För Berlin-Ost drar utvärderaren slutsatsen att 60% av de utbildade hade fått arbete eller lyckats behålla sitt arbete (fortbildning och utbildning av arbetslösa sammantaget) efter sex månader. Vid utbildningsprogrammet i Mecklenburg-Vorpommern uppnådde man en anställningsgrad på 40%-45% (21 %-32%på den primära arbetsmarknaden). Ett program för nyföretagare, som i huvudsak gick ut på att hjälpa människor att se till att de skapar ett livskraftigt företag, resulterade i att 50 % faktiskt lyckades. Olika fortbildnings- och utbildningsprogram för anställda (åtgärder av mål 4-typ) i Mecklenburg- Vorpommern, Thiiringen och Sachsen-Anhalt resulterade i en ökning de deltagandes känsla av anställningstrygghet med 35 %-77 %. Porlvgaf; iMterpti Htbtldningmitömit De stärkande effekterna på det portugisiska utbildningssystemet (genom PRODEP) har befunnits vara kopplade till diversifteringen av olika utbildningsvägar och en fokusering både på kvantitativa och kvalitativa frågor. Utbildning av lärare och annan personal tycks vara ett av programmets viktigaste bidrag, på grundskole- och gymnasienivå (vilket motsvarar 49,3% av undervisningspersonalen) såväl som pä universitetsnivå (tillhandahållande av stipendier för magister- och doktorandutbildningar). När det gäller utbildningsvägarnas differentiering och utökning utgörs de viktigaste förändringarna av att gymnasieutbildningen utökats och närmat sig arbetslivet, samtidigt som man ökat vägledning och rådgivning på skolorna. Faktum är att stödet till utbildning av tekniker på mellannivå har inneburit ett helt nytt undersystem för att tillhandahålla tekniska färdigheter som är direkt relevanta på arbetsmarknaden och ett alternativ till den konventionella utbildningen. 18 Jordbruk och landsbygdens utveckling För jordbruket och landsbygdens utveckling. finns det separata program på nationell nivå. Därför samlade programplaneringsdokumenten och de delar i de regionala programmen som rör jordbruket har utvärderingen integrerats i en mer övergripande utvärdering. specifika utvärderingar fall. För de finns det i dessa Vissa medlemsastater, som t. ex. Irland, har genomfört detaljerade utvärderingar för de prioriterade delarna av programmen (jordbrukets livsmedelsindustri, att unga jordbrukare kan etablera sig, kompensationsbidragen, jämställdhet mellan kvinnor och män, utbildning inom jordbrukssektorn, etc). I dessa fall har utvärderingen varit ett verktyg för att få bättre kunskap om situationen, för att analysera problemen och hitta de lämpligaste lösningarna på dem. Ruta 9: Utvärdering av åtgärder på Jordbruksområdet - fallet PAMAF (modernisering av jordbruksstrukturer i Portugal) I utvärderingsrapporten konstateras en ganska långsam start av det faktiska och ekonomiska genomförandet, vilket till stor del berott på förseningar i utarbetandet av lagstiftning inom området och på ändringar på förvaltningsnivå. Den försening som konstaterats vid starten har dock kunnat bemästras och utvärderar en är ganska optimistisk om att man, med hjälp av vissa justeringar på förvaltningsnivå och i fördelningen av anslag mellan åtgärderna, skall kunna hinna ifatt i genomförandet av programmet och uppnå fastställda mål. Åtgärderna inom detta verksamhetsområde är inriktade på investeringsstöd till jordbruksföretag. Genomförandegraden är hög, och stödet rör infrastruktur såsom konstbevattning, vägar, dränering och bevarande av jordbruksmark, skogar, förädling och försäljning av jordbruks- och skogsprodukter, kompensationsbetalningar till missgynnade regioner, utbildning samt forskning. Denna typ av åtgärder syftar till att stärka jordbrukens konkurrenskraft. De utgör vanligtvis en fortsättning på det tidigare programmet, vars effekter visat sig vara positiva. De utgör för övrigt en del av EU:s övergripande strukturpolitik Utvärderar en understryker särskilt att en viss spridning av åtgärderna fått konsekvenser för deras reella effekter samt på deras förvaltning och genomförande. Utvärderaren förespråkar en omfördelning av disponibla anslag till förmån för prioriterade åtgärder, och främst då stöd till jordbruk och konstbevattning. Utvärderaren betonar vidare nödvändigheten att stärka yrkesutbildningen, och konstaterar att det gjorts insatser för att koncentrera stödet till den privata sektorn och att projektens regionala fördelning är ojämn. I rapporten redovisas vissa resultat från programmet "Agriculture" under perioden 1994-1996, och då framför allt finansteringen av ungefär 20 000 projekt samt stödet till 11 500 jordbruk och 2 800 unga jordbrukare som startat jordbruksverksamhet. Fiske Genom Fonden för fiskets utveckling (FFU) ges stöd på fem viktigare områden: anpassning av fiskeansträngningen (26 % av budgeten), förnyelse och modernisering av flottan (24 %), beredning och saluföring av produkter (23 %), utveckling av vattenbruk (11 %) och utrustning i fiskehamnar (7%). Under FFU finns det nu 31 program, varav 17 under mål 1, 12 under mål Sa och 2 under mål 6. Uttryckt i siffror satsas 65 % av budgeten på programmen under mål 1. insatserna är effektiva och Halvtidsutvärderingarna av de här programmen har givit intressant information om huruvida (en omfördelning av medel mellan olika verksamhetsområden eller åtgärder). Man kunde konstatera vissa brister i övervakningen, särskilt i fråga om att att redovisa socio- ekonomiska data. I några fall genomfördes ett antal förslag till förbättringar av indikatorerna. Vidare gjordes också en första analys av sysselsättningseffekterna. beträffande omprogrammeringarna 19 Ruta 10: Ett exempel: programmet Spanien mål l Till detta operativa program för fiske anslogs i runda tal 1 miljard ecu, och detta är en av de prioriterade insatserna inom stödramen. Åtgärderna är i huvudsak inriktade på att anpassa fiskeansträngningen, att modernisera flottan, att bereda produkter samt på vattenbruk och utrustningen i fiskehamnarna. 1 utvärderingsrapporten konstateras att genomförandetakten är tillfredsställande (57%) men att den varierar mycket från ett verksamhetsområde till ett annat: takten är låg ifråga om att modernisera flottan och på vattenbruksområdet (10 till 20 %), men hög ifråga om utrustningen i fiskehamnar och beredning av produkter (60 till 100 %). Effektiviteten är lägst på vattenbruksområdet (2 %): denna åtgärd drabbas av de långsamma och invecklade administrativa rutiner som behövs för att i praktiken genomföra olika projekt, av den låga avkastningen som avskräcker potentiella investerare samt av de miljökrav som ställs i projekturvalet. Den högsta effektiviteten återfinns inom beredningen (65 %): på det här området uppvisar stödmottagarna oftast en stark tillväxt och därmed också en god investeringskapacitet. Utvärderaren föreslår en omfördelning av resurser; mindre pengar till anpassning av fiskeansträngningen och till vattenbruket, och mera pengar till modernisering av fartyg och till beredning av produkter. En enkät bland stödmottagarna visade att 35 % av de projekt som för stöd via det här programmet har genererat eller bibehållit sysselsättningstillfällen (en första analys gav totalsiffran 780), i första hand inom beredningssektorn. Flera förslag har genomförts för att förbättra indikatorerna på genomförande och resultat, för att minska antalet specifika indikatorer för vattenbruket, för att ställa upp effektindikatorer för flottan samt sysselsätttningsindikatorer för samtliga verksamhetsområden. Slutligen kunde det konstateras att man inom vattenbruket strikt tillämpade principen om miljöskydd, och utvärderaren rekommenderar att _______ detta blir fallet även på andra områden (beredning av produkter och utrustning i hamnarna). c) Fördelningssystemens kvalitet De som ansvarade för halvtidsutvärderingarna ombads också att bedöma på vilket sätt fonderna förvaltas, och framför allt då övervakningssystem och kriterier för urval av projekt. System för övervakning och kriterier Jämfört med föregående programperiod uppvisar de nuvarande programmen avsevärda framsteg i användningen kvantitativa indikatorer som ett sätt att övervaka programmens genomförande, bedöma deras effekter och bedöma de framsteg som görs när det gäller att uppnå de Övergripande målen. en Gemensam och Kommissionen har utarbetat efterhandsutvärdering i syfte att säkerställa en konsekvent analys och enhetliga standarder16. Denna vägledning har varit en viktig drivkraft när det gäller att åstadkomma dessa förbättringar. Erfarenheterna växlar dock mellan olika program. I ett antal program är den information som finns för indikatorerna ofta otillräcklig som resultatmått eller för att bekräfta att utvecklingen är tillfredsställande. Andra stora brister rör fastställandet av lämpliga och praktiska mål för dessa mått eller avsaknaden av ett konsekvent och vägledning kontroll för 16 I kommissionens vägledning skiljer man på indikatorer för produktion, resultat och effekter. Indikatorerna beträffande produktion rör det ekonomiska och fysiska genomförandet (t. ex. antal kilometer nya vägar och kostnaden tillhandahållits). Resultatindikatorerna rör de omedelbara konsekvenserna av en åtgärd (t. ex. tid som sparas till följd av ett vägprojekt, antalet personer som med framgång genomgår en kurs). Indikatorerna över effekter rör åtgärdernas följder. Man kan här skilja på en åtgärds specifika eller omedelbara effekter (t. ex. antalet personer som fått anställning) och dess allmänna eller slutliga effekter, som i allmänhet utgörs av de samhällsekonomiska effekterna (t. ex. ökning av sysselsättning eller BNP). för dessa, antalet kurser som -20- regelmässigt system för insamling av information om fysisk produktion, resultat och effekter. Trots de många förbättringarna är definieringen och kvantifieringen av lämpliga indikatorer fortfarande ett otillfredsställande område inom programförvaltningen. Det krävs ett fortsatt arbete på indikatorerna för att förbättra övervakningen och bidra till utvärderingsarbetet, men detta måste börja med att man identifierar exempel på "bra metoder" inom området. I ett antal program går det att finna intressanta försök att skapa lämpliga informationssystem inom förvaltningen. Ett par exempel ges i ruta 11. Ruta 11: Att stärka övervakningssystemen Ett välförvaltat informationssystem är ett absolut (om än inte tillräckligt) villkor för att stödja utvärderingen. Fallet Nord-Pos de Calais (mål 1) är ett exempel på ett integrerat övervakningssystem, där man förenar ekonomiska och fysiska indikatorer på projektnivå. I Nordirland gjordes en ingående granskning av NIQUID (databas över alla indikatorer som överenskommits för det samlade programplaneringsdokumentet) som en viktig del av halvtidsutvärderingen i syfte att göra om databasen till ett effektivt system för förvaltning av information om programplaneringsdokumentet. Utvärderaren föreslog en regelbunden övervakning av 52 indikatorer i stället för de 330 indikatorer som identifierats i programplaneringsdokumentet. Dessutom skulle man för varje delprogram utveckla en uppsättning nyckelindikatorer för att följa deras specifika effekter Det har också arbetats mycket på detta i Italien, där man fastställt standardiserade indikatorer för åtgärder genom ESF. I Portugal har indikatorerna förbättrats inom nästan alla åtgärdsområden, även om det finns utrymme för ytterligare förbättringar när det gäller informationens kvalitet. Kriterier för urval av projekt Under de första två till tre årens genomförande av programmen har man i vissa fall kunnat se en utveckling av relativt sofistikerade system för rankning av samfinansierade projekt. I de system som skapats (t. ex. i Merseyside) beaktas samtidigt en rad olika faktorer, och förutom att bedöma om projekten uppfyller de grundläggande kriterierna tillämpas också urvalskriterierna både på prioriterings- och åtgärdsnivå. Exempelvis inbegriper prioriteringskriterierna, som är gemensamma för alla projekt, projektets produktion, avkastning, hävstångseffekter på den privata sektorn och under senare tid också miljöeffekter. Vid många halvtidsutvärderingar har man ifrågasatt effektiviteten hos sådana system. Att ha Öppna och objektiva kriterier, vilket i sig betraktas som en bra metod, kanske inte är ett tillräckligt villkor för att säkerställa att de bästa projektens väljs ut. Ytterligare kontroller måste göras, exempelvis av den grad av tillförlitlighet som kan tillskrivas den information och de produktionsprognoser som sökandena lägger fram. Ruta 12: Merseyside -rankningssystemför projekt under ESF/ERUF I Merseysides SPD har systemet för urval av projekt tre olika aspekter: grundläggande kriterier, gemensamma prioriteringskriterier för alla projekt samt åtgärdskriterier (som kan skilja sig från prioriteringskriterierna). Syftet var att utveckla begripliga och öppna kriterier som kan tillämpas på ett stort antal olika projekt. De viktigaste prioriteringskriterierna inbegriper väntad produktion, avkastning, typ av mottagare (för ESF), arbetsmarknadsaspekter, bevis på partnerskap och kopplingar, hävstångseffekter på den privata sektorn och miljöeffekter. ^ _ _ __ 2. 3. Att utnyttja utvärderingsresultaten Såsom beskrivits i föregående avsnitt utgör halvtidsutvärderingar en viktig kunskapskälla för programförvaltare och beslutsfattare. Utvärderingarna ger dem information om - 2 1- viktiga frågor, till exempel huruvida syftena och målen för deras åtgärder är relevanta eller om de mer övergripande ekonomiska effekterna på berört område är effektiva. En officiell utvärdering bör vara strikt analytisk och tillräckligt verksamhetsinriktad för att helt kunna användas för politiska beslut. Utvärderingsresultatens kvalitet garanterar dock inte att de kommer att användas. Med andra ord kan utvärderingarna för halvtidsöversynen. Institutioner och politiker är ständigt involverade i samspel och informationsutbyte. Andra rör det makroekonomiska politiska som sammanhanget kan också direkt påverka de slutliga besluten om omprogrammering. Med tanke på detta vidare sammanhang bör man vid halvtidsutvärderingen skilja på tre olika användarnivåer. inte betraktas som det enda underlaget faktorer första användarnivån inbegriper utvärderingens Den en återkopplingsmekanism i fråga om de åtgärdemas effektivitet. Utvärderingarnas resultat och rekommendationer har i många fall och till stor del följts och införlivats i ändringarna av programmen. Det bästa exemplet på detta är utvärderingen av Irlands gemenskapsstödram, där man kom fram till trovärdiga och användbara slutsatser, vilka ledde till att medel omfördelades mellan åtgärder eller delprogram (se ruta 12). viktiga som roll För det andra hade utvärderingen en viktig funktion genom att tillhandahålla nya informationskällor eller kontinuerlig information till programförvaltare och politiker. Exempelvis inbegrep utvärderingen av Hainaut-programmet under mål 1 en särskild makroekonomisk modell (se ruta 3), vilken också erkändes som ett användbart underlag för omprogrammeringar. Slutsatserna av utvärderingen gav emellertid också långsiktiga perspektiv på den regionala ekonomins konvergerande tendenser. I andra utvärderingar inriktning betonades vikten av vissa kritiska aspekter på med en smalare programförvaltningen, snarare än att vara uttömmande i fråga om hela genomförandet. Slutligen visar erfarenheterna också att stora insatser från programpartnerskapen är avgörande för en lyckad och effektiv utvärdering. Ett viktigt resultat av denna erfarenhet är att beslutsfattarna deltog i diskussionen om olika utvärderingsfrågor, och man drog ett antal lärdomar ledde till förbättringar av åtgärderna. Även om denna inlärningsprocess inte alltid hade en inverkan på halvtidsöversynernas slutliga följder. struktur, hade den en avsevärd formell III. DE VIKTIGASTE FÖLJDERNA OCH JUSTERINGARNA Utvärderingarna utgjorde underlag för halvtidsöversynen genom att ge en övergripande bedömning av vad som åstadkommits under den första hälften av programperioden. Utifrån dessa beståndsdelar kommer vi i denna del av rapporten att bedöma översynens viktigaste följder i form av justeringar av programmen. Vi kommer också att granska i vilken omfattning de prioriteringar som fastställts av kommissionen har inbegripits i programmen. 3. 1. Kopplingen mellan utvärdering och omprogrammering Utvärderingarna lades fram inom snäva tidsgränser för att de skulle kunna användas som underlag för den halvtidsutvärdering som gjordes mellan 1997 och 199817. De tre nya 17 Det har förekommit vissa förseningar i förhandlingarna om halvtidsöversynen av mål 1 i Frankrike (särskilt Réunion) och Grekland (ändringar i ERUF-program, medan ändringar av ESF-program planeras för andra halvåret 1998). I Italien beslutades ett antal omprogrammeringar i april 1998, och - 22 - medlemsstaterna förtjänar här ett särskilt omnämnande, eftersom de - tröts att deras program startades ett år senare än de andra medlemsstaterna - gjorde formella arrangemang för att genomföra halvtidsutvärderingar. Kommissionen främjade ett erfarenhetsutbyte mellan utvärderarna, idéer angående utvärderingarnas genomförande. En viktig aspekt på denna process är att det inte gjordes några stora ändringar innan utvärderingarna och den formella översynen av programmen. som kom med nya Utvärderingarna har i allmänhet visat sig vara användbara genom att de innehåller nyckelfrågor eller belyser de beslut som följt av dem. Deras förmåga att göra detta har berott på analysernas kvalitet och på rekommendationemas verksamhetsinriktning. På begäran från både kommissionen och förvaltningsmyndigheterna har utvärderingarna på området landsbygdens utveckling lett fram till rekommendationer och konkreta förslag. Förslagen går ut på att omfördela resurser. I Tyskland och Spanien sammanföll dessa förslag med de behöriga myndighetemas egna förslag eftersom man hade samma uppfattning i frågan om kriteriet på framgång (framsteg i åtgärderna till följd av data från Övervakningen). I andra fall ägnade man bara uppmäksamhet åt en viss del (Portugal). Ibland gjordes utvärderingarna efter ändringar i programmen, men i efterhand har man då kunnat konstatera att detta inte lett till motsatta resultat (Frankrike). I Italien analyserade utvärderaren i första hand problem och svårigheter i genomförandet, och i det här fallet föreslog de programansvariga en omfördelning av resurserna. För Irlands del har det framhållits att man saknar finansiering för att kunna konkretisera utvärderarens rekommendationer om att förstärka vissa åtgärder. Exemplen Irland och Merseyside Två exempel kan användas för att belysa hela halvtidsöversynen från den formella utvärderingen till genomförandet av beslut om omfördelningar av anslag. Dessa två två olika åtgärdsnivåer: en stor exempel har valts för att de handlar om gemenskapsstödram (Irland) och ett SPD (Merseyside) (se rutorna 13 och 14). Ruta 13: Halvtidsöversyn (I): Irlands gemenskapsstödram I rapporten anges att den irländska gemenskapsstödramen utgör en stor framgång och att anslagen har använts på ett effektivt sätt och stärker vad som betraktas som en anmärkningsvärd ekonomisk återhämtning. Genom gemenskapsstödramen har planeringen av de offentliga utgifterna på medellång sikt medgett en mer systematisk och effektiv programplanering inom många områden. I utvärderingen av gemenskapsstödramen tog man upp frågor om värdet av att satsa offentliga resurser på ett antal specifika åtgärder, framför allt gratis eller subventionerat tillhandahållande av tjänster för vilka företag eller enskilda skulle vara villiga att betala. Ett grundläggande antagande var här att marknaderna utgör den effektivaste vägen att uppnå ekonomiska och sociala mål, vilket innebär att offentliga insatser bara är motiverade när marknaden inte fungerar och insatsen inte i sig skapar några ekonomiska störningar. Mot bakgrund av dessa teoretiska antaganden identifierades fyra olika situationer där det enligt utvärderarna kan vara motiverat med offentliga insatser i en marknadsekonomi: Tillhandahållande av offentliga varor och tjänster (såsom transportinfrastruktur) som inte skulle tillhandahållas utan offentliga insatser. Införande av korrigerande subventioner som utformats för att ändra priset på varor och tjänster där marknadspriset inte i tillräcklig grad återspeglar deras vidare sociala fördelar (t. ex. lånekostnader för små och medelstoraföretag). • halvtidsöversynen kommer att slutföras i oktober, på grundval av de faktiska framsteg som görs fråga om vissa program med en låg utgiftstakt. - 2 3- Förvaltning av målinriktade program som syftar till att ändra beteenden genom att åtgärda luckor i fråga om kunskap, medvetenhet eller förståelse (t. ex. att introducera ny teknik för företagare eller anställda). Omfördelning av välfärd genom subventioner eller understöd för att uppnå övergripande sociala mål. Vid utvärderingen av gemenskapsstödramen kategoriserades de 166 åtgärderna under stödramen på grundval av de fyra situationerna ovan. För varje kategori valde man ut en eller två "ankaråtgärder", dvs. åtgärder som var omfattande eller som grundade sig på långvariga eller vedertagna verksamheter inom den offentliga sektorn, som sedan användes som referenspunkter för andra åtgärder inom samma kategori. På grundval av dessa jämförelser bestämdes vilka åtgärder som var framgångsrika och vilka som inte var det. Samtidigt utarbetades ungefär 150 rekommendationer om hur gemenskapsstödramens resurser kan användas på ett effektivare sätt, med en särskild betoning på de åtgärder som var dåligt målinriktade eller som hade oönskade effekter. I utvärderingen påpekade man att det fanns tydliga motiv för större offentliga satsningar på fysisk infrastruktur, och då särskilt på landsvägar. För vissa efterfrågestyrda åtgärder föreslog man att utgiftsramarna skulle ses över mot bakgrund av den faktiska utvecklingen, exempelvis genom att minska anslagen till delprogrammet för livsmedelsindustrin. I diskussionerna inom övervakningskommittéerna erkändes också att man i högre grad borde betona ungdoms- och långtidsarbetslösheten, och att anslagen till specifika åtgärder för utbildning och missgynnade grupper skulle ökas. Utvärderingen av gemenskapsstödramen innehåller också ett antal detaljerade rekommendationer om förvaltningen och genomförandet av specifika åtgärder. Man ansåg exempelvis att konkurrensen i tillhandahållandet av subventionerade tjänster var otillräcklig på grund av de statliga företagens dominans. När det gäller övervakning föreslog man i rapporten * ytterligare förbättringar av resultatindikatorerna, samtidigt som man medgav att den nuvarande gemenskapsstödramen är det mest avancerade experimentet ifråga om övervaknings- och indikatorssystem. Resultatet av halvtidsöversynen följde i hög grad dessa rekommendationer. Följaktligen skedde en skiftning från produktionssektorn till utveckling av mänskliga resurser och ekonomiska infrastrukturer. Omfördelningen av anslagen uppgick till 163 miljoner ecu, med en koncentration på FoTU (37 miljoner ecu), transportinfrastruktur (36 miljoner ecu) och en rad olika åtgärder för att stödja elever som hoppat av skolan och andra marginaliserade grupper (46 miljoner ecu). Ruta 14: Halvtidsöversyn (II). fallet Merseyside (mål 1) Strukturfondsstödet till Merseyside uppgår till 816 miljoner ecu genom Merseysides samlade program med fem "förändringskrafter": interna investeringar och företagssektorn, lokala företag, kunskapsbaserad industri och avancerad teknik, kultur-, media- och fritidsindustrin samt insatser för Merseysides befolkning. Den sistnämnda får den största andelen av programanslagen (mer än två femtedelar). Interna investeringar och lokala företagarkrafter fick en fjärdedel respektive en femtedel av programanslagen. Lanseringen av det samlade programplaneringsdokumentet sammanföll med en konjunkturuppgång i den brittiska ekonomin, vilken kännetecknades av minskad arbetslöshet och ekonomisk tillväxt, som båda var bättre än EU:s genomsnitt. Merseyside har också tagit del av detta uppsving med den följden att strukturfonderna används i en situation som är gynnsammare än vad man trodde vid utarbetandet av det samlade programmet. Åven om minskningen av arbetslösheten har understigit genomsnittet för Förenade kungariket, bör denna minskning betraktas mot bakgrund av den senare tidens nedgång ifråga om de viktigaste sociala och ekonomiska indikatorerna. förtagande Vid halvtidsutvärderingen bedömdes det samlade programmets nuvarande och potentiella effekter på människor och övervakningsarrangemangen och rekommenderade hur programmet borde fullföljas under återstående programperiod Rent teoretisk forskning kompletterades med en översyn av 100 enskilda projekt och omfattande undersökningar och intervjuer inriktade på programmets mottagare. Utvärderingsarbetet var omfattande och av hög kvalitet. Detta kompenserade i hög grad de resursbegränsningar som inskränkte på de detaljanalyser som kunde göras. / Merseyside, och man granskade kritiskt de befintliga Utvärderaren lade fram en rad detaljerade och välgrundade rekommendationer, och föreslog särskilt att det framtida övervaknings' och utvärderingsarbetet skulle inriktas på större projekt som kan förmodas ge de största effekterna samt på frågor såsom undanträngningseffekter och hållbarhet. Det rekommenderades - 2 4- också att den befintliga uppsättningen indikatorer skulle utökas för att förbättra bedömningen av programmets effekter. Föreslagna indikatorer inbegrep bland annat de små och medelstora företagens överlevnadsgrad och deras användning av ny teknik Dessutom ansåg man att samverkanseffekter inom programmets fem olika förändringskrafter och gemensamma teman för olika åtgärder inte beaktades i tillräcklig utsträckning. Omprogrammeringen efter halviidsöversynen följde i stort utvärderarens förslag och låg i mycket i linje med kommissionens regionalpolitiska prioriteringar fram till slutet av 1999. Totalt 97 miljoner ecu omfördelades, främst till de åtgärder som anses vara mest sannolika att leda till direkt skapande av sysselsättning (små och medelstora företag, införande av ny teknik och social delaktighet). Nya åtgärder skapades för beredning av fisk och för utveckling och tillämpning av kommunikationsteknik Kommissionen har också satt en tidsgräns för en omfattande översyn av data för utgångsläget och kvantifierade mål, med särskild betoning på nettoeffekter på sysselsättningen. 3. 2. Totala omfördelningar av anslag från strukturfonderna Alla gemenskapsstödramar, samlade programplaneringsdokument och andra typer av åtgärder under mål 1 och 6 genomgick en halvtidsöversyn. Det enda undantaget var de nya tyska delstaterna, där justeringar av programmen görs fortlöpande. Alla dessa översyner ledde till ekonomiska omfördelningar av varierande omfattning i syfte att förbättra åtgärdemas totala effektivitet. Dessa ändringars omfattning varierar mer större och mer komplexa gemenskapsstödramarna än i de samlade programplaneringsdokumenten, eftersom de rör större belopp. Ändringamas omfattning står dock i direkt proportion till programmens framgångar eller tillkortakommanden. Också i framgångsrika fall (t. ex. Irlands gemenskapsstödram) kunde man göra ytterligare förbättringar och tvingades göra korrigeringar, utan att detta ändrade programmens viktigaste prioriteringar och mål. i de inte Omfördelningamas omfattning varierade kraftigt mellan programmen. Dessa omfördelningar har i allmänhet varit inriktade på ekonomiska framsteg, särskilt när det gäller program som inte utnyttjar anslagen. Dessutom återspeglar omfördelningarna den grad i vilken EU:s prioriteringar har beaktats (se punkt 4. 3. ). I allmänhet har begränsade ändringar {finjusteringar) av programmen gjorts utan att detta påverkat strategiska prioriteringar. I vissa fall (t. ex. Italien/mål 1, Portugal/gemenskapsstödram) har ändringarna inbegripit en skiftning från program med en låg utgiftstakt till delprogram med en högre utgiftstakt, dock med beaktande av andra kvalitativa kriterier. I de flesta fall har ändringar gjorts inom program och mellan åtgärder. Ytterligare resurser från deflatorn har också använts för att rikta om vissa åtgärder, främst till förmån för skapande av sysselsättning. Figur 4 visar storleksordningen på de belopp som har omfördelats i varje medlemsstat. inklusive icke-programmerade resurser och De största ändringarna gjordes i gemenskapsstödramen under mål 1 i Italien (cirka 700 miljoner ecu, indexeringen av gemenskapsstödramen för 1998), följt av Spanien (mer än 600 miljoner ecu) och Grekland (400 miljoner ecu enbart för de nationella programmen). Trots dessa stora belopp motsvarar de bara 2 % (Spanien) och 5 % av de totala anslagen genom strukturfonderna. I Irland uppgick omfördelningarna för strukturfonderna, vilket motsvarar 3 % av EU:s strukturfondsanslag för perioden 1994- 1999. I Nordirland gjordes inga omfördelningar av anslagen mellan delprogrammen, förutom tilldelningen av resurser från deflatorn. I Finland och Sverige gjordes de största ändringarna genom att man slog samman en rad åtgärder för att förenkla programmets struktur. till 160 miljoner ecu 25 Däremot gjordes stora relativa ändringar i vissa ganska små program, det vill säga räknat som andel av de totala strukturanslagen. I belgiska Hainaut omfördelades cirka 19 % av de tillgängliga resurserna främst till stödprogram för små och medelstora företag. I fallet Flevoland gjordes åtskilliga mindre ändringar av SPD-åtgärder som, trots att en relativt stor andel av anslagen omfördelades samlade programplaneringsdokumentets övergripande syften och mål. inte påverkade det (13 %), Då det är ganska svårt att presentera en heltäckande översikt över dessa justeringars karaktär, kommer mer kvalitativt inriktade exempel på vissa av EU:s prioriteringar att ges i nästa avsnitt. Figur 4: Omfördelning, efter halvtidsöversynen, av medel från strukturfonderna varje medlemsstat (i miljoner ecu) i vT vT > > <T ^ ^ > <p > vs!^ ^' vT vT vf v^ > ^ ^ jfr' ^ I Belopp I milj. Mecu • % andel av anslag från strukturfonderna 1 2 3 4 varav Nord-Pas de Calais (19,6 miljoner ecu), Korsika (10,1 miljoner ecu), Guyana (36,1 miljoner ecu) och Martinique (22,4 miljoner ecu). ingen halvtidsöversyn endast omfördelningar inom ERUF. varav Nordirland (69,8 miljoner ecu), Merseyside (97,0 miljoner ecu) och Highlands and Islands (21 miljoner ecu). 3. 3. Att införliva EU:s prioriteringar Det är inte alltid lätt att bedöma i vilken utsträckning de EU-prioriteringar som fastställts i kommissionens riktlinjer för halvtidsöversynen har beaktats. Vissa nya eller befintliga åtgärder som fått ytterligare anslag kan ge en vägledning om de gjorda justeringamas omfattning. Grundläggande infrastruktur - att stärka de transeuropeiska näten skillnaderna Att minska transport-, energi-, till telekommunikations- och miljöområdena har erkänts som ett långsiktigt åtagande för strukturfonderna. Detta återspeglas framför allt i den andel av de totala anslagen (mer än infrastruktur på tillgång i -26- 30 %) som tilldelas detta område i de aktuella programplaneringsdokumenten för mål 1 under perioden 1994-1999. Även om ny infrastruktur kvarstår som en viktig prioritering för de flesta regioner ägnades inte några större resurser åt att finansiera sådana investeringar. I vissa fall betonades specifika transeuropeiska projekt i syfte att skapa effektiva förbindelser och system, särskilt inom transportområdet (ruta 15). Ruta 15: Flygplatsprogrammet - Italien/mål 1 Flygplatsprogrammet, som nyligen godkändes av kommissionen och fick ett anslag på 10 miljoner ecu, i södra Italien. I samband med syftar till att förbättra eller uppgradera befintliga flygplatser halvtids,. översynen kom man överens om att anslå ytterligare medel (50 miljoner ecu) till detta program. Dessa pengar skall enbart gå till transeuropeiska projekt för att ytterligare stärka den regionala infrastrukturen i området. Ett produktivt klimat - en skärpt fokusering på sysselsättning Resultatet från halvtidsöversynerna visar att det har funnits utrymme att skärpa fokuseringen på sysselsättningen genom en rad olika åtgärder (stärkta stödprogram, territoriella sysselsättningspakter, lokala utvecklingsinitiativ etc). Ett antal beslut har redan fattats; beslutet att integrera de territoriella sysselsättningspakterna (ruta 16) i huvudprogrammen är ett exempel på den politiska viljan och det politiska åtagandet att på ett effektivare sätt bekämpa arbetslösheten. Den ökade fokuseringen på projektens sysselsättningsinriktning, och då särskilt på små och medelstora företag, ligger också i linje med den inriktning politiken fått i flertalet medlemsstater, och detta kommer till uttryck i gemenskapsstödramarna och de%samlade programplaneringsdokumenten. I detta avseende har man i halvtidsöversynen ifrågasatt de instrumentens effektivitet när det gäller att stödja sysselsättningsskapande vid sidan av behovet av en aktivare sysselsättningspolitik inriktad på mänskliga resurser och utbildningsåtgärder. På en mer verksamhetsnära nivå betonades också mätningar av sysselsättningseffekter (t. ex. i Förenade kungarikets regioner och Nord-Pas de Calais) och att sysselsättningen borde beaktas i högre grad i kriterierna för urval av projekt. Ruta 16: De territoriella sysselsättningspakterna I tre medlemsstater (Spanien, Grekland och Italien) anslog övervakningskommittéerna medel från gemenskapsstödramarna till ett program eller en specifik åtgärd för att finansiera handlingsplaner inom ramen för de regionala sysselsättningspakterna. I Spanien (mål 1) prioriterades fem pakter som skulle få 55 miljoner ecu i anslag från EU (från deflatorn för gemenskapsstödramen) för att integreras i ett nytt program för flera regioner. I Grekland planerar man att resurser från 1997 och 1998 års deflator skall anslås till specifika delprogram inom ramen för de regionala program som för närvarande ses över. I Italien föreslog de nationella myndigheterna i samband med halvtidsöversynen ett program som skulle inbegripa flera regioner och fonder. Programmet skulle anslås 280 miljoner ecu, varav 140 miljoner från strukturfonderna som stöd till nio pakter. De nationella stödprogrammen, som samfinansieras genom avsevärda resurser från strukturfonderna, har också setts över för att skärpa deras fokusering på skapande av sysselsättning och små och medelstora företag (se ruta 17). Ruta 17: små och medelstora företag - Greklands gemenskapsstödram De grekiska myndigheterna har omorienterat sitt industriprogram mot de små och medelstora företagen genom ytterligare anslag på 136 miljoner ecu. Det nationella stödprogrammet har ändrats enligt kommissionens riktlinjer genom att man ökat stödet till företagstjänster och gett indirekt stöd i stället for direkta bidrag. Man har inrättat organ på mellannivå som skall förvalta åtgärderna för små och - 2 7- medelstora företag, och projekt kommer att väljas ut i fri konkurrens. En förhandsbedömning av vilka projekt rörande små och medelstora företag som skall finansieras (cirka 1 450 projekt av 4 200 ansökningar) gjordes också. Miljön och en hållbar utveckling Miljön är en viktig beståndsdel i en hållbar utveckling, och den utgör också en av EU:s mer övergripande prioriteringar som ofta tas upp i samband med halvtidsöversynen. Strävan efter detta mål beaktas både genom att man infört specifika åtgärder och, vilket är viktigare, genom att man integrerat miljön i andra övergripande programprioriteringar. På grund av svårigheter med målen (brist på indikatorer, metodiska aspekter) kunde halvtidsöversynen i samtliga fall inte leda till direkta operativa slutsatser för justeringar i programmen. Man systematisk miljökonsekvensanalys av projekten och de fördelar för projektens kvalitet som skulle kunna säkerställas genom ett systematiserande av sådana analyser. Man har banat vägen för ett förbättrat miljöskydd och rent allmänt för ett förbättrat förfarandet för urval av projekt under den nya programperioden (se ruta 18). uppmärksammade särskilt bristen på en Ruta 18: Att göra miljön till ett allmänt kriterium Miljön är sedan länge en viktig fråga för flertalet medlemsstater. För att strukturfonderna på ett lämpligt sätt skall bidra till miljöskyddet måste man beakta miljön i alla projektbeslut, för att på så sätt minimera miljöskador och maximera de positiva effekterna, exempelvis genom att. prioritera projekt som har positiva effekter på miljön (förebyggande åtgärder, miljömärkta produkter etc). Kommissionens enheter deltar aktivt i arbetet med miljökonsekvensbeskrivningar (en särskild tematisk studie har redan publicerats, en handbok för miljökonsekvensbeskrivningar i regionala utvecklingsplaner och i program under EU:s strukturfonder är under utarbetande etc). Syftet är att betona integrationsaspekten. De har gjorts framsteg när det gäller att göra miljön till ett grundläggande kriterium vid urvalet av projekt, framför allt i Finland och Sverige. Italien har också nyligen infot miljökriteriet i sitt industriprogram vid urval av nya industriprojekt. ' Forskning och teknisk utveckling Även om det i regel redan finns anläggningar för forskning och utveckling, är det viktigt att optimera användningen av befintliga tillgångar. Vissa förbättringar har gjorts och då framför allt för att öka investeringar i FoTU riktad till lokala företag och industrier (se ruta 19). Ruta 19: Forskning och teknisk utveckling - Irland Betydelsen av forskning och teknisk utvezkling erkändes redan i den ursprungliga gemenskapsstödramen, och dess ställning stärktes ytterligare i samband med halvtidsöversynen. Ungefär 37 miljoner ecu anslogs till ytterligare FoTU-åtgärder inom ramen för industriprogrammet. Anbudsförfaranden kommer att införas och stödbeloppen minskas. Inom övervakningskommittén kom man också överens om att vissa tjänster till industrisektorn skulle tillhandahållas till självkostnadspris. Informationssamhället Vad gäller informationssamhället anslogs ytterligare resurser till denna prioritering som ett erkännande av dess betydelse när det gäller att minska avståndsproblemet i perifera regioner, och därigenom öka investeringar och produktivitet (se ruta 20). 28- Ruta 20: Informationssamhället (Portugal och Spanien) 1 Spanien skapades ett nytt delprogram (6. 6. ) för informationssamhället inom gemenskapsstödramen efter särskilda rekommendationer från utvärderaren. Ett initiait anslag på 46 miljoner ecu öronmärktes för att stödja denna prioritering. ERUF-åtgärder kommer att ägnas åt att tillhandahålla yrkesinriktade och interaktiva tjänster till universitet, turismnäringen och företag. ESF-åtgärder kommer att fokuseras på specifika utbildningsinsatser for både allmänheten och lokala myndigheter. En viktig nyhet i Portugals gemenskapsstödram var beslutet att införa en ny åtgärd för att stödja informationssamhället inom ramen för delprogrammet for telekommunikationer. Denna åtgärd har fått ett anslag på 7 miljoner ecu från ERUF. Dessutom skall man hålla i åtanke att avsevärda insatser gjorts genom andra insatser under gemenskapsstödramen, framfor allt genom det lokala utvecklingsprogrammet (PDDR), där alla lokala utvecklingskontor kommer att anslutas till utbildningsprogrammet och gymnasieskolorna anslutas till Internet. •. Utveckling av mänskliga resurser När det gäller åtgärder som syftar till att utveckla mänskliga resurser krävdes en ny fokusering på arbetslösa personer efter de första tre årens starka betoning av ungdomar. Denna betoning av arbetslösa personer, som ligger i linje med den förebyggande strategi som antagits i sysselsättningsriktlinjerna, har kommit till uttryck på olika sätt: en stärkt integrering av åtgärderna (vägledning och rådgivning, utbildning, sysselsättningsstöd), subventioner för skapande av mikroföretag, utveckling av nya utbildningsformer och nya lokala sysselsättningstjänster. I de åtgärder som är riktade till ungdomar gavs det stöd för en övergång från vanliga utbildnings- och yrkesutbildningsprogram till åtgärder som riktades dels till unga personer som riskerar att slås ut, dels till elever som hoppat av skolan. Man har i detta avseende stött en mer ingående integrering av de vanliga utbildningssystemen respektive yrkesutbildnings- och sysselsättningssystemen, och då särskilt högre yrkesutbildning (se ruta 21). Ruta 21: Utveckling av mänskliga resurser - Irland/mål 1 Halvtidsöversynen av programmet Human Resources Development Operational Programme (HRDOP) i Irland godkändes av övervakningskommittén i oktober 1997. Halvtidsöversynen byggde inte bara på HRDOP, gemenskapsstödramen och rapporterna från ESF. s programutvärderingsenheter, utan också på de politiska förutsättningarna på nationell nivå och EU-nivå, t. ex. regeringens vitböcker och EU:s sysselsättningsstrategi. Den halvtidsöversyn som antogs av övervakningskommittén bestod av en bred politisk ram, omfördelning av anslag med en reviderad budgetplan (ungefär 40 miljoner ecu hade omfördelats inom programmet med ett nettotillskott på 14 miljoner ecu till det operativa programmet) samt kvalitetsinriktade rekommendationer gemenskapsstödramen, vilka krävde åtgärder. identifieringen av från utvärderingarna av det operativa programmet och Den viktigaste omfördelningen inom det operativa programmet skedde till åtgärden för elever som hoppat av skolan (som stärktes med 26 miljoner ecu) i syfte att skapa minst 1 000 nya platser, och inom ramen för budgeten skall ytterligare 1 400 nya platser kunna skapas om så krävs. De kompletterande åtgärderna stärktes för att medge en flexiblare strategi. Man skapade också förutsättningar för att omfördela och ringa in ytterligare utvecklingsplatser för skolavhoppare genom andra åtgärder, övervakningskommittén antog också kvalitativt inriktade rekommendationer ifråga om den nya fokuseringen på långtidsarbetslösa personer: en ökad anpassning av yrkesutbildningen till arbetsgivarnas behov och ökade investeringar i barnomsorg. Jämställdhet Jämställdhetsfrågan har stärkts i många program, även om denna prioritering ofta tycks framställas som ett övergripande mål och inte systematiskt införlivas på åtgärdsnivå. Det har dock gjorts stora insatser för att i högre grad fokusera vissa åtgärder på denna prioritering, särskilt i åtgärder som rör mänskliga resurser. Inom ramen för ERUF - 2 9- infördes specifika åtgärder för kvinnlig entreprenöranda, särskilt i Italien och Grekland, och då inom deras respektive industriprogram (se ruta 22). Ruta 22: Jämställdhet - att stärka den kvinnliga entreprenörandan Kvinnors tillgång till företagsskapande program har främjats i flera program. I industriprogrammen i Italien och Grekland införde man, med stöd av den nationella lagstiftningen, en särskild åtgärd för kvinnlig entreprenöranda. I Finland planeras' man att garantera tillträde till ett program för mjuka lån, vilket för närvarande håller på att granskas. ' IV. KONSEKVENSER OCH FRAMTIDA UTMANINGAR De delar av halvtidsöversynen som presenterats tidigare i rapporten fick olika konsekvenser. Vi har uppmärksammat vissa frågor rörande genomförande och förvaltning som kan åtgärdas redan under återstoden av programperioden. Förutom att ge en vägledning om framtida ändringar till följd av de nuvarande utvärderingsmetoderna, utgör de en grund för överväganden kring de framtida programmens strategiska prioriteringar. 4. 1. Konsekvenser på kort sikt för de nuvarande fördelningssystemen I diskussionerna kring halvtidsöversynerna påpekades ofta att man under övervakningsförfarandena tenderar att betona det ekonomiska genomförandet snarare än de faktiska resultaten. I flertalet halvtidsutvärderingar har man pekat på behovet av nya indikatorer som förbättrar mätningen av programmens resultat och effekter. Om man inom en överskådlig framtid kan identifiera sådana indikatorer och säkerställa en lämplig kvantifiering kommer detta att öka de kommande tillförlitlig och halvtidsutvärderingarnas kvalitet och räckvidd. Vissa medlemsstater har redan vidtagit åtgärder för att förbättra de nuvarande fördelningssystemen i ett antal delar, vilket bland annat inbegriper - - - - att fastställa tydliga kvantifierade mål och utvärdering (t. ex. Förenade kungariket, Portugal, Italien och Österrike), indikatorer för övervakning och att fastställa lämpligare kriterier för urval av projekt (inklusive sysselsättnings- och miljökriterier) (t. ex. Italien), att förenkla förvaltningsförfarandena, framför allt för små program (t. ex. Finland och Sverige), att säkerställa samverkanseffekter mellan olika strukturåtgärder (t. ex. Portugal och Spanien). 4. 2. Öe första reflektionerna inför kommande program Halvtidsöversynen ägnades åt att åstadkomma nödvändiga förändringar i programmen för att återspegla förutsättningar och behov som ändrats under genomförandet. Vid sidan av halvtidsutvärderingarna har både kommissionen och medlemsstaterna gjort ett antal strategiska analyser där man studerat perioden efter de nuvarande åtgärderna. Dessa analyser var utformade för att förbereda framtida strukturåtgärder genom att beakta långsiktiga frågor som inte kan tas upp under den tid som återstår av den nuvarande programperioden. Exempelvis har kornmissionen kompletterat den begränsade information som finns i den mellanliggande utvärderingen i Italien med ett antal - 3 0- tematiska studier om nyckelprioriteringar i gemenskapsstödramen: stödprogram för industrin, FoTU, miljö, transportinfrastruktur och utveckling av mänskliga resurser. Dessa studier syftade till att ta upp vissa centrala policyfrågor och utfärda rekommendationer om ändringar i framtidens gemenskapsstödramar. Även om dessa studier av nödvändighet är av övergripande karaktär, har de ändå utgjort ett värdefullt framtida underlag för halvtidsöversynen inriktning. i frågor som rör utgiftsprioriteringarnas Reflektionerna kring anslagsprioriteringar inleddes i vissa medlemsstater redan i samband med halvtidsöversynen. Informella diskussioner och seminarier har organiserats tillsammans med de nationella myndigheterna i syfte att ta upp vissa centrala framtidsfrågor. Kommissionen har också startat fyra tematiska studier (FoTU, små och medelstora företag, miljö samt partnerskapsprincipen) för att bidra till att identifiera den övergripande inriktningen av åtgärderna och underlätta införandet av nya arbetsformer för perioden efter 1999. 4. 3. Utmaningen att utvärdera Denna rapport visar att det gjorts avsevärda framsteg när det gäller metoderna för att utvärdera de olika programmen under mål 1 och 6. Viktiga egenskaper i de bästa metoderna för att utföra halvtidsöversyner har belysts i hela rapporten, och dessa inbegriper: - En sund utvärdering (metod och kvalitetskriterier). - Att engagera programmens parter i utvärderingsarbetet. - En lämplig organisation och tidsplanering av halvtidsöversynen. - Utvärderingens funktion att ge återkoppling som stöd för beslut om ändringar av programmen samt att förutse centrala frågor. De lärdomar som kan dras av detta arbete kan ligga till grund för en vägledning om bästa metod för nästa programperiod, för att på så sätt ytterligare förbättra förvaltningen av fondema. Den avgörande frågan blir då hur man skall använda resultaten för att främja en mer systematisk spridning av bästa metod både inom och mellan regionerna. Mot bakgrund av de nuvarande erfarenheterna visar halvtidsöversynen att det fortfarande finns ett behov av förbättringar av förfarandets kvalitet med tanke på de problem som måste lösas i samband med framtida program. Att konsolidera utvärderingen som ett verktyg för beslutsfattande Utvärderingen ses allt oftare som ett förvaltningsverktyg som kan hjälpa beslutsfattare och programförvaltare i deras. arbete genom att förse dem med viktig information om åtgärdemas och programmens effektivitet. I utvärderingamas uppläggning bör man göra en starkare koppling mellan hur man uppnår tillförlitliga och verksamhetsinriktade resultat och hur dessa integreras i beslutsprocessen. Detta skulle innebära att man måste införa arbetsformer för en utvärdering genom partnerskap i de fall där detta ännu saknas. - 3 1- Att förbättra övervakningssystem och indikatorer luckor och brister i sina övervakningssystem De nationella och regionala myndigheterna har redan vidtagit vissa viktiga åtgärder för att avhjälpa vissa för återstoden av programperioden. En förbättrad definition av indikatorer och informationsinsamling kommer att krävas för att myndigheterna effektivare skall kunna utföra sina förvaltningsuppgifter. En bättre integrering av ekonomiska och fysiska indikatorer är också viktig för programförvaltarna. Det kommer för framtida program att finnas ett behov av att säkerställa en lämplig kvantifiering av referens- och målindikatorer samt att skapa referenspunkter för att medge bättre jämförelser inom och mellan programmen. I detta avseende kommer kommissionen i vederbörlig ordning att lägga fram ett vägledningsdokument om metodfrågor, inklusive en vägledande förteckning över relevanta indikatorer inom de viktigaste områdena för strukturåtgärder. Att stödja utvärderingsmetoder Det har gjorts avsevärda framsteg inom området utvärderingsmetoder. Programmet Means, som kommissionen initierade 1994, har utifrån konkreta erfarenheter från strukturfonderna bidragit till att utveckla kommissionens kompetens inom området. Såsom visats i rapporten finns det inte en enda och standardiserad utvärderingsmetod, utan snarare en lång rad metoder som bör skräddarsys så att de bättre svarar mot särskilda behov kunna bedöma utvärderingsresultatens kvalitet kommer det emellertid att göras insatser för att se till att kunskaperna i utvärderingsteknik blir bättre, inte bara hos utvärderarna utan också hos prograrnförvaltarna. varje program. För förutsättningar och för att Att främja ett multilateralt erfarenhetsutbyte Eftersom utvärderingarna erkänns som ett viktigt instrument för beslutsfattande är de nationella och regionala myndigheterna i allmänhet angelägna om att organisera informella möten för att utbyta erfarenheter och synpunkter i denna fråga. Den tekniska utvärderingsgruppen på EU-nivå, som utgörs av företrädare för medlemsstaterna och tjänstemän från kornmissionen med delaktighet i förvaltningen av för att diskutera strukturfonderna, utvärderingsfrågor och se till att allt fLr fall blir framgångsrika. Bland viktiga frågor av gemensamt intresse märks utvärderin; sfrågornas relevans (till exempel hur man kan mäta sysselsättningseffekter) och användningen av utvärderingsresultat för att styra åtgärdemas inriktning. skulle kunna utgöra ett lämpligt forum Strukturåtgärdemas totala effektivitet påverkas också av i vilken grad de nationella och för att förbättra sina regionala myndigheterna vidtar de åtgärder som krävs övervakningssystem och lyckas tillämpa "en bästa metod" i genomförandet av nästa halvtidsöversyn. 32- Anhang I: Lista över Rutor Ruta 1: Att bedöma utvärderingsbarhet utvärdering) - ERUF: s operativa program för Andalusien (mall) (dvs. möjligheten att genomföra en Ruta 2: Att genomföra utvärderingarna - genom särskilda arbetsformer Ruta 3: en bedöma Att gemenskapsstödram utvärderings kvalitet: utvärdering av Irlands Ruta 4: Hainaut (mål 1): HELM-modellen Ruta 5: Att bedöma effektivitet genom programindikatorer - fallet Merseyside - mål 1 (1994-1999) - faktisk produktion/resultat av åtgärder genom ERUF Ruta 6: Viktigare resultat inom området grundläggande infrastruktur Ruta 7: Några viktigare resultat av ett produktivt klimat Ruta 8: Effekterna av utbildningsåtgärder på deltagande personer Ruta 9: Utvärdering av åtgärder på jordbruksområdet - fallet PAMAF (modernisering av jordbruksstrukturer i Portugal Ruta 10: Ett exempel: programmet Spanien mål 1 Ruta 11 : Att stärka övervakningssystemen Ruta 12: Merseyside -rankningssystem för projekt under ESF / ERUF Ruta 13: Halvtidsöversyn (I): Irlands gemenskapsstödram Ruta 14: Halvtidsöversyn (H) : fallet Merseyside (mål 1) Ruta 15: Flygplatsprogrammet - Italien/mål 1 Ruta 16: De territoriella sysselsättningspakterna Ruta 17: små och medelstora företag - Greklands gemenskapsstödram Ruta 18: Att göra miljön till ett allmänt kriterium Ruta 19: Forskning och teknisk utveckling - Irland Ruta 20: Informationssamhället (Portugal och Spanien) Ruta 21 : Utveckling av mänskliga resurser - Irland/mål 1 Ruta 22: Jämställdhet - att stärka den kvinnliga entreprenörandan 3V Annex 2: Finansiellt genomförande för målområde 1 och 6 åtaganden/totalt SF stöd under mål 1 Utbetalning/totalt SF stöd under m ål 1 ' 1994 1995 1996 1997 1998 (11: a årlig • sammanslaget halvåret) 1994 • • å r l ig 1995 1996 —•—• sammanslaget t 1997 1998 (1i:a halvåret) Finansiellt genomförande för målområde 1 per medlemsland (31. 12. 97) (Österrike: samlade programplaneringsdokument godkänt 1995) a åtaganden/totalt SF stöd 1994-97 • Utbetalning/totalt SF stöd 1994-97 -Zif- Finansiellt genomförande för målområde 6 Finland åtaganden/totalt SF stöd under mål 6 Finland Utbetalning/totalt SF stöd under mål 6 Finland 57 57 60 50 40 30 20 10 + 1994 1995 1996 1997 I årlig • sammanslaget 1998 (1l:a halvåret) 1995 1996 1997 I årlig -4—sammanslaget ] 1998 (1l:a halvåret) Finansiellt genomförande för målområde 6 Sverige åtaganden/totalt SF stöd under mål 6 Sverige % 60 50 ZUbstalningftotaft SF stöd under mål 6 Sverige ____; •sammanslaget 1997 | 1998(1i:a halvåret) 1995 1996 1997 -sammanslaget 1998(Ika halvåret) 3_T- Annex 3: Lista över rapporter Mål 1 rapporter Austria Belgium Germany Germany Germany Germany Germany Germany Germany Spain Spain Spain Spain Spain Spain Spain BURGENLAND: ZWISCHENEVALUATION DES ZIEL1-PROGRAMMS BURGENLAND: Endbericht HAINAUT: EVALUATIONINTERMEDIAIRE DU DOCUP OBJECTIF 1 HAINAUT - RAPPORT FINAL - REGION WALLONNE BERLIN". ZWISCHENBEWERTUNG DER EU- STRUKTURFONDSINTERVENTIONEN IM LAND BERLIN IM ZEITRAUM 1994 BIS 1996 BRANDENBURG: ZWISCHENBEWERTUNG ZUM EINSZATE DES EFRE, DES ESF UND DES EAGFL-A IM LAND BRANDENBURG 1994-1996 MECKLENBURG-VORPOMMERN: ZWISCHENBEWERTUNG DES EINSATZES DER EUROPÄISCHEN STRUKTURFONDS (EAGFL, EFRE, ESF) FUR DIE PERIODE 1994 BIS 1996 IM BUNDESLAND MECKLENBURG: VORPOMMERN SACHSEN: ZWISCHENEVALUIERUNG DES EINSATZES DER EUROPÄISCHEN STRUKTURFONDS IM FREISTAAT SACHSEN 1994-1996 SACHSEN-ANHALT: ZWISCHENBEWERTUNG DES EINSATZES DER EU-STRUKTURFONDS IN SACHSEN-ANHALT FUR DEN ZEITRAUM 1994 BIS 1996 THURINGEN: DIE EUROPÄISCHEN STRUKTURFONDS IN THURINGEN: ZWISCHENBEWERTUNG DES MITTELEINSATZESVON 1994 BIS 1996 NEUE BUNDESLÄNDER : DIE EUROPÄISCHEN STRUKTURFONDS IN DEN NEUEN BUNDESLÄNDERN - ZWISCHENBEWERTUNG DES MITTELEINSATZES VON 1994 BIS 1996 (BERLIN/ BRANDENBURG/MECKLENBURG- VORPOMMERN/SACHSEN/SACHSEN- ANHALT/THURINGEN) PO CANARffiS : EVALUACIONINTERMEDIA PROGRAMA OPERATTVO DE CANARIAS (FEDER) 1994-1999 OPINCENTTVOS REGIONALES : EVALUACION INTERMEDIA DEL PROGRAMA OPERATTVO DE INCENTTVOS REGIONALES FEDEF (1994-1999) PARA LAS REGIONES ESPANOLAS INCLUIDAS EN EL OBJETTVO N°l DELOS FONDOS Er fRUCTURALES EUROPEOS CANTABRIA: ESTUDIO DE EV/. UACION INTERMEDIA DEL PROGRAMA OPERATIVO DE CANTABRIA (FEDER) 1994-1999 CASTHXA Y LEON: EVALUACION DE LOS PROGRAMAS OPERATTVOS DEL FEDER Y DEL FSE 1994-1999 DE CASTILLO Y LEON EVALUACION INTERMEDIA DE LA SUBVENCION GLOBAL FEDER-CDTI EN LAS REGIONES OBJETIVO 1 (1994-1999) ESTUDIO DE EVALUACION INTERMEDIA DEL PROGRAMA OPERATTVO DE INFRAESTRUCTURA CIENTIFICA DEIPERIODO 1994-1999, EN REGIONES ESPANOLAS INCLUIDAS EN EL OBJ. 1, COFINANCIADO CON FEDER Y COORDINADO POR CICYT EVALUACION INTERMEDIA DEL MARCO COMUNITARIO DE APOYO-REGIONES OBJETTVO 1- 1994-1999-ESPANA 3». Apr-98 OIR Apr-97 SEMAGROUP/RIDER- UCL May-97 PROGNOS BERLIN May-97 TROJE BERENTUNG HANN, MONCHEN Apr-97 BOSTROGmbH ROSTOCK May-97 D1W BERLIN May-97 ISW HALLEFLEIPZIG May-97 ITO INSTITUT FUR WIRTSCHAFTSFOR- SCHUNG DRESDEN Sep-97 IFO INSTITUT FOR WIRTSCHAFTSFOR- SCHUNG DRESDEN Jun-97 SERVICIOS OMICRON, S. A. May-97 SERVICIOS OMICRON SA Jun-97 INFYDE Jan-97 (UNTV. VALLADOLID) Jun-97 INFYDE/CDTI Jul-97 PRICEWATERHOUSE Sep-97 QUASAR Spain Spain Spain Spain Spain Spain Spain Spain Spain Spain Spain France France France France Jul-97 (UNTV. VALLADOLID) Jun-97 GEDESA May-97 AGRO CONSULTING INTERNATIONAL May-97 Jul-96 ARANDA Y BELTRAN S. L. ESTUDIOS Y ANALISIS SOCIO ECONOMICOS UNIVERSIDADDE OV1EDO Dec-97 ANDERSON ARTHUR Aug-97 BCOTEC Jul-97 Mar-98 UNIVERSIDADDE CASTILLA-LA MANCHA INSTITUTODE DESARROLLO REGIONAL, FUNDACIÖN UNrVERSJTARIA ARENALGRUPO CONSULTORSL INSTrrUTO DE DESARROLLO REGIONAL, FUNDACIÖN UNTVERSrrARIA FERECONSULTANTS Jun-97 Feb-98 ERNST &YOUNG Dec-97 ACT Feb-96 CODE/ATHOS CASTILLA Y LEON: EVALUATION DE LOS PROGRAMAS OPERATIVOS DEL FEDER Y DEL FSE 1994-1999 DE CASTILLO Y LEON CEUTA : 2e ESTUDIO DE EVALUACIONINTERMEDIA DEL MARCO DE APOYO COMUNITARIO DE LAS REGIONES OBJETIVO N°l PARA CEUTA (PO CEUTA 1994-1999) GALICIA: EVALUACION INTERMEDIA DEL PROGRAMA OPERATIVO DE GALICIA 1994-1999 cDfinariciado por el FEDER (PO GALICIA) PO MELILLA : EVALUACION INTERMEDIA DEL PROGRAMA OPERATIVO FEDER DE MELILLA 1994- 1999 ASTURIAS : EVALUACION DEL PROGRAMA OPERATIVO DEL PRINCIPADO DE ASTURIAS (FEDER) 1994-1999 - INFORME PREPARATORIO OP LOCAL: ESTUDIO DE EVALUACION INTERMEDIA DEL PROGRAMA OPERATIVO LOCAL (FEDER) 1994-1999 PARA LAS REGIONES ESPANOLASINCLUIDAS EN EL OBJETIVO N° 1 DE LOS FONDOS ESTRUCTURALES EUROPEOS OP MEDIO AMBIENTE: EVALUACION INTERMEDIA DEL PROGRAMA OPERATIVO DEL MEDIO AMBIENTE LOCAL (FEDER) 1994-1999 EN REGIONES ESPANOLAS INCLUIDAS EN EL OBJETIVO NO 1 DE LOS FONDOS ESTRUCTURALES EUROPEOS OP CASTILLA-LA-MANCHA:SEGUNDO INFORME DE EVALUACION-PROGRAMA OPERATIVO FEDER DE CASTILLA-LAMANCHA 1994-1999 ANDALUClA: EVALUACION INTERMEDIA DEL P. O. ANDALUCIA 1994-1999 ANDALUClA : SUBVENCIÖN GLOBAL DE ANDALUCfA 1994-1999 : INFORME DE EVALUACION INTERMEDIA DONANA: EVALUACION INTERMEDIA DEL P. O. DONANA Ila PHASE (OBJ. l) Mar-98 May-97 CORSE: EVALUATIONINTERMEDIAIRE DOCUP OBJECTJF 1 CORSE 1994-1999 GUYANE: EVALUATION INTERMEDIAIRE DE LA MISE EN OEUVRE EN GUYANE DES PROGRAMMATIONS REGIONALES (1994-1999) COFINANCEES PAR 1'UNION EUROPEENNE (DOCUP ET REGIS II) - SYNTHESE DU RAPPORT NORD-PAS-DE-CALAIS (AVESNES/ DOUAI / VALENCIENNES): PROGRAMMB OBJECTIF1 (1994- 1999): EVALUATION INTERMEDIAIRE, EVALUATION D'ENSEMBLE DU PROGRAMME, ASPECTS SECTORIELS EVALUATION DES MESURES GUADELOUPE:EVALUABILITE DU DOCUP GAUDELOUPE: RAPPORT D'ETUDE (DOCUP 1994- 1999) JO* Greece Greece Greece Greece Greece Greece Greece Greece Greece Greece Greece Greece Ireland Ireland Ireland Ireland Ireland Ireland Ireland Ireland Ireland Ireland Ireland Italy Netherlands Portugal Portugal ____ST__£__! PELOPONNESE: INTERMEDIATE EVALUATION OBJECTIVE 1 - OPERATIONAL PROGRAMME 1994- 1999 (a) VOL. A (b) VOL. B GRECE OCCIDENTALE (GRECE OUEST): INTERMEDIATE EVALUATION OBJECTIVE 1 - OPERATIONAL PROGRAMME CDS P. O. EPIRIUS : INTERMEDIATE EVALUATION 1994-1999 OBJECTIVE 1 - OP CRETE : INTERMEDIATE EVALUATION OBJECTIVE 1 - OPERATIONAL PROGR/ MME 1994-1999 THESSALIE: INTERMEDIATE EVALUATION OBJECTIVE l -O. P. 1994-1999 ILES IONIENNES : INTERMEDIATE EVALUATION OBJECTIVE 1 -O. P. 1994-1999 MACEDOINE CENTRALE + THRACE : INTERMEDIATE EVALUATION OBJ. 1 -O. P. 1994-99 MACEDOINE OCCIDENTALE: INTERMEDIATE EVALUATION OBJECTIVE 1 O. P. 1994-1999 MACEDOINE CENTRALE: INTERMEDIATE EVALUATION OBJECTIVE 1 - O. P. 1994-1999 PO GRECE CONTINENTALE (-CENTR. ): INTERMEDIATE EVALUATION O. P. OBJ. 1 -1994-1999 EGEE DU SUD: INTERMEDIATE EVALUATION OBJECTIVE 1 ILES DE LA MER EGEE SUD - OPERATIONAL PROGRAMME 1994-1999 CSFGRECE: OBJ. 1 -1994-1999 EXTERNAL EVALUATION OF THE OPERATIONAL PROGRAMME FOR INDUSTRIAL DEVELOPMENT 1994-1999: MID-TERM REVIEW CSF MID-TERM EVALUATION MID TERM EVALUATION OF OPERATIONAL PROGRAMME FOR ECONOMICINFRASTRUCTURE MID-TERM EVALUATION OF THE LOCAL, URBAN AND RURAL DEVELOPMENT O. P. MID-TERM EVALUATION OF THE HUMAN RESOURCES DEVELOPMENT - O. P. 1994-1999 MID TERM EVALUATION OF THE O. P. FOR ENVIRONMENTAL SERVICES 1994-1999 OPERATONAL PROGRAMME FOR TRANSPORT - MID TERM EVALUATION MID-TERM EVALUATION OF THE C PERATIONAL PROGRAMME FOR TOURISM 1994 1999 OPERATIONAL PROGRAMME FOR AGRICULTURE, RURAL DEVELOPMENT AND FOF iSTRY 1994-1999 MID-TERM EVALUATION OF OP RATIONAL PROGRAMME FOR FISHERIES 94-1999 MID-TERM EVALUATION: REGIONAL IMPACT OF THE COMMUNITY SUPPORT FRAMEWORK FOR IRELAND 1994-1999 VALUTAZIONE DI MEDIO TERMINE QUADRO COMUNITARIO DI SOSTEGNO 1994-99 delle REGIONI ITALIANE DELTOBIETTIVO 1 FLEVOLAND: ON-GOING EVALUATIE DOELSTELUNG 1 PROGRAMMA AMBIENTE:AVALIACAO INTERCALAR DO PROGRAMA AMBIENTE - EVALUATION DU SOUS- PROGRAMME ENVIRONNEMENT DU CCA II PT ALENTEJO:AVALIACAO INTERCALAR DO PROGRAMA OPERACIONAL DA REGIAO DO ALENTEJO - CCA 1994-1999 May-97 OMAS LTD Jun-97 EEO GROUP SA Apr-97 May-97 May-97 PROPTIKI S. A. - METPON ASTIKIDIACHIRISI S. A. YPODOMI LTD May-97 PROOVADISMA LTD Apr-97 1NDECO S. A. May-97 EXANTAS LRD May-97 EUROTEC LTD May-97 LDK May-97 ENVIPLAN Mar-98 Feb-97 REMACO ERNST &YOUNG Apr-97 Feb-97 ESRI INDECON Jan-97 GOODBODY Feb-97 GOODBODY Jan-97 ERM Feb-97 Feb-97 Jan-97 Feb-97 DKM ECONOMIC CONSULTANTS FTTZPATRICK ASSOCIATES FTTZPATRICK ASSOCIATES INDECON Feb-97 FTTZPATRICK ASSOCIATES Jul-97 Jan-97 Feb-97 NUCLEO DI VALUTAZIONE/1NEA E ISFOL RESEARCH VOOR BELE1D QUATERNAIRE (PINHO PAULO) Feb-97 CESO I&D 3£ Portugal Portugal Portugal Portugal Portugal Portugal Portugal Portugal Portugal Portugal Portugal Portugal Portugal Portugal Portugal Portugal Portugal Portugal AMBIENTE:ESTUDO DE AVALIACAO INTERCALAR DA INTERVENCAO OPERACIONAL-RENOVACAO URBANA DO PROGRAMA"AMBIENTE E REVTTALIZACAO URBANA DO QUADRO COMUNITARIO DE APOIO 1994-1999 SOCIAL:SUB-PROGRAMA INTEGRAR AVALIACAO INTERCALAR LISBOA E VALE DO TEJO:ESTUDO DE AVALIACAO INTERCALAR DO PROGRAMA OPERACIONAL DA REGIAO DE LISBOA E VALE DO TEJO PPDR:ESTUDO DE AVALIACAO INTERCALAR PROGRAMA OPERACIONAL PROMOCAO DO POTENCIAL DE DESENVOLVIMENTO REGIONAL - QUADRO COMUNITARIO DE APOI01994-1999 SAUDE:AVALIACAO INTERCALAR DA INTERVENCAO OPERACIONAL DA SAUDE ENERGIA:AVALIACAO INTERCALAR DO PROGRAMA ENERGIA E DO PROJECTO DE GAS NATURAL (INTERREGII - CONCLUSAO DAS REDES DE ENERGIA) DO QCAII (1994-1999) PO CENTRO:ESTUDO DE AVALIACAO INTERCALAR DO P. 0. REGIAO CENTRO PO NORTE:ESTUDO DE AVALIACAO INTERCALAR DOPRONORTE PEDIP fl: AVALIACAO INTERCALAR DO PEDDP n : RELATORIO FINAL INTERCALAR PESCA: AVALIACAO INTERCALAR DA INTERVENCAO OPERACIONAL DAS PESCAS TURISMO: ESTUDO DE AVALIACAO INTERCALAR DA INTERVENCAO OPERACIONAL TURISMO E PATRIMONIO CULTURAL DO PROGRAMA MODERNIZACAO DO TECIDO ECONOMICO AGRICULTURA: QCA II: ESTUDO DE AVALIACAO INTERCALAR DA INTERVENCAO OPERACIONAL AGRICULTURA : PROGRAMA MODERNIZACAO DO TECIDO ECONOMICO - PERIODO 1994-1996 PRQFAP: PROGRAMA INTEGRADO DE FORMACAO PARA A MODERNIZACAO DA ADMINISTRACAO PUBLICA - PROFAP 2 : ESTUDO DE AVALIACAO INTERCALAR ALGARVE: ESTUDO DE AVALIACAO INTERCALAR DO PROGRAMA OPERACIONAL DO ALGARVE TELECOMUNICACOES : ESTUDO DE AVALIACAO DA INTERVENCAO OPERACIONAL DAS TELECOMUNICACOES DO PROGRAMA INFRA- ESTRUTURAS DE APOIO AO DESENVOVIMENTO DO QCA SUB-PROGRAMME TRANSPORTES. AVALIACAO INTERCALAR DA INTERVENCAO OPERACIONAL DOS TRANSPORTES DO PROGRAMA INFRA- ESTRUTURAS DE APOIA AO DESENVOLVIMENTO DO QUADRO COMUNTTARI DE APOIO 1994-1999, NO PERIODO ENTRÉ 1994 E 1996 SUB-PROGRAMME COMERCIO E SERVICOS. ESTUDO DE AVALIACAO INTERCALAR DA INTERVENCAO OPERACIONAL COMERCIO E SERVICOS ACORES=ESTUDO DE AVALIACAO INTERCALAR DO PROGRAMA OPERACIONAL DA REGIAO AUTONOMA DOS ACORES DO QUADRO COMUNITARIO DE APOIO 1994-1999 M Mar-97 Jan-97 PARTEX-INSTJTUTO DEGESTAOE ALIENACAO DO PATRIMONIO HABTTACIONALDO ESTADO CIES Jan-97 CEDRU Jan-97 CEETA Feb-97 CESO I&D Jan-97 IESE Jan-97 CEDRU Jan-97 QUATERNAIRB Mar-97 Apr-97 UNIVERSIDADE CATOLICA PORTUGUESA CESO I&D Feb-97 DELOITTE& TOUCHE Jun-97 AGRO. GES Mar-97 QUATERNAIRE Jan-97 CEDRU Mar-97 SILICON Apr-97 CISED Nov-97 CESO I&D Feb-97 CESO I&D Portugal Portugal Portugal Portugal United Kingdom (IRN) United Kingdom (IRN) United Kingdom (IRN) United Kingdom (IRN) United Kingdom (IRN) United Kingdom (IRN) United Kingdom (IRN) United Kingdom (IRN) United Kingdom (IRN) United Kingdom United Kingdom SUB-PROGRAMME EDUCACAO:AVALIACAO INTERCALAR DE PRODEPII: EDUCACAO CIENCIA E TECNOLOGIA:ESTUDO DE AVALIACAO INTERCALAR DO SUB-PROGRAMA CIENCIA E TECNOLOGIA OP PESSOA: ESTUDO DE AVALIACAO INTERCALAR PROGRAMA OPERACIONAL EMPREGO E FORMACAO PROFISSIONAL DO QCAII1994-1999 (PROGRAMMA PESSOA) CSF PORTUGAL-OBJ. 1: A \, JJACAO INTERCALAR DO QUADRO COMUNITARIO DE APOIOII NORTHERN IRELAND SINGLE PROGRAMME 1994- 1999 - MID TERM REVIEW - EXTERNAL EVALUATION MID-TERM REVIEW OF THE ENVIRONMENTAL SERVICES AND PROTECTION SUB-PROGRAMME MEASURES 4. 1. 8 AND 4. 19. OF THE SUB- PROGRAMME FOR AGRICULTURE AND RURAL DEVELÖPMENT: MID TERM EVALUATION MID-TERM EVALUATION OF THE NORTHERN IRELAND SINGLE PROGRAMME FOR AGRICULTURE AND RURAL DEVELÖPMENT (SPARD) ENERGY SUB-PROGRAMME 1994-1999 : MID-TERM REVIEW MID TERM EVALUATION OF THE TRANSPORTATION SUB-PROGRAMME, 1994-1999 MID-TERM EVALUATION OF THE INVESTMENT IN THE DEVELÖPMENT OF PEOPLE SUB-PROGRAMME, NORTHERN IRELAND SINGLE PROGRAMME 1995-99 MID TERM REVIEW OF PHYSICAL & SOCIAL ENVIRONMENT PROGRAMME (EU S. F. ) Sep-97 QUATERNAIRE Feb-98 IESE/GEOIDEIA Mar-97 IESE (INSTITUTO DE ESTUDOS SOCIAIS E ECONOMICOS jun-98 C1SEP May-97 COLIN STUTT CONSULTING Dec-96 PIEDACONSULTANTS Feb-97 COOPERS & LYBRAND Mar-97 ERM Jan-97 ERM Jan-97 ERM Dec-96 LRDP Jan-97 COOPERS & LYBRAND MID-TERM EVALUATION OF THE TOURISM SUBPROGRAMME 1994-1999 Feb-97 NIERC MERSEYSIDE: MID-TERM EVALUATION OF MERSEYSJDE OBJECTTVE ONE PROGRAMME HIGHLANDS AND ISLANDS - OB JE CTTVE 1 PROGRAMME INTERMEDIATE AS ESSMENT Nov-96 PIEDA PLC Jun-97 SQW Mål 6 rapporter Finland SUOMEN TAVOTTE 6 - OHJELMAN ARVIOINNIN VÄLIRAPORTTI [Fl] Jan-98 • Sweden HALVTIDSUTVÄRDERING AV SVERIGES MÅL-6- PROGRAM Nov-97 HELSINGIN YUOPISTON TIETOPALVELUT OY/ETLATIETOOY/OY FINNAGRO AB/INT. DEVEL. IRL/PE LLERVON NORD-REGIO-EPRC ISSN 1024-4506 KOM(98) 782 slutlig DOKUMENT SV 04 13 09 16 Katalognummer : CB-CO-98-786-SV-C Byrån för Europeiska gemenskapernas officiella publikationer L-2985 Luxemburg (A