title: Verslag van de Commissie over de herziening halverwege de looptijd - Programma's voor de doelstellingen 1 en 6 (1994-1999) - Een verantwoord beheer dankzij evalutie: de beste aanpak toepassen

eurovoc_concepts:
EU programme
Structural Funds
activity report
project evaluation

text: COMMISSIE VAN DE EUROPESE GEMEENSCHAPPEN Tür * ir T* -ir -tr Brussel, 07. 01. 1999 COM( 1998) 782 def. VERSLAG VAN DE COMMISSIE OVER DE HERZIENING HALVERWEGE DE LOOPTIJD PROGRAMMA'S VOOR DE DOELSTELLINGEN 1 EN 6 (1994-1999) EEN VERANTWOORD BEHEER DANKZIJ EVALUATIE: DE BESTE AANPAK TOEPASSEN BEKNOPTE SAMENVATTING De herziening halverwege de looptijd: de doeltreffendheid verhogen 1. De herziening halverwege de looptijd van de programma's voor de doelstellingen 1 en 6 is een proces waarvoor de informatie hoofdzakelijk wordt verschaft door de verschillende evaluaties halverwege de looptijd die op programmaniveau worden uitgevoerd. Bij dit proces wordt ook rekening gehouden met andere elementen, waaronder de nationale beleidscontexten, de eigen prioriteiten van de EU en andere relevante strategische analyses. Hoofddoel van de herziening halverwege de looptijd is daarom de programma's te onderwerpen aan een grondige en systematische beoordeling die voor elk programma waar nodig leidt tot een aanpassing van de prioriteiten en een budgettaire herschikking. 2. Bij de onderhavige herziening halverwege de looptijd kon gebruik worden gemaakt van een groot aantal evaluaties (meer dan 100) en deze herziening werd ook zeer vergemakkelijkt door besprekingen in het kader van het partnerschap met de nationale autoriteiten. 3. De herziening halverwege de looptijd betrof nagenoeg alle CB's en GPD's voor dé doelstellingen 1 en 6. De omvang van de wijzigingen waartoe dit proces heeft geleid, verschilde van lidstaat tot lidstaat. In het algemeen gesproken heeft deze herziening een effectievere inzet van de middelen mogelijk gemaakt en steun opgeleverd voor specifieke strategische prioriteiten. Evaluatie halverwege de looptijd heeft nuttige informatie opgeleverd voor de aanpassing van de programmering 4. De evaluaties halverwege de looptijd zijn geen doel op zichzelf, maar vormen een middel om de kwaliteit en relevantie van de programmering te verbeteren. Er zijn aanzienlijke personele en financiële middelen mee gemoeid en in sommige gevallen hebben ook binnen het partnerschap voor de programma's veel voorbereidingen en besprekingen plaatsgevonden. 5. Deze evaluaties zijn niet uitgevoerd alleen maar om te voldoen aan de bestaande communautaire programmeringsvoorschriften. Zij zijn ook ingevoerd wegens het toenemende belang dat de nationale of regionale autoriteiten aan evaluatie hechten. In toenemende mate gaan deze autoriteiten evaluatie zien als een middel om het beheer van de middelen uit de Structuurfondsen te verbeteren en om maximale resultaten te behalen. 6. Evaluatie halverwege de looptijd is een belangrijk middel om de wenselijkheid van bepaald wijzigingen aan de oorspronkelijke doelstellingen van het programma in te schatten. Veranderende externe factoren kunnen een heroverweging van de strategische prioriteiten noodzakelijk maken en tot een programmering leiden die systematischer en doeltreffender is. 7. Meer "waar voor je geld" en een meer evenwichtige prioriteitenstellling overeenkomstig de veranderende behoeften en omstandigheden zijn enkele van de resultaten van onderhavige evaluatie. Deze moeten trouwens gezien worden als deel van een meer diepgaand "leerproces" dat ook aspecten omvat die wellicht op korte termijn nog niet volledig op hun juiste waarde worden geschat zoals de verdere opbouw van bestaande evaluatiecapaciteit en een verbeterde coördinatie tussen nationale en regionale overheden. Beoordeling van de prestaties is betrekkelijk eenvoudig 8. Uit de evaluaties halverwege de looptijd is gebleken dat er in vergelijking met eerdere programma's sprake is van belangrijke ontwikkelingen met betrekking tot het gebruik van kwantitatieve indicatoren als middel om toezicht uit te oefenen op de tenuitvoerlegging van de maatregelen, om het effect ervan te beoordelen en om uit te maken welke vorderingen bij de verwezenlijking van de vastgestelde doelstellingen zijn gemaakt. Hoewel er op het punt van de ontwikkeling van indicatoren nog verschillen zijn, werden voor sommige programma's elementen van goede werkwijzen geconstateerd die er kunnen op wijzen dat het meten en beoordelen van de prestaties betrekkelijk eenvoudig is en niet noodzakelijk extra werk meebrengt voor het nationale overheidsapparaat. 9. Het gebruik van formele prestatie-indicatoren voor het meten van de vorderingen in relatie tot de voornaamste doelstellingen en prioriteiten van het programma kan nuttiger zijn dan tot nog toe werd onderkend. Dit moet leiden tot een doelmatiger beheer dat aantoonbare verbeteringen kan opleveren wat de daadwerkelijke outputs en resultaten betreft. 10. Ervan uitgaande dat de lidstaten een voorafgaande beoordeling van toekomstige programma's zullen moeten uitvoeren, wordt erop gewezen dat het van essentieel belang is dat de programmeringsdocumenten gekwantificeerde doelstellingen en indicatoren bevatten die relevant zijn voor de herziening halverwege de looptijd. Dergelijke informatie kan werkelijk nuttig zijn voor het beheer van de programma's en kan een objectieve basis verschaffen voor het beoordelen van de prestaties. De toewijzing van de reserve voor programma's op basis van de bij de uitvoering van die programma's geleverde prestaties (zoals door de Commissie voorgesteld in de ontwerpverordeningen betreffende de Structuurfondsen) zal hiervan afhangen. 11. Wat het operationele kader betreft, zal er bij de toezichtsysternen voor moeten worden gezorgd dat wordt gewerkt met relevante indicatoren waarvoor de metingen weinig tijd vergen en tegen geringe kosten en met gebruikmaking van adequate bestaande informatiebronnen kunnen uitgevoerd worden, en dat deze indicatoren worden onderworpen aan controles door nationale en regionale autoriteiten. Bovendien moeten op doorzichtige wijze realistische streefcijfers worden vastgesteld en moet gedurende de tenuitvoerlegging worden vastgehouden aan'de oorspronkelijke doelstellingen. Deze laatste mogen slechts dan worden afgezwakt als veranderende omstandigheden zulks rechtvaardigen. De herziening halverwege de looptijd is flexibel genoeg geweest om te kunnen reageren op veranderende behoeften en prioriteiten 12. De huidige aanpak van de herziening halverwege de looptijd blijkt in veel opzichten zowel adequaat als flexibel genoeg te zijn geweest om te kunnen reageren op veranderende omstandigheden en te kunnen inhaken op de noodzaak te maken. Beide doelstellingen de lopende bijstandsverlening doeltreffender konden binnen hetzelfde operationele kader worden nagestreefd. 13. Strategische prioriteiten worden in een bepaalde economische en institutionele context uitgestippeld en zijn onderhevig aan externe en interne invloeden. Hoewel continuïteit van beleid wenselijk is, zijn er altijd nog verdere • verbeteringen mogelijk, zelfs bij de meest succesvolle vormen van bijstandsverlening. In snel groeiende economieën (b. v. de Ierse) maken de economische prestaties het mogelijk om in het programmeringskader structurele wijzigingen aan te brengen die zijn gericht op het aanpakken van sommige grote problemen, zoals een ontoereikende fysieke infrastructuur of een tekort aan mensen met bepaalde vaardigheden. 14. De herziening halverwege de looptijd van de programma's voor de doelstellingen 1 en 6 heeft over het algemeen niet geleid tot een ingrijpende wijziging van de algemene strategische beleidslijnen die eraan ten grondslag liggen. De omvang van de bijsturing van de bijstandsverlening wisselt zowel van Lidstaat tot Lidstaat en van regio tot regio als van CB tot CB en GPD tot GPD. Deze laatste zijn kleinschaliger, maar verhoudingsgewijs waren de overdrachten tussen de verschillende maatregelen er groter. 15. De Commissie heeft ook haar eigen prioriteiten voor de aanpassingen bij de herziening halverwege de looptijd kenbaar gemaakt. Daarbij heeft zij er in het bijzonder op aangedrongen meer nadruk te leggen op de werkgelegenheid, vooral door steun te verlenen voor maatregelen die banenintensiever zijn. Hoewel meer had kunnen worden gedaan om uitvoering aan deze allesoverheersende prioriteit te geven, vormen de tastbare resultaten die deze herziening halverwege de looptijd heeft opgeleverd, een bemoedigend teken. Voorbeelden zijn een bepaalde mate van heroriëntering van belangrijke steunregelingen op het midden- en kleinbedrijf en de werkgelegenheid, de opneming van territoriale werkgelegenheidspacten in de hoofdprogramma's en het opzetten van specifieke acties op de terreinen van "informatiemaatschappij" en "gelijke kansen voor vrouwen en mannen". Aanzienlijke vooruitgang in evaluatie maar verdere verbetering is nodig 16. De herziening halverwege de looptijd leert dat het niet om een louter academische operatie gaat, maar dat de nodige aandacht wordt besteed aan operationele en strategische aspecten. In veel Lidstaten waren de programmabeheerders en de beleidsmakers het met deze zienswijze eens en vroegen zij welke aanpassingen op grond van de evaluatieresultaten dienden te worden verricht, vooral met het oog op de lopende steunregelingen. m 17. Er is aanzienlijke vooruitgang geboekt wat de kwaliteit en inhoud van de evaluaties halverwege de looptijd en de inpassing ervan in het algehele proces van herziening halverwege de looptijd betreft. Op den duur zal dit leiden tot een betere beheersmentaliteit. Bij het opsporen van goede werkwijzen zijn factoren zoals procesbeheer (b. v. het bepalen van de essentiële problemen, 'het nastreven van consensus, enz. ) en een zorgvuldiger planning van de herziening halverwege de looptijd opgevallen. Een en ander zal worden opgenomen in enigerlei toekomstige advisering over de beste werkwijzen. 18. Naar aanleiding van de herziening halverwege de looptijd hebben de nationale en initiatieven genomen om de bijstandsverlening nog regionale autoriteiten doeltreffender te maken, vooral op het punt van hun eigen uitvoeringssystemen voor de Structuurfondsen. Met name zullen belangrijke verbeteringen worden aangebracht in de toezichtsystemen, vooral door de kwaliteit en relevantie van de in de programma's bepaalde indicatoren te verbeteren. Momenteel wordt ook gezocht naar andere benaderingen om het beheer van kleinschalige programma's te vereenvoudigen en om binnen het kader van de programmadoelstellingen coherentere selectiecriteria uit te werken. 19. Voor de volgende programmeringsperiode zal het er vooral op aankomen de werkmethoden voor de evaluatie verder te consolideren, waartoe de tot nog toe bereikte resultaten moeten worden geïnventariseerd. Het versterken van de evaluatie als een echt instrument voor de besluitvorming, het verbeteren van de systemen voor het toezicht en voor de toepassing van indicatoren, het ondersteunen van de ontwikkeling van evaluatiemethodologieën en het bevorderen van de multilaterale uitwisseling van ervaringen in de hele Unie lijken in dit verband belangrijke uitdagingen met het oog op het nóg doeltreffender maken van de structurele bijstandsverlening. IV BEKNOPTE SAMENVATTING INLEIDING /. Voornaamste elementen van het proces van de herziening halverwege de looptijd. 1. 1. Beleidscontext en veranderende behoeften 1. 2. Richtsnoeren van de Commissie 1. 3. Evaluaties halverwege de looptijd 1. 4. Financiële tenuitvoerlegging //. Uit de evaluaties halverwege de looptijd te trekken lering 2. 1. Tenuitvoerlegging van de evaluaties halverwege de looptijd 2. 2. Voornaamste bevindingen 2. 3. Gebruik van de evaluatiëresultaten ///. Belangrijkste resultaten en aanpassingen 3. 1. Verband tussen de evaluatie en de herprogrammering. ; 3. 2. In totaal met de hertoewijzingen van middelen uit de Structuurfondsen gemoeide bedragen 3. 3. Opneming van de EU-prioriteiten in de programma's IV. Gevolgen voor het beleid en toekomstige uitdagingen 4. 1. Consequenties op korte termijn voor de huidige uitvoeringssystemen 4. 2. Eerste beschouwingen met het oog op de toekomstige programma's 4. 3. De uitdagingen op evaluatiegebied 3 4 4 5 5 6 7 7 13 24 25 25 28 30 34 34 35 35 -2- tenuitvoerlegging van de INLEIDING De herziening halverwege de looptijd1 heeft tot doel te komen tot een doeltreffender en doelmatiger via de communautaire bestekken (CB's) en de gecombineerde programmeringsdocumenten (GPD's). Dit proces is bijzonder belangrijk in het licht van de beperkingen voor de overheidsbegrotingen. Door deze beperkingen wordt het steeds noodzakelijker dat de bijstandsverlening uit de Structuurfondsen van hoge kwaliteit is wat de inhoud van de afzonderlijke maatregelen en een volledige besteding van de ervoor bestemde middelen betreft. structurele bijstandsverlening Evaluatie is een belangrijk hulpmiddel voor het bereiken van deze doelstellingen. Het voorschrift alle EU-programma's systematisch te evalueren is een belangrijke innovatie in de huidige verordeningen betreffende de Structuurfondsen. De Commissie heeft in de context van haar initiatief SEM 2000 (Sound and Efficient Management - Gezond en Doelmatig Beheer) te kennen gegeven evaluatie te beschouwen als een essentiële factor ter verbetering van het klimaat op het gebied van beheer waarin de communautaire programma's worden uitgevoerd2. Korter geleden in Agenda 20003, het beleidsdocument van de Commissie over de periode 2000-2006, aangegeven dat alle structurele bijstandsverlening kosteneffectiever moet worden gemaakt door het toezicht, de financiële controle en de evaluatie in de context van een gedecentraliseerd beheer te versterken. is In dit verslag worden de voornaamste elementen van de in de lidstaten uitgevoerde herzieningen halverwege de looptijd samengevat en wordt met name ingegaan op de rol van de evaluatie halverwege de looptijd en op de mate waarin de EU-prioriteiten in de programma's van de doelstellingen 1 en 6 zijn ingepast. De door de afzonderlijke lidstaten uitgevoerde evaluaties halverwege de looptijd vormen de belangrijkste bron van informatie voor dit verslag. Gepoogd wordt aan te geven welke rol het evaluatieproces in de ontwikkeling van deze herziening halverwege de looptijd heeft gespeeld, en de beste evaluatiemethoden op te sporen als leidraad voor de toekomstige progammeringsperiode. Het gaat bij een en ander om een aanpak van het beheer die aan het ontstaan is dankzij de praktische ontwikkelingen op evaluatiegebied. Door de aandacht te vestigen op goede benaderingen draagt dit verslag bij tot een beter inzicht in de manier waarop de evaluaties werden uitgevoerd en gebruikt om informatie te verschaffen voor de herzieningen halverwege de looptijd, wat vooral van belang is in de context van de nieuwe voor de toekomstige toepassing van evaluaties * 2 3 In dit hele verslag wordt onderscheid gemaakt tussen de evaluatie halverwege de looptijd en de herziening halverwege de looptijd. Beide termen worden weliswaar soms tegelijkertijd gebruikt, maar de term "herziening" beschrijft nauwkeuriger het hele proces dat de evaluatie en de daaruit voortvloeiende de programmabegrotingen omvat. De evaluatie halverwege de looplijd is dan gewoon de eigenlijke evaluatie, die de nodige informatie voor de herziening halverwege de looptijd oplevert. herschikkingen aanpassingen prioriteiten binnen van de en SEM 2000 - Mededeling over Evaluatie, 8 mei 1996. Agenda 2000, Voor een sterkere en grotere Unie, 1997. -3- verordeningen betreffende de Structuurfondsen. Het verslag verschaft dus tot op zekere hoogte een experimentele basis voor de na 1999 te ondernemen acties. In het verslag worden de volgende vier gebieden behandeld: 1. het proces van de herziening halverwege de looptijd als geheel; 2. de voornaamste bevindingen bij de evaluaties halverwege de looptijd; 3. de belangrijkste resultaten en de verrichte aanpassingen; 4. de gevolgen voor de uitvoering en de prioriteiten van de programma's en de uitdagingen voor de toekomst. I. VOORNAAMSTE ELEMENTEN VAN HET PROCES VAN DE HERZIENING HALVERWEGE DE LOOPTIJD Vier belangrijke elementen liggen aan het proces van de herziening halverwege de looptijd ten grondslag: de beleidscontext; de richtsnoeren van de Commissie; de financiële evaluaties halverwege de tenuitvoerlegging voor de programma's van de doelstellingen 1 en 6 betreft. looptijd; en de stand van zaken wat de 1. 1. Beleidscontext en veranderende behoeften Hoofddoel van de CB's en GPD's is het verkleinen van de verschillen tussen de lidstaten wat het inkomen per hoofd van de bevolking betreft. Met die bijstandsverlening wordt ernaar gestreefd veranderingen op lange termijn te bewerkstelligen in de structuur en de prestaties van de ontvangende economieën. Bepalend voor de bijstandsverlening zijn de nationale prioriteiten en strategieën voor het aanpakken van elementaire structurele problemen zoals de verschillen in infrastructuur en menselijk kapitaal. Dit zijn belangrijke factoren die van invloed zijn op het regionale concurrentievermogen en dus op de groeiprestaties. In de vier armste lidstaten - de "cohesielanden" - is het inkomen per hoofd van de bevolking sterk gestegen. Er blijven echter grote verschillen bestaan tussen de Europese regio's: in 1995 was het gemiddelde inkomen per hoofd van de bevolking in de 25 meest welvarende regio's driemaal zo hoog als in de minst ontwikkelde regio's. De verschillen in werkloosheidsniveau zijn zelfs nog groter en daarvan zijn vooral de uit maatschappelijk oogpunt meest kansarme groepen het slachtoffer4. Veranderingen in de economische, maatschappelijke of politieke context in de lidstaten hebben hun behoeften en problemen beïnvloed en daardoor ook de manier waarop zij hun programma's hebben aangepast. Het recente economische succes van Ierland heeft bijvoorbeeld soorten bijstandsverlening, vooral wat de bijstandverlening aan de productieve sector betreft. Voor deze lidstaat heeft de evaluatie halverwege de looptijd uitgewezen dat er behoefte is in de behoefte aan bepaalde verandering gebracht Zie het Eerste Verslag over de Economische en Sociale Cohesie (1996), COM (96) 542 def. van 6 november 1996. -4- Evenzo heeft ook de erkenning van de werkgelegenheid als allesoverheersende EU- prioriteit geleid tot een aantal aanpassingen van de programma's, zoals de formele invoering van territoriale werkgelegenheidspacten. Veranderingen in het nationale werkgelegenheidsbeleid, zoals structurele hervormingen van de arbeidsmarkt, hebben eveneens tot een heroriëntering van sommige opleidingsacties bijgedragen. In de context van de Structuurfondsen is ook op onverwachte ontwikkelingen gereageerd. De noodtoestand als gevolg van een aardbeving in de Italiaanse regio's Umbria en Marche heeft er bijvoorbeeld toe geleid dat aan deze regio's CB-middelen zijn toegewezen bij wijze van onderlinge hulpverlening tussen Italiaanse regio's 1. 2. Richtsnoeren van de Commissie In verband met de veranderende economische en sociale context op het niveau van de lidstaten heeft de Commissie algemene richtsnoeren5 vastgesteld om de meerwaarde van de communautaire bijstandsverlening te vergroten. Doel van deze richtsnoeren was een algemeen beleids- en prioriteitenkader aan te geven waarbinnen de lidstaten konden besluiten tot aanpassingen van hun lopende programma's voor de doelstellingen 1 en 6 voor de periode 1994-1999 als onderdeel van het proces van herziening halverwege de looptijd. De richtsnoeren gaven een aantal thematische prioriteiten aan ter ondersteuning van de verwezenlijking van het hoofddoel van de bijstandsverlening van de Structuurfondsen, namelijk het helpen scheppen van de voorwaarden voor een duurzame economische ontwikkeling, groei en concurrentiepositie en daardoor voor duurzame werkgelegenheid. Met het oog op het bereiken van dit algemene doel werd aandacht besteed aan de volgende specifieke prioriteiten: basisinfrastructuur, productieve sector (alle soorten maatregelen om de groei en het concurrren tie vermogen van het bedrijfsleven te vergroten), onderzoek en duurzame ontwikkeling, ontwikkeling van het menselijke potentieel en gelijke kansen. technologische ontwikkeling, milieu en 1. 3. Evaluaties halverwege de looptijd Alle lidstaten (met uitzondering van Italië6) zijn erin geslaagd om in overeenstemming met de verordeningen betreffende de Structuurfondsen en de in de programma's opgenomen standaardbepalingen evaluaties halverwege de looptijd uit te voeren om de beschikking te hebben over de nodige informatie voor de herziening van hun structurele maatregelen. Deze evaluaties waren opgezet om bij te dragen tot het proces van Prioriteiten voor de aanpassing van de Structuurfondsenprogramma's in de resterende looptijd tot eind 1999 - Richtsnoeren van de Commissie, mei 1997. De lidstaten hadden het idee richtsnoeren te formuleren ondersteund in een informele vergadering van de voor het regionale beleid en de ruimtelijke ordening bevoegde ministers op 14-15 november 1996 in Ballyconnell, Ierland. De in overeenstemming met het lidstaten hebben de Commissie daar formeel verzocht om subsidiariteitsbeginsel beleidsrichtsnoeren lopende programma's voor de doelstellingen 1 en 6 zo aan te passen dat zij voor de resterende looptijd tot eind 1999 werkgelegenheidsintensiever zijn. te formuleren die erop zijn gericht de Als voorlopige oplossing hebben de Italiaanse autoriteiten (Eenheid Evaluatie van het ministerie van begroting) in de eerste helft van 1997 de evaluatie halverwege de looptijd uitgevoerd. -5- verbetering vari de uitvoering en het beheer van de programma's in het resterende deel van de looptijd. Volgens de door de Commissie gepubliceerde gids7 moesten de evaluaties halverwege de looptijd bestaan uit : een kritische analyse van alle verzamelde gegevens (en vooral van de bij het toezicht verkregen gegevens); een bepaling van de mate waarin de doelstellingen werden bereikt; een verklaring voor alle verschillen tussen de werkelijke en de verwachte resultaten van de bijstandsverlening; een beoordeling van de beweegredenen voor de bijstandsverlening en van de vraag of de doelstellingen ervan nog steeds relevant waren. Bovendien moesten de evaluaties de nodige gegevens verschaffen om de Toezichtcomités te helpen zich over een en ander een oordeel te vormen en aan de bevoegde autoriteiten correctiemaatregelen voor te stellen met het oog op aanpassing van de programma's. In de regel worden programma's met een looptijd van meer dan drie jaar aan het einde van het derdejaar van de tenuitvoerlegging onderworpen aan een evaluatie halverwege de looptijd. Deze programma's worden aan het einde van de desbetreffende periode ook nog onderworpen aan een evaluatie achteraf. Met dit tijdschema dient rekening te worden gehouden bij het treffen van regelingen voor de evaluaties. 1. 4. Financiële tenuitvoerlegging Bij een evaluatie gaat het er normaliter om de effecten en vorderingen te beoordelen in relatie tot de doelstellingen en prioriteiten. Daartoe wordt gebruik gemaakt van de financiële gegevens over de tenuitvoerlegging van de programma's die door de de desbetreffende begrotingsuitvoering op EU-niveau een overzicht van de besteding van de vastleggings- en betalingskredieten. In de volgende alinea wordt de voortgang van die besteding samengevat voor de programma's voor de doelstellingen 1 en 6 (zie ook bijlage 2). toezichtsystemen worden Bovendien verstrekt. geeft Bij de tenuitvoerlegging van de programma's voor doelstelling 1 zijn vanaf 1994 voortdurend regelmatige vorderingen gemaakt. In de eerste helft van 1998 heeft deze1 tendens zich voortgezet. Van de beschikbare middelen was eind 1997 64 % vastgelegd (vergeleken met 46 % eind 1996) en 48 % betaald (33 % eind 1996). Opvallend waren de vorderingen in Spanje en Portugal, waar in de periode 1994-1997 respectievelijk 69 % en 70 % van de beschikbare middelen is vastgelegd en respectievelijk 53 % en 56 % ervan is betaald. In andere lidstaten, en vooral in Nederland, Frankrijk en België, gaf de tenuitvoerlegging ernstige vertragingen te zien wat de vastleggingen betreft, terwijl de vertragingen in Italië en Oostenrijk hoofdzakelijk de betalingen betroffen. Voor doelstelling 6 is in de betrokken twee lidstaten sprake van een tegenovergesteld beeld. In Finland is de tenuitvoerlegging verder gevorderd dan in Zweden: eind 1997 was in Finland 59 % van de middelen vastgelegd tegen slechts 32 % in Zweden. Gemeenschappelijke gids voor het toezicht en de tussentijdse evaluaties (Common Guide on Monitoring and Interim Evaluations) 1996. -6- II. UIT DE EVALUATIES HALVERWEGE DE LOOPTIJD TE TREKKEN LERING De evaluatie halverwege de looptijd is een belangrijke ontwikkeling geweest op het gebied van het beheer van de Structuurfondsen. Zij vormt een waardevol kader om na te denken over de algehele doelmatigheid van de bijstandsverlening van de EU. De belangrijkste lessen die eruit kunnen worden getrokken, betreffen de uitvoering van die evaluatie zelf en het belang van de voornaamste uit die evaluatie voortvloeiende bevindingen uit beleidsoogpunt. 2. 1. Tenuitvoerlegging van de evaluaties halverwege de looptijd a) Evaluatie halverwege de looptijd : een gedeelde verantwoordelijkheid Eén van de innovaties in de huidige verordeningen betreffende de Structuurfondsen is de aanscherping van de voorschriften voor de evaluatie van de doelmatigheid en doeltreffendheid van de bijstandsverlening. Deze voorschriften zijn duidelijk geformuleerd in die verordeningen8. De Commissie en de lidstaten hebben samengewerkt om de te volgen operationele procedures te bepalen. De verantwoordelijkheid voor de evaluatie wordt dus gedeeld. Gedurende 1995 hebben de lidstaten en de Commissie actief gepoogd overeenstemming te bereiken over de inhoud van de betrokken evaluaties en over de in elk afzonderlijk te volgen operationele procedures. Het door de Commissie voorgestelde geval operationele kader is weliswaar op multilateraal niveau besproken, maar over het algemeen is de evaluatie uitgevoerd op het niveau van elk Toezichtcomité. AI met al hebben zich ondanks de problemen waarmee alle nieuwe procedures gepaard gaan en ondanks de moeilijkheden die sommige lidstaten bij het definiëren en op gang brengen van een evaluatieproces hebben ondervonden, geen grote verschillen van mening tussen de lidstaten en de Commissie voorgedaan9. b) Organisatie van de evaluaties halverwege de looptijd Meer dan wat de verordeningen voorschrijven - Een beter beheer Het merendeel van de in elke lidstaat geprogrammeerde vormen van bijstandsverlening (CB's, GPD's, operationele programma's, globale subsidies, enz. ) is onderworpen aan een specifieke evaluatie. Sommige lidstaten hebben ter aanvulling van hun evaluaties In artikel 26, lid 2, van de Coördinatieverordening is het volgende bepaald: "De beoordeling en de evaluatie geschieden, al naar gelang het geval, door de doelstelling te vergelijken met de behaalde resultaten, gerelateerd aan op regionale en nationale statistische gegevens gebaseerde macro- economische en sectoriële doelstellingen en indicatoren, aan de algemene uitkomsten van beschrijvende analytische studies en aan onderzoekingen van kwalitatieve aard. ". Volgens de standaardbepalingen in de met de lidstaten overeengekomen CB's en GPD's moet het toezicht worden "aangevuM met tussentijdse evaluaties om in de loop van de uitvoering van het CB en van de bijstandsvormen daarin de eventueel noodzakelijke aanpassingen te kunnen aanbrengen". Tijdens de informele vergadering van de voor het regionaal beleid en de ruimtelijke ordening bevoegde ministers op 30 november - 1 december 1995 in Madrid is gebleken dat de lidstaten zich sterker bewust waren geworden van het belang van een evaluatie halverwege de looptijd en van de operationele doeleinden die ermee worden beoogd. halverwege de looptijd het initiatief genomen tot extra evaluaties die hetzij een thematisch karakter (met als onderwerp onder meer de maatregelen voor het midden- en kleinbedrijf of op onderzoekgebied), hetzij een operationeel karakter (b. v. selectiecriteria, procedures, enz. ) droegen. Het grote aantal evaluaties halverwege de looptijd (meer dan 100 voor de programma's in het kader van de doelstellingen 1 en 610) geeft aan dat bij de lidstaten nu sprake is van een wijdverspreide erkenning van het belang ervan. Dit blijkt niet alleen uit de naleving door de lidstaten van de desbetreffende voorschriften in de verordeningen, maar ook uit het feit dat de lidstaten evaluatie kennelijk zien als een instrument om het beheer van de financiële middelen te verbeteren en de met die middelen behaalde resultaten te optimaliseren. Kosten van de evaluaties In de SEM 2000-mededeling over evaluatie (1996) werd aanbevolen om aan de evaluatieactiviteiten in totaal niet meer te besteden dan 0,5 % van de voor het programma beschikbare middelen. De evaluatiekosten werden doorgaans gedekt uit de in elk programma opgenomen begrotingspost "technische bijstand". Meestal komt het voor evaluatie toegewezen bedrag neer op minder dan 0,1 % van de totale kosten van het programma. Vaste percentages zouden hoe dan ook niet passend zijn geweest, omdat de evaluatiekosten niet noodzakelijk in verhouding tot de kosten van het betrokken programma staan. De evaluatieprocedure Het proces van de evaluatie halverwege de looptijd begint met een analyse van de mate waarin het betrokken programma zich voor een evaluatie leent (evalueerbaarheid) en met een nadere uitwerking van de in de volgende fase toe te passen methodologie. Een beoordeling van die evalueerbaarheid is noodzakelijk met het oog op het opvangen van bepaalde leemten of inconsistenties in de in de programmeringsdocumenten opgenomen informatie, zoals een onvoldoende kwantificering van de doeleinden voor sommige maatregelen. Het is belangrijk te beseffen dat het voor een succesvolle evaluatie noodzakelijk is zich ervan te vergewissen dat er voldoende maatregelen zijn genomen om ervoor te zorgen dat het betrokken programma wel degelijk kan worden geëvalueerd. Met name is het in het algemeen zo dat voor de evaluatie van een programma van tevoren relevante indicatoren en doeleinden moeten zijn vastgesteld waarvan de ontwikkeling dan gedurende de gehele looptijd van het programma moet worden gevolgd (kader 1). Kader 1: Beoordeling van de evalueerbaarheid (d. w. z. de uitvoerbaarheid van de evaluatie) - Door het EFRO gesteund OP voor Andalusië (Doelstelling 1) Deze evaluatie had de beschrijving tot doel van de beweegredenen voor de geprogrammeerde acties, doelstellingen en oogmerken, van de mate van synergie daartussen en van het al dan niet adequate karakter van het programmabeheer. Zij spitste zich toe op drie belangrijke elementen: de kwaliteit van de planning; de informatiesystemen; de beheerscapaciteit. De gekozen aanpak behelsde een analyse van de programmeringsdocumenten (met behulp van een "Logical Framework Scheme") en interviews met belangrijke programmabeheerders. De toepassing van deze methodologie heeft tot enkele praktische conclusies geleid. Wat de kwaliteit van het programma betreft, werden door de beoordelaar enkele tekortkomingen in de analyse van de sterke en de zwakke punten en van de kansen en bedreigingen (SWOT-analyse) geconstateerd en ook problemen met betrekking tot sommige van de doelstellingen (b. v. op het gebied van het toerisme), die niet goed 10 Zie de lijst in bijlage 3. omschreven waren. Geoordeeld werd bovendien dat de databank te zeer op outputindicatoren was gebaseerd en te weinig op effectindicatoren. Ook het beheerssysteem werd beoordeeld met het oog op eventuele verbeteringen, vooral wat de verdeling van de taken en verantwoordelijkheden binnen het regionale overheidsapparaat betreft. Hoewel niet alle aanbevelingen werden overgenomen, heeft deze eerste beoordeling de programmabeheerders bewuster gemaakt van de noodzaak een evaluatiecultuur te bevorderen en te zorgen voor een beter inzicht in hun eigen programma. De betrokken evaluatie zelf wordt halverwege de tenuitvoerlegging van het programma uitgevoerd. Zij heeft tot doel te beoordelen in hoeverre het programma aan zijn doelstellingen heeft beantwoord, de eerste effecten van de bijstandsverlening te bepalen en, zo nodig, aanbevelingen te doen voor het verbeteren van het programmabeheer en het optimaliseren van de resultaten. Het referentiepunt bij een evaluatie halverwege de looptijd behoort in het algemeen het resultaat te zijn van de voorafgaande evaluatie die heeft plaatsgevonden op basis van het door de lidstaat ingediende plan. Onafhankelijkheid van de beoordelaars De lidstaten waren het erover eens dat het erg belangrijk was ervoor te zorgen dat de evaluatieverslagen werden opgesteld door personen die onafhankelijk waren van zowel de voor het beheer van de middelen van de Structuurfondsen verantwoordelijke autoriteiten als de uitvoerende instanties die verantwoordelijkheid voor de medegefinancierde acties droegen. Daarom zijn mechanismen bepaald voor de aanstelling van externe beoordelaars (consultants, gespecialiseerde academische teams, enz. ). In de lidstaten waar evaluatie een zeer gebruikelijk onderdeel vormt van programma's voor >o verheidsuitga ven, hebben de externe beoordelaars meestal voortdurend kunnen profiteren van adviezen en ondersteuning van de bevoegde autoriteiten. Aan interne evaluaties kunnen bepaalde voordelen zijn verbonden (b. v. het bevorderen van "leren door te doen") doordat de beherende autoriteiten dan nauw worden betrokken bij het plaatsen van vraagtekens bij het hoe en het waarom van hun activiteiten. In het geval van evaluaties halverwege de looptijd en achteraf kan echter gelden dat interne evaluaties niet praktisch, niet kosteneffectief of zelfs niet wenselijk zijn. Een opmerkelijke uitzondering was Italië, waar de door de Eenheid Evaluatie van het Ministerie van Begroting uitgevoerde evaluatie halverwege de looptijd heeft geleid tot de een programmeringsdocumenten en het ontbreken van geschikte streefcijfers en indicatoren betreft. opmerkingen, vooral wat kwaliteit kritische aantal van de c) Opbouwen van evaluatiecapaciteit in de lidstaten Oprichting van beheersstructuren Doorgaans zijn de Toezichtcomités verantwoordelijk voor de tenuitvoerlegging van de evaluaties halverwege de looptijd. Deze comités werden vaak betrokken bij de definiëring van de 'inhoud van de evaluatieverslagen en de uitwerking van een is dat zij de opgestelde werkprogramma voor de beoordelaars. Belangrijker evaluatieverslagen hebben geanalyseerd en besproken en in voorkomend geval voorstellen hebben gedaan of adviezen hebben geformuleerd met betrekking tot mogelijke programmawijzigingen om de besteding van de toegewezen middelen uit de Structuurfondsen zo doelmatig en doeltreffend mogelijk te maken. -9- In een belangrijk aantal gevallen hebben Toezichtcomités technische groepen of subcomités opgericht (zie kader 2) met als taak voortdurend contact te onderhouden tussen henzelf en de beoordelaars. Door deze technische groepen of subcomités zijn dan (op de evaluatieresultaten gebaseerde) verslagen en voorstellen opgesteld voor bespreking en goedkeuring door het comité als geheel. Kader 2: Beheer van de evaluatie - oprichting van ad-hocstructuren In Ierland kon voor het CB als geheel en voor elk van de drie grootste operationele programma 's daarvan telkens een beroep worden gedaan op een toegewijde évaluâtie-eenheid, die voortdurend beschikbaar was voor advisering en deskundige begeleiding. Externe beoordelaars leverden een soortgelijke dienstverlening op afroep voor vijf andere operationele programma's. De verslagen over de evaluatie halverwege de looptijd werden door de Toezichtcomités besproken in twee afzonderlijke vergaderingen. Hun conclusies en aanbevelingen leverden samen met de evaluaties van de afzonderlijke OP 's informatie op voor de evaluatie halverwege de looptijd van het CB als geheel. Ook een regionaal evaluatieverslag verschafte informatie voor de algehele evaluatie van het CB en tevens werd rekening gehouden met de richtsnoeren van de Commissie. In Portugal werden technische evaïuatiegroepen opgericht om het evaluatieproces te sturen en te regelen. Tot hun belangrijkste taken behoorden onder meer het valideren van de taakomschrijving, het bieden van hulp bij de keuze van de beoordelaars en het bespreken van de eindverslagen voordat deze aan de Toezichtcomités werden voorgelegd. Deze groepen bestonden uit ambtenaren van de Commissie en vertegenwoordigers van de bevoegde nationale en regionale overheden. Normaliter kwamen zij ten minste tweemaal per jaar bijeen vóór de vergaderingen van het Toezichtcomité. De constructieve verhoudingen tussen de partners binnen deze groepen hebben tot de verbetering van de kwaliteit van het évaluâtiewerk bijgedragen. Rol van het partnerschap Doorgaans hebben de programmapartners zich positief opgesteld tegenover de evaluatie halverwege de looptijd en bereidwillig verantwoordelijkheid op zich genomen om er een bijdrage aan te leveren. Er zijn echter verschillen tussen de regionale overheden op het punt van hun specifieke betrokkenheid bij de taken die bij een evaluatie halverwege de looptijd horen. Deze verschillen houden verband met de kenmerken van de politieke en institutionele systemen (d. w. z. de mate van decentralisatie), de vorm waarin de bijstand uit de Structuurfondsen wordt verleend (programma's op nationaal, sectoraal, regionaal en subregionaal niveau) en de per lidstaat uiteenlopende gebruiken en ervaringen. In sommige gevallen waren de regionale autoriteiten verantwoordelijk voor de organisatie en het beheer van het evaluatieproces. Zij waren betrokken bij de werkzaamheden die tot doel hadden de beoordelaars te selecteren, het werk van de beoordelaars te definiëren en te vergemakkelijken en ervoor te zorgen dat de resultaten van de evaluaties door de Toezichtcomités werden besproken en geanalyseerd. Bovendien droegen zij er zorg voor dat de uit de evaluatie voortgekomen aanbevelingen werden uitgevoerd op het niveau van het programma. In andere gevallen hadden zowel de nationale als de regionale autoriteiten deel in de verantwoordelijkheden en de werkzaamheden. Waar wordt gewerkt met een communautair bestek (zoals in 'sommige regio's van doelstelling 1), waren echter normaliter de nationale autoriteiten verantwoordelijk voor de evaluatie. Een ander geval is dat van de lidstaten waar de regionale autoriteiten geen uitvoerende verantwoordelijkheid dragen voor de programmering en het beheer van de door de Structuurfondsen ondersteunde activiteiten. Hun bijdrage aan het herzieningsproces bestond erin de verstrekking van de voor de opstelling van de evaluatieverslagen benodigde gegevens en informatie te vergemakkelijken, mee te werken aan de analyse -10- van het effect dat de beleidsmaatregelen op plaatselijk niveau hadden gesorteerd, en tot op zekere hoogte ook deel te nemen aan de op de aanbevelingen uit de evaluatieverslagen gebaseerde herdefiniëring van de strategische en operationele beleidslijnen. Ook de sociale partners werden bij dit proces betrokken afhankelijk van de mate waarin zij aan de werkzaamheden van de Toezichtcomités deelnemen. In het algemeen is op flexibele en pragmatische wijze te werk gegaan bij de ontwikkeling van de partnerschappen. Het ontstaan van vakmanschap op evaluatiegebied In de afgelopen vier jaar hebben de evaluatieactiviteiten in alle lidstaten een opmerkelijke ontwikkeling te zien gegeven. De voorschriften in de verordeningen betreffende de Structuurfondsen hebben daarin ëen belangrijke rol gespeeld. De dienstverlening op evaluatiegebied speelt zich grotendeels buiten de verschillende overheidsdiensten af, al moeten als opmerkelijke uitzonderingen Ierland en Italië worden genoemd, die hun eigen teams hebben opgericht. De ontwikkeling van evaluatie als gespecialiseerde specialistische dienstverlening heeft tot een almaar professioneler en deskundiger aanpak geleid. Hoewel de voor de verschillende programma's aangestelde evaluatieteams vaak over multidisciplinaire deskundigheid beschikken en bestaan uit medewerkers die niet alleen van adviesbureaus maar ook van academische onderzoekcentra afkomstig zijn, hebben hun belangrijkste sterke punten meestal betrekking op de economische aspecten en het beheer. d) Verbetering van de kwaliteit van de evaluaties In de programmeringsperiode 1994-1999 was de gemiddelde kwaliteit van de evaluaties halverwege de looptijd ongetwijfeld beter dan in de voorgaande periode (1989-1993), al waren er nog steeds evaluaties die niet aan de normen voldeden door factoren zoals het feit dat bepaalde programma's te laat op gang waren gekomen of dat de gekozen methodologie niet adequaat was. De evaluatieverslagen zijn beoordeeld aan de hand van de acht criteria zoals beschreven in het kader van het MEANS-programma11. Volgens de betrokken beoordelingen waren de meeste verslagen van redelijk goede kwaliteit (kader 3). Vaak waren in de evaluaties bijgewerkte informaties over en analyses van de programma's in relatie tot de doelstellingen en oogmerken ervan opgenomen en op sommige evaluaties (b. v. voor 11 Quality Assessment of Evaluation Reports: A Framework (een kader voor de kwalitatieve beoordeling van evaluatieverslagen). MEANS (Methodes d'Evaluation des Actions de Nature Structurelle) is een programma van de Europese Commissie dat tot doel heeft de methodologische instrumenten die beschikbaar zijn voor de beoordeling van structurele acties, te verbeteren. Daartoe werden de evaluatieverslagen beoordeeld aan de hand van de volgende acht criteria: het voorzien in de behoeften: is de evaluatie op adequate wijze afgestemd op de informatiebehoeften van het Toezichtcomité en is zij in overeenstemming met de taakomschrijving?; een relevante reikwijdte: worden de beweegredenen voor en de outputs en effecten van het programma, met inbegrip van onverwachte uitkomsten, volledig bestreken?; verdedigbare opzet: is de opzet van de evaluatie geschikt om de gestelde vragen te beantwoorden?; gegevens: zijn de gebruikte/verzamelde gegevens adequaat en wordt naar behoren rekening gehouden met de betrouwbaarheid ervan?; degelijke analyse: wordt de beschikbare informatie onderworpen aan een passende analyse?; geloofwaardige bevindingen: volgen de bevindingen logischerwijze uit en worden zij gestaafd door de analyse?; onpartijdige conclusies: zijn de conclusies eerlijk, zijn zij niet door de opvattingen van belanghebbenden beïnvloed en zijn zij operationeel?; en duidelijkheid: is het verslag zo geschreven dat het gemakkelijk te begrijpen is? -11- Noord-Ierland) was een eigen kwalitatieve beoordeling uit een oogpunt van sterke en zwakke punten toegepast. De inzet van ervaren beoordelaars en het feit dat er meer kennis beschikbaar was over en meer onderzoek was gedaan naar de praktische aspecten van de evaluatie, hebben eveneens tot de betere kwaliteit van de verslagen bijgedragen. Kader 3: Beoordeling van de kwaliteit van een evaluatie: de evaluatie van het Ierse CB Het evaluatieverslag voldoet aan de volgende criteria: het voorziet op adequate wijze in de informatiebehoeften; er is een uitvoerig onderzoek verricht naar de beweegredenen voor en de doelstellingen van het programma; er is een specifiek methodologisch kader ontworpen om te beoordelen hoe doeltreffend de maatregelen zijn; er zijn voldoende betrouwbare gegevens verzameld (al zijn er nog steeds leemten en tekortkomingen); de in het kader van het CB geleverde prestaties werden op degelijke wijze geanalyseerd; een en ander heeft geresulteerd in geloofwaardige bevindingen die praktische effecten op de programmastructuur hebben gesorteerd; er zijn objectieve conclusies voorgesteld die gedetailleerd genoeg waren voor operationeel gebruik; het verslag is duidelijk geschreven en gepresenteerd in een voor de belanghebbenden toegankelijke vorm. Het oordeel over de algemene kwaliteit was dan ook zeer lovend, waarbij deze kwaliteit te danken is aan een goed ontworpen evaluatiekader. Het is verslag is gepubliceerd en ter beschikking van het publiek gesteld. over de evaluaties tussentijdse van de programma's Het oordeel voor plattelandsontwikkeling verschilt nogal per geval. In sommige gevallen werd de evaluatie beschouwd als aanvaardbaar (Spanje) en in andere als bevredigend (diverse Duitse deelstaten) omdat het beoogde doel, namelijk de aandacht te vestigen op goede resultaten, was bereikt. In nog andere gevallen was de conclusie dat de evaluatie van een zeer hoog niveau was dankzij de ervaring en de kwaliteit van de onafhankelijke beoordelaars en een nauwkeuriger omschrijving van de doelstellingen en de te verrichten taken (Ierland). Soms was de draagwijdte van de evaluaties beperkter omdat zij academisch of te algemeen van aard waren of omdat zij zich veeleer op de tenuitvoerlegging en het beheer hebben toegespitst dan op de resultaten en de effecten (Frankrijk, België). Op sommige evaluaties is ook kritiek geuit omdat de beoordelaars niet onafhankelijk genoeg waren ten opzichte van de overheidsdienst die opdracht tot de evaluatie had gegeven. In andere gevallen was bij de evaluatie sprake van beperkende factoren doordat een gebrek aan medewerking van de zijde van de overheidsinstanties het werk van de beoordelaar heeft bemoeilijkt. De door de beoordelaars toegepaste methodologieën verschilden qua aard en kwaliteit van programma tot programma. Via het MEANS-programma heeft de Commissie het gebruik van een aantal methoden en hulpmiddelen bevorderd, maar de concrete toepassing van een en ander verkeert nog in een vroeg stadium. Zo wordt bijvoorbeeld vaak gevonden dat de werkgelegenheidseffecten moeilijk te meten zijn, vooral als rekening moet worden gehouden met het "dood gewicht" (effecten die ook zonder de -12- steun wel zouden zijn opgetreden) en met het elders in de regio verloren gaan van bestaande werkgelegenheid door verplaatsing ervan naar het gesteunde bedrijf12. Ondanks een aantal kwalitatieve verbeteringen blijft het noodzakelijk er via een passende begeleiding voor te zorgen dat in de volgende evaluatiestadia een ruimer gebruik van degelijke evaluatiemethoden wordt gemaakt. 2. 2. Voornaamste bevindingen Tot de belangrijkste oogmerken van de evaluaties halverwege de looptijd behoorde het ondernemen van een poging om de bij de verwezenlijking van de doelstellingen van de programma's geboekte vooruitgang en de waarschijnlijke effecten daarvan, bijvoorbeeld op de banenschepping, te beoordelen. De evaluaties waren er ook op gericht het proces te onderzoeken dat is gevolgd voor het beheer van de programma's en voor de selectie van en het toezicht op de in het kader van de programma's uitgevoerde projecten. Het is de bedoeling om in deze paragraaf op basis van een representatieve steekproef uit de evaluaties enkele significante resultaten betreffende voorname thema's te bespreken en te suggereren waar verbetering nodig is. Er zal worden ingegaan op enkele belangrijke elementen van de analyses die zijn uitgevoerd met betrekking tot de volgende drie hoofdthema's: - de macro-economische effecten van de grootste programma's, vooral op de groei en de werkgelegenheid; de micro-economische beoordeling, waarbij vooral het onderzoek naar de doeltreffendheid vàn de steun nader wordt bekeken; de kwaliteit van de uitvoeringssystemen, waarbij het vooral gaat om de systemen. voor het toezicht en het gebruik van indicatoren en om de criteria voor de selectie van de projecten. Uit een en ander kunnen enkele algemene conclusies worden getrokken over de wijze waarop deze resultaten kunnen worden gebruikt bij en ingepast in het proces van de herziening halverwege de looptijd. a) Macro-economische effecten: effecten op de groei en de werkgelegenheid Van de meeste evaluaties van CB's voor doelstelling 1 maakt een macro-economische beoordeling deel uit die enkele waardevolle inzichten verschaffen in het proces van de herziening halverwege de looptijd als geheel. Deze evaluaties laten zien hoe belangrijk het is om niet alleen met de effecten aan de vraagzijde rekening te houden, maar ook met die aan de aanbodzijde. Ook leveren zij een eerste kwantificering van de vermoedelijke omvang van deze effecten. Bij grootschalige bijstandsverlening zoals via belangrijke CB's voor doelstelling 1 is het waarschijnlijk dat effecten op de economische groei en de werkgelegenheid zichtbaar te kwantificeren omdat de zijn echter moeilijk zullen zijn. Deze effecten 12 Zie het document van de Europese Commissie "Banen tellen", 1997, en de European Job Challenge (Wedstrijd voor de beste werkgelegenheidsprojecten) 1998. -13- referentiesituatie, d. w. z. de situatie die zou bestaan als er geen steun uit de Structuurfondsen zou worden verleend, moet worden bepaald. Eén van de mogelijkheden is gebruik te maken van simulatietechnieken op basis van modellen waarin rekening wordt gehouden met de macro-economische interdependenties tussen variabelen. Er aan de vraagzijde bestaan verscheidene modellen die de korte-termijneffecten kwantificeren (b. v. input-output modellen), maar er zijn er slechts enkele waarin rekening wordt gehouden met de lange-termijneffecten op de omstandigheden aan de aanbodzijde, juist het hoofddoel van de terwijl verbetering van deze omstandigheden bijstandsverlening uit de Structuurfondsen is13. Bij de evaluaties halverwege de looptijd zijn de aanbodzijde-effecten in de vorm van versterking van de infrastructuur, het menselijke kapitaal en de productieve investeringen binnen een economie geraamd volgens uiteenlopende methoden die ook qua verfijndheid van elkaar verschillen. Voor Ierland en Spanje zijn modellen van het HERMIN,4-type toegepast, terwijl voor Griekenland, Portugal en Italië gebruik is gemaakt van meer algemene econometrische modellen. Vele variabelen,zijn endogeen, maar er wordt ook rekening gehouden met "externe" invloeden zoals de rentepercentages, de wisselkoersen en de economische groei bij de handelspartners. Omdat voor Oost-Duitsland geen macro model beschikbaar was, zijn bij de Duitse evaluatie volgens een ad-hocbenadering stapsgewijs ramingen gemaakt voor de verschillende parameters die van invloed zijn op het BBP en de werkgelegenheid; de auteurs hebben zelf in het verslag aangetekend dat de resultaten door een hoge mate van onzekerheid worden gekenmerkt. Bij twee studies was de aanbodzijde niet in het model geïntegreerd en zijn gewoon extra berekeningen voor de effecten aan de aanbodzijde gemaakt op basis van in de literatuur beschikbare gemiddelde waarden. Volgens de berekeningen in de Portugese evaluatie ligt het extra productiviteitseffect tussen 1,17 % en 2,35 %. In de studie over Oost-Duitsland wordt verondersteld dat de lange-termijneffecten aan de aanbodzijde op het BBP 20 % zullen bedragen van de korte-termijneffecten aan de vraagzijde. Om deze reden betreffen de hierna gepresenteerde resultaten voor deze twee landen (en vooralsnog ook voor Griekenland) alleen de effecten aan de vraagzijde. Een specifiek probleem op het gebied van macro-modellen rijst voor die landen waarvan het grondgebied niet in zijn geheel voor steun in het kader van doelstelling 1 in aanmerking komt (Duitsland, Spanje en Italië). Dit probleem is telkens op een andere manier opgelost: voor Duitsland is de evaluatie beperkt gebleven tot een analyse van het effect op Oost-Duitsland; bij de Spaanse evaluatie is alleen het effect op Spanje als geheel bekeken; dankzij de dualistische structuur van het Italiaanse macro-model kon zowel het effect op Zuid-Italië als dat op heel Italië worden beoordeeld. 13 14 De meest recente pogingen om de gecombineerde effecten aan de vraag- en de aanbodzijde van de steun uit de Structuurfondsen te kwantificeren zijn ondernomen met behulp van het QUEST II- model; de resultaten daarvan zijn gepresenteerd in het Eerste Cohesieverslag (1996). Er is ook het HERMIN-model, waarvan met name gebruik is gemaakt in een studie over de interne markt (1996). HERMIN is een macro-economisch model dat speciaal is ontworpen voor het kwantificeren van de effecten op middellange tot lange termijn van de CB's. Het verschaft een gemeenschappelijk kader dat is toegespitst op de belangrijkste structurele kenmerken van de "cohesielanden", en het maakt duidelijk via welke mechanismen de CB's de aanbodzijde van de economieën van deze landen zullen beïnvloeden. -14- Wat de vergelijkbaarheid van de resultaten van de verschillende evaluaties halverwege de looptijd (zie grafiek 1) betreft is enige voorzichtigheid geboden omdat in elk land telkens weer een andere methode is gebruikt. Desondanks kan er geen twijfel aan bestaan dat de programma's voor doelstelling 1 positieve effecten op de groei en de werkgelegenheid sorteren. Vooral als gevolg van de invloed van de gestegen productiviteit zijn de geraamde werkgelegenheidseffecten doorgaans veel lager dan de geraamde effecten op de groei. Grafiek 1 laat zien dat bijvoorbeeld in Spanje het CB er waarschijnlijk toe zal leiden dat het BBP in 1999 5,1 % hoger zal zijn dan de omvang die het in de referentiesituatie (zonder CB) zou hebben, wat neerkomt op een jaarlijkse extra groei van gemiddeld circa 0,8 %, terwijl de werkgelegenheid in 1999 ten opzichte van de referentiesituatie maar 2,4 % groter zal zijn. De uitdaging voor toekomstige evaluaties van het macro-economisch effect van de bijstandsverlening van de Structuurfondsen zal erin bestaan een ruimer gebruik te maken van methodologieën die tot de meest geavanceerde behoren. In macro-modellen behoort niet alleen de vraagzijde te worden geïntegreerd, maar ook de aanbodzijde, welke laatste het mogelijk maakt de belangrijkste categorieën op het gebied van bijstandsverlening, zoals infrastructuur, het menselijke kapitaal en productieve investeringen, van elkaar te onderscheiden. De belangrijkste variabelen waarvoor resultaten moeten worden verstrekt, zijn het BBP, de investeringen, de werkgelegenheid, de consumentenprijzen, het begrotingstekort en de in- en uitvoer. De interessantste additionaliteitsscenario's betreffen de EU-steun alleen en de combinatie van EU-steun en nationale steun, in beide gevallen exclusief de bijdragen van de privé-sector. Ook dient rekening te worden gehouden met de alternatieve kosten van de overheidsuitgaven, d. w. z. de effecten die een ander gebruik van de EU- en nationale middelen zou kunnen opleveren. Tenslotte kan de gevoeligheid van de resultaten voor veranderingen in de CB-uitgaven en in het economische beleid concretere informatie ten behoeve van beleidsconclusies opleveren. Grafiek 1: Resultaten van de evaluaties halverwege de looptijd - procentuele verschillen ten opzichte van de referentiesituatie in 1999 % 4. 4 • BBP • Werkgele genheid 2. 0 I 1. 0 Italië (Dst. 1) Portugal Duitsland Griekenland Spanje ' (Dst. 1) Ierland Opmerking: Voor Portugal gaat het bij de werkgelegenheid om de daling van de werkloosheid in Bronnen: procentpunten. Ifo Institut (Duitsland), KEPE (Griekenland), Quasar (Spanje), ESRI (Ierland), Ministero del Tesoro-Nucleo di Valutazione (Italië), CISEP (Portugal). -15- Beoordeling van het macro-economische effect in kleine gebieden Er zijn specifieke modellen ontworpen voor het ramen van het lange-termijneffect op de groei, de investeringen en de werkgelegenheid in kleine gebieden. De voor de Belgische regio Henegouwen (Doelstelling 1) ontwikkelde methodologie is interessant ondanks de moeilijkheden die werden ondervonden bij het verzamelen van regionale gegevens op een zeer laag aggregatieniveau (kader 4). Kader 4: Henegouwen (Doelstelling 1) : het HELM-model HELM (Hainaut Lead-in Model) is een econometrisch model waarin wordt aangenomen dat tussen de groei van de productie en de groei van de productiviteit een fundamentele relatie bestaat. Dit model is verder uitgewerkt om rekening te kunnen houden met de verschillende componenten van de groei van de productiviteit (onderzoek en ontwikkeling, fysisch kapitaal, vaardigheden). De resultaten worden gepresenteerd voor drie situaties: de referentiesituatie (A), het GPD zonder verdere specificaties (B) (meting van het extra effect van het GPD), het GPD met verdere specificaties (C) (meting van het extra effect nadat voor de steunregelingen het steunpercentage en de vastgestelde selectiecriteria in het model werden opgenomen). Vergelijking tussen deze situaties maakt het mogelijk het extra effect van het GPD ten opzichte van de referentiesituatie te ramen. De resultaten van de simulaties die voor de evaluatie halverwege de looptijd van het GPD werden uitgevoerd, betreffen drie belangrijke variabelen (investeringen, toegevoegde waarde en werkgelegenheid) in de industrie en de sector zakelijke dienstverlening. Volgens het model zal het GPD zorgen voor een extra groei van de investeringen met 0,7 % per jaar in de periode 1994-2005 en zal er sprake zijn van een extra groei van de werkgelegenheid met 0,3 % per jaar, wat zal neerkomen op een netto werkgelegenheidseffect van 5. 100 banen in 1999 en 15. 800 banen in 2005. De massale besteding van middelen aan het einde van de looptijd zal de tenuitvoerlegging van het GPD minder doelmatig maken. Vertragingen in de uitvoering kunnen ook tot gevolg hebben dat de effecten zichtbaarder zijn aan het einde van de looptijd en daarna. Het model laat zien dat enigerlei verhoging van het steunpercentage slechts een matig effect op de investeringen zal hebben, maar dat deze laatste bepaalde gunstige (indirecte) effecten binnen de regio zullen opleveren. Daarom is sprake van een significant risico dat de groei na voltooiing van het GPD weer zal dalen tot een niveau dat lager ligt dan het EU-gemiddelde. b) Micro-economische beoordeling Beoordeling van de doeltreffendheid De beoordelaars is gevraagd na te gaan hoe doeltreffend de bijstandsverlening is. Bij de meeste evaluaties is onderzocht in hoeverre de programma's aan de erin vermelde doelstellingen beantwoorden15. Een onderdeel van dit werk bestond in een studie van de bestaande indicatoren en in sommige gevallen werd een aantal nieuwe of opnieuw toe te passen kern- en sleutelindicatoren voorgesteld waarover overeenstemming moest worden bereikt met de regionale autoriteiten. Vaak is in het kader van dit beoordelingswerk een grondig onderzoek van de systemen betreffende de indicatoren nodig geweest, waarbij 15 Aspecten van de doelmatigheid, een van de moeilijkste onderwerpen bij een evaluatie, werden slechts zelden onderzocht. Bij de doelmatigheid gaat het om een vergelijking van de inputs (financiële middelen) met de outputs (geproduceerde goederen en diensten) en de resultaten (de aanvankelijke effecten) van het programma. Geraamd moet worden of dezelfde voordelen hadden kunnen worden verkregen met minder inputs, dan wel of met dezelfde inputs meer voordelen hadden kunnen worden verkregen. Als het om de doelmatigheid gaat, moeten noodzakelijkerwijs vergelijkingen worden gemaakt met verschillende referentiesituaties. Het grootste probleem is dus de keuze van passende referentiepunten. -16- het niet alleen de financiële resultaten betrof, maar ook het toezicht aan de hand van overeengekomen fysieke en effectindicatoren. Een systematisch onderzoek naar de doeltreffendheid is uitgevoerd bij de evaluatie van het Ierse CB. Daarbij is gebruik gemaakt van een micro-enonomisch model om te beoordelen of de maatregelen behoorlijk waren uitgewerkt en of zij geschikt waren om de ermee beoogde doelstellingen te bereiken. Bij deze aanpak is het uitgangspunt dat de activiteiten van de Structuurfondsen niet uitsluitend uit het oogpunt van de besteding van de middelen mogen worden beoordeeld, maar dat veeleer moet worden gekeken naar de maatschappelijke voordelen die deze activiteiten de economie zullen opleveren. De door de beoordelaar gekozen methodologie heeft tot doel de maatregelen onderling op doeltreffendheid te beoordelen om zo te zorgen voor een optimale allocatie van de financiële middelen (d. w. z. een zodanige verdeling over de programma's dat overal in vergelijkbare mate sprake is van "waar voor je geld") en de beste benadering als zodanig te kunnen herkennen. Voor een meer gedetailleerde beschrijving wordt verwezen naar kader 13. Op een meer operationeel niveau is het de bedoeling dat bij de evaluatie wordt gemeten in hoeverre de belangrijkste doelstellingen van het programma worden bereikt. In het geval van Merseyside had de evaluatie betrekking op een aantal sleutelindicatoren (aantal MKB-bedrijven, gesaneerde oppervlakte bedrijventerrein, gerealiseerde oppervlakte bedrijfsruimte), waarbij behalve de gegevens over de output ook de corresponderende resultaten op het gebied van banenschepping en gegenereerde particuliere investeringen werden geïnventariseerd. Er zijn gekwantificeerde doelstellingen voor 1999 beschikbaar en bij de evaluatie halverwege de looptijd zijn de tot dan gemaakte vorderingen gemeten. De voor deze indicatoren verstrekte gegevens zijn totalen op het niveau van de prioriteiten. Na de evaluatie halverwege de looptijd is begonnen met een proces van herziening van de referentiesituatie, de streefcijfers en de outputgegevens voor Merseyside. Kader 5: Beoordeling van de doeltreffendheid aan de hand van programma-indicatoren - GPD voor Merseyside - Doelstelling 1 (1994-1999) - werkelijke outputs/resultatert dankzij de bijstand uit het EFRO Priori- teit EFRO- uitgaven Bruto werkgele- genheidseffect (direct & indirect) Oppervlakte bedrijfsruimte Oppervlakte gesaneerd bedrijventerrein. Particuliere investeringen mln£ % van GPD x 1000 % van GPD- doel x 1000 % van GPD- doel m2 1 2 3 4 5 28. 8 44. 4 15. 4 4. 8 22. 1 Totaal 115. 5 21 54 42 16 26 31 5. 4 9. 2 0. 8 0. 7 3. 0 19. 2 15 142 16 64 454 39 114 116 1 9 240 20 70 0 15 n/b 24 ha 255 17 32 210 513 % van GPD- doel mln £ % van GPD- doel 52 12 nib 300 73 67 76 0 8 23 176 40 90 28 n/b 77 Opmerking: De prioriteiten van het GPD voor Merseyside zijn: 1) van elders afkomstige investeringen, 2) plaatselijke bedrijven, 3) maatregelen op het gebied van kennisinfrastructuur, 4) cultuur, media en vrijetijdsbesteding, 5) acties voor Merseyside. Verslag over de evaluatie halverwege de looptijd (november 1996). Bron: -17- De op het niveau van het OP of GPD gedefinieerde indicatoren verschaffen een basis voor het toezicht op en de beoordeling van de doeltreffendheid. Zij maken op zichzelf echter nog geen definitieve conclusies mogelijk, vooral niet wat de effecten betreft, omdat in sommige gevallen het oorzakelijke verband moeilijk is vast te stellen (d. w. z. : de indicatoren kunnen door externe factoren zijn beïnvloed). Vaak is het nodig de gegevens over de indicatoren aan te vullen met een kwalitatieve analyse en met passend evaluatiewerk. Overzicht van de belangrijkste outputs en resultaten De aan de evaluatieverslagen ontleende micro-economische gegevens over outputs en resultaten zijn niet gemakkelijk in een geaggregeerde vorm te presenteren als gevolg van hun specifieke karakter en van het feit dat de programma's in dit opzicht niet altijd onderling vergelijkbaar zijn. Onderkend moet ook worden dat de mate waarin deze gegevens halverwege de looptijd kunnen worden gekwantificeerd, verschilt naar gelang van het actieterrein (infrastructuur, midden- en kleinbedrijf, menselijk potentieel, enz. ) en de regio. Onvermijdelijk verschillen de evaluatieverslagen enigszins van elkaar wat gehanteerde normen en reikwijdte betreft en dit geldt ook voor de mate waarin essentiële in elementen zoals outputs, resultaten en veranderingen wat grote verschillen ontwikkelingsniveau betreft konden worden gekwantificeerd. In kader 6 worden enkele prestaties van de programma's voor de doelstellingen 1 en 6 behandeld. Basisinfrastructuur - verkleining van de verschillen Bij de basisinfrastructuur is het effect van de communautaire activiteit het meest zichtbaar en het best te meten. Het structurele effect van deze belangrijke investeringen is soms groot. Zo wordt in Spanje bijvoorbeeld gemiddeld meer dan 25 % van de nationale infrastructuurinvesteringen en energienetwerken medegefinancierd via het CB. In de meeste sectoren is belangrijke vooruitgang geboekt wat de verkleining van de verschillen ten opzichte van de rest van de Unie betreft (zie kader 6). op het gebied van vervoers-, communicatie- Kader 6: Belangrijke prestaties op het gebied van de basisinfrastructuur • De verlening van aanzienlijke steun voor de ontwikkeling van het strategische wegennet in de cohesielanden wordt voortgezet. Zo wordt er bijvoorbeeld steun verleend voor de verbetering van vier belangrijke corridors in Ierland (in 1996 voor 49 % uitgevoerd, vergeleken met een voor 1999 gepland uitvoeringsniveau van 53 %) en voor de voltooiing van de snelweg Athene-Thessaloniki (tot nog toe 400 km aangelegd). Wat de aanleg van snelwegen en hoofdwegen in Portugal betreft, is het voor 1999 vastgestelde doel nu voor 74 % bereikt. In Spanje is de snelwegeninfrastructuur tussen 1993 en 1995 (het meest recente jaar waarvoor cijfers beschikbaar zijn) toegenomen met 13 %, wat vooral de minder ontwikkelde regio 's zoals Andalusië ten goede is gekomen. • • In alle regio 's van doelstelling 1 zijn belangrijke investeringen gedaan in de telecommunicatiesector om te zorgen voor modernere systemen zoals digitale centrales en optische kabelverbindingen. Dit heeft ertoe bijgedragen dat de verschillen in voorzieningenniveau ten opzichte van de rest van de Unie veel kleiner zijn geworden. In Portugal zijn er nu per 100 inwoners evenveel telefoonlijnen als het EU- gemiddelde, terwijl was verwacht dat dit doel pas in 1999 zou worden bereikt. In Zuid-Italië heeft de digitalisering inmiddels hetzelfde niveau (85 %) bereikt als in Midden- en Noord-Italië. In Spanje zijn de gedigitaliseerde netten tussen 1993 en 1995 toegenomen met 36 %. Er is ook vooruitgang geboekt op het gebied van de diversificatie van de energiebronnen, waarbij vooral de afhankelijkheid van olie kleiner is geworden. In Griekenland kan naar verwachting een begin worden gemaakt met de levering van aardgas. De aanleg van de hogedrukpijpleiding voor aardgas (513 km) is voltooid en een ander groot project (een lagedruknet voor aardgas met een totale lengte van 1. 000 km) is bijna gereed (voor 84 %). In Portugal was in 1996 reeds meer dan de helft van het geplande gasnet (600 km) aangelegd en in 1999 zal het aandeel van gas in het totale energieverbruik -18- 7,5 % bedragen. De afgelopen jaren is in Griekenland, Spanje en Portugal het energieverbruik in procenten van het BBP sterk gedaald. de van voor steun verleend vergroting de milieusector betreft, wordt de en van Wat drinkwatervoorzieningssystemen van afvalwaterzuiveringsinstallaties. In Griekenland zijn reeds systemen voor drinkwatervoorziening en afvalwaterzuivering voltooid die ongeveer 5 miljoen inwoners (de helft van de bevolking) bedienen. Ook in kleinere regio 's van doelstelling 1 is er geïnvesteerd. Zo is er het subprogramma voor Noord- Ierland, waar de bouw van installaties voor de drinkwatervoorziening en de afvalwaterzuivering in het betrokken gebied ongeveer 2. 270 banen heeft gecreëerd. Belangrijke milieuvoordelen zijn ook te danken aan een hele serie specifieke maatregelen, waaronder de sanering van belangrijke vervuilde industrieterreinen, de uitvoering van milieu-audits in het midden- en kleinbedrijf de steunverlening voor de ontwikkeling van ecoproducten en de vermindering van emissies via diversificatie van de energievoorziening. verbetering capaciteit de Productieve sector - steun voor de werkgelegenheid In de productieve sector is de structurele steun toegespitst op verbetering van de omstandigheden voor bestaande bedrijven, waardoor het ontplooien van nieuwe activiteiten werd bevorderd. In brede kring wordt erkend dat vooral de steun aan het midden- en kleinbedrijf een belangrijke rol speelt in het scheppen van banen en dat er zo toe wordt bijgedragen om structurele verschillen in productiviteit en inkomensniveau te overbruggen. Enkele voorbeelden kunnen verduidelijken wat de recente ontwikkelingen zijn met betrekking tot de effecten die de Structuurfondsen in dit opzicht sorteren (zie kader 7). Kader 7: Enkele prestaties in de productieve sector • Bij de omvangrijke steunregelingen lag het accent vooral op het scheppen van banen, waardoor de negatieve gevolgen van de industriële herstructurering gedeeltelijk werden gecompenseerd. In Henegouwen zijn bijna alle middelen die beschikbaar zijn voor steunregelingen, in het bijzonder de steunregelingen voor het MKB, vóór het einde van de periode gebruikt; volgens schattingen zijn met deze maatregelen nu al meer banen geschapen dan het aantal dat werd nagestreefd (er zijn meer dan 2. 200 banen geschapen, terwijl de verwachting was dat het er 1. 800 zouden zijn). In Duitsland (Doelstelling 1) heeft de steun uit de Structuurfondsen actief bijgedragen tot de ondersteuning van de werkgelegenheid. Zo zijn bijvoorbeeld in Sachsen-Anhalt 18. 500 arbeidsplaatsen in de chemische industrie ondersteund, en daar komen nog eens bijna 20. 000 arbeidsplaatsen in het midden- en kleinbedrijf bij. In Italië heeft het industrieprogramma in de periode 1994-1996 waarschijnlijk meer dan 75. 000 banen gecreëerd of veiliggesteld. • In de toeristische sector zullen gunstige effecten optreden dankzij de realisering van nieuwe capaciteit, zoals in Sachsen (uitbreiding van de hotelcapaciteit met 11. 500 bedden) en in Ierland, waar reeds 18 grote projecten zijn voltooid die zorgen voor extra voorzieningen om de kwaliteit en het niveau van toeristische attracties te verbeteren. Deze door de Structuurfondsen ondersteunde investeringen zullen nieuwe werkgelegenheid scheppen. • Ook de heraanleg van industrieterreinen zal de economische omstandigheden helpen verbeteren en nieuwe bedrijven helpen aantrekken. In sommige Duitse deelstaten was dit een belangrijke prioriteit. Zo is bijvoorbeeld in Oost-Berlijn 51. 000 m2 bedrijfsruimte gerenoveerd, wat 600 nieuwe banen kan opleveren. In Sachsen is in totaal 620 ha getransformeerd in bedrijvenparken. In Nord-Pas de Calais zal 40 à 45 % van de binnen de regio van doelstelling 1 gelegen industrieterreinen worden verbeterd. Menselijke hulpbronnen : kwantificering van de effecten Het werkplan voor de specifieke evaluaties op het gebied van de menselijke hulpbronnen voorzag onder meer in een analyse van het effect van de opleidingsmaatregelen op de -19- begunstigden. De belangrijkste resultaten van de betrokken studies worden gepresenteerd in het onderstaande kader 8. Kader 8: Effect van de opleidingsmaatregelen op de begunstigden In Spanje heeft de beoordelaar de inschakeling in het arbeidsproces van cursisten per doelgroep onderworpen aan een vergelijkende analyse met gebruikmaking van de databank van het INEM (het Nationale Instituut voor Arbeidsvoorziening) als controlegroep. De analyse betrof uitsluitend de maatregelen op het gebied van beroepsopleiding. De voornaamste conclusies stemmen overeen met de resultaten van de evaluatie achteraf voor de periode 1989-1993: wat het bruto-effect betreft, ligt het aan werk geholpen percentage 20 % hoger bij de cursisten dan in de controlegroep; het percentage dat werk heeft gevonden, ligt hoger bij de jongeren, de mannen en de houders van een diploma van het middelbaar onderwijs. Wordt echter het netto-effect geraamd, dan varieert het verschil ten opzichte van de controlegroep aanzienlijk volgens de kenmerken van de cursisten. Wat bijvoorbeeld degenen die ouder zijn dan 45 jaar betreft, lag bij de cursisten het percentage dat een baan heeft gevonden 32 % hoger dan in de controlegroep. De opleiding lijkt ook de kansen van vrouwen op het vinden van een baan te hebben vergroot: voor hen bedraagt het netto-effect 27,1 % tegen slechts 14,9 % voor mannen. Als wordt gekeken naar het kwalificatieniveau, is het effect van de opleiding voor degenen die alleen lager onderwijs hebben genoten opvallend: de opleiding heeft hun kansen op het vinden van een baan met 48,8 % verhoogd. Duitsland: effect van de GIQst (Gemeinschaft Initiative- Ost) In Duitsland is geraamd dat het federale programma ter ondersteuning van de GlOst (d. w. z. opleidingen voor jongeren in het kader van het leerlingstelsel) de werkloosheid onder jongeren in 1995 met 3 procentpunten heeft doen dalen. Tot nu toe zijn op het niveau van de deelstaten slechts weinig gegevens verzameld over het succes van de arbeidsbemiddeling. Bij combinaties van opleidingsmaatregelen en subsidies is het succespercentage doorgaans hoger, maar dergelijke combinaties zijn eerder uitzondering dan regel. Er kunnen hier enkele regionale resultaten worden vermeld. De beoordelaar concludeert dat in Berlin-Ost, voor de permanente educatie en de opleiding van werklozen samen, 60 % van de cursisten zes maanden later een baan had gevonden of hun baan nog steeds had weten te behouden. In Mecklenburg- Vorpómmern vond 40 à 45 % van degenen die een opleidingsprogramma hadden gevolgd, een baan (21 à 32 % van hen op de eerste arbeidsmarkt). Een programma voor beginnende ondernemers, dat vooral tot doel had de betrokkenen te helpen ervoor te zorgen dat zij begonnen met een bedrijf dat levensvatbaar was, leidde ertoe dat circa 50 % van de starters succesvol was. Diverse programma 's voor de permanente educatie van werknemers (maatregelen van het doelstelling 4-type) in Mecklenburg-Vorpommern, Thüringen en Sachsen-Anhalt hadden als resultaat dat het gevoel van werkzekerheid bij de deelnemers met 35 à 77 % toenam. Portugal: effect op het onderwijsstelsel Het programma PRODEP heeft het Portugese onderwijsstelsel versterkt in die zin dat de onderwijstrajecten werden gediversifieerd en dat zowel kwalitatieve als kwantitatieve aspecten werden aangepakt. Een van de belangrijkste bijdragen van het programma betrof de opleiding van docenten, niet alleen voor het eerste en het tweede niveaufwaar 49,3 % van de onderwijsgevenden werd bereikt), maar ook op universitair niveau (waar beurzen werden verstrekt om de mastergraad te behalen of te promoveren). Wat de uitbreiding en diversificatie van de onderwijs- en opleidingstrajecten betreft, kan worden gewezen op belangrijke veranderingen zoals hét feit dat het middelbare onderwijs is uitgebreid en dichter bij de werkplek is gebracht en dat is gezorgd voor meer beroepskeuzevoorlichting en begeleiding op de scholen. In feite is dankzij de steun voor de opleiding van technici op middelbaar niveau een heel subsysteem ontstaan dat technische' vaardigheden bijbrengt die rechtstreeks relevant zijn voor de arbeidsmarkt, en dat een alternatief biedt voqr het gewone onderwijs. Landbouw en plattelandsontwikkeling Waar voor landbouw en plattelandsontwikkeling een afzonderlijk programma op nationaal niveau bestaat, is dat programma aan een specifieke evaluatie onderworpen. Voor de GPD's en de landbouwmaatregelen uit de regionale programma's geldt dat de evaluatie ervan is geïntegreerd in een meer algemene evaluatie. Sommige lidstaten zoals Ierland hebben gedetailleerde evaluaties laten verrichten voor de verschillende zwaartepunten van de programma's (agro-industrie, vestiging van jonge -20- landbouwers, compenserende vergoedingen, gelijke kansen, landbouwopleiding, enz. ). In die gevallen is gebleken dat de evaluatie een instrument is om een betere kennis van de situatie te verkrijgen, de problemen te analyseren en te achterhalen welke maatregelen het meest geschikt zijn om die problemen op te lossen. Kader 9: Evaluatie van landbouwmaatregelen - het programma PAMAF (modernisering van de landbouwstructuur in Portugal) In het evaluatieverslag wordt geconstateerd dat de financiële en fysieke uitvoering vrij traag op gang is gekomen, wat in hoofdzaak is toe te schrijven aan vertragingen in de uitwerking van de betrokken wetgeving en aan wijzigingen op het niveau van het beheer. Dit is nu echter onder controle en de beoordelaar is optimistisch ten aanzien van de mogelijkheid om door middel van enkele aanpassingen in het beheer en in de financiële verdeling over de maatregelen de achterstand in de uitvoering van het programma weg te werken en de beoogde doelstellingen te bereiken. Dit operationele programma betreft hoofdzakelijk investeringssteun aan landbouwbedrijven (hoge uitvoeringsgraad), infrastructuurwerkzaamheden zoals irrigatie, de aanleg van landwegen, drainage en bodembehoud, de bosbouw, de verwerking en afzet van landbouw- en bosproducten, compenserende vergoedingen in de probleemgebieden en opleiding en onderzoek. Deze maatregelen hebben tot doel het concurrentievermogen van de landbouwbedrijven te vergroten. Bij de meeste ervan gaat het om een voortzetting van het vorige programma, dat gunstige resultaten heeft opgeleverd. De maatregelen maken trouwens deel uit van het structuurbeleid van de EU. De beoordelaar vestigt er met name de aandacht op dat er sprake is van enige versnippering van de maatregelen, wat gevolgen heeft voor hei feitelijke effect en voor het beheer en de uitvoering. Hij bepleit een herschikking van de beschikbare bedragen ten gunste van de maatregelen die als prioritair worden beschouwd, waaronder met name de steun aan de landbouwbedrijven en vóór irrigatie,* en hij legt de nadruk op de noodzaak de beroepsopleiding te versterken. Voorts constateert hij dat er inspanningen worden geleverd om de steun te concentreren op de privé-sector en dat er sprake is van een heterogene verdeling van de projecten over de regio's. In het verslag worden enkele resultaten van het landbouwprogramma voor de periode 1994-1996 vermeld, waaronder de financiering van ongeveer 20. 000 projecten en de steunverlening aan 11. 500 landbouwbedrijven en voor de vestiging van 2. 800 jonge landbouwers. Visserij Het FIOV verleent steun op vijf belangrijke actieterreinen : aanpassing van de visserij-inspanningen (26 % van de betrokken financiële middelen), vernieuwing en modernisering van de vloot (24 %), verwerking en afzet van de producten (23 %), ontwikkeling van de aquacultuur (11 %) en outiïlering van de vishavens (7 %). Het FIOV beheert momenteel 31 programma's, waarvan 17 voor doelstelling 1, 12 voor doelstelling 5a en 2 voor doelstelling 6. Van de beschikbare middelen gaat 65 % naar doelstelling 1. De evaluaties halverwege de looptijd van deze programma's hebben interessante informatie opgeleverd over de doeltreffendheid van de bijstandsverlening en ten behoeve van de herprogrammering (verschuiving van middelen tussen actieterreinen of tussen maatregelen). Zij hebben enkele tekortkomingen van het toezicht aan het licht gebracht, vooral wat het verstrekken van sociaal-economische gegevens betreft. In bepaalde gevallen zijn voorgestelde verbeteringen van de indicatoren uitgevoerd en ook zijn er eerste analyses van het werkgelegenheidseffect verricht. Kader 10 : Een voorbeeld : het Spaanse programma in het kader van doelstelling 1 Dit operationele programma voor de visserij, waarvoor ongeveer 1 miljard ecu beschikbaar is, is één van de prioritaire zwaartepunten van het CB. De maatregelen van dit programma spitsen zich vooral toe op de aanpassing van de visserij-inspanning, de modernisering van de vloot, de verwerking van de producten, de aquacultuur en de outillering van de vishavens. In het evaluatieverslag wordt geconstateerd dat de gemiddelde uitvoeringsgraad bevredigend is (57 %), maar dat er op dit punt grote verschillen zijn al naar -21- het actieterrein : de uitvoeringsgraad is laag bij de modernisering van de visserij en de aquacultuur (10 à 20 %) en hoog bij de haveninfrastructuur en de verwerking van de producten (60 à 100 %). De effectiviteitsgraad is het laagst bij de aquacultuur (2 %) : problemen bij deze maatregel zijn de langdurige administratieve procedures die voor de projecten moeten worden gevolgd, de geringe rentabiliteit die potentiële investeerders afschrikt, en de milieu-eisen die bij de selectie van de projecten worden gesteld. De hoogste effectiviteitsgraad kan worden geconstateerd bij de verwerking (65 %) : hier geven de bedrijven van de begunstigde meestal een forse groei te zien, zodat zij over een behoorlijke investeringscapaciteit beschikken. De beoordelaar stelt een herschikking van de financiële middelen voor die ten koste gaat van de aanpassing van de visserij-inspanning en van de aquacultuur en ten goede komt aan de modernisering van de vissersvaartuigen en aan de verwerking van de producten. Een enquête onder de begunstigden heeft uitgewezen dat 35 % van de via het programma gesubsidieerde projecten werkgelegenheid heeft opgeleverd of in stand heeft gehouden (volgens de eerste resultaten : in totaal 780 arbeidsplaatsen), vooral op het gebied van de verwerking van de producten. Voorts wordt uitvoering gegeven aan voorstellen om de output- en resultaatindicatoren te verbeteren, om het aantal specifieke indicatoren voor de aquacultuur te verminderen, om effectindicatoren te bepalen met betrekking tot de vloot en om voor alle actieterreinen werkgelegenheidsindicatoren in te voeren. Tenslotte heeft de beoordelaar geconstateerd dat op het gebied van de aquacultuur sprake is van een strikte toepassing van het beginsel van milieubescherming, en beveelt hij aan om ook op andere terreinen (verwerking van de producten en outillering van de havens) meer rekening met dit beginsel te houden. c) Kwaliteit van de uitvoeringsmechanismen Er was ook" opdracht gegeven om bij de evaluaties halverwege de looptijd de manier te beoordelen waarop de middelen van de Fondsen worden beheerd, waarbij het vooral gaat om de toezichtsystemen en de criteria voor de selectie van de projecten. Systemen voor het toezicht en de toepassing van indicatoren In vergelijking met de voorgaande programmeringsperiode is bij de huidige programma's sprake van belangrijke ontwikkelingen op het punt van het gebruik van kwantitatieve indicatoren als middel om toezicht uit te oefenen op de tenuitvoerlegging van de programma's, om het effect van de programma's te beoordelen en om na te gaan welke vorderingen zijn gemaakt bij de verwezenlijking van de algemene doelstellingen. De Gemeenschap heeft een gemeenschappelijke gids voor het toezicht en de evaluatie {Common Guide for Monitoring and Evaluation) opgesteld om voor een consistente aanpak en uniforme normen te zorgen16. Deze gids is een belangrijke stimulans geweest voor de genoemde verbeteringen. De situatie is echter niet voor alle programma's even goed. Bij een aantal programma's is de via de indicatoren beschikbare informatie vaak niet toereikend om de prestaties te kunhen meten of om te kunnen nagaan of bevredigende voortgang is gemaakt. Andere belangrijke tekortkomingen betreffen het ontbreken van passende praktische streefcijfers voor de maatregelen en van een 16 In de gids van de Commissie wordt met betrekking tot de indicatoren onderscheid gemaakt tussen de output, de resultaten en de effecten. De outputindicatoren hebben betrekking op de financiële en fysieke tenuitvoerlegging (b. v. het aantal aangelegde kilometers weg en de kosten daarvan, het aantal gegeven opleidingscursussen). Bij de resultaatindicatoren gaat het om de onmiddellijke gevolgen van een maatregel (b. v. tijdbesparing dankzij een wegenproject, het aantal deelnemers dat een opleidingscursus met succes heeft voltooid). Bij de effectindicatoren gaat het om wat er met de maatregel is bereikt. Daarbij kan onderscheid worden gemaakt tussen de specifieke of onmiddellijke effecten van een maatregel (b. v. het aantal personen die een baan hebben gekregen) en de algemene of uiteindelijke effecten, dit zijn de algemene sociaal-economische effecten (b. v. de stijging van de werkgelegenheid of van het BBP). -22- samenhangend, regelmatig functionerend systeem voor het verzamelen van gegevens over de fysieke outputs, de resultaten of de effecten. Ondanks de vele verbeteringen blijft het definiëren en kwantificeren van passende indicatoren nog een onbevredigend aspect van het beheer van de programma's. De indicatorsystemen moeten verder worden uitgewerkt om het toezicht te verbeteren en te helpen bij de evaluatie, maar begonnen dient te worden met het opsporen van voorbeelden van goede benaderingen op dit gebied. Bij een aantal programma's zijn interessante pogingen ondernomen om een adequaat beheersinformatiesysteem tot stand te brengen. In kader 11 worden enkele voorbeelden gegeven. Kader 11 : Verbetering van de toezichtsystemen Een goed beheerd informatiesysteem is onmisbaar ter ondersteuning van het evaluatieproces (al komt er bij een goede evaluatie nog wel meer kijken). In Nord-Pas de Calais (doelstelling 1) wordt gewerkt met een geïntegreerd toezichtsysteem waarin financiële en fysieke indicatoren op projectniveau aan elkaar worden gekoppeld. In Noord-Ierland bestond de evaluatie halverwege de looptijd voor een belangrijk deel uit een intensieve analyse van NIQUID (de voor het GPD overeengekomen databank met alle indicatoren) met als doel er een effectief beheersinformatiesysteem voor het GPD van te maken. De beoordelaar stelde voor om op regelmatige basis de vorderingen te volgen bij 52 indicatoren in plaats van de in het GPD genoemde 330 indicatoren. Bovendien is voor elk subprogramma een stel van sleutelindicatoren ontwikkeld om de-specifieke effecten van het subprogramma te kunnenbepalen. Belangrijk werk is ook verricht in Italië, waar een gestandaardiseerd stelsel van indicatoren is uitgewerkt voor de ESF-maatregeien. In Portugal is voor nagenoeg alle actieterreinen een verbetering van de indicatoren bewerkstelligd, al is de kwaliteit van de gegevens nog voor verdere verbetering vatbaar. Criteria voor de selectie van de projecten In sommige gevallen zijn in de eerste twee of drie jaren van de tenuitvoerlegging van de programma's tamelijk verfijnde waarderingssystemen ontwikkeld voor de keuze van de mede te financieren projecten. Bij sommige van die systemen (b. v. in Merseyside) wordt met allerlei factoren tegelijkertijd rekening gehouden en wordt niet alleen de subsidiabiliteit beoordeeld, maar worden ook selectiecriteria gehanteerd per prioriteit en daarbinnen per maatregel. De criteria voor de prioriteit, die gemeenschappelijk zijn voor alle onder die prioriteit vallen projecten, betreffen bijvoorbeeld onder meer de outputs van het project, "waar voor je geld", de gegenereerde privé-investeringen en recenter ook de milieueffecten. In veel evaluaties halverwege de looptijd zijn vraagtekens geplaatst bij de doeltreffendheid van dergelijke systemen. Op zichzelf zijn doorzichtige en objectieve criteria een goede zaak, maar wellicht zijn zij niet voldoende om te garanderen dat de beste projecten worden gekozen. Er zullen verdere controles nodig zijn, bijvoorbeeld op informatie en de geloofwaardigheid van de- door de aanvragers verstrekte outputprognoses. Kader 12 : Merseyside - waarderingssystemen voor de selectie van ESF/EFRO-projecten Voor het GPD voor Merseyside is een systeem voor de selectie van de projecten opgezet waarin criteria worden gehanteerd op drie niveaus : de subsidiabiliteitscriteria of "kerncriteria ", de selectiecriteria voor de prioriteit, die gemeenschappelijk zijn voor alle onder die prioriteit vallende projecten, en de selectiecriteria voor de maatregel, die kunnen verschillen van die voor de prioriteit. Het was de bedoeling criteriasets te ontwikkelen die begrijpelijk en doorzichtig waren en op een groot aantal heterogene projecten konden worden toegepast. De belangrijkste criteria voor de prioriteiten zijn onder meer de verwachte outputs van de projecten, "waar voor je geld", de aard van de begunstigden -23- (wat het ESF betreft), aspecten in verband met de arbeidsmarkt, bewijzen voor het bestaan van partnerschappen en samenwerkingsverbanden, de te genereren privé-investeringén en de milieueffecten. 2. 3. Gebruik van de evaluatieresultaten Zoals in het voorgaande reeds is beschreven, vormen de evaluaties halverwege de looptijd een belangrijke bron van kennis voor de programmabeheerders en de beslissers. Zij informeren hen over essentiële zaken zoals de relevantie van de doelstellingen van de betrokken bijstandsverlening en de vraag in hoeverre de beoogde bredere effecten op de betrokken regio zich daadwerkelijk voordoen. Voor een gezaghebbende evaluatie is nodig dat deze door een strenge analyse wordt ondersteund en voldoende operationeel is om volledig voor beleidsdoeleinden te kunnen worden gebruikt. De kwaliteit van de evaluatieresultaten garandeert echter nog niet dat deze resultaten ook zullen worden gebruikt. De evaluatie mag met andere woorden niet als de enige input voor de herziening halverwege de looptijd worden beschouwd. Instellingen en beleidsactoren zijn voortdurend bezig met de uitwisseling van informatie. Andere factoren die verband houden met de politieke context of met het macro-economische kader, uiteindelijke rechtstreekse herprogrammeringsbesluiten uitoefenen. Met dit bredere kader voor ogen dient voor het evaluatieproces halverwege de looptijd onderscheid te worden gemaakt tussen drie verschillende gebruiksniveaus. eveneens invloed kunnen een op de Bij het eerste gebruiksniveau gaat het om de rol die de evaluatie speelt als terugkoppelingsmechanisme dat informatie verstrekt over de doeltreffendheid van de beleidsmaatregelen. In een groot aantal gevallen is bij het aanbrengen van wijzigingen in de programma's in ruime mate rekening gehouden met de resultaten en aanbevelingen die de evaluatie had opgeleverd. Het beste voorbeeld is de evaluatie halverwege de looptijd van het Ierse CB, die geloofwaardige en nuttige conclusies heeft opgeleverd welke hebben geleid tot herverdelingen van financiële middelen over maatregelen of subprogramma's (zie kader 13). In de tweede plaats heeft de evaluatie er een belangrijke rol in gespeeld dat programmabeheerders en beleidsmakers nieuwe bronnen van informatie of van voortdurende advisering tot hun beschikking kregen. Zo heeft bijvoorbeeld de evaluatie van het programma in het kader van doelstelling 1 voor Henegouwen, waarbij onder meer een specifiek macro-economisch model is gebruikt (zie kader 4), behalve nuttige informatie voor de herprogrammering ook conclusies opgeleverd die inzichten op langere termijn verschaften in de uit convergentieoogpunt te verwachten ontwikkeling van de regionale economie. Andere evaluaties bestreken een smaller aandachtsgebied en beklemtoonden het belang van bepaalde cruciale aspecten van het programmabeheer in plaats van een volledig overzicht te geven van het hele tenuitvoerleggingsproces. Ten slotte heeft de ervaring ook uitgewezen dat een aanzienlijke inbreng van de bij het programma betrokken partners erg belangrijk is voor het welslagen en de effectiviteit van het evaluatieproces. Een van de belangrijke resultaten is dat beslissers bij de bespreking van evaluatiekwesties werden betrokken en daarbij het een en ander hebben geleerd dat nuttig is om hun optreden te verbeteren. Alhoewel dit leerproces niet altijd formeel was gestructureerd, heeft het een belangrijk effect gehad op het uiteindelijke verloop van de herzieningen halverwege de looptijd. -24- III. BELANGRIJKSTE RESULTATEN EN AANPASSINGEN De evaluaties hebben informatie opgeleverd voor de herziening halverwege de looptijd door een algemeen oordeel in de eerste helft van de te vellen over wat programmeringsperiode was bereikt. In dit verslag wordt in grote lijnen nagegaan waartoe dit heeft geleid door te bekijken welke aanpassingen in de programma's zijn aangebracht. Ook wordt aandacht besteed aan de mate waarin de door de Commissie vastgestelde prioriteiten in de programma's zijn verwerkt. 3. 1. Verband tussen de evaluatie en de herprogrammering De evaluaties vonden binnen de overeengekomen termijn plaats zodat met de resultaten ervan rekening kon worden gehouden bij de herzieningen halverwege de looptijd die in 1997 en 1998 zijn uitgevoerd17. Hier dient ook te worden vermeld dat, hoewel de programma's in de drie nieuwe lidstaten een jaar later van start zijn gegaan dan in de andere lidstaten, alle drie de nieuwe lidstaten formele regelingen hebben getroffen om met evaluaties halverwege de looptijd te beginnen. De Commissie heeft de uitwisseling van ervaringen tussen de beoordelaars gestimuleerd, waardoor bij de evaluaties gebruik kon worden gemaakt van nieuwe ideeën. Een belangrijk kenmerk van dit hele proces is dat er geen grote aanpassingen zijn gebeurd voordat de evaluaties waren afgerond en de programma's formeel waren herzien. In het algemeen zijn de evaluaties nuttig gebleken doordat belangrijke problemen aan de orde zijn gesteld of de aandacht is gevestigd op de soorten besluiten die moesten worden genomen. De mate waarin zij deze rol hebben kunnen vervullen, hing af van de intrinsieke kwaliteit van de analyses en van het operationele karakter van de gedane aanbevelingen. Wat de plattelandsontwikkeling betreft, zijn bij de tussentijdse evaluaties aanbevelingen en concrete voorstellen geformuleerd op verzoek van de Commissie en van de beheersautoriteiten. Het ligt dus voor de hand dat de evaluaties voorstellen hebben opgeleverd om de financiële middelen te herschikken. In Spanje en Duitsland vielen de voorgestelde herschikkingen samen met die welke door de verantwoordelijke autoriteiten in beide gevallen werd uitgegaan van dezelfde werden voorgesteld, aangezien onderbouwing (bij de maatregelen gemaakte vorderingen volgens de gegevens van het toezicht). In andere gevallen zijn de voorgestelde financiële herschikkingen slechts gedeeltelijk in aanmerking genomen (Portugal). Soms zijn de evaluaties pas uitgevoerd nadat de programma's al gewijzigd waren, maar is dan achteraf wel gebleken dat de evaluatieresultaten niet met de aangebrachte wijzigingen tegenspraak waren (Frankrijk). In Italië hebben de beoordelaren vooral dé problemen bij de uitvoering geanalyseerd en zijn de financiële herschikkingen voorgesteld door degenen die verantwoordelijk zijn voor de programma's. Wat Ierland betreft is melding gemaakt van het feit dat de door de beoordelaars aanbevolen uitbreiding van bepaalde maatregelen niet mogelijk is gebleken omdat de benodigde financiële middelen ontbraken. in 17 Enige vertraging in de onderhandelingen voor de herziening halverwege de looptijd heeft zich voorgedaan in Frankrijk voor doelstelling 1 (vooral wat Réunion betreft) en in Griekenland (herprogrammering van de EFRO-maatregelen; wijzigingen van de ESF-maatregelen gepland voor de tweede helft van 1998). In Italië is in april 1998 over een aantal herprogrammeringen beslist en de herziening halverwege de looptijd zal in oktober worden afgerond op basis van de feitelijke voortgang bij enkele programma's waarvoor de bestedingen een traag verloop kennen. -25- Ierland en Merseyside als voorbeeld Het hele proces van de herziening halverwege de looptijd, vanaf de formele evaluatie tot en met de tenuitvoerlegging van de besluiten over de financiële herschikkingen, wordt hier geïllustreerd aan de hand van twee voorbeelden. Zij betreffen twee vormen van bijstandsverlening van verschillende omvang : een groot CB (Ierland) en een GPD (Merseyside) (zie de kaders 13 en 14). Kader 13 : Herziening halverwege de looptijd (I) : het Ierse CB Volgens het verslag is het Ierse CB een groot succes en zijn de financiële middelen op effectieve wijze ingezet om het opmerkelijke economische herstel te ondersteunen en te bevorderen. De planning van de overheidsuitgaven op middellange termijn in het kader van het CB heeft ertoe geleid dat op veel terreinen systematischer een effectiever programmering heeft plaatsgevonden. Bij de evaluatie van het GB zijn vraagtekens geplaatst bij het nut van financiële steun van de overheid voor een aantal specifieke maatregelen, vooral als het gaat om het gratis of met subsidie verstrekken van diensten waarvoor bedrijven en burgers ook wel willen betalen. Een fundamentele veronderstelling was dat de markten het effectiefste en efficiëntste middel zijn om economische en sociale doelstellingen te bereiken, zodat overheidsingrijpen alleen dan gerechtvaardigd is als de markt niet naar behoren functioneert en de betrokken ingreep niet zelf economische distorsies veroorzaakt. Uitgaande van deze theoretische veronderstellingen, werden vier situaties onderkend waarin naar het oordeel van de beoordelaars overheidsingrijpen in een markteconomie gerechtvaardigd kan zijn : het aanbieden van openbare goederen en diensten (zoals de vervoersinfrastructuur) die zonder overheidssteun niet beschikbaar zouden worden gesteld; het verstrekken van corrigerende subsidies om de prijs van goederen en diensten te veranderen in het geval dat de marktprijs niet past bij het bredere maatschappelijke belang dat moet worden gediend (b. v. de kosten van leningen voor het midden- en kleinbedrijf); het beheer van regelingen die erop zijn gericht gedrag te veranderen door leemten op het gebied van kennis, bewustzijn of inzicht aan te vullen (b. v. eigenaren van bedrijven of werknemers kennis laten maken met nieuwe technologie); de herverdeling van rijkdom via subsidies of uitkeringen om brede maatschappelijke doelstellingen te bereiken. Aan de hand van de hierboven beschreven situaties werden de 166 CB-maatregelen dan ingedeeld in categorieën. Om binnen elke categorie onderlinge vergelijkingen mogelijk te maken werden binnen de betrokken categorie een of twee "ankermaatregelen " geselecteerd, waarbij het ging om grootschalige maatregelen dan wel maatregelen die betrekking hadden op reeds lang bestaande en goed begrepen onderdelen van het overheidsbeleid. Op basis van deze vergelijkingen werd uitgemaakt welke maatregelen succesvol waren en welke maatregelen dat niet waren. Vervolgens werden ongeveer 150 aanbevelingen geformuleerd over een effectievere besteding van de CB- middelen, waarbij vooral aandacht werd besteed aan de maatregelen die onvoldoende doelgericht waren of ongewenste effecten hadden. De evaluatie heeft duidelijke argumenten opgeleverd om meer overheidsgeld te besteden aan fysieke infrastructuur, en vooral aan de wegen buiten de steden. Met betrekking tot sommige op de vraag gebaseerde maatregelen werd voorgesteld de bestedingsdoeleinden te herzien in overeenstemming met de feitelijke ontwikkeling en bijvoorbeeld het voor het subprogramma levensmiddelenindustrie uitgetrokken bedrag te verlagen. Tijdens besprekingen in de Toezichtcomités werd ook erkend dat meer nadruk moest worden gelegd op de bestrijding van de jeugdwerkloosheid en de langdurige werkloosheid en dat de toewijzingen voor specifieke maatregelen op onderwijsgebied en ten behoeve van de kansarmen moesten worden verhoogd. Het verslag over de evaluatie van het CB bevat ook een aantal gedetailleerde aanbevelingen met betrekking tot het beheer en de tenuitvoerlegging van specifieke maatregelen. Zo wordt bijvoorbeeld betoogd dat er bij de gesubsidieerde dienstverlening te weinig concurrentie is als gevolg van de dominante positie van staatsbedrijven. Wat het toezicht betreft, wordt in het verslag voorgesteld de prestatie indicatoren verder te verbeteren, al wordt toegegeven dat bij het huidige CB al de meest geavanceerde systemen voor het toezicht en de toepassing van indicatoren worden gebruikt. ' -26- Bij de herziening halverwege de looptijd zijn deze aanbevelingen grotendeels opgevolgd. Er hebben dan ook vooral verschuivingen plaatsgevonden van de productieve sector naar de ontwikkeling van de menselijke hulpbronnen en de economische infrastructuur. Er is in totaal 163 miljoen ecu aan andere maatregelen toegewezen, waarbij het vooral gaat om OTO (37 miljoen ecu) vervoersinfrastructuur (36 miljoen ecu) en een serie maatregelen ten behoeve van vroege schoolverlaters en andere kansarme groepen (46 miljoen ecu). Kader 14 : Herziening halverwege de looptijd (II) : het GPD voor Merseyside (doelstelling 1) Aan Merseyside wordt uit de Structuurfondsen 816 miljoen ecu aan steun verleend via de vijf prioriteiten voor verandering van het gecombineerde programmeringsdocument voor Merseyside : van elders afkomstige investeringen en grote bedrijven; plaatselijke bedrijven; kennisindustrie en geavanceerde technologie; cultuur, media en vrijetijdsbesteding; actie voor de mensen van Merseyside. Deze laatste prioriteit krijgt het grootste deel van de voor het programma bestemde middelen (meer dan twee vijfde). Aan de prioriteiten investeringen" en "plaatselijke bedrijven" wordt "van elders afkomstige respectievelijk een kwart en een vijfde van de programmamiddelen besteed De komst van het gecombineerde programma viel samen met een cyclische heropleving van de economie van het VK, die werd gekenmerkt door een sterkere daling van de werkloosheid en een grotere economische groei dan gemiddeld in de EU. Ook Merseyside heeft van deze heropleving geprofiteerd, zodat de middelen van de Structuurfondsen konden worden besteed onder omstandigheden die gunstiger waren dan die waarvan bij de uitwerking van het gecombineerde programma was uitgegaan. In vergelijking met het VK als geheel heeft Merseyside slechts een kleine daling van de werkloosheid te zien gegeven, maar bij de beoordeling daarvan moet wel rekening worden gehouden met de recente verslechtering van de belangrijkste sociale en economische indicatoren. Bij de evaluatie halverwege de looptijd werden het huidige en het potentiële effect van het gecombineerde programma op de mensen en het bedrijfsleven in Merseyside beoordeeld, kritische opmerkingen over de bestaande toezichtregelingen gemaakt en aanbevelingen geformuleerd voor de voortzetting van het programma in het resterende gedeelte van de programmeringsperiode. Het onderzoek aan de hand van documenten werd aangevuld met een bestudering van 100 afzonderlijke projecten en met uitvoerige enquêtes en interviews die werden toegespitst op de begunstigden van het programma. Er werd heel wat evaluatieonderzoek van hoge kwaliteit verricht. Dit compenseerde in belangrijke mate het feit dat bij gebrek aan middelen het aantal grondige analyses beperkt moest blijven. De beoordelaar heeft een aantal gedetailleerde en onderbouwde aanbevelingen gedaan. Met name heeft hij voorgesteld om in de toekomst het toezicht en de evaluatie te concentreren op de grotere projecten die waarschijnlijk het meeste effect zullen sorteren, en ook op aspecten zoals de verplaatsing van werkgelegenheid en de duurzaamheid. Ook werd aanbevolen het bestaande stel indicatoren uit te breiden om de beoordeling van de effecten van het programma te verbeteren. Tot de voorgestelde indicatoren behoorden onder meer het overlevingspercentage bij de MKB-bedrijven en de mate waarin deze bedrijven gebruikmaken van nieuwe technologie. Daaraan werd toegevoegd dat er te weinig aandacht was voor synergieën binnen de vijf prioriteiten van het programma en voor thema's die raakpunten hebben met verscheidene maatregelen. De herprogrammeringen bij de herziening halverwege de looptijd waren grotendeels gebaseerd op de voorstellen van de beoordelaar en waren ook in belangrijke mate in overeenstemming met de prioriteiten voor het regionale beleid die de Commissie voor de periode tot eind 1999 had vastgesteld. In totaal heeft 97 miljoen ecu een nieuwe bestemming gekregen, waarbij vooral meer geld is uitgetrokken voor maatregelen waar de kans het grootst is dat rechtstreeks banen zullen worden geschapen (midden- en kleinbedrijf, technologie en maatschappelijke integratie). In het programma zijn nieuwe maatregelen opgenomen die betrekking hebben op de verwerking van visserijproducten en de ontwikkeling en toepassing van communicatietechnologieën. De Commissie heeft ook een termijn vastgesteld voor een algehele herziening van de referentiegegevens en de streefcijfers, waarbij vooral aandacht moet worden besteed aan de nettowerkgelegenheidseffecten. -27- 3. 2. In totaal met de hertoewijzingen van middelen uit de Structuurfondsen gemoeide bedragen Alle CB's, GPD's en andere vormen van bijstandsverlening voor de doelstellingen 1 en 6 werden onderworpen aan een herziening halverwege de looptijd. De enige uitzondering vormden de nieuwe Duitse deelstaten, waar de programma's voortdurend worden bijgesteld. Al deze herzieningen hebben geleid tot financiële verschuivingen van uiteenlopende omvang om de algehele doelmatigheid van de bijstandsverlening te verbeteren. Bij de grote en meer complexe CB's zijn er in verband met de betrokken bedragen meer mogelijkheden voor dergelijke veranderingen dan bij de GPD's. Er is echter geen rechtstreeks verband tussen de omvang van de wijzigingen en de mate waarin de programma's een succes dan wel een mislukking zijn. Zelfs een zeer succesvol maatregelenpakket (b. v. het Ierse CB) kan worden verbeterd en moet op sommige punten worden gecorrigeerd zonder dat daarbij hoofdprioriteiten en -doelstellingen worden gewijzigd. De ruimte voor herschikkingen verschilde sterk van programma tot programma. In het algemeen is vooral op het tempo van de financiële uitvoering gelet, wat in het bijzonder geldt voor de programma's met een te traag uitgaven verloop. De herschikkingen geven ook aan in hoeverre er rekening is gehouden met de EU-prioriteiten (zie punt 3. 3). Doorgaans hebben de programma's slechts beperkte aanpassingen ondergaan zonder dat de strategische prioriteiten werden gewijzigd. In bepaalde gevallen (b. v. de Italiaanse regio's van doelstelling 1, het Portugese CB) is geld overgeheveld van de programma's of subprogramma's met een trager uitga ventempo naar die waar de uitgaven sneller verlopen; daarbij is ook met andere, kwalitatieve criteria rekening gehouden. In de meeste gevallen betrof het echter verschuivingen tussen maatregelen binnen hetzelfde programma. Ook via de inflatiecorrectie beschikbaar komende extra middelen zijn gebruikt om bepaalde acties te heroriënteren, vooral ten gunste van het scheppen van werkgelegenheid. In grafiek 4 is voor elk van de betrokken lidstaten de omvang van het overgedragen bedrag weergegeven. De grootste verschuivingen vonden plaats bij het CB voor doelstelling 1 in Italië (ongeveer 700 miljoen ecu, inclusief de nog niet geprogrammeerde middelen en de CB- indexering voor 1998), Spanje (meer dan 600 miljoen ecu) en Griekenland (400 miljoen ecu alleen al voor de nationale programma's). Hoewel dit hoge bedragen zijn, maken zij slechts tussen 2 % (Spanje) en 5 % uit van de totale toewijzing uit de Structuurfondsen aan de betrokken lidstaat. In Ierland beliep de overdracht van steun uit de Structuurfondsen 160 miljoen ecu, d. i. 3 % van de middelen die deze Fondsen voor de periode 1994-1999 beschikbaar hebben gesteld. In Noord-Ierland werden geen middelen tussen subprogramma's overgedragen, afgezien van de toewijzing van de via de inflatiecorrectie beschikbaar gekomen middelen. In Finland en Zweden betroffen de belangrijkste wijzigingen samenvoegingen van maatregelen om de programmastructuur te vereenvoudigen. Omgekeerd zijn in enkele vrije kleine programma's wijzigingen aangebracht die in absolute cijfers niet zo groot zijn, maar relatief gesproken, d. w. z. in procenten van de totale toewijzing uit de Structuurfondsen, wel. In het Belgische Henegouwen heeft circa 19 % van de beschikbare middelen een andere bestemming gekregen, waarbij het betrokken geld vooral naar steunregelingen ten behoeve van het midden- en kleinbedrijf -28- is gegaan. In Flevoland gaat het ondanks de vrij grote relatieve omvang, van de overdrachten (13 %) slechts om diverse kleinere wijzigingen in de GPD-maatregelen, waarbij de algemene doelstellingen onveranderd blijven. Het is vrij moeilijk een algemeen overzicht van de aard van deze aanpassingen te geven. De opmerkingen van een meer kwalitatieve aard in de navolgende paragraaf blijven daarom beperkt tot slechts enkele essentiële EU-prioriteiten. Grafiek 4: Steun uit de Structuurfondsen die bij de herziening halverwege de looptijd een andere bestemming heeft gekregen, per lidstaat (in miljoen ecu) 800 j 700 - 600 - 500 - 400 - 300 - 19% 698 610 • 13°/i 400 364 200 -- 6% • 4% 100 - 0 - ** m m o 163- 5% 3% 3% 19 • 7% • 5% 21 2% 3% j 20% - 18% -- 16% - 14% "-- 12% - 10% :- 8% -- 6% -- 4% - 2% - 0% /*///' ws/*/ & / J? • Bedrag in mn ecu • % van totale toewijzing uit de SF 1 2 3 4 regionale uitsplitsing : Nord-Pas de Calais (19,6 min ecu), Corsica (10,1 min ecu), Guyana (36,1 min ecu) en Martinique (22,4 min ecu). uitsluitend de hertoewijzingen van EFRO-middelen. regionale uitsplitsing : Noord-Ierland (69,8 min ecu), Merseyside (97,0 min ecu) en Highlands and Islands (21 min ecu). geen herziening halverwege de looptijd. 3. 3. Opneming van de EU-prioriteiten in déprogrammai Het is niet altijd gemakkelijk te beoordelen in hoeverre rekening is gehouden met de EU- prioriteiten die zijn vastgesteld in de richtsnoeren van de Commissie voor de herziening halverwege de looptijd. De toevoeging van nieuwe maatregelen of de toewijzing van extra middelen voor bestaande maatregelen kan in dit verband echter tot op zekere hoogte een aanwijzing zijn. Basisinfrastructuur - meer middelen voor de TEN's telecommunicatie en milieu Het verkleinen van de verschillen in infrastructuurvoorzieningen in de sectoren vervoer, energie, langetermijndoelstelling van de Structuurfondsen. Dit blijkt met name uit het gedeelte van de totale middelen (meer dan 30 %) dat de programmeringsdocumenten voor doelstelling 1 voor de periode 1994-1999 daarvoor hebben bestemd. is een -29- Voor de meeste regio's blijft dit een belangrijke prioriteit, maar bij de herziening zijn geen belangrijke bedragen beschikbaar gesteld voor nieuwe infrastructuur. In het algemeen lag het accent op specifieke TEN-projecten om voor efficiënte verbindingen en systemen te zorgen, vooral in de vervoerssector (kader 15). Kader 15 : Programma betreffende luchthavens - Italië, doelstelling 1 Dit programma heeft tot doel bestaande luchthavens in Zuid-Italië te verbeteren. De Commissie had het onlangs goedgekeurd en er was 10 miljoen ecu voor beschikbaar gesteld, maar bij de herziening halverwege de looptijd is overeengekomen nog 50 miljoen extra voor dit programma uit te trekken, en wel uitsluitend voor TEN-projecten om de betrokken regio verder te ontsluiten. Productieve sector - een sterker accent op werkgelegenheid Uit de resultaten van de herzieningen halverwege de looptijd blijkt dat er ruimte is gevonden om een sterker accent op de werkgelegenheid te leggen via allerlei acties (meer middelen voor steunregelingen, territoriale werkgelegenheidspacten, initiatieven op het gebied van plaatselijke ontwikkeling, enz. ). Uit een aantal reeds genomen besluiten, bijvoorbeeld in de hoofdprogramma's (kader 16), blijkt dat er sprake is van een streven en inzet van de politiek om de werkloosheid effectiever te bestrijden. Zoals uit de herziene CB's en GPD's blijkt, wordt in de meeste lidstaten ook meer aandacht besteed aan de rol die projecten, vooral projecten ten behoeve van het midden- en kleinbedrijf, spelen in het creëren van werkgelegenheid. territoriale werkgelegenheidspacten te nemen om op In deze context is bij de herzieningen halverwege de looptijd bekeken of de beleidsinstrumenten wel effectief zijn ter ondersteuning van banenschepping en ter bevordering van een actiever werkgelegenheidsbeleid via maatregelen betreffende de menselijke hulpbronnen en het onderwijs. Op een meer operationeel niveau is ook aandacht besteed aan het meten van de werkgelegenheidseffecten (b. v. regio's in het VK, Nord-Pas de Calais) en is erop gelet dat in de criteria voor de selectie van de projecten meer rekening wordt gehouden met het aspect werkgelegenheid (b. v. Italië). Kader 16 : Territoriale werkgelegenheidspacten In drie lidstaten (Spanje, Griekenland en Italië) hebben de Toezichtcomités CB-middelen toegewezen voor programma's of specifieke maatregelen die zijn gericht op de financiering van actieplannen in het kader van territoriale werkgelegenheidspacten. In Spanje (doelstelling 1) wordt via een nieuw multiregionaal programma 55 miljoen ecu aan EU-middelen (afkomstig van de indexering voor het CE) toegekend voor vijf prioritaire pacten. In Griekenland is het de bedoeling de via de indexeringen voor 1997 en 1998 beschikbaar gekomen middelen te bestemmen voor specifieke subprogramma's binnen de regionale programma's, die momenteel worden herzien. In Italië hebben de nationale autoriteiten in het kader van de herziening halverwege de looptijd voorgesteld negen pacten te ondersteunen via een multiregionaal meerfondsenprogramma waarvoor in totaal 280 miljoen ecu beschikbaar wordt gesteld, waarvan 140 miljoen ecu uit de Structuurfondsen. Ook nationale steunregelingen die door de Structuurfondsen worden medegefinancierd, zijn herzien om een sterker accent te leggen op het scheppen van werkgelegenheid en op ondersteuning van het midden- en kleinbedrijf (zie kader 17). -30- Kader 17 : Midden- en kleinbedrijf : het Griekse CB De Griekse autoriteiten hebben in het kader van een heroriëntering van hun operationele programma voor de industrie 136 miljoen ecu meer uitgetrokken ten behoeve van het midden- en kleinbedrijf. De nationale steunregeling is overeenkomstig de richtsnoeren van de Commissie herzien door meer steun te verlenen voor zakelijke dienstverlening en door de steun sterker op indirecte vormen van hulp te richten en minder directe subsidies toe te kennen. Er zijn bemiddelende instanties opgericht voor het beheer van de MKB- acties en de projecten zullen op concurrentiebasis worden geselecteerd. De te financieren MKB-projecten (ongeveer l 450 van de meer dan 4 200 projecten die zijn ontvangen) zijn ook vooraf beoordeeld. Milieu en duurzame ontwikkeling is horizontaal geïntegreerd het milieuaspect Het milieu is als factor voor duurzame ontwikkeling één van de in de hele EU sterk verspreide prioriteiten waar bij de herzieningen halverwege de looptijd heel vaak aandacht aan is besteed. Daartoe zijn specifieke maatregelen genomen of, nog belangrijker, andere programmaprioriteiten. Als gevolg van objectieve problemen (ontbrekende indicatoren, methodologische aspecten) konden de resultaten van de herziening halverwege de looptijd niet in alle gevallen worden omgezet in rechtstreekse operationele conclusies voor de aanpassing van programma's. Vooral het ontbreken van een systematische milieueffectbeoordeling van de projecten werd onder de aandacht gebracht en daarbij werd erop gewezen dat het de kwaliteit van de projecten ten goede zou komen als dergelijke beoordelingen wel systematisch zouden worden uitgevoerd. De weg werd geëffend om inzake milieubescherming, en in het algemeen de procedures voor de selectie van de projecten, te verbeteren (kader 18). in de volgende programmeringsperiode de procedures de in Kader 18 : Horizontale integratie van milieuoverwegingen Het milieu is voor de meeste lidstaten al heel lang een punt van zorg. De Structuurfondsen kunnen alleen dan een behoorlijke bijdrage aan de milieubescherming leveren, als bij alle besluiten over projecten rekening met het milieu wordt gehouden om de schade eraan te minimaliseren en de positieve effecten te maximaliseren, bijvoorbeeld door de voorkeur te geven aan projecten waarvan positieve milieueffecten uitgaan (preventieve maatregelen, ecoproducten, enz. ). De diensten van de Commissie zijn actief betrokken bij werkzaamheden betreffende de milieueffectbeoordeling (er is reeds een specifieke thematische studie in uitvoering, er is een handleiding voor de milieubeoordeling van de regionale ontwikkelingsplannen en de door de EU-Structuurfondsen gesteunde programma's opgesteld, enz. ) waarmee wordt beoogd de integratie van milieuoverwegingen te verbeteren. Vooral in Finland en Zweden is vooruitgang geboekt wat het hanteren van het milieu als "kerncriterium " bij de selectie van de projecten betreft. Onlangs is ook in Italië dit criterium in het industrieprogramma opgenomen voor de selectie van nieuwe industrieprojecten. Onderzoek en technologische ontwikkeling Meestal zijn reeds voorzieningen voor onderzoek en technologische ontwikkeling aanwezig, maar moet het gebruik ervan worden geoptimaliseerd. In de betrokken programma's zijn bepaalde verbeteringen aangebracht, onder meer door de OTO- investeringen ten behoeve van het plaatselijke bedrijfsleven te verhogen (zie kader 19). Kader 19 : Onderzoek en technologische ontwikkeling : het Ierse CB In het oorspronkelijke CB was het belang van OTO reeds onderkend, maar bij de herziening halverwege de looptijd is de positie ervan verder versterkt. Er is circa 37 miljoen ecu uitgetrokken voor extra OTO- maatregelen binnen het operationele programma voor de industrie. Er zullen aanbestedingen op basis van concurrentie worden uitgeschreven en de steunpercentages zullen worden verlaagd. Het Toezichtcomité heeft ook besloten om bepaalde dienstverlening tegen kostprijs aan de industriële sector aan te bieden. - 3 1- Informatiemaatschappij Ontwikkeling van de informatiemaatschappij helpt de effecten van een perifere ligging te verminderen, wat dan weer tot meer investeringen en een grotere productiviteit leidt. Daarom prioriteit zijn meer middelen "informatiemaatschappij" (kader 20). beschikbaar gesteld voor de Kader 20 : 'Informatiemaatschappij (Portugal, Spanje) Naar aanleiding van een specifieke aanbeveling van de beoordelaar is in Spanje binnen het CB een nieuw subzwaartepunt (6. 6) betreffende de informatiemaatschappij gecreëerd. In eerste instantie is daarvoor 46 miljoen ecu uitgetrokken. De EFRO-maatregelen zullen worden toegespitst op de verlening van professionele en interactieve diensten aan universiteiten, de toeristische sector en het bedrijfsleven. De ESF-maatregelen zullen worden geconcentreerd op specifieke opleidingsacties ten behoeve van de burgers en de plaatselijke overheden. Een belangrijke innovatie in het CB voor Portugal is de opneming van een nieuwe maatregel ter ondersteuning van de informatiemaatschappij in het subprogramma "Telecommunicatie". Voor deze maatregel heeft het EFRO 7 miljoen ecu beschikbaar gesteld. Daarnaast worden ook belangrijke inspanningen geleverd via andere CB-programma's, en vooral via het programma voor plaatselijke ontwikkeling (PDDR), dat ervoor zal zorgen dat alle plaatselijke ontwikkelingsmaatschappijen onderling worden verbonden, en via het onderwijsprogramma, dat beoogt alle middelbare scholen op het Internet aan te sluiten. Ontwikkeling van de menselijke hulpbronnen is ook in overeenstemming met de preventieve aanpak die Wat de maatregelen voor de ontwikkeling van de menselijke hulpbronnen betreft, werd een heroriëntering op de werklozen noodzakelijk geacht nadat gedurende drie jaar een sterk accent op de jongeren was gelegd. Deze accentverschuiving in de richting van de werklozen in de werkgelegenheidsrichtsnoeren wordt bepleit. Er wordt op verschillende manieren meer (begeleiding en voor de werklozen gedaan : de geïntegreerde maatregelen beroepskeuzevoorlichting, opleiding en werkgelegenheidssteun) worden versterkt, er worden meer subsidies verleend voor de oprichting van micro-bedrijven, er worden nieuwe vormen van opleiding ontwikkeld en de plaatselijke dienstverlening op het gebied van arbeidsvoorziening wordt verbeterd. Binnen de op jongeren gerichte maatregelen werd steun toegekend om de aandacht te verleggen van conventionele onderwijs- en opleidingsprogramma's naar initiatieven ten behoeve van met uitsluiting bedreigde jongeren en vroege schoolverlaters. Daarbij is steun verleend voor een nauwere integratie tussen de gewone onderwijssystemen en de meer alternatieve opleidings- en werkgelegenheidssystemen, vooral ten aanzien van beroepsopleidingen op het niveau van het hoger middelbaar onderwijs (kader 21). Kader 21 : Ontwikkeling van de menselijke hulpbronnen - Ierland, doelstelling 1 De herziening halverwege de looptijd van het operationele programma voor de ontwikkeling van de menselijke hulpbronnen (HRDOP) in Ierland is in oktober 1997 door het Toezichtcomité goedgekeurd. De informatie voor deze herziening was niet alleen afkomstig uit de verslagen over het HRDOP en het CB en van de evaluatie-eenheid voor ESF-programma's, maar ook uit nationale en communautaire beleidsrichtsnoeren zoals de witboeken van de regering en de werkgelegenheidsstrategie van de EU. Het door het Toezichtcomité goedgekeurde pakket voor de herziening halverwege de looptijd omvatte : een breed beleidskader, financiële herschikkingen met een herzien financieringsplan (de wijzigingen binnen het operationele programma betroffen circa 40 miljoen ecu, inclusief een verhoging van de beschikbare middelen met 14 miljoen ecu) en een overzicht van de acties die moesten worden ondernomen naar aanleiding van de kwalitatieve aanbevelingen in de evaluaties van het OP en het CB. De belangrijkste herschikking binnen het OP betrof de maatregel voor vroege schoolverlaters (verhoging met 26 miljoen ecu) en had tot doel minimaal 1 000 extra plaatsen te realiseren (met de mogelijkheid om -32- er binnen het beschikbare totaalbedrag zo nodig nog 1 400 meer te realiseren). Ook de begeleidende maatregelen werden versterkt, wat een flexibeler aanpak mogelijk maakte. Voorts werden binnen andere maatregelen via een herschikking verkregen middelen speciaal bestemd voor extra plaatsen om het vroege schoolverlaters mogelijk te maken nog verder vooruit te komen. Het Toezichtcomité nam ook kwalitatieve aanbevelingen over met betrekking tot een heroriëntering op langdurig werklozen, een betere afstemming van de industriële opleidingen op de behoeften van de werkgevers en het uitbreiden van de investeringen in infrastructuur voor kinderopvang. Gelijke kansen In veel programma's wordt meer aandacht besteed aan het thema "gelijke kansen", al gaat het bij deze prioriteit vaak om een horizontale doelstelling die niet systematisch op het niveau van de maatregelen is doorgetrokken. Wel zijn er aanzienlijke inspanningen geleverd om bepaalde maatregelen op deze prioriteit te heroriënteren, vooral in het kader van de ontwikkeling van de menselijke hulpbronnen. Wat de bijstandsverlening uit het EFRO betreft, zijn vooral in Italië en Griekenland in de respectieve industrieprogramma's specifieke maatregelen te behoeve van vrouwelijke ondernemers opgenomen (zie kader 22). Kader 22 : Gelijke kansen : meer vrouwelijke ondernemers In een aantal programma 's zijn maatregelen opgenomen om vrouwen aan te moedigen gebruik te maken van regelingen voor de oprichting van bedrijven. Italië en Griekenland hebben in hun operationele programma's voor de industrie een (via nationale wetgeving ondersteunde) specifieke maatregel ten behoeve van vrouwelijke ondernemers opgenomen. In Finland wordt overwogen vrouwen de toegang te garanderen tot een momenteel in onderzoek zijnde regeling betreffende "zachte leningen ". '• IV. GEVOLGEN VOOR HET BELEID EN TOEKOMSTIGE UITDAGINGEN , Uit het in het voorgaande besproken proces van de herziening halverwege de looptijd moesten verscheidene consequenties worden getrokken op beleidsgebied. De aandacht werd gevestigd op bepaalde aspecten van de tenuitvoerlegging en het beheer die reeds tijdens het resterende gedeelte van de programmeringsperiode konden worden aangepakt. Voorts heeft het verloop van dit evaluatieproces niet alleen verduidelijkt wat de toekomstige uitdagingen op evaluatiegebied zijn, maar heeft het ook ideeën aangedragen om na te denken over de strategische prioriteiten voor toekomstige programma's. 4. 1. Consequenties op korte termijn voor de huidige uitvoeringssystemen Tijdens de besprekingen naar aanleiding van de herzieningen halverwege de looptijd is er vaak op gewezen dat bij de toezichtprocedures de neiging bestaat om meer nadruk te leggen op de financiële uitvoering dan op de fysieke realisaties. In het merendeel van de verslagen over de evaluatie halverwege de looptijd wordt opgemerkt dat er behoefte is aan nieuwe sets indicatoren die een betere meting van de resultaten en effecten van de programma's mogelijk maken. De uitwerking van dergelijke indicatoren, waarbij ook de nodige aandacht moet worden besteed aan de betrouwbaarheid en aan een behoorlijke kwantificering, zal ervoor zorgen dat de evaluaties halverwege de looptijd de volgende keer van een betere kwaliteit zijn en een grotere reikwijdte hebben. Sommige lidstaten hebben nu reeds initiatieven genomen om bepaalde onderdelen van hun huidige uitvoeringssystemen te verbeteren. Het betreft onder meer : de vaststelling van duidelijke, gekwantificeerde doeleinden en indicatoren voor het toezicht en de evaluatie (b. v. in Oostenrijk, Portugal, Italië en het Verenigd Koninkrijk); -33- - de bepaling van adequatere criteria voor de selectie van de projecten (inclusief werkgelegenheids- en milieucriteria zoals bijvoorbeeld in Italië); vereenvoudiging van de beheersprocedures, vooral voor kleine programma's (b. v. Finland en Zweden); verbetering van de synergie tussen de verschillende door de Structuurfondsen ondersteunde maatregelen (b. v. Portugal en Spanje). 4. 2. Eerste beschouwingen met het oog op de toekomstige programma's De herziening halverwege de looptijd moest zorgen voor de nodige wijzigingen in de programma's omdat omstandigheden en behoeften in de loop van de tenuitvoerlegging waren veranderd. Tegelijk met de evaluaties halverwege de looptijd hebben de Commissie en de lidstaten een aantal strategische studies uitgevoerd die al verder reiken dan de huidige programmeringsperiode. De bedoeling van deze analyses was de toekomstige bijstandsverlening uit de Structuurfondsen voor te bereiden door bestudering van problemen op langere termijn die niet gedurende het resterende deel van de looptijd van de bestaande programma's kunnen worden aangepakt. Zo heeft de Commissie bijvoorbeeld de beperkte informatie die de tussentijdse evaluatie in Italië had opgeleverd, aangevuld met een serie thematische studies over belangrijke CB-prioriteiten : steunregelingen voor de industrie, OTO, milieu, vervoersinfrastructuur en ontwikkeling van de menselijke hulpbronnen. Met deze studies werd beoogd bepaalde fundamentele beleidsaangelegenheden te behandelen en ook aanbevelingen te formuleren ten aanzien van de punten waarop de toekomstige CB's van de huidige moeten verschillen. Deze studies droegen noodzakelijkerwijs een vrij algemeen karakter, maar toch hebben zij voor de herziening halverwege de looptijd nuttige informatie opgeleverd ten aanzien van kwesties zoals de toekomstige heroriëntering van de uitgavenprioriteiten. In sommige lidstaten is in de context van de herziening halverwege de looptijd reeds begonnen met het opnieuw bekijken van de prioriteiten voor de steunverlening. Samen met nationale autoriteiten zijn ook informele besprekingen en seminars gehouden over bepaalde kwesties die voor de toekomst van zeer groot belang zijn. Voorts heeft de Commissie vier thematische studies (OTO, MKB, milieu en het partnerschapsbeginsel) op gang gebracht om brede beleidslijnen en nieuwe regelingen voor de periode na 1999 te helpen uitwerken. 4. 3. De uitdagingen op evaluatiegebied Dit verslag laat zien dat voor de verschillende programma's van de doelstellingen 1 en 6 belangrijke vooruitgang is geboekt wat de aanpak van de evaluatie betreft. Op allerlei plaatsen in het verslag is de aandacht gevestigd op kenmerken van de herzieningen halverwege de looptijd die tot de goede benaderingen kunnen worden gerekend. Het betreft onder meer : - de degelijkheid van de evaluatie (methodologie en criteria om de kwaliteit te beoordelen); - de inschakeling van de bij de programma's betrokken partners in het evaluatieproces; -34- - de organisatie van en het tijdschema voor de herziening halverwege de looptijd; rol van de dat als herprogrammeringsbesluiten ondersteunt en op belangrijke ontwikkelingen helpt te anticiperen. terugkoppelingsmechanisme evaluatie de De uit een en ander te trekken lering kan een basis vormen voor advisering over de beste aanpak in het kader van de volgende programma's, zodat het beheer van de financiële middelen verder kan worden verbeterd. De cruciale vraag is dus hoe de resultaten kunnen worden verzameld met het oog op een meer systematische verspreiding van goede werkwijzen binnen dezelfde regio en in andere regio's. Uit wat er tot nog toe over de herzieningen halverwege de looptijd bekend is, blijkt dat de kwaliteit van het proces nog verder moet worden verbeterd met het oog op de uitdagingen waaraan het hoofd zal moeten worden geboden in het kader van toekomstige programma's. Consolidering van de evaluatie als een instrument voor besluitvorming De evaluatie wordt in toenemende mate gezien als een beheersinstrument dat de beleidsmakers en programmabeheerders bij de uitvoering van hun taken moet bijstaan door hun belangrijke inzichten met betrekking tot de doeltreffendheid van maatregelen en programma's te verschaffen. In verband met deze functie moet er bij de organisatie van de evaluatie voor worden gezorgd dat de productie van betrouwbare en operationele resultaten nauwer in het besluitvormingsproces. Dit betekent dat adequate structuren voor het beheer van de evaluatieactiviteiten in de context van het partnerschap tot stand moeten worden gebracht, voor zover dergelijke structuren nog niet beschikbaar zijn. integratie van deze resultaten is afgestemd op de Verbetering van de toeziçhtsystemen en van de indicatoren Nationale en regionale autoriteiten hebben reeds bepaalde belangrijke maatregelen genomen om voor het resterende deel van de programmeringsperiode sommige leemten of tekortkomingen van hun toeziçhtsystemen te verhelpen. Verbeteringen op het punt van de definitie van de indicatoren en het verzamelen van de gegevens zullen noodzakelijk zijn om een effectievere vervulling van de betrokken beheerstaken mogelijk te maken. Ook een betere integratie tussen de financiële en de fysieke indicatoren is een belangrijk punt van zorg voor de programmabeheerders. Voor toekomstige programma's zal met betrekking tot de indicatoren zorg moeten worden gedragen voor een adequate kwantificering van de referentiesituatie en van het nagestreefde doel en zullen er ook referentiegegevens moeten zijn om betere vergelijkingen binnen en tussen de programma's mogelijk te maken. Hiertoe zal de Commissie te zijner tijd een methodologische leidraad opstellen, die onder meer een indicatieve lijst van relevante indicatoren voor de belangrijkste actieterreinen van de Structuurfondsen zal bevatten. Ontwikkeling en verspreiding van evaluatiemethodologieën Op het gebied van de evaluatiemethodologie is aanzienlijke vooruitgang geboekt. Het in 1994 door de Commissie opgezette MEANS-programma heeft bijgedragen tot de ontwikkeling van deskundigheid binnen de Commissie zelf dankzij de bij de Structuurfondsen uit de eerste hand opgedane ervaring. Er bestaat niet een enkele gestandaardiseerde evaluatiemethodologie, maar veeleer is er sprake van een breed scala -35- van methoden die moeten worden aangepast aan de specifieke behoeften en situatie bij elk programma. Er zullen echter inspanningen worden geleverd om te bereiken dat de evaluatietechnieken beter bekend zijn, niet alleen bij de beoordelaars, maar ook bij de programmabeheerders, die de kwaliteit van de evaluatieresultaten zullen moeten beoordelen. Bevordering van de multilaterale uitwisseling van ervaringen Nu wordt onderkend dat evaluatie een belangrijk instrument voor de besluitvorming is, stellen nationale en regionale autoriteiten er doorgaans prijs op informele vergaderingen ervaringen uit te wisselen en van gedachten te wisselen wat dit onderwerp betreft. in De Technische Evaluatiegroep op EU-niveau, die bestaat uit bij het beheer van de Structuurfondsen betrokken vertegenwoordigers van de lidstaten en ambtenaren van de Commissie, zou kunnen worden beschouwd als een passend forum voor de bespreking van aangelegenheden op evaluatiegebied en voor de verspreiding van de beste werkwijzen. De voornaamste thema's van gemeenschappelijk belang zijn onder meer de van typen werkgelegenheidseffecten) en het gebruik van evaluatieresultaten voor beleidsdoeleinden. evaluatiemethodologieën (b. v. meting relevantie hun en De algehele effectiviteit van de bijstandsverlening van de Structuurfondsen zal mede afhangen van de mate waarin de nationale en regionale autoriteiten het nodige doen om hun toezichtsystemen te verbeteren en in staat zijn elementen van goede werkwijzen over te nemen met het oog op de volgende herziening halverwege de looptijd. -36- Bijlage I: Lijst van de kaderen Kader 1: Beoordeling van de evalueerbaarheid (d. w. z. de uitvoerbaarheid van de evaluatie) - Door het EFRO gesteund OP voor Andalusië (Doelstelling 1) Kader 2: Beheer van de evaluatie - oprichting van ad-hocstructuren Kader 3: Kader 4: Kader 5: Beoordeling van de kwaliteit van een evaluatie: de evaluatie van het Ierse CB Henegouwen (Doelstelling 1) : het HELM-model Beoordeling van de doeltreffendheid aan de hand van programma indicatoren - GPD voor Merseyside - Doelstelling 1 (1994-1999) - werkelijke outputs/resultaten dankzij de bijstand uit het EFRO Kader 6: Belangrijke prestaties op het gebied van de basisinfrastructuur Kader 7: Enkele prestaties in de productieve sector Kader 8: Effect van de opleidingsmaatregelen op de begunstigden Kader 9: Evaluatie van landbouwmaatregelen - het programma PAMAF (modernisering van de landbouwstructuur in Portugal) Kader 10: Een voorbeeld : het Spaanse programma in het kader van doelstelling 1 Kader 11 : Kader 12: Merseyside - waarderingssystemen voor de selectie van ESF/EFRO- Verbetering van de toezichtsystemen projecten Kader 13: Herziening halverwege de looptijd (I) : het Ierse CB Kader 14: Herziening halverwege de looptijd (II) : het GPD voor Merseyside (doelstelling 1) Kader 15: Programma betreffende luchthavens - Italië, doelstelling 1 Kader 16: Territoriale werkgelegenheidspacten Kader 17: Midden- en kleinbedrijf : het Griekse CB Kader 18: Horizontale integratie van milieuoverwegingen Kader 19: Onderzoek en technologische ontwikkeling : het Ierse CB Kader 20: Informatiemaatschappij (Portugal, Spanje) Kader 21: Ontwikkeling van de menselijke hulpbronnen - Ierland, doelstelling 1 Kader 22: Ontwikkeling van de menselijke hulpbronnen - Ierland, doelstelling 1 - 3 7- Bijlage 2: Financiële uitvoering van de programma 's vallende onder Doelstelling 1 en 6 Vastleggingen/Totaal bijdrage SF inzake Doelstelling 1 Betalingen/Totaal bijdrage SF inzake Doelstelling 1 E si Jaarlijks —4—gecumuleerd N vS*" tS> Jaarlijks • gecumuleerd 1994 1995 1996 1997 1998 (1st semester) Financiële uitvoering per Lidstaat van de programma's vallende onder Doelstelling 1 (31. 12. 97) Financiële uitvoering per Lidstaat van de programma's vallende onder Doelstelling 1 (31. 12. 97) (Oostenrijk:' GPD goedgekeurd in 1995) DVasöegginger>To»aalbiid^SF199^^ -38 Financiële uitvoering van de programma 's vallende onder Doelstelling 6 - Finland Vastleggingen/Totaal bijdrage SF inzake Doelstelling 6 Finland Betalingen/Totaal bijdrage SF inzake Doelstelling 6 Finland 57 57 % 60 50 40 30 20 10 1994 1995 1996 1997 I Jaarlijks - •— gecumuleerd 0 1998 (1st serrester) l üH Jaarlijks •gecurruleerd 1997 1998 (1st serrester) Financiële uitvoering van de programma's vallende onder Doelstelling 6 - Zweden Vastleggingen/Totaal bijdrage SF inzake Doelstelling 6 Zweden Betalingen/Totaal bijdrage SF inzake Doelstelling 6 Zweden % 60 50 40 30 20 10 4 1994 1995 Jaarlijks 1996 •gecumuleerd 1997 I 0, 1998 (1st semester) r w si Jaarlijks • gecunruleerd 1997 1998 (1st semester) -39 Bijlage 3: Lijst van rapporten Rapport Doelstelling 1 Austria Belgium Germany Germany Germany Germany Germany Germany Germany Spain Spain Spain Spain Spain Spain Spain BURGENLAND : ZWISCHENEVALUATION DES ZIEL1-PROGRAMMS BURGENLAND : Endbericht HAINAUT : EVALUATION INTERMEDIAIRE DU DOCUP OBJECTIF 1 HAINAUT - RAPPORT FINAL - REGION WALLONNE BERLIN: ZWISCHENBEWERTUNG DER EU- STRUKTURFONDSINTERVENTIONEN IM LAND BERLIN IM ZEITRAUM 1994 BIS 1996 BRANDENBURG : ZWISCHENBEWERTUNG ZUM EINSATE DES EFRE, DES ESF UND DES EAGFL-A IM LAND BRANDENBURG 1994-1996 MECKLENBURG-VORPOMMERN : ZWISCHENBEWERTUNG DES EINSATZES DER EUROPAISCHEN STRUKTURFONDS (EAGFL, EFRE, ESF) FÜR DIE PERIODE 1994 BIS 1996 IM BUNDESLAND MECKLENBURG-VORPOMMERN SACHSEN : ZWISCHENEVALUIERUNG DES EINSATZES DER EUROPAISCHEN STRUKTURFONDS IM FREISTAAT SACHSEN 1994-1996 SACHSEN-ANHALT: ZWISCHENBEWERTUNG DES EINSATZES DER EU-STRUKTURFONDS IN SACHSEN-ANHALT FÜR DEN ZEITRAUM 1994 BIS 1996 THÜRINGEN : DIE EUROPAISCHEN STRUKTURFONDS IN THÜRINGEN : ZWISCHENBEWERTUNG DES MITTELEINSATZESVON 1994 BIS 1996 NEUE BUNDESLANDER : DIE EUROPAISCHEN STRUKTURFONDS IN DEN NEUEN BUNDESLANDERN - ZWISCHENBEWERTUNG DES MITTELEINSATZES VON 1994 BIS 1996 (BERLIN/ BRANDENBURG/MECKLENBURG- VORPOMMERN/SACHSEN/SACHSEN- ANHALT/THÜRINGEN) PO CANARIES : EVALUACION INTERMEDIA PROGRAMA OPERATIVO DE CANARIAS (FEDER) 1994-1999 OP INCENTIVOS REGIONALES : EVALUACION INTERMEDIA DEL PROGRAMA OPERATIVO DE INCENTIVOS REGIONALES FEDER (1994-1999) PARA LAS REGIONES ESPANOLAS INCLUIDAS EN EL OBJETIVO N°l DELOS FONDOS ESTRUCTURALES EUROPEOS CANTABRIA : ESTUDIO DE EVALUACION INTERMEDIA DEL PROGRAMA OPERATIVO DE CANTABRIA (FEDER) 1994-1999 CASTILLA Y LEON : EVALUACION DE LOS PROGRAMAS OPERATIVOS DEL FEDER Y DEL FSE 1994-1999 DE CASTILLO Y LEON EVALUACION INTERMEDIA DE LA SUBVENCION GLOBAL FEDER-CDTI EN LAS REGIONES OBJETIVO 1 (1994-1999) ESTUDIO DE EVALUACION INTERMEDIA DEL PROGRAMA OPERATIVO DE INFRAESTRÜCTURA CIENTIFICA DEI PERIODO 1994-1999, EN REGIONES ESPANOLAS INCLUIDAS EN EL OBJ. 1, COFINANCIADO CON FEDER Y COORDINADO POR CICYT EVALUACION INTERMEDIA DEL MARCO COMUNITARIO DE APOYO-REGIONES OBJETIVO 1- 1994-1999-ESPANA -40 Apr-98 OIR Apr-97 SEMA GROUP/RIDER- UCL May-97 PROGNOS BERLIN May-97 TROJE BERENTUNG HANN, MÜNCHEN Apr-97 BÜSTRO GmbH ROSTOCK May-97 DIW BERLIN May-97 ISW HALLEFLEIPZIG May-97 IFO INSTITUT FÜR WIRTSCHAFTSFOR- SCHUNG DRESDËN Sep-97 IFO INSTITUT FÜR WIRTSCHAFTSFOR- SCHUNG DRESDËN Jun-97 SERVICIOS OMICRON, S. A. May-97 SERVICIOS OMICRON SA Jun-97 INFYDE Jan-97 (UNIV. VALLADOLID) Jun-97 INFYDE/CDTI Jul-97 PRICE WATERHOUSE - Sep-97 QUASAR Spain Spain Spain Spain Spain Spain Spain Spain Spain Spain Spain France France France France Jul-97 (UNIV. VALLADOLID) Jun-97 GEDESA May-97 AGRO CONSULTING INTERNATIONAL May-97 Jul-96 ARANDA Y BELTRAN S. L. ESTUDIOS Y ANALISIS SOCIO ECONOMICOS UNIVERSIDAD DE OVIEDO Dec-97 ANDERSON ARTHUR Aug-97 ECOTEC Jul-97 Mar-98 UNIVERSIDAD DE CASTILLA-LA MANCHA INSTITUTODE DESARROLLO REGIONAL, FUNDACIÓN UNIVERSITARIA ARENAL GRUPO CONSULTOR SL INSTITUTO DE DESARROLLO REGIONAL, FUNDACIÓN UNIVERSITARIA FERE CONSULTANTS Jun-97 Feb-98 ERNST & YOUNG Dec-97 ACT Feb-96 CODE/ATHOS CASTILLA Y LEON : EVALUACION DE LOS PROGRAMAS OPERATIVOS DEL FEDER Y DEL FSE 1994-1999 DE CASTILLO Y LEON CEUTA : 2e ESTUDIO DE EVALUACION INTERMEDIA DEL MARCO DE APOYO COMUNITARIO DE LAS REGIONES OBJETIVO N°l PARA CEUTA (PO CEUTA 1994-1999) GALICIA: EVALUACION INTERMEDIA DEL PROGRAMA OPERATIVO DE GALICIA 1994-1999 cofinanciado por el FEDER (PO GALICIA) PO MELILLA : EVALUACION INTERMEDIA DEL PROGRAMA OPERATIVO FEDER DE MELILLA 1994- 1999 ASTURIAS : EVALUACION DEL PROGRAMA OPERATIVO DEL PRINCIPADO DE ASTURIAS (FEDER) 1994-1999 - INFORME PREPARATORIO OP LOCAL : ESTUDIO DE EVALUACION INTERMEDIA DEL PROGRAMA OPERATIVO LOCAL (FEDER) 1994-1999 PARA LAS REGIONES ESPANOLAS INCLUIDAS EN EL OBJETIVO N° 1 DE LOS FONDOS ESTRUCTURALES EUROPEOS OP MEDIO AMBIENTE: EVALUACION INTERMEDIA DEL PROGRAMA OPERATIVO DEL MEDIO AMBIENTE LOCAL (FEDER) 1994-1999 EN REGIONES ESPANOLAS INCLUIDAS EN EL OBJETIVO NO 1 DE LOS FONDOS ESTRUCTURALES EUROPEOS OP CASTILLA-LA-MANCHA:SEGUNDO INFORME DE EVALUACION-PROGRAMA OPERATIVO FEDER DE CASTILLA-LA MANCHA 1994-1999 ANDALUCfA : EVALUACION INTERMEDIA DEL P. O. ANDALUCIA 1994-1999 ANDALUCIA : SUBVENCIÓN GLOBAL DE ANDALUCfA 1994-1999 : INFORME DE EVALUACION INTERMEDIA DONANA : EVALUACION INTERMEDIA DEL P. O. DONANA Ha PHASE (OBJ. 1) Mar-98 May-97 CORSE : EVALUATION INTERMEDIAIRE DOCUP OBJECTIF 1 CORSE 1994-1999 GUYANE : EVALUATION INTERMEDIAIRE DE LA MISE EN OEUVRE EN GUYANE DES PROGRAMMATIONS REGIONALES (1994-1999) COFINANCEES PAR L'UNION EUROPEENNE (DOCUP ET REGIS II) - SYNTHESE DU RAPPORT NORD-PAS-DE-CALAIS (AVESNES / DOUAI / VALENCIENNES): PROGRAMME OBJECTIF 1 (1994- 1999): EVALUATION INTERMEDIAIRE, EVALUATION D'ENSEMBLE DU PROGRAMME, ASPECTS SECTORIELS EVALUATION DES MESURES GUADEL0UPE:EVALUABIL1TE DU DOCUP GAUDELOUPE : RAPPORT D'ETUDE (DOCUP 1994- 1999) -41 - Greece Greece Greece Greece Greece Greece Greece Greece Greece Greece Greece Greece Ireland Ireland Ireland Ireland Ireland Ireland Ireland Ireland Ireland Ireland Ireland Italy Netherlands Portugal Portugal PELOPONNESE: INTERMEDIATE EVALUATION OBJECTIVE 1 - OPERATIONAL PROGRAMME 1994- 1999 (a) VOL. A (b) VOL. B GRECE OCCIDENTALE (GRECE OUEST): INTERMEDIATE EVALUATION OBJECTIVE 1 - OPERATIONAL PROGRAMME CDS P. O. EPIRIUS : INTERMEDIATE EVALUATION 1994-1999 OBJECTIVE 1 - OP CRETE : INTERMEDIATE EVALUATION OBJECTIVE 1 - OPERATIONAL PROGRAMME 1994-1999 THESSALIE: INTERMEDIATE EVALUATION OBJECTIVE 1 -O. P. 1994-1999 ILES IONIENNES : INTERMEDIATE EVALUATION OBJECTIVE 1 -O. P. 1994-1999 MACEDOINE CENTRALE + THRACE : INTERMEDIATE EVALUATION OBJ. I - O. P. 1994-99 MACEDOINE OCCIDENTALE: INTERMEDIATE EVALUATION OBJECTIVE 1 O. P. 1994-1999 MACEDOINE CENTRALE : INTERMEDIATE EVALUATION OBJECTIVE 1 -O. P. 1994-1999 PO GRECE CONTINENTALE (=CENTR. ): INTERMEDIATE EVALUATION O. P. OBJ. 1 - 1994-1999 EGEE DU SUD : INTERMEDIATE EVALUATION OBJECTIVE 1 ILES DE LA MER EGEE SUD - OPERATIONAL PROGRAMME 1994-1999 CSF GRECE : OBJ. 1 - 1994-1999 EXTERNAL EVALUATION OF THE OPERATIONAL. PROGRAMME FOR INDUSTRIAL DEVELOPMENT 1994-1999 : MID-TERM REVIEW CSF MID-TERM EVALUATION MID TERM EVALUATION OF OPERATIONAL PROGRAMME FOR ECONOMIC INFRASTRUCTURE MID-TERM EVALUATION OF THE LOCAL, URBAN AND RURAL DEVELOPMENT O. P. MID-TERM EVALUATION OF THE HUMAN RESOURCES DEVELOPMENT-O. P. 1994-1999 MID TERM EVALUATION OF THE O. P. FOR ENVIRONMENTAL SERVICES 1994-1999 OPERATONAL PROGRAMME FOR TRANSPORT - MID TERM EVALUATION MID-TERM EVALUATION OF THE OPERATIONAL. PROGRAMME FOR TOURISM 1994-1999 OPERATIONAL PROGRAMME FOR AGRICULTURE, RURAL DEVELOPMENT AND FORESTRY 1994-1999 MID-TERM EVALUATION OF OPERATIONAL PROGRAMME FOR FISHERIES 1994-1999 MID-TERM EVALUATION : REGIONAL IMPACT OF THE COMMUNITY SUPPORT FRAMEWORK FOR IRELAND 1994-1999 VALUTAZIONE Dl MEDIO TERMINE QUADRO COMUNITARIO Dl SOSTEGNO 1994-99 delle REGIONI ITALIANE DELL'OBIETTIVO 1 FLEVOLAND : ON-GOING EVALUATIE DOELSTELLING 1 PROGRAMMA AMBIENTE:AVALIACAO INTERCALAR DO PROGRAMA AMBIENTE- EVALUATION DU SOUS- PROGRAMME ENVIRONNEMENT DU CCA II PT ALENTEJO:AVALIACAO INTERCALAR DO PROGRAMA OPERACIONAL DA REGIAO DO ALENTEJO - CCA 1994-1999 May-97 OMAS LTD Jun-97 EEO GROUP SA Apr-97 May-97 May-97 PROPTIKI S. A. - METPON ASTIKI DIACHIRISI S. A. YPODOMI LTD May-97 PROOVADISMA LTD Apr-97 INDECO S. A. May-97 EXANTAS LRD May-97 EUROTEC LTD May-97 LDK May-97 ENVIPLAN Mar-98 Feb-97 REMACO ERNST & YOUNG Apr-97 Feb-97 ESRI INDECON Jan-97 GOODBODY Feb-97 GOODBODY Jan-97 ERM Feb-97 Feb-97 Jan-97 Feb-97 Feb-97 JuI-97 Jan-97 Feb-97 DKM ECONOMIC CONSULTANTS FITZPATRICK ASSOCIATES FITZPATRICK ASSOCIATES INDECON FITZPATRICK ASSOCIATES NUCLEO Dl VALUTAZIONE/INEA E ISFOL RESEARCH VOOR BELEID QUATERNAIRE (PINHO PAULO) Feb-97 CESO I&D -42 Portugal Portugal Portugal Portugal Portugal Portugal Portugal Portugal Portugal Portugal Portugal Portugal Portugal Portugal Portugal Portugal Portugal Portugal AMBIENTE:ESTUDO DE AVALIACAO INTERCALAR DA INTERVENCAO OPERACIONAL-RENOVACAO URBANA DO PROGRAMA"AMBIENTE E REVITALIZACAO URBANA DO QUADRO COMUNITARIO DE APOIO 1994-1999 SOCIAL:SUB-PROGRAMA INTEGRAR AVALIACAO INTERCALAR LISBOA E VALE DO TEJO:ESTUDO DE AVALIACAO INTERCALAR DO PROGRAMA OPERACIONAL DA REGIAO DE LISBOA E VALE DO TEJO PPDR:ESTUDO DE AVALIACAO INTERCALAR PROGRAMA OPERACIONAL PROMOCAO DO POTENCIAL DE DESENVOLVIMENTO REGIONAL - QUADRO COMUNITARIO DE APOIO1994-1999 SAUDE:AVALIACAO INTERCALAR DA INTERVENCAO OPERACIONAL DA SAUDE ENERGIA:AVALIACAO INTERCALAR DO PROGRAMA ENERGIA E DO PROJECTO DE GAS NATURAL (INTERREG II - CONCLUSAO DAS REDES DE ENERGIA) DO QCA II (1994-1999) PO CENTRO:ESTUDO DE AVALIACAO INTERCALAR DO P. 0. REGIAO CENTRO PO NORTE:ESTUDO DE AVALIACAO INTERCALAR DO PRONORTE PEDIP II: AVALIACAO INTERCALAR DO PEDIP II: RELATORIO FINAL INTERCALAR PESCA : AVALIACAO INTERCALAR DA INTERVENCAO OPERACIONAL DAS PESCAS TURISMO : ESTUDO DE AVALIACAO INTERCALAR DA INTERVENCAO OPERACIONAL TURISMO E PATRIMONIO CULTURAL DO PROGRAMA MODERNIZACAO DO TECIDO ECONOMICO AGRICULTURA : QCA II: ESTUDO DE AVALIACAO INTERCALAR DA INTERVENCAO OPERACIONAL AGRICULTURA : PROGRAMA MODERNIZACAO DO TECIDO ECONOMICO - PERIODO 1994-1996 PROFAP : PROGRAMA INTEGRADO DE FORMACAO PARA A MODERNIZACAO DA ADMINISTRACAO PUBLICA - PROFAP 2 : ESTUDO DE AVALIACAO INTERCALAR ALGARVE : ESTUDO DE AVALIACAO INTERCALAR DO PROGRAMA OPERACIONAL DO ALGARVE TELECOMUNICACOES : ESTUDO DE AVALIACAO DA INTERVENCAO OPERACIONAL DAS TELECOMUNICACOES DO PROGRAMA INFRA- ESTRUTURAS DE APOIO AO DESENVOVIMENTO DO QCA SUB-PROGRAMMETRANSPORTES:AVALIACAO INTERCALAR DA INTERVENCAO OPERACIONAL DOS TRANSPORTES DO PROGRAMA INFRA- ESTRUTURAS DE APOIA AO DESENVOLVIMENTO DO QUADRO COMUNITARI DE APOIO 1994-1999, NO PERIODO ENTRE 1994 E 1996 SUB-PROGRAMME COMERCIO E SERVICOS :ESTUDO DE AVALIACAO INTERCALAR DA INTERVENCAO OPERACIONAL COMERCIO E SERVICOS ACORES=ESTUDO DE AVALIACAO INTERCALAR DO PROGRAMA OPERACIONAL DA REGIAO AUTONOMA DOS ACORES DO QUADRO COMUNITARIO DE APOIO 1994-1999 43 Mar-97 Jan-97 PARTEX-INSTITUTO DE GESTAO E ALIENACAO DO PATRIMONIO HABITACIONAL DO ESTADO CIES Jan-97 CEDRU Jan-97 CEETA Feb-97 CESO I&D Jan-97 IESE Jan-97 CEDRU Jan-97 QUATERNAIRE Mar-97 Apr-97 UNIVERSIDADE CATOLICA PORTUGUESA CESO I&D Feb-97 DELOITTE & TOUCHE Jun-97 AGRO. GES Mar-97 QUATERNAIRE Jan-97 CEDRU Mar-97 SILICON Apr-97 CISED Nov-97 CESO I&D Feb-97 CESO I&D Portugal Portugal Portugal Portugal United Kingdom (IRN) United Kingdom (IRN) United Kingdom (IRN) United Kingdom (IRN) United Kingdom (IRN) United Kingdom (IRN) United Kingdom (IRN) United Kingdom (IRN) United Kingdom (IRN) United Kingdom United Kingdom SUB-PROGRAMME EDUCACAOrAVALIACAO INTERCALAR DE PRODEP II: EDUCACAO CIENCIA E TECNOLOGIA:ESTUDO DE AVALIACAO INTERCALAR DO SUB-PROGRAMA CIENCIA E TECNOLOGIA OP PESSOA: ESTUDO DE AVALIACAO INTERCALAR PROGRAMA OPERACIONAL EMPREGO E FORMACAO PROFISSIONAL DO QCA II 1994-1999 (PROGRAMMA PESSOA) CSF PORTUGAL-OBJ. 1. AVALIACAO INTERCALAR DO QUADRO COMUNITARIO DE APOIO II NORTHERN IRELAND SINGLE PROGRAMME 1994- 1999 - MID TERM REVIEW - EXTERN AL EVALUATION MID-TERM REVIEW OF THE ENVIRONMENTAL SERVICES AND PROTECTION SUB-PROGRAMME MEASURES 4. 1. 8 AND 4. 19. OF THE SUB- PROGRAMME FOR AGRICULTURE AND RURAL DEVELOPMENT : MID TERM EVALUATION MID-TERM EVALUATION OF THE NORTHERN IRELAND SINGLE PROGRAMME FOR AGRICULTURE AND RURAL DEVELOPMENT (SPARD) ENERGY SUB-PROGRAMME 1994-1999 : MID-TERM REVIEW Sep-97 QUATERNAIRE Feb-98 IESE/GEOIDEIA Mar-97 IESE (1NSTITUTO DE ESTUDOS SOCIAIS E ECONOMICOS jun-98 CISEP May-97 COLIN STUTT CONSULTING Dec-96 PIEDA CONSULTANTS Feb-97 COOPERS & LYBRAND Mar-97 ERM Jan-97 ERM MID TERM EVALUATION OF THE TRANSPORTATION SUB-PROGRAMME, 1994-1999 Jan-97 ERM MID-TERM EVALUATION OF THE INVESTMENT IN THE DEVELOPMENT OF PEOPLE SUB-PROGRAMME, NORTHERN IRELAND SINGLE PROGRAMME 1995-99 MID TERM REVIEW OF PHYSICAL & SOCIAL ENVIRONMENT PROGRAMME (EU S. F. ) Dcc-96 LRDP Jan-97 COOPERS & LYBRAND MID-TERM EVALUATION OF THE TOURISM SUBPROGRAMME 1994-1999 Feb-97 NIERC MERSEYSIDE: MID-TERM EVALUATION OF MERSEYSIDE OBJECTIVE ONE PROGRAMME HIGHLANDS AND ISLANDS - OBJECTIVE 1 PROGRAMME INTERMEDIATE ASSESSMENT Nov-96 PIEDA PLC Jun-97 SQW Rapport Doelstelling 6 Finland SUOMEN TAVOITE 6 - OHJELMAN ARVIOINNIN V A L I R A P O R T TI [FI] Jan-98 Sweden HALVTIDSUTVARDERING AV SVERIGES NAL-6- PROGRAM Nov-97 HELSINGIN YLIOPISTON TIETOPALVELUT OY/ETLATIETO OY/OY FINNAGRO AB/INT. DEVEL. IRL/PE LLERVON NORD-REGIO-EPRC 44 ISSN 0254-1513 COM(98) 782 def. DOCUMENTEN NL 04 13 09 16 Catalogusnummer : CB-CO-98-786-NL-C Bureau voor officiële publikaties der Europese Gemeenschappen L-2985 Luxemburg IS