title: Speciaal verslag nr. 15/98 over de evaluatie van de bijstandsverlening van de Structuurfondsen betreffende de perioden 1989-1993 en 1994-1999, vergezeld van de antwoorden van de Commissie (vastgesteld krachtens artikel 188 C, lid 4, tweede alinea, van het EG-Verdrag)

text: 16. 11. 98 NL Publicatieblad van de Europese Gemeenschappen C 347/1 I (Mededelingen) REKENKAMER SPECIAAL VERSLAG Nr. 15/98 over de evaluatie van de bijstandsverlening van de Structuurfondsen betreffende de perioden 1989-1993 en 1994-1999, vergezeld van de antwoorden van de Commissie (vastgesteld krachtens artikel 188 C, lid 4, tweede alinea, van het EG-Verdrag) (98/C 347/01) INHOUD Paragrafen Bladzijde 1. INLEIDING. 1. 1 — 1. 4 2. REIKWIJDTE VAN DE CONTROLE. 2. 1 — 2. 3 3. SAMENVATTING VAN DE BELANGRIJKSTE BEVINDINGEN. 3. 1 — 3. 12 4. ALGEMENE PROBLEMEN. 4. 1 — 4. 36 Inleiding. 4. 1 — 4. 11 Referentiekader. 4. 12 — 4. 13 Statistische basisgegevens en informatie over de nagestreefde doelstellin- gen. 4. 14 — 4. 15 Indicatoren. 4. 16 — 4. 21 Benutting van de evaluatie. 4. 22 — 4. 27 Objectiviteit van de evaluaties. 4. 28 — 4. 30 De door de Commissie gegunde evaluatiecontracten. 4. 31 — 4. 36 5. EVALUATIES ACHTERAF VAN DE CB’S IN HET KADER VAN DOEL- STELLINGEN 1 EN 2 (1989-1993). 5. 1 — 5. 17 Inleiding. 5. 1 Evaluatie achteraf van de CB’s in het kader van doelstelling 1 (1989- 1993). 5. 2 — 5. 8 Evaluaties achteraf in het kader van doelstelling 2 (1989-1993). 5. 9 — 5. 17 3 3 4 5 5 6 7 7 8 8 9 9 9 10 11 C 347/2 NL Publicatieblad van de Europese Gemeenschappen 16. 11. 98 Paragrafen Bladzijde 6. TUSSENTIJDSE EVALUATIES (1994-1999). 6. 1 — 6. 27 Ontwikkeling en integratie van de beginselen van de tussentijdse evaluatie 6. 1 — 6. 7 Uitvoeringsprocedures. 6. 8 — 6. 13 Aan de evaluatiedoelstellingen toegekende prioriteiten. 6. 14 — 6. 20 Benaderingen, methoden en technieken. 6. 21 — 6. 26 Uitvoering van de programma’s in het kader van doelstelling 2 (1994- 1996). 6. 27 7. EFFECT VAN DE STRUCTUURFONDSEN EN EVALUATIEMODELLEN 7. 1 — 7. 22 Effect op het niveau van de CB’s en de programma’s. 7. 1 — 7. 15 Resultaten van de modellen op het gebied van effect van de Structuur- fondsen. 7. 1 — 7. 13 Toename van het BBP. 7. 2 — 7. 3 Reële convergentie in termen van het BBP per hoofd van de bevolking 7. 4 — 7. 8 Werkgelegenheid en werkloosheid. Doeltreffendheid van de CB-instrumenten. 7. 9 7. 10 Verplichting tot additionaliteit en medefinanciering. 7. 11 — 7. 12 Duurzame ontwikkeling. 7. 13 Rol van de evaluatie op macro-economisch niveau in het besluitvorming- sproces met betrekking tot de Structuurfondsen. 7. 14 — 7. 15 Effect op het niveau van de subprogramma’s, maatregelen en projecten. 7. 16 — 7. 22 8. CONCLUSIE. 8. 1 — 8. 19 TABELLEN. BIJLAGEN. Antwoorden van de Commissie. 13 13 14 15 15 16 17 17 17 17 17 18 18 18 18 19 19 20 22 31 40 16. 11. 98 NL Publicatieblad van de Europese Gemeenschappen C 347/3 1. INLEIDING In het kader van de hervorming van de Structuur- 1. 1. fondsen (SF’s) van 1988 is bepaald dat de Commissie en de lidstaten verplicht zijn het Europese structuurbeleid te evalueren. In 1993 is deze plicht tot evaluatie bekrachtigd middels de gewijzigde regelgeving in het kader van de herziening van de hervorming van de SF (1994-1999), alsook door de standaardclausules van de nieuwe com- munautaire bestekken voor bijstandsverlening (CB’s) en van de enige programmeringsdocumenten (EPD’s). 1. 2. De evaluatie, een onmisbaar instrument voor een goed beheer van de SF’s, wordt in de belangrijkste rechtsvoorschriften (1) omschreven als een beoordeling van de doeltreffendheid op drie niveaus: a) het effect van alle structurele acties op de doelstellin- gen zoals beoogd in artikel 130 A van het Verdrag; b) het effect van alle acties waarin de CB’s voorzien; c) het specifieke effect van elke operationele actie (pro- gramma’s en andere acties tot bijstandsverlening). 1. 3. De uitvoering van de evaluatie bestaat hoofdzakelijk uit drie fasen: a) de beoordeling vooraf (2), om enerzijds op juiste wijze de op te lossen sociaal-economische problemen en de te bereiken doelen en anderzijds de gevolgde strategie, met de beschikbare middelen om hierop in te spelen, vast te stellen; b) de tussentijdse evaluatie, om tijdens de uitvoering van een programma na te gaan of de doelstellingen nog adequaat zijn en of de gewenste resultaten redelijker- wijs kunnen worden behaald; c) de evaluatie achteraf die plaatsvindt wanneer het programma eenmaal is afgesloten en die dient om na te gaan of de behaalde resultaten en effecten als positief kunnen worden beschouwd, ervan uitgaande dat de effecten op lange termijn van een structurele actie pas enkele jaren na afsluiting hiervan merkbaar zijn. 1. 4. In de regelgeving zoals die in 1993 is gewijzigd, wordt gewezen op de verantwoordelijkheid van zowel de lidstaten als van de Commissie inzake evaluatie in het kader van het partnerschap (3). In dit verband heeft de Commissie het initiatief genomen tot de begeleiding en de algehele coördinatie van de uitvoering van de evaluatie, en legt zij om de drie jaar overeenkomstig artikel 16 van Verordening (EEG) nr. 2052/88 een evaluatierapport over betreffende de geboekte vooruitgang op het gebied van economische en sociale samenhang en betreffende de manier waarop met name de Structuurfondsen en de nationale medefinanciering hieraan hebben bijgedragen. 2. REIKWIJDTE VAN DE CONTROLE 2. 1. De algemene doelstelling van de controle van de Kamer (4) was na te gaan in hoeverre er vooruitgang was geboekt inzake evaluatie van de communautaire structu- rele acties, zowel op het gebied van evaluatiesystemen en -procedures als op methodologisch gebied. De controle had betrekking op de wijze waarop de evaluatie van de structurele acties, zowel door de Commissie als in het kader van het partnerschap werd uitgevoerd. Er is onder- zoek verricht naar de wettige en regelmatige aanwending van de begrotingskredieten van de Europese Gemeen- schappen voor de evaluatie alsook naar de kwaliteit van het financieel beheer van deze kredieten. 2. 2. De controle omvatte tevens het beoordelen van de technieken voor het evalueren van het sociaal-economi- sche effect van de structurele acties. Hoewel het onder- zoek niet was bedoeld als een rechtstreekse evaluatie van de programma’s die nieuwe wetenschappelijke resultaten zou opleveren, worden hierin toch enkele van deze door deskundigen geconstateerde resultaten vermeld om duide- lijker het verband tussen de aangewende economische beleidsinstrumenten en de behaalde resultaten aan te geven. 2. 3. Specifieke controles hadden betrekking op de eva- luaties achteraf van de CB’s en operationele programma’s (OP’s) van de doelstellingen 1 en 2 voor de programme- ringsperiode 1989-1993 en op tussentijdse evaluaties van de CB’s, EPD’s en OP’s van de programmeringsperiode 1994-1999. Alle evaluaties achteraf van de CB’s 1989- 1993 van doelstelling 1 zijn in aanmerking genomen, (1) Het betreft met name: a) artikel 6 van de kaderverordening (Verordening (EEG) nr. 2052/88 zoals gewijzigd bij Verordening (EEG) nr. 2081/93) betreffende de taken van de Fondsen met struc- turele strekking, hun doeltreffendheid alsmede de coördi- natie van hun bijstandsverlening onderling; b) artikel 26 van de verordening met betrekking tot de coördinatie van de Fondsen (Verordening (EEG) nr. 4253/88 zoals gewijzigd bij Verordening (EEG) nr. 2082/ 93). (2) De „beoordeling vooraf” wordt soms ook „evaluatie vooraf” genoemd. In het onderhavige verslag heeft de Kamer de voorkeur gegeven aan de bewoordingen van de verordenin- gen, te weten „beoordeling vooraf”. (3) De communautaire structurele actie wordt opgezet als een aanvulling op de overeenkomstige acties op nationaal niveau of als een bijdrage daaraan. Deze actie wordt vastgesteld via nauw overleg dat partnerschap wordt genoemd, tussen de Commissie, de lidstaat, de regionale en plaatselijke over- heden, de economische en sociale partners en de overige bevoegde instanties. Het partnerschap komt tot stand met volledige inachtneming van de respectieve institutionele, juri- dische en financiële bevoegdheden van alle partners. (4) In haar jaarverslagen over met name de begrotingsjaren 1990 (hoofdstuk 7), 1993 (hoofdstukken 6, 7, 8 en 9) en 1994 (hoofdstuk 4), heeft de Kamer reeds op talloze tekortkomin- gen in de evaluatie voor de programmeringsperiode 1989- 1993 gewezen. C 347/4 NL Publicatieblad van de Europese Gemeenschappen 16. 11. 98 alsook ongeveer 20 % van de rapporten betreffende de evaluatie achteraf van de CB’s 1989-1993 van doelstel- ling 2 en 15 % van de rapporten betreffende de tussen- tijdse evaluatie van de CB’s 1994-1999, die zijn geselec- teerd naar gelang van hun geografische spreiding en de aard van de acties (CB, EPD, OP). Bovendien zijn 15 van de 25 evaluatierapporten, die hoofdzakelijk over macro- economische aspecten handelen, geanalyseerd. Het onder- zoek is uitgevoerd bij de diensten van de Commissie en in acht lidstaten (België, Griekenland, Spanje, Frankrijk, Ierland, Italië, Nederland, Portugal), alwaar de beoorde- laars en de verantwoordelijke functionarissen van de betreffende nationale overheden zijn geraadpleegd. 3. SAMENVATTING VAN DE BELANGRIJKSTE BEVIN- DINGEN 3. 1. De evaluatie, die ten tijde van de hervorming van de Structuurfondsen in 1988 door veel subjecten van de communautaire programma’s nog niet in voldoende mate werd gezien als een onontbeerlijk instrument voor geïn- tegreerd beheer, heeft zich vooral op instigatie van de Commissie in de loop van de programmeringsperiode 1994-1999 ontwikkeld en verspreid, met name in het kader van het EFRO, hetgeen tot gevolg had dat het nut van dit middel eveneens werd erkend op het gebied van beheer en programmering. Vanaf deze tweede program- meringsperiode van de SF’s (1994-1999) wordt de evalua- tie systematisch toegepast in de eerste twee fasen (vooraf, tussentijds) en zal zij ook worden toegepast in de laatste fase (achteraf) (zie de paragrafen 4. 2-4. 8). 3. 2. De Commissie beschikt niet altijd over alle infor- matie in verband met de uitgaven die de evaluatie in het kader van het partnerschap met zich meebrengt, ook al kent zij de hoogte van de uitgaven die rechtstreeks door haar worden gefinancierd (zie de paragrafen 4. 9-4. 11). 3. 3. De Commissie heeft in sterke mate bijgedragen tot de verspreiding van de evaluatiecultuur, ofschoon zij geen toereikende begeleiding in haar programma „Methoden voor de evaluatie van structuurmaatregelen” (MEANS — Me´thodes d’e´valuation des actions de nature structurelle) heeft verschaft voor de indicatoren en de evaluatiemetho- diek. Gezien het ingewikkelde methodologische karakter van de evaluatie bestaat er niet e´e´n enkele methodiek die op elke specifieke situatie kan worden toegepast. Het is desalniettemin van belang dat de Commissie methodolo- gische begeleiding kan bieden waardoor de beschikking wordt verkregen over passende richtsnoeren voor de uitvoering van aan specifieke situaties aangepaste evalua- ties (zie de paragrafen 4. 12-4. 13). 3. 4. De kwaliteit van de indicatoren hangt nauw samen met de betrouwbaarheid van de gegevens van de follow- up van de bijstandsverlening en van de bestaande statisti- sche basisgegevens. Deze statistieken, die onder de verant- woordelijkheid van de lidstaten vallen, blijken vaak niet toereikend te zijn en de lidstaten zouden de kwaliteit ervan moeten verbeteren (zie de paragrafen 4. 14-4. 21). 3. 5. Veel evaluaties worden laat afgerond, waardoor de aanpassingen van de programma’s navenant later worden uitgevoerd. Bovendien zouden de evaluatieresultaten in termen van rendement of doeltreffendheid van de soorten bijstandsverlening beter in aanmerking kunnen worden genomen door het besluitvormingssysteem als het de herprogrammeringen betreft (zie de paragrafen 4. 22- 4. 27). 3. 6. Wat de objectiviteit van de evaluaties betreft, wordt door de Commissie geen enkele vorm van controle ter plaatse uitgevoerd op de cohesie en de betrouwbaarheid van de indicatoren of van de systemen waaruit ze voort- komen (zie de paragrafen 4. 29-4. 30). 3. 7. In de procedures voor de gunning van contracten aan consultants op het gebied van evaluatie zijn er bij de Commissie nog belangrijke zwakke punten te vinden. De selectie van de consultants wordt niet altijd duidelijk gemotiveerd. De bestekken zijn erg vaag over de techni- sche aspecten van de methodiek, de indicatoren of de verplichting tot het behalen van resultaten. Hieruit vloeien vertragingen en verstoringen bij het uitbrengen van evaluatierapporten voort, alsmede een wisselende kwaliteit van de analyse en soms vage aanbevelingen (zie de paragrafen 4. 31-4. 36). 3. 8. Bij de toepassing van de methodieken die betrek- king hebben op de evaluaties achteraf van de doelstellin- gen 1 en 2 van 1989-1993, zijn statistische lacunes, het ontbreken van doelstellingen en van voorlopige gekwanti- ficeerde indicatoren, alsmede een ondoeltreffende follow- up van de effecten geconstateerd. Daarnaast was de wijze waarop de methodieken werden toegepast niet altijd voldoende consequent. Deze evaluaties hebben evenwel een toegevoegde communautaire waarde van de SF’s aan het licht gebracht, zowel op het stuk van de uitvoeringen, de resultaten en de effecten van de CB’s, OP’s en maatre- gelen, als op het gebied van de programmering, de organisatie, het toezicht, de coördinatie, het partnerschap en de additionaliteit (zie de paragrafen 4. 15-4. 19, 5. 1, 5. 4, 5. 10-5. 16). 3. 9. Bij de tussentijdse evaluaties die betrekking hebben op de acties uit hoofde van de SF’s 1994-1999 die binnen het partnerschap worden aangewend in het kader van de toezichtcomite´s, speelt de analyse van de materiële en financiële uitvoeringen altijd een grote rol, ook al wisselt de aan verschillende doelstellingen verleende prioriteit. De evaluatie van de effecten wordt belemmerd door proble- men die zich met name met de indicatoren en het opstellen van modellen voor de effecten voordoen. Deze evaluaties hebben dikwijls nog slechts een beperkt nut voor het besluitvormingsproces, het beheer van de projec- ten, de herprogrammering of het opzetten van toekom- stige acties (zie de paragrafen 4. 16-4. 21, 6. 5, 6. 7, 6. 14- 6. 26). 16. 11. 98 NL Publicatieblad van de Europese Gemeenschappen C 347/5 3. 10. Wat in het bijzonder doelstelling 2 (D2) betreft, heeft de evaluatie met name de volgende zwakke punten aan het licht gebracht: a) de uitvoering van de programma’s en de communau- taire financiering zijn niet op elkaar afgestemd — aangezien de overdrachten van kredieten van het ene programma naar het andere belangrijk blijven — in de orde van gemiddeld 12 % voor de overgang van de periode 1994-1996 naar de periode 1997-1999 (zie paragraaf 6. 27); b) vanwege de reeks korte programmeringsperiodes kan er geen optimaal gebruik worden gemaakt van de uit de evaluatie voortgekomen resultaten (zie paragraaf 4. 23); c) de indirecte effecten zijn nog steeds onvoldoende gemeten om het effect van de structurele acties te kunnen afbakenen, met name waar het gaat om werkgelegenheid (zie de paragrafen 5. 12-5. 15). 3. 11. De uitgevoerde macro-economische evaluaties heb- ben ondanks lacunes in de programmerings-, uitvoerings- en controlesystemen voor de structurele acties, positieve resultaten aan het licht gebracht, met name ten aanzien van het effect van deze acties (toename van het BBP, invloed op vraag en aanbod, verbetering van de werkgele- genheid en de convergentie, doeltreffendheid van de instrumenten van de CB’s)(zie de paragrafen 7. 1-7. 14). 3. 12. De evaluaties van de subprogramma’s of maatrege- len zijn nog steeds gebrekkig. Bovendien doen zich hierbij technische problemen voor die worden veroorzaakt door de spreiding van en het gebrek aan cohesie tussen een groot aantal maatregelen en subprogramma’s (zie para- graaf 7. 17). 4. ALGEMENE PROBLEMEN Inleiding 4. 1. De evaluatie heeft tot doel vast te stellen welke de sociaal-economische effecten van de uitgevoerde acties zijn, dat wil zeggen na te gaan welke resultaten zijn geboekt, deze te vergelijken met de geïnvesteerde midde- len en de kosten te analyseren. Al deze punten dienen tevens te worden geanalyseerd in het licht van de progno- ses. Voor een goede uitvoering van deze evaluatietaak is het noodzakelijk dat er een goede statistische basis is, dat gekwantificeerde doelstellingen op basis van een indicato- rensysteem worden geformuleerd en dat het methodologi- sche en analytische kader wordt ontwikkeld, waarbij wordt uitgegaan van een analyse van de relatie tussen aangewende middelen, uiteindelijke resultaten en tussen- tijdse resultaten. De Kamer heeft tekortkomingen op al deze niveaus geconstateerd, waardoor het nut van de afgeronde evaluaties in het kader van de Structuurfond- sen tot dusver beperkt is, ook al is er duidelijke vooruit- gang waargenomen, die bijdraagt tot de verwezenlijking van een duurzame evaluatiedynamiek. 4. 2. Sinds de hervorming van 1988 vindt de evaluatie uitdrukkelijk plaats in het kader van het partnerschap (artikel 26 van Verordening (EEG) nr. 4253/88 — nader uitgewerkt in de gewijzigde verordening van 20 juli 1993). Gedurende de eerste programmeringsperiode en tot in 1995 zijn de evaluaties echter voornamelijk op initiatief van de Commissie (5) uitgevoerd. Deze evaluaties — en met name de evaluaties die als evaluaties achteraf kunnen worden getypeerd — zijn belemmerd door vage ontwikkelingsstrategieën en door gebrekkige follow-up. Bovendien hebben de toezichtcomite´s er in de meeste gevallen niet werkelijk rekening mee gehouden of ze diepgaand besproken. 4. 3. De Commissie heeft aanvankelijk vooral gezorgd voor de invoering van haar eigen evaluatiesysteem voor alle CB’s die betrekking hebben op de vijf prioritaire doelstellingen van de hervorming (6). Van de initiatieven van de Commissie die verband houden met de ontwikke- ling van de evaluaties en de daarmee samenhangende methoden, dienen met name de oprichting van de techni- sche groep „Evaluatie van regionaal beleid” in 1992 en, op methodologisch vlak, de entamering van het pro- gramma „Methoden voor de evaluatie van structuurmaat- regelen” (MEANS) in 1994 te worden vermeld. 4. 4. Voor de programmeringsperiode 1994-1999 heeft de Commissie de grondslag gelegd voor een nieuwe evaluatiedynamiek, namelijk de systematische toepassing van de evaluatie op de eerste twee fasen (vooraf, tussen- tijds) en later in de fase achteraf. 4. 5. Hoewel de verordeningen inzake de SF’s niet expli- ciet voorzien in de tussentijdse evaluatie, is zij vanaf 1995-1997 toegepast op alle CB’s, EPD’s en OP’s voor de programmeringsperiode 1994-1999. Deze evaluatie is een concrete maatregel in het kader van het partnerschap, die de toezichtscomite´s als instrument voor geïntegreerd (5) Het betreft de volgende evaluaties: a) voor de programmeringsperiode 1989-1993: — beoordelingen vooraf van de CB’s in het kader van D1 en D5b (1990-1991), — evaluaties achteraf van de CB’s in het kader van D1 (1994-1995), — evaluaties achteraf van de CB’s in het kader van D2 (1996-1997); — thematische evaluaties (KMO’s, telecommunicatie); b) voor de programmeringsperiode 1994-1999: — beoordelingen vooraf van de regionale ontwikkelings- plannen in het kader van D1 — beoordelingen vooraf van de programma’s in het kader van D5b, — beoordelingen vooraf van de EPD’s in het kader van D2 1994-1996, — beoordelingen vooraf van de EPD’s in het kader van D2 1997-1999, — kritische analyses van de EPD’s en CB’s in het kader van D1 (1995). De Commissie heeft tevens opdracht gegeven tot evaluaties per lidstaat van het effect van het Europese structurele beleid op de economische en sociale cohesie van de Unie. (6) Nota van DG XII van 14 maart 1991. C 347/6 NL Publicatieblad van de Europese Gemeenschappen 16. 11. 98 beheer kunnen gebruiken, waardoor de evalutiecultuur op zeer grote schaal kan worden verspreid. De Commis- sie heeft voor de tussentijdse evaluatie een systeem in opeenvolgende fasen opgezet voor de uitvoering ervan bij de lidstaten (7). 4. 6. In dit systeem wordt echter de concrete wijze waarop dit proces dient plaats te vinden (omschrijving van de bestekken, selectiecriteria voor de beoordelaar, structuur van het evaluatierapport, gegevensverzameling, vereiste kwaliteitsnormen, tijdschema, enz. ) niet nauw- keurig omschreven. 4. 7. Tegelijkertijd heeft de Commissie evenementen georganiseerd, aangevuld met talrijke publicaties (8). Door de evaluatiedeskundigen en de beheerders van de SF’s bijeen te brengen, hebben deze evenementen bijgedragen aan de ontwikkeling van de evaluatiecultuur en aan de bewustmaking van de beheerders met betrekking tot dit onderwerp. De evaluatie is voornamelijk gepresenteerd als een proces van leren door ervaring. 4. 8. De Commissie heeft in mei 1998 in het kader van het voorontwerp van de algemene begroting van de Europese Gemeenschappen voor het begrotingsjaar 1999 het werkdocument „Evaluatiebalans 1996/1997” gepre- senteerd. Hierin worden de in 1996-1997 uitgevoerde evaluatie-activiteiten beschreven, wordt de lijst met eva- luaties vermeld die reeds zijn uitgevoerd of momenteel (7) a) de uitwerking in 1994 van de eerste taakomschrijving voor de lopende evaluatie van de CB’s en voor de actievormen in het kader van doelstelling 1. Hierin wordt de rol van de tussentijdse evaluatie als besluitvormings- hulpmiddel voor de toezichtcomite´s en voor de uitvoering ervan binnen het partnerschap, bevestigd. Ook worden hierin de uitvoeringsvoorschriften, met name het profiel van het evaluatieteam en zijn taken, nauwkeurig beschre- ven; b) de verspreiding in 1995 van de gemeenschappelijke richt- snoeren voor het toezicht en de tussentijdse evaluaties voor de communautaire SF’s, waarin de onderdelen van de analyse (algemene en specifieke doelstellingen, indica- toren) worden omschreven alsmede de samenhang tussen het toezicht en de tussentijdse evaluatie; c) verzending van brieven aan de lidstaten (1995) waarin ze worden herinnerd aan de verplichting tot tussentijdse evaluatie en waarin de gewenste wijze van uitvoering opnieuw wordt gepreciseerd. (8) Zoals: a) de in Brussel gehouden conferentie over de evaluatie van het Europees regionaal beleid (16 november 1995) die hoofdzakelijk betrekking had op de resultaten van de evaluaties achteraf van D1 1989-1993 en van de beoor- delingen vooraf 1994-1999; b) de Europese conferentie over de evaluatiemethoden voor de bijstandsverlening van de SF’s (Berlijn, 2 en 3 decem- ber 1996) die voornamelijk betrekking had op de proble- men bij de evaluatie van het effect op micro-economisch, macro-economisch en thematisch niveau; c) de in maart 1998 in Sevilla gehouden conferentie die ten doel had de uitwisseling van ervaringen op het gebied van evaluatie in het kader van het partnerschap te bevorde- ren. worden uitgevoerd, en worden in grote lijnen de resulta- ten van de in 1996-1997 uitgevoerde evaluaties gegeven. 4. 9. De uitgaven die de evaluatie met zich meebrengt kunnen rechtstreeks door de Commissie worden gefinan- cierd of worden medegefinancierd uit hoofde van het partnerschap met de lidstaten. In de tabellen 1 en 2 worden de directe uitgaven aangegeven die DG XVI heeft gemaakt in verband met de evaluatie voor de twee programmeringsperioden 1989-1993 en 1994-1999. 4. 10. Voor de periode 1989-1993 liggen de aan de evaluatie bestede uitgaven in de orde van 10 Mio ECU, zoals blijkt uit tabel 1. Ongeveer tweederde van deze uitgaven is gedaan op twee gebieden die rechtstreeks onder de verantwoordelijkheid van de Commissie vallen en die voortvloeien uit haar eigen initiatief: enerzijds de communautaire initiatieven uit hoofde van artikel 11 van Verordening (EEG) nr. 4253/88 ten bedrage van 3,1 Mio ECU en anderzijds de transversale en thematische evalua- ties zoals de KMO’s, telecommunicatie, het milieu of menselijk potentieel ten bedrage van 3,2 Mio ECU. De bedragen die bestemd zijn voor de evaluatie van D1 en D2 van de SF’s zijn daarentegen nog steeds relatief laag, aangezien het partnerschap zich gedurende dezelfde periode nauwelijks ontwikkeld heeft op het gebied van evaluatie. In april 1998 is het aan de evaluatie van de periode 1994-1999 bestede bedrag 25,2 Mio ECU, zoals blijkt uit tabel 2. Deze toename ten opzichte van de voorafgaande periode valt te verklaren door de ontwikke- ling van de tussentijdse evaluatie en de hierop betrekking hebbende methodiek in het kader van het partnerschap. 4. 11. Wat betreft de door de Commissie en de lidstaten in dit kader gedane uitgaven, die sinds 1996 sterk zijn toegenomen, beschikt de Commissie niet altijd over alle hiermee samenhangende gegevens, vooral wanneer de evaluaties worden opgenomen in de maatregel „techni- sche bijstand” van de operationele programma’s, waaron- der ook andere uitgaven kunnen vallen. Wanneer vanaf de beginfase van de programmering voor een bedrag zou kunnen worden gezorgd dat specifiek is toegewezen aan de evaluatie, zou er een doorzichtiger beeld van de hieraan verbonden kosten ontstaan. Referentiekader 4. 12. In de ontwikkeling van de evaluatie neemt het MEANS-programma (1995-1998), met een bedrag van in totaal 2,8 Mio ECU, een specifieke plaats in (9). Met de toegepaste benaderingswijze wordt gestreefd naar een uniforme en coherente ontwikkeling op methodologisch vlak, door de door de lidstaten gehanteerde methodieken (9) Dit programma wordt gezamenlijk beheerd door de Commis- sie en een externe consultant, wiens medewerking uit begro- tingslijn B2-1820 werd gefinancierd voor een bedrag van 932 000 ECU per jaar. 16. 11. 98 NL Publicatieblad van de Europese Gemeenschappen C 347/7 te inventariseren en bruikbare voorbeelden onder de aandacht te brengen. Met deze aanpak, die voornamelijk als aansporing en empirisch is bedoeld, kan de Commissie zich niet uitspreken over de concrete uitvoeringsvoor- schriften voor evaluatiemethodes of over de keuze van indicatoren, in het bijzonder indicatoren die de sociaal- economische effecten op het vlak van regionale ontwikke- ling beogen te meten. Gezien het ingewikkelde methodo- logische karakter van de evaluatie bestaat er niet e´e´n enkele methodiek die op elke specifieke situatie kan worden toegepast. Het is desalniettemin van belang dat de Commissie methodologische begeleiding kan bieden waardoor de beschikking wordt verkregen over passende richtsnoeren voor de uitvoering van aan specifieke situa- ties aangepaste evaluaties. 4. 13. De resultaten van het MEANS-programma hebben tot dusver gediend voor het leggen van de eerste grond- slagen van een nieuwe benaderingswijze inzake evaluatie, met name door het invoeren van een gemeenschappelijke taal. Bovendien kon aan de hand van deze resultaten de tussentijdse evaluatie in het kader van het partnerschap worden opgezet. In de tabellen 3 en 4 wordt de algemeen geaccepteerde benaderingswijze voor de evaluatie gege- ven. Het MEANS-programma heeft echter nog geen gron- dig antwoord op vragen over met de evaluatie verband houdende praktische of operationele aspecten gegeven. Derhalve zijn twee fundamentele vragen nog steeds niet beantwoord: enerzijds, welk indicatorensysteem is het meest geschikt om een algemeen oordeel over een com- munautair structureel programma te formuleren en, anderzijds, welke aanpak voor evaluatie is het meest geschikt om het sociaal-economische effect van een speci- fiek structureel programma in het kader van de regionale ontwikkeling te meten. De Commissie is nog niet in staat precieze instructies te formuleren wat betreft de concrete technieken die in elke specifieke evaluatiesituatie moeten worden toegepast. Dit heeft met name een negatieve invloed op de uitvoering van de tussentijdse evaluaties van de programmeringsperiode 1994-1999. bijstandsverlening acties voor van Statistische basisgegevens en informatie over de doelstel- lingen 4. 14. Bij de evaluaties, of ze nu vooraf, tussentijds of achteraf plaatsvinden, worden vaak te algemeen geformu- leerde doelstellingen geconstateerd, zelfs met betrekking tot de doelstellingen van de maatregelen. 4. 15. Het ontwikkelingsniveau van de bestaande statisti- sche basisgegevens vormt een belemmering voor het toe- zicht op en de evaluatie van de programma’s en maatre- gelen die door de Structuurfondsen worden medegefinan- cierd. De lacunes betreffen met name het gebrek aan statistische gegevens met betrekking tot de betreffende gebieden, het ontbreken van statistische gegevens voor bepaalde aspecten, en een periodieke informatievergaring die niet is afgestemd op de behoeften aan toezicht en evaluatie. Indicatoren 4. 16. De aanwezigheid van betrouwbare en geschikte indicatorensystemen is een onmisbaar element van het programmeringsproces. Voor de evaluatie is het nodig dat de structurele programma’s informatie bevatten over de financiële en fysieke uitvoering alsook over de resultaten of het functioneren van de acties. Aan de hand van deze indicatoren moeten de beheerders inzicht kunnen verkrij- gen in de onmiddellijke of duurzame effecten van de uitgevoerde acties en kan bovendien de geboekte voort- gang in het licht van de algemene doelstellingen van de programma’s, zoals regionale groei of daling van de werkloosheid, worden gemeten. 4. 17. De betrouwbaarheid van de financiële indicatoren is nauw verbonden met die van de verklaringen inzake de uitgaven die aan de Commissie zijn toegezonden om de hierop betrekking hebbende communautaire betaling op gang te brengen. De fysieke indicatoren worden vaak gezien als aanvullende informatie en de betrouwbaarheid ervan is relatief. Met de bestaande gegevensbestanden is het niet altijd mogelijk de fysieke ontwikkeling van de uitvoering te registreren en de uiteindelijke begunstigden stellen de beheerders niet altijd regelmatig op de hoogte van de staat waarin de fysieke uitvoering zich bevindt. In de tussentijdse evaluatie van het OP Lisboa e Vale do Tejo in Portugal wordt gewag gemaakt van fysieke indi- catoren die strikt overeenkomen met de uitgaven en worden er geen afwijkingen vermeld die kunnen ontstaan door vertraging in de uitvoering of door andere oor- zaken. De lidstaten zouden hun toezichtsmechanismen en de databanken ter ondersteuning van de indicatoren moeten verbeteren. 4. 18. Bij het vaststellen van de resultaten en de effecten van de subprogramma’s en maatregelen enerzijds en van het effect van de programma’s anderzijds, worden ondui- delijkheden geconstateerd die een negatief effect hebben op het vaststellen van causale verbanden tussen de ver- schillende niveaus waarop de doelstellingen betrekking hebben en tussen de doelstellingen en de maatregelen en projecten, alsmede op het vaststellen van horizontale complementaire en coherente verbanden tussen maatrege- len en tussen doelstellingen. Het is derhalve moeilijk het specifieke effect van een maatregel op de regionale ont- wikkeling of het effect van een investering op de vraag of, a fortiori, op het aanbod, te bepalen. In dit kader blijkt de zoektocht naar indicatoren die een adequaat hulpmid- del vormen voor de evaluatie van de resultaten en van het effect wat het CB 1994-1999 betreft, nog niet afgerond (zie 6. 23). 4. 19. De beoordeling vooraf van het CB is onontbeerlijk voor de latere evaluaties. Hiermee worden namelijk alle indicatoren van resultaten en effect opgesteld en gekwan- tificeerd zodat het verwachte effect van het programma kan worden beoordeeld en met het werkelijke effect kan worden vergeleken. In dit verband is de werkwijze van beheer per doelstelling niet altijd op geharmoniseerde wijze dan wel in voldoende mate toegepast, hetgeen C 347/8 NL Publicatieblad van de Europese Gemeenschappen 16. 11. 98 gevolgen heeft gehad voor de voor de evaluatie vereiste indicatoren. Zo bevat het CB 1994-1999 van Italië een gering aantal indicatoren, wat latere evaluaties ervan zou kunnen bemoeilijken. Het CB 1994-1999 van Portugal, dat zonder dat er al te grote wijzigingen in waren aangebracht, door de Commissie werd goedgekeurd, bevat daarentegen een te groot aantal indicatoren, te weten om en nabij de 300, wat de evaluatie eveneens moeilijker maakt. Het feit dat de indicatoren voor de verschillende CB’s zo uiteenlopen, benadrukt nog eens het gebrek aan coherentie van de programmering. De aanwe- zigheid van talrijke algemene en weinig kwantificeerbare doelstellingen leidt bij de tussentijdse evaluatie soms tot herziening van het indicatorensysteem dat door de Com- missie was goedgekeurd in de periode waarin de beoorde- ling vooraf plaatsvond, aangezien deze niet duidelijk genoeg omschreven was en er niet goed mee te werken was. 4. 20. De structurele acties en de sociaal-economische omstandigheden die hierdoor worden beïnvloed, geven aanleiding tot een grote verscheidenheid aan indicatoren die vaak gedecentraliseerd worden vastgesteld. De Com- missie heeft geen lijsten met indicatoren opgesteld die zij onontbeerlijk en representatief acht voor regionale ont- wikkeling of in het kader van de verschillende actievor- men, ook al zijn gedeeltelijke lijsten wel verstrekt aan bepaalde nationale of regionale instanties en zijn daarover reeds discussies gevoerd. In het kader van het toezicht zou een grotere 4. 21. kwantificering van de indicatoren van de resultaten en het effect moeten worden ontwikkeld, zonder de betrouwbaarheid van deze kwantificering uit het oog te verliezen. Het komt namelijk voor dat deze kwantifice- ring niet betrouwbaar is, zodat niet kan worden voorko- men dat in bepaalde gevallen gecreëerde arbeidsplaatsen twee keer worden geteld, of dat het niet mogelijk is de bruto-effecten op de werkgelegenheid te onderscheiden van de netto-effecten. Dit is geconstateerd na vergelijking van het tussentijds evaluatierapport van het OP Branden- burg met de statistische gegevens betreffende de inschrij- ving van personen in het socialezekerheidsstelsel. Benutting van de evaluatie 4. 22. De mate waarin de evaluatie bijdraagt aan een efficiënte aanwending van de communautaire middelen hangt grotendeels af van de kwaliteit van de inhoud, alsook van de datum van ontvangst van de resultaten en de datum van het besluit tot wijziging van het beleid. Een aantal tussentijdse evaluaties van de CB’s, EDP’s en OP’s van de programmeringsperiode 1994-99 is echter vrij laat afgerond, waardoor eventuele wijzigingen met vertraging werden uitgevoerd. 4. 23. Wat de programmering van D2 betreft, is het gevolg van de reeks kortere (in verhouding tot D1) programmeringsperioden dat de data waarop de pro- grammeringsbesluiten moeten worden genomen zeer waarschijnlijk niet samenvallen met de data waarop de evaluatieresultaten beschikbaar zijn, zodat het mogelijk wordt lering te trekken uit het verleden en de latere acties aan te passen. In zekere zin verlopen de programmerings- cyclus van D2 en de evaluatiecyclus ervan niet parallel; zo is de definitieve versie van het samenvattend rapport van de evaluatie achteraf van D2 voor de periode 1989-1993 in de zomer van 1997 aan de Commissie overgelegd, terwijl de beoordeling vooraf van de programmering 1997-1999 reeds gaande was en met de evaluatie achteraf van de periode 1994-1996 nog niet was begonnen. 4. 24. Ongeacht de resultaten van de structurele pro- gramma’s waarop in de evaluatierapporten de aandacht wordt gevestigd, blijft de begrotingstoewijzing ten gunste van deze of volgende programma’s vaak onveranderd. Er is in de eerste programmeringsperiode in het besluitvor- mingssysteem zeer zelden rekening gehouden met de evaluaties, aangezien herprogrammeringen over het alge- meen voornamelijk waren gebaseerd op de bestedings- graad. Dit was het geval voor de nuttige aanbevelingen die de voornaamste consultant heeft gedaan in het kader van de evaluatie achteraf van doelstelling 1 van de CB’s 1989-1993 (zie paragraaf 5. 7). 4. 25. De meer kwalitatieve aspecten betreffende resulta- ten of doeltreffendheid van de programma’s die in tussen- tijdse evaluaties of uitvoeringsverslagen worden behan- deld, hebben onvoldoende invloed gehad op het operatio- neel beheer van de SF’s, noch op het proces dat moet leiden tot grotere betrokkenheid en zelfredzaamheid van de partners voor wie de programma’s worden ontwik- keld. 4. 26. De resultaten van de tussentijdse evaluatie van de EDP’s, CB’s en OP’s in het kader van doelstelling 2 (1994-1996), alsook die van het toezicht, maken duidelijk dat de geprogrammeerde financiering en de uitvoering van de programma’s niet op elkaar zijn afgestemd. Deze situatie leidt ertoe dat de aandacht voor de besteding van de kredieten gaat overheersen en kan uitmonden in een onderwaardering van de rol van de evaluatie in de analyse van het betrokken gebied, met name wat betreft de coherentie tussen de doelstellingen, de toegewezen middelen en het effect van de structurele acties. 4. 27. Vaak zijn de conclusies en aanbevelingen van evaluaties voor de beheerders van acties voor bijstands- verlening vanzelfsprekend, ook al kunnen ze nuttig voor andere partners zijn. Dat geldt zowel voor de evaluaties achteraf (zie paragraaf 5. 8) als voor de tussentijdse eva- luaties in het kader van het partnerschap. Objectiviteit van de evaluaties 4. 28. Het ontbreken van een duidelijk referentiekader belemmert de toepassing van adequate en objectief toe- pasbare methoden op de specifieke evaluatieomstandig- heden, zodat een vlotte controle van de resultaten kan plaatsvinden en de onafhankelijkheid van de beoordelaar kan worden gegarandeerd. Het komt echter voor dat de 16. 11. 98 NL Publicatieblad van de Europese Gemeenschappen C 347/9 motivering van de aanbevolen methode niet objectief is, dat de beoordelaar zijn benadering te gemakkelijk afstemt op de problemen waarmee hij wordt geconfronteerd of dat hij de indicatoren afhankelijk van de beschikbare informatie kiest. 4. 29. Lang niet altijd is er sprake van onafhankelijkheid ten aanzien van de beheerders, met name als het gaat om informatie (zie paragraaf 6. 11), terwijl in de evaluatie- rapporten niet altijd de informatiebron wordt vermeld waarop de hierin gegeven bevindingen zijn gebaseerd. Deze lacune kan ertoe leiden dat de betrouwbaarheid en validiteit van de informatie die in de evaluatierapporten wordt gegeven, in twijfel worden getrokken. 4. 30. Terwijl de objectiviteit zou moeten worden gega- randeerd door een controlesysteem dat gericht is op de kwaliteit van indicatoren (van uitvoering, resultaten en effect), de betrouwbaarheid van de basisinformatie en de mate waarin de methodiek wordt toegepast, analyseren de diensten van de Commissie de in het kader van de evaluatie gepresenteerde informatie en resultaten, maar oefenen geen enkele controle ter plaatse uit of gaan niet na of de in de lidstaten voorhanden zijnde evaluatiesyste- men goed functioneren. De door de Commissie gegunde evaluatiecontracten 4. 31. Het onderzoek naar de procedures voor de gun- ning van contracten voor de evaluaties die de Commissie heeft laten uitvoeren, heeft zwakke punten aan het licht gebracht: inadequate selectieprocedures, te vage bestek- ken, vertragingen en povere kwaliteit van de rapporten. 4. 32. De beoordelings- of onderzoeksfactoren die bepa- len wie door de Commissie als consultant wordt aange- wezen, worden niet altijd precies vermeld in de notulen van de vergaderingen over de aanbestedingsprocedure. De door de Kamer uitgevoerde controle heeft niet kunnen vaststellen dat de beste deskundigen met de meest geschikte capaciteiten zijn geselecteerd. In het geval van de evaluatie achteraf van de CB’s 4. 33. 1989-1993 in het kader van D1 en die in het kader van D2 had de selectie bovendien betrekking op respectieve- lijk e´e´n voornaamste consultant plus een aantal andere nationale consultants en coördinerende consultants die later zelf de onderzoeken uitbesteedden aan andere con- sultants. Hierdoor kan de Commissie de controle verlie- zen op de uitvoeringsvoorschriften van de evaluatie ter garantie van de coherentie, de homogeniteit en de kwali- teit van de resultaten. 4. 34. De bestekken zijn soms onduidelijk wat betreft de omschrijving van de te verrichten werkzaamheden en de verwachte verplichting tot het boeken van resultaten. De contractbepalingen zijn zeer algemeen. De wijze waarop de evaluatie wordt uitgevoerd kan vaak nog in een later stadium worden goedgekeurd op basis van een overeen- komst met de Commissie over de methodiek. 4. 35. Er worden vaak vertragingen geconstateerd wat betreft het tijdschema voor de indiening van de rappor- ten. Zo werd wat betreft de evaluatie van alle CB’s 1989-1993 D1, in het contract bepaald dat het rapport op 28 februari 1995 diende te worden overgelegd, maar dit was pas in november 1995 volledig. De Commissie had geen enkele sanctie met betrekking tot het niet nakomen van de contractuele verplichtingen wat betreft de uiterste datum van indiening voorzien. Zij heeft daar- entegen op 11 juli 1995 de laatste betaling van 40 % overeenkomstig artikel 4 van het contract overgemaakt. 4. 36. Het ontbreken van precieze en duidelijke contract- bepalingen over de te volgen methodiek en de beoogde resultaten kan ten aanzien van de rapporten uiteenlo- pende reacties van de diensten van de Commissie opleve- ren. Zo komt het voor dat soms rapporten worden geaccepteerd die zich beperken tot eenvoudige beschrij- vingen of tot vage analyses van het nut van projecten of programma’s, of die zijn gebaseerd op algemene bewerin- gen van ondervraagde personen, of die weer leiden tot te algemene aanbevelingen. In het geval van de evaluatie achteraf van het CB 1989-1993 Ierland raadt een dienst ontbinding van het contract met de consultant aan op grond van de slechte kwaliteit, terwijl een andere dienst het heeft goedgekeurd. In het geval van de evaluatie achteraf van het CB 1989-1993 Portugal zijn de betrok- ken diensten het erover eens dat het rapport geen evalua- tieonderdelen bevat, maar zich beperkt tot het weergeven van reeds door de lidstaat voorgelegde onderdelen van de fysieke uitvoering. Evenzo wordt erop gewezen dat het rapport inzake de evaluatie achteraf van het CB 1989- 1993 Spanje te beschrijvend is en slechts weinig analyses bevat. De evaluatie achteraf van het CB 1989-1993 Noord-Ierland wordt onvolledig geacht. Het rapport inzake de evaluatie achteraf van het CB 1989-1993 Italië wordt beschouwd als slecht gestructureerd en georgani- seerd. Bij de evaluatie van het CB 1989-1993 Grieken- land ontbreekt de algemene conclusie, terwijl hierin wel conclusies per hoofdstuk worden vermeld. 5. EVALUATIES ACHTERAF VAN DE CB’S IN HET KADER VAN DOELSTELLINGEN 1 EN 2 (1989-1993) Inleiding 5. 1. De beoordelaars worden vaak geconfronteerd met de volgende problemen: a) de aanvankelijke programmering is dikwijls in haast verricht en zonder evaluaties vooraf van de pro- gramma’s, met name van de inherente economische grondslagen vooral wat betreft de regio’s van D1; b) het ontbreken van gekwantificeerde doelstellingen en resultaatindicatoren; c) statistische lacunes met betrekking tot de sociaal- economische situatie zoals die was vlak vóór de acties uit hoofde van de SF’s in het kader van D2 en zoals die is na de acties, met name wat betreft de industriële C 347/10 NL Publicatieblad van de Europese Gemeenschappen 16. 11. 98 structuur, de investeringen en het bruto regionaal product. De statistische instrumenten zijn niet altijd afgestemd op de gekozen onderzoeksgebieden (ge- meente, arrondissement, arbeidsmarkt); d) bepaalde acties zijn niet afgerond; e) de aanwezigheid van exogene factoren die ertoe bij- dragen dat een verklaring kan worden gegeven voor de ontwikkeling van de sociaal-economische situatie; f) het heterogene karakter van de projecten en van de doelstellingen ervan, terwijl de toekenning van steun niet voldoende is afgestemd op de regionale of lokale behoeften; g) de aan de maatregelen en het programma inherente effecten die niet eenvoudig kunnen worden waargeno- men wegens het grote aantal acties ten behoeve van dezelfde regio of hetzelfde gebied; h) het feit dat de indirecte effecten van het programma moeilijk te meten zijn (met name met betrekking tot werkgelegenheid), aangezien hiervoor geen observatie- mechanisme is ingesteld sinds de entamering van de programma’s en er na afronding van de programma’s geen diepgaand onderzoek naar dit onderwerp is uitgevoerd. Evaluatie achteraf van de CB’s in het kader van doel- stelling 1 (1989-1993) 5. 2. De evaluatie achteraf van de CB’s in het kader van D1 werd gecoördineerd door e´e´n centrale consultant en bestaat uit evaluaties achteraf van de betreffende CB’s die door nationale consultants tussen januari 1994 en juni 1995 zijn uitgevoerd. De consultant die belast was met de coördinatie heeft de te hanteren methodiek uitgewerkt op basis van analyses, zowel op macro-economisch niveau als op niveau van maatregelen en projecten. Het doel van deze aanpak is enerzijds de aan de CB’s, OP’s en maat- regelen inherente strategie en logica te analyseren en anderzijds een eerste overzicht van de fysieke uitvoerin- gen en van het effect te bieden, en in laatste instantie de uitvoeringsmechanismen te onderzoeken. In bijlage I wordt een samenvatting van deze benaderingswijze gege- ven. 5. 3. Hoewel de voorgestelde methodiek in haar geheel coherent is, vertoont deze toch zwakke punten. Zo wordt ervan uitgegaan dat de analyse van de aan de CB’s, OP’s en maatregelen inherente strategie en logica is gebaseerd op een geharmoniseerde doelstellingenstructuur die ver- band houdt met een standaardnomenclatuur voor activi- teiten. Deze aanpak zou een vergelijking tussen lidstaten mogelijk moeten maken, maar leidt niet noodzakelijker- wijs tot een rangschikking van de doelstellingen, die zowel op de prioriteiten zoals vastgesteld door de lid- staten gefundeerd is als op de criteria rangorde, comple- mentariteit, vervangbaarheid en synergie. Hiermee kun- nen evenmin alle zwakke punten in de coherentie binnen de voor elk CB of OP kenmerkende strategie worden geïdentificeerd. Bovendien kunnen met de fysieke en effectindicatoren die in het methodologische document worden vermeld de relevante vragen over de al dan niet verwachte effecten waarop middels de methodiek wel een antwoord dient te worden gegeven vaak niet worden beantwoord. 5. 4. De Kamer heeft bovendien lacunes vastgesteld, zoals: a) wat betreft de ontwikkeling van het sociaal-econo- misch klimaat van de CB’s en de OP’s zijn de beginsituatie waarop de communautaire actie moet inwerken (1988-1989) en de situatie wanneer de uitvoering is afgerond (1993-1994) niet altijd met elkaar vergeleken; soms zijn de gegevens te oud, met name die welke betrekking hebben op regionale ver- schillen; b) de rangschikking van de doelstellingen waarin de methodiek voorziet, is meestal niet in voldoende mate geanalyseerd; hetzij omdat deze rangschikking nog niet was vastgesteld, hetzij omdat deze nog niet volledig was en alleen de OP’s en maatregelen die waren geselecteerd voor een specifiek onderzoek erin waren opgenomen, of de structureringscriteria er niet op systematische wijze in werden toegepast; zo kwam het voor dat de rangschikking van de doelstellingen en de instrumenten niet leidde tot een betere vaststel- ling van de problemen inzake coherentie en relevantie van prioriteiten en het relatief belang ervan; c) soms is er geen grondige analyse gemaakt van de oorzaken van de in de CB’s en OP’s aangebrachte wijzigingen; d) terwijl de financiële uitvoering, de uitvoeringsmecha- nismen en de fysieke uitvoeringen over het algemeen ruimschoots worden behandeld in de evaluatierappor- ten, is er, behalve in termen van gecreëerde arbeids- plaatsen, in bepaalde gevallen geen onderzoek gedaan naar de effecten van de programma’s of maatregelen of worden de effecten in niet-kwantitatieve termen geformuleerd. De enige gekwantificeerde effecten komen soms tot stand door de toepassing van macro- economische modellen en hebben betrekking op de toename van het BBP, het creëren van werkgelegen- heid, het concurrentievermogen. Hieruit bleek het tekort aan gegevens die door de beheerders in het kader van de toezichtsystemen zijn verschaft; e) de bottom-up-analyses leidden er over het algemeen niet toe dat er conclusies kunnen worden getrokken wat betreft het effect van programma’s; f) de toegevoegde waarde op communautair niveau wordt soms slechts uitgedrukt in kwalitatieve termen (bijvoorbeeld de mate waarin rekening wordt gehou- den met de logica van het programma, de uitvoering van een geïntegreerde strategie, het effect op het organisatieproces); het onderzoek naar deze toege- voegde waarde geschiedde overigens niet altijd op systematische wijze; 16. 11. 98 NL Publicatieblad van de Europese Gemeenschappen C 347/11 g) op de verwachte langetermijneffecten is niet ingegaan of slechts in kwalitatieve zin. 5. 5. Het CB Spanje in het kader van D1 is zowel onderwerp geweest van een evaluatie achteraf waartoe opdracht was gegeven door de Commissie, als van een andere evaluatie waartoe de aanzet was gegeven door de nationale overheden en die communautaire medefinancie- ring genoot. Hoewel deze twee evaluaties in dezelfde periode zijn uitgewerkt en dezelfde doelstellingen werden nagestreefd, zijn deze toch onafhankelijk en los van elkaar uitgevoerd. 5. 6. Wat resultaten en effect betreft, blijken uit de evaluaties achteraf een aantal zaken, te weten de fysieke uitvoeringen uit hoofde van de CB’s in het kader van D1, de macro-economische effecten van de CB’s die in som- mige nationale evaluaties in overweging zijn genomen, en de vorderingen die bij de planning zijn geboekt, hoewel op dat gebied bij de aanpak per programma een aantal obstakels zijn geconstateerd (10). In deze evaluaties ach- teraf wordt eveneens de nadruk gelegd op de bijdrage die de CB’s leveren als het gaat om innoverende organisa- tiestructuren, financieel beheer, toezicht, informatie-, coördinatie- en partnerschapssystemen, hoewel op al deze niveaus nog altijd belangrijke vooruitgang dient te wor- den geboekt. 5. 7. De door de voornaamste consultant in 1995 gele- verde samenvatting bevatte enkele nuttige aanbevelingen waaraan de Commissie niet geheel gevolg heeft kunnen geven: bijvoorbeeld duidelijker onderscheid bij de uitwer- king van de programmering tussen de communautaire structurele acties waarmee de endogene groeifactoren worden bevorderd en die welke het regionaal herstel van het evenwicht of de verbetering van de welvaart ten doel hebben; of afstemming van de aan investeringen in de infrastructuur specifieke karaktereigenschappen van de regio’s die moeten worden ontwikkeld, of groter evenwicht tussen enerzijds de bestrijding van werkloosheid en anderzijds de noodzaak dat de productiviteit en het concurrentievermogen toene- men; of tot slot dat in het regionaal beleid meer rekening dient te worden gehouden met de werkgelegenheid. toegekende prioriteit op (10) De benadering per programma werd belemmerd door: i) het korte tijdsbestek van de planning die met name ertoe leidde dat de evaluatie vooraf ontbrak; ii) het ontbreken van concrete doelstellingen, van gekwan- tificeerde indicatoren op het gebied van uitvoering, resultaat en effect; iii) administratieve knelpunten, met name wanneer subpro- gramma’s van een zelfde programma onder verschillende overheidsinstanties vallen, of wanneer de sectorale en regionale benaderingen elkaar overlappen; tekortkomingen in de communautaire voorschriften die met name leiden tot het in het kader van communau- taire initiatieven goedkeuren van projecten die door de OP’s in het kader van D1 zijn afgewezen; iv) v) de benadering per project van het Cohesiefonds, die geen positieve uitwerking meer heeft op een evenwich- tige toepassing van de benadering per programma. 5. 8. De door de beoordelaars op nationaal niveau uitge- voerde evaluatie achteraf van alle CB’s 1989-1993 in het kader van D1 was voornamelijk gericht op verbetering van de systemen voor het uitoefenen van toezicht en beheer van de lidstaten, en niet zozeer op een werkelijke evaluatie van het effect van de SF’s. Evaluaties achteraf in het kader van doelstelling 2 (1989-1993) 5. 9. De evaluaties achteraf van de programma’s in het kader van D2 voor de periode 1989-1993 werden in de 60 subsidiabele regio’s gecoördineerd door een externe beoordelaar. Elke regio is onderworpen aan een algemene analyse, terwijl in het geval van 22 regio’s grondig onderzoek is verricht. Het belangrijkste doel van deze evaluaties was het analyseren van het effect van deze structurele acties op het industriële omschakelingsproces in deze regio’s en hieruit lering trekken voor de volgende programmering. Een samenvatting van de manier waarop de evaluatie is aangepakt, is te vinden in bijlage II. 5. 10. Hoewel was voorzien in een gemeenschappelijk kader, zijn de gekozen benaderingen erg heterogeen, met name wat betreft de prioriteiten en het ontwikkelings- niveau van de analyse, het beschrijvende of kritische karakter ervan, de gebruikte methoden en technieken. 5. 11. De analyse van de geschikte strategie en het geschikte karakter voor de CB’s en de OP’s en van de wijzigingen die ze hebben ondergaan in verband met het sociaal-economisch klimaat, heeft zelden geleid tot her- formulering van de structuur van de doelstellingen, de subprogramma’s en de maatregelen op basis van de logica van regionale ontwikkeling of omschakeling en op basis van de criteria voor rangorde, complementariteit en ver- vangbaarheid. Via een dergelijke herformulering in uitge- werkte vorm zou een systematischer opsporing van de lacunes in de uitgevoerde strategie mogelijk moeten zijn, voor wat betreft de coherentie, het juiste relatieve belang van de prioriteiten, de synergieën, de complementariteit, de doeltreffendheid met betrekking tot het sociaal-econo- misch klimaat. Veel strategieanalyses die uitgaan van de structuur van de CB’s en de OP’s zijn daarentegen niet volledig en weinig kritisch ten aanzien van die strategie. 5. 12. Wat het effect van de acties in het kader van de SF’s betreft, slagen de beoordelaars er niet in om op basis van een steekproef onder projecten en een analyse van de resultaten, de toegevoegde waarde en additionaliteit ervan, hun bevindingen ook toe te passen op de beoorde- ling en het sociaal-economisch effect van het pro- gramma. 5. 13. Slechts weinig evaluaties waren gebaseerd op een echte combinatie van een top-down- en bottom-upbena- dering. Deze combinatie is met name gebruikt voor de evaluatie met betrekking tot de acties in het kader van C 347/12 NL Publicatieblad van de Europese Gemeenschappen 16. 11. 98 D2 ten behoeve van Toscane. In dit geval kon met de top-downbenadering, waarbij werd uitgegaan van een biregionaal econometrisch model, zowel voor Toscane als voor de rest van Italië een schatting worden gemaakt van het globale effect van de toegenomen vraag op de produc- tie per sector, op de verbruiksniveaus en op de toege- voegde waarde. Met dit model kunnen tevens multiplier- effecten per soort actie (infrastructuren, diensten aan ondernemingen, steun voor particuliere investeringen) en effecten op de werkgelegenheid (11) worden geraamd. De directe effecten op de werkgelegenheid zijn ingeschat met behulp van een techniek die gebruik maakt van stan- daardcoëfficiënten voor de verschillende actievormen. Deze top-downbenadering heeft dus betrekking op de directe met de vraag samenhangende effecten op korte termijn. De bottom-upbenadering, waarbij wordt uitge- gaan van een steekproef onder projecten en maatregelen, is meer bedoeld om de effecten op lange termijn zichtbaar te maken — de meer structurerende en indirecte effecten die vooral betrekking hebben op het aanbod en de externe besparingen, zodat de productiekosten kunnen worden teruggebracht. Zelfs al zijn deze effecten moeilij- ker te isoleren en te kwantificeren en al kunnen via deze benadering de effecten niet worden vastgesteld voor de maatregelen en het programma hetgeen toch vooral het doel was van de diepgaande evaluatie, vormen de kwali- tatieve overwegingen ten aanzien van de doeltreffendheid van de maatregelen en de additionaliteit van de commu- nautaire acties niettemin een nuttige aanvulling op de top-downbenadering. De combinatie van de twee benade- ringswijzen kan een reële toegevoegde waarde aan de analyse geven, met name wanneer deze combinatie is gebaseerd op technieken die verband houden met het opstellen van modellen en met formalisering. 5. 14. De effectevaluaties waarbij wordt uitgegaan van systematisch onderzoek — zoals ook het geval is bij verscheidene onderzoeken naar de additionaliteit van maatregelen of naar de toepassing van een specifieke methode om ramingen te maken van als gevolg van de maatregelen gecreëerde nettobanen door een experimen- tele en een controlegroep met elkaar te vergelijken — zijn ook dun gezaaid. Toch kennen ze een reële toegevoegde waarde toe aan de evaluatie van het effect. De evaluatie van de doeltreffendheid van de maatregelen en de pro- gramma’s zou beter zijn geweest indien de beoordelaars een statistisch onderzoek hadden gedaan naar bepaalde resultaatindicatoren, waarbij het overigens wel zo is dat ze een dergelijk onderzoek soms wel hadden willen uit- voeren. Derhalve ontbreekt het soms aan gegevens over het aantal ondernemingen in de nieuwe industriegebieden die met steun van de SF’s zijn opgezet, of gegevens over de technologische overdracht van onderzoeksinstituten naar de ondernemingen. De gesprekken met de beheer- ders van maatregelen en projecten waarin de evaluatiebe- naderingen meestal voorzien, verschaffen maar zelden duidelijke informatie inzake de uitvoeringen, de resultaten en het effect van acties. 5. 15. De resultaten op het gebied van gecreëerde banen zijn niet zeker in termen van duurzaamheid en ten aanzien van de vraag welk deel specifiek kan worden toegeschreven aan de structurele acties. Bovendien bevat- ten de evaluatierapporten af en toe tegenstrijdige gege- vens. 5. 16. Wat het effect van de programma’s in het kader van D2 betreft, blijkt uit de evaluaties achteraf met name dat: a) de OP’s in het kader van D2, weliswaar nog niet vaak voor een verbetering van de sociaal-economische situa- tie hebben gezorgd, maar toch een verdere achteruit- gang van deze situatie hebben helpen voorkomen, met name wat betreft het behoud van werkgelegen- heid (12), en hebben geholpen de grondslagen voor de omschakeling te leggen; in de meeste regio’s wordt namelijk gestreefd naar diversificatie van de economie en de industriële structuur en eventueel geprobeerd het imago kwijt te raken van een gebied dat uitsluitend op industrie is gericht; b) ondanks de geïntegreerde aanpak waarbij wordt uitge- gaan van het programmaconcept, de OP’s soms een wijziging van reeds ingevoerde nationale en regionale beleidslijnen zijn en niet altijd een programmeringsin- strument vormen; c) het feit dat OP’s in het kader van D2 en communau- taire initiatieven gelijktijdig worden uitgevoerd, aanlei- ding heeft gegeven tot verwarring en overlapping van verschillende vormen van steunverlening; d) de actie in het kader van de SF’s een positieve invloed heeft gehad op de programmering, de uitvoeringsvoor- schriften, het partnerschap, de synergieën, de coördi- natie en de evaluatie. Vaak wordt echter gewezen op het gebrek aan synergie en uitwisseling tussen beheer- ders en acties van het EFRO en het ESF; e) wat de additionaliteit betreft, met de SF’s nieuwe wegen kunnen worden bewandeld, projecten kunnen worden uitgevoerd die zonder communautaire steun niet hadden bestaan, de uitvoering kan worden bespoedigd of ambitieuzere projecten kunnen worden uitgevoerd, of ook nog een structurerend karakter kan worden gegeven aan het aanvankelijke project. De additionaliteit van de soorten maatregelen (steun voor infrastructuur, diensten aan ondernemingen, steun voor particuliere investeringen) kan nogal verschillend blijken; (11) Dat wil echter niet zeggen dat het gaat om het creëren van werkgelegenheid, omdat het econometrisch model uitgaat van de veronderstelling dat er sprake is van volledige werkge- legenheid en de ondernemingen in een periode van laagcon- junctuur een productieovercapaciteit hebben. (12) In het achtste jaarverslag inzake de SF’s wordt melding gemaakt van belangrijke multiplier-effecten die betrekking hebben op bruto resultaten zoals het creëren van werkgele- genheid of de oprichting van ondernemingen. 16. 11. 98 NL Publicatieblad van de Europese Gemeenschappen C 347/13 f) de SF’s vaak geen drijfveer vormen voor participatie van particuliere fondsen of althans in de evaluaties wordt nagelaten dit aspect te behandelen; g) in de evaluaties wordt benadrukt dat de voorberei- dende studies en onderhandelingen en de administra- tieve procedures voor de goedkeuring en uitvoering van bepaalde projecten, alsmede de integratie van nieuwe nationale beleidslijnen, vaak met zich mee- brengen dat de termijnen worden onderschat. 5. 17. Wat het beheer betreft, is uit de evaluaties vooral gebleken dat bepaalde methoden voor toezicht op de programma’s ontoereikend zijn en dat de interne aanpas- singen gedurende de programmeringsperiode hoofdzake- lijk betrekking hadden op een zo hoog mogelijke beste- dingsgraad van de kredieten en niet op een aanpassing van de prioritaire zwaartepunten van de regionale ont- wikkeling. 6. TUSSENTIJDSE EVALUATIES (1994-1999) teneinde suggesties te kunnen doen voor de noodzakelijke wijzigingen en de programmering te kunnen aanpassen. 6. 3. Bovendien stelde de Commissie voor dat de evalua- tie van algemene aard moest zijn en dat thematische evaluaties van een specifieke sector of een specifiek geo- grafisch gebied in een later stadium moesten plaatsvin- den. 6. 4. Sommige lidstaten, met name Spanje (13), Frank- rijk (14), Ierland (15) en Nederland (16), hebben eveneens een kader voor de tussentijdse evaluatie geformuleerd. Volgens al deze lidstaten moet in de tussentijdse evaluatie het volgende aan de orde komen: a) de ontwikkeling van de sociaal-economische context; b) de analyse van de strategie en van de interne en externe coherentie; c) de uitvoeringsvoorwaarden, waaronder de program- mering en de selectiecriteria, de bestuurlijke organisa- tie, het toezichtsysteem, de financieringskanalen voor de projecten; Ontwikkeling en integratie van de beginselen van de tussentijdse evaluatie d) de implementatie en de uitvoeringen, waarbij rekening wordt gehouden met de verwachte resultaten; 6. 1. De tussentijdse evaluatie komt ter sprake in het hoofdstuk over de uitvoeringsvoorschriften die in alle CB’s, EPD’s en andere actievormen ter versterking van het toezicht zijn opgenomen. Er wordt op gewezen dat de tussentijdse evaluaties een kritische analyse van de in het kader van het toezicht verzamelde gegevens met zich meebrengen, dat met deze evaluaties mogelijke afwijkin- gen met betrekking tot nagestreefde doelstellingen kun- nen worden verklaard en dat hiermee de verwachte resultaten van de actie kunnen worden ingeschat. Ze bevatten tevens een oordeel over de validiteit van de lopende actie en de relevantie van de doelstellingen. 6. 2. In berichten die in de loop van het begrotingsjaar 1995 aan de lidstaten werden gericht heeft de Commissie erop gewezen dat in de tussentijdse evaluaties de voor het toezichtcomite´ adequate signalen voor het goed functio- neren van de programma’s moesten worden gegeven, eventuele herprogrammeringsacties moesten worden voorgesteld en een objectief, onpartijdig beeld van de geboekte vooruitgang moest worden geschetst. Ook werd voorgesteld zich in een eerste stadium te concentreren op de voorwaarden waaraan de bijstandsverlening moet vol- doen en dan met name op de indicatoren, de beheersca- paciteiten van de leiding en de procedures voor de selectie van projecten. In een tweede stadium moesten in het tussentijdse evaluatierapport de relevantie van de strategie en de gegrondheid van de doelstellingen van de uitge- voerde acties aan de orde komen, alsmede de doeltref- fendheid van het programma in termen van uitgevoerd werk en de eerste resultaten met betrekking tot de doelstellingen, de efficiëntie van het programma, de juiste toepassing van de communautaire beleidslijnen (milieu, overheidsopdrachten, enz. ) en het meten van de resultaten op het gebied van werkgelegenheid en KMO’s, e) de eerste reeds verkregen effecten aangevuld met een een schatting van de nog te verwachten effecten; f) de kosten voor het meten van de efficiëntie, dat wil zeggen de verhouding middelen-resultaten. Men is van mening dat de tussentijdse evaluatie eventueel moet leiden tot voorstellen tot wijziging van prioriteiten of geplande acties. 6. 5. Het partnerschapsbeginsel werd in 1988 geïntrodu- ceerd als een van de middelen om de efficiëntie van de SF’s te waarborgen, maar pas vanaf 1995, met de tussen- tijdse evaluatie van het alle CB’s 1994-1999, speelt het een volwaardige rol in het gedecentraliseerde beheersy- steem. Bij die gelegenheid werd bepaald dat het de taak is van de toezichtcomite´s om de doelstellingen van de evaluatie vast te stellen, alsmede de verwachte kwaliteits- normen die de coherentie tussen alle benaderingswijzen moeten garanderen, de aanbestedingsdossiers aan te pas- sen aan de bijzondere kenmerken van de regio’s in kwestie en hierbij rekening te houden met de doelstelling van de evaluatie, de beoordelaars na een openbare aanbe- stedingsprocedure te selecteren op basis van shortlists die zijn opgesteld door degenen die verantwoordelijk zijn (13) „Evaluación intermedia de programas operativos regionales del objetivo numero 2 (fase 1994-1996). Orientaciones sobre contenidos comunes a recoger en los pliegos de condiciones te´cnicas, 23 mei 1996”. (14) DATAR, reglementair en bestuurlijk tijdschema. (15) „General criteria to underpin Terms of Reference for Mid- Term Evaluation of Operational Programmes/Community Initiatives”. (16) „Evaluatiekader voor de programma’s van de Europese Structuurfondsen, Terp Advies-CBEA Pieter van Run”, december 1997. C 347/14 NL Publicatieblad van de Europese Gemeenschappen 16. 11. 98 voor de evaluatie (lid van het toezichtcomite´ en commu- nautair rapporteur). De tussentijdse evaluatie heeft bijge- dragen tot een werkelijke versterking van het partner- schap, door het partnerschap te betrekken bij de causale analyse van structurele acties. De tabellen 5 en 6 geven een overzicht van de operationale uitvoering der tussen- tijdse evaluaties, evenals de belangrijke verplichting van de lidstaten in het kader van het partnersschap om het effect van de SF’s vast te stellen. 6. 6. De aanpak via een tussentijdse evaluatie in het kader van het partnerschap heeft eveneens in sterke mate de institutionele structuren en de nationale of regionale tradities van de bevoegde overheidsinstanties beïnvloed. Deze aanpak heeft ook gezorgd voor een betere verbrei- ding van de meerjarige programmering, waarvan de eva- luatie een onmisbaar onderdeel vormt, voor het opmaken van een kritische balans van de structurele acties en het voorbereiden van de nodige aanpassingen. Het partner- schap met betrekking tot de evaluatie is vooral goed uitgewerkt in het kader van D1. 6. 7. Tegenwoordig zijn de werkzaamheden in het kader van de tussentijdse evaluatie erop gericht om algemene antwoorden aan te dragen voor alle partners, van de programmaontwerper via de beheerder tot de politiek verantwoordelijke persoon. Deze werkzaamheden resulte- ren in zeer omvangrijke verslagen die informatie bevatten uit het programma zelf, uit de beoordeling vooraf, uit de jaarlijkse uitvoeringsverslagen, uit de tussentijdse evalua- ties of de evaluaties achteraf. Volgens zegslieden die tijdens de controles zijn geraadpleegd, is slechts een deel van de resultaten of van de aanbevelingen werkelijk bruikbaar als hulpmiddel bij de besluitvorming, bij het beheer van projecten, bij de herprogrammering of om de basis te leggen voor de uitwerking van toekomstige acties. Uitvoeringsprocedures 6. 8. Van de 389 tussentijdse evaluaties die zijn uitge- voerd, hebben er 320 betrekking op de doelstellingen 1, 2, 5b en 6 (17). De uitvoering van deze evaluaties liep in verscheidene lidstaten behoorlijke vertraging op. 6. 9. De oorspronkelijke planning was dat de tussentijdse evaluatie in twee aparte fasen zou plaatsvinden. De eerste fase had betrekking op de vraag in hoeverre evaluatie mogelijk was, zodat hiermee samenhangende problemen konden worden vastgesteld. De tweede fase betrof de eigenlijke evaluatie die moest uitmonden in de uitwerking van een rapport. In de praktijk is deze opzet slechts zelden toegepast. 6. 10. Over het algemeen heeft de Commissie erop aan- gedrongen dat de tussentijdse evaluaties door externe deskundigen worden uitgevoerd teneinde niet alleen de (17) Waarvan er 36 ter plaatse en/of bij de Commissie zijn onderzocht. geloofwaardigheid van specifieke know-how te waarbor- gen maar ook de onpartijdigheid van de conclusies met betrekking tot de ontvankelijkheid van de strategie, de coherentie tussen de sociaal-economische analyses, en de objectieve kwantificering van de verwachte effecten. De behoeften inzake evaluatie op het gebied van de SF’s hebben binnen enkele jaren geleid tot een netwerk van externe beoordelaars die bekend zijn bij de Commissie en de lidstaten, wat tot voordeel heeft dat er geput kan worden uit een grotere deskundigheid op dit gebied; hierdoor wordt echter ook een specifieke markt afgeba- kend. 6. 11. In de praktijk hebben de controles ter plaatse van de Kamer de beperkingen aan het licht gebracht die nadelig zijn voor de onafhankelijkheid van de externe consultant. Daar de beoordelaar over een beperkte hoe- veelheid tijd beschikt, doorgaans ongeveer twee tot drie maanden, en voor het verkrijgen van de benodigde infor- matie de facto afhankelijk is van de beheerders van de programma’s, is de scheiding van de respectieve functies niet erg duidelijk. De verkregen resultaten met betrekking tot het functioneren zijn maar al te vaak slechts een weergave en bijwerking van de informatie die via het toezichtsysteem is verkregen, terwijl ze worden gepresen- teerd als een externe bijdrage. 6. 12. Bovendien is niet altijd de gebruikelijke openbare aanbestedingsprocedure met bekendmaking in het Publi- catieblad toegepast om een evaluatieconsultant te selecte- ren. In Nederland bestond deze procedure uit het uitnodi- gen van een beperkt aantal consultants die voorkwamen op een lijst met potentiële beoordelaars en wie werd verzocht een offerte te doen. Vervolgens heeft aan de hand van deze offertes de selectie plaatsgevonden. 6. 13. Terwijl de Commissie regelmatig vergaderingen van de toezichtcomite´s bijwoont en zij de mogelijkheid heeft daar haar criteria inzake de selectie van consultants te laten gelden, is haar manier van handelen in dit proces niet altijd dezelfde. Zo is er in België, Griekenland en Portugal sprake van een actieve deelname van de diensten van de Commissie aan de procedure voor het selecteren van de beoordelaar in het kader van de technische groepen of van het technisch begeleidend ad-hoccomite´ die de keuze van de adviseur voorbereiden en de uitvoe- ring van de evaluatie volgen. In Frankrijk daarentegen worden de diensten van de Commissie pas officieel op de hoogte gesteld na de selectie van de twee offertes die als beste zijn beoordeeld. Deze offertes gaan dan vergezeld van het eindvoorstel waarbij de prefect van de regio, die de opdrachtgever terzake is, verzoekt op de hoogte te worden gehouden van eventuele opmerkingen. Wat Nederland betreft, heeft de Commissie, die deelneemt aan de werkzaamheden van het nationaal begeleidingscomite´ (dat leiding geeft aan de evaluaties vooraf en achteraf, alsmede aan de tussentijdse evaluaties voor de regio’s waarop de doelstellingen 1 en 2 betrekking hebben) en aan de werkzaamheden van de toezichtcomite´s, pas laat gereageerd op de inhoud van het ontwerprapport van de tussentijdse evaluatie van het D1-EPD Flevoland. 16. 11. 98 NL Publicatieblad van de Europese Gemeenschappen C 347/15 Aan de evaluatiedoelstellingen toegekende prioriteiten aanpak verdienen, met name wat de synergieën tussen de activiteiten van het EFRO en die van het ESF betreft. 6. 14. Wat de uitvoering van de tussentijdse evaluaties betreft, varieert de aan de evaluatiedoelstellingen toege- kende prioriteit, met uitzondering van de analyse van de fysieke en financiële uitvoeringen van de acties, die een belangrijke plaats inneemt in elke tussentijdse evaluatie. De ontwikkelingen die voorrang hebben, beantwoorden vaak aan een reële regionale behoefte, zoals in het geval van Corsica waar de nadruk voornamelijk wordt gelegd op de aanpak van problemen op het gebied van beheer, toezicht en samenhang tussen evaluatie en toezicht. Het nastreven van bepaalde evaluatiedoelstellingen wordt overigens belemmerd door technische problemen, zoals het meten van indicatoren voor de evaluatie van het effect. 6. 15. Bij de tussentijdse evaluaties wordt vaak niet vol- doende belang gehecht aan de kritische beoordeling van de gekozen strategie voor regionale ontwikkeling, aan de levensvatbaarheid van door de SF’s gefinancierde projec- ten, aan de criteria voor de selectie van projecten, en aan de effecten in het licht van de specifieke en algemene doelstellingen van programma’s. 6. 16. De analyse van de toegevoegde waarde op commu- nautair niveau is een van de doelstellingen van de evalua- tie achteraf van de CB’s in het kader van D1 en D2 voor de programmeringsperiode 1989-1993; deze toegevoegde waarde wordt echter slechts bij wijze van uitzondering in het kader van de tussentijdse evaluaties aan de orde gesteld. 6. 17. Veranderingen in de sociaal-economische context, waarop de communautaire bijstandsverlening invloed uit- oefent en die uit hoofde van de evaluatiecontracten over het algemeen moeten worden gecontroleerd en geactuali- seerd, worden in sommige gevallen op systematische wijze aan de orde gesteld (bijvoorbeeld, wat het Waalse Gewest betreft, door middel van uitgebreide overzichten), en in andere gevallen op ontoereikende wijze, hetgeen een directe invloed heeft op de kwaliteit en het bijwerken van de analyses van sterke punten/zwakke punten die over het algemeen in het kader van de tussentijdse evaluatie wor- den uitgevoerd. 6. 18. Er wordt slechts zelden op systematische wijze onderzoek gedaan naar de mate waarin wordt vastgehou- den aan de interne en externe coherentie van elk pro- gramma-onderdeel (doelstellingen van het programma, van de subprogramma’s en van de maatregelen, relaties in de vorm van complementariteit en synergie tussen doel- stellingen en tussen maatregelen). Zo geldt voor het OP Brandenburg dat de financiële vastleggingen ten behoeve van de zwaartepunten 1. 1 (productieve investeringen) en 1. 2 (infrastructuur) voor de periode 1994-1996 respectie- velijk 138 % en 242 % uitmaken van de oorspronkelijke raming, zonder dat de beoordelaar ook maar enige recht- vaardiging voor de regionale ontwikkelingsstrategie gaf. De synergieën zijn soms onderwerp van overigens vaak onvolledige analyses. Dit aspect zou een systematischer 6. 19. Ook resulteren de evaluatiewerkzaamheden niet altijd in een algemene en coherente weergave van de voorgestelde wijzigingen noch in een toelichting, terwijl de heroriëntering van de prioriteiten van het programma en van de toewijzing van middelen toch een expliciete doelstelling van de evaluatie is. De implicaties van de voorgestelde uitbreiding of inkrimping van maatregelen worden evenmin altijd nauwkeurig opgegeven. 6. 20. Uit vele geanalyseerde evaluaties blijkt dat de beoordelaar niet in staat was aan alle doelstellingen waarin het contract voorzag, te voldoen, met name wat de evaluatie van het effect betreft. De beschikbare tijd en de middelen waren evenmin altijd afgestemd op de doel- stellingen. Benaderingen, methoden en technieken 6. 21. Aangezien de evaluatiedoelstellingen en de toe te passen benaderingen in de contracten vaak nog steeds in algemene bewoordingen worden geformuleerd, wordt de keuze van de benaderingen, methoden en technieken vaak overgelaten aan de beoordelaars, die ze soms gedurende de uitvoering aanpassen aan de problemen die ze hebben ondervonden. Zo komt het voor dat de beoordelaars de enige beschikbare informatie omzetten in indicatoren. 6. 22. De technieken en methoden zijn niet altijd op een zodanig ontwikkeld dat hiermee kan worden beantwoord aan de evaluatiedoelstellingen. Er bestaat overigens nog geen echte consensus over de geschikte operationele methoden voor het evalueren van de regionale ontwikke- ling, en de Commissie stelt zich tevreden met het in algemene termen bekendmaken van „de beste werkwij- zen” zonder de uitvoering ervan werkelijk te coördineren of te harmoniseren. Deze vaagheid, die verband houdt met de verschillen tussen lidstaten op het gebied van programmering, uitvoering of evaluatie, leidt tot evalua- tierapporten van wisselende kwaliteit en maakt het erg moeilijk de resultaten met elkaar op Europees niveau te vergelijken. 6. 23. Uit de beoordeling van het effect blijkt derhalve duidelijk dat er lacunes zijn in de toegepaste technieken die met name verband houden met het specifieke karakter en de complexiteit van de te evalueren effecten: a) er is niet altijd een grondig onderzoek verricht naar indicatoren die nog relevanter zijn; soms dienen de geplande indicatoren slechts om de fysieke en finan- ciële uitvoering te meten; b) de effectindicatoren zijn niet altijd aangegeven; c) de evaluatie van het sociaal-economisch effect of van het effect op de regionale ontwikkeling lijkt te worden belemmmerd door de veelheid aan acties, subpro- gramma’s en maatregelen (doelstelling 1), en daar C 347/16 NL Publicatieblad van de Europese Gemeenschappen 16. 11. 98 komt bij dat talloze programma’s die ten doel hebben een bijdrage te leveren aan de omschakeling en/of het nieuw leven inblazen van de industriële structuur (OP’s, communautaire initiatieven, nationale pro- gramma’s), gelijktijdig kunnen worden gemobiliseerd. Bovendien hebben de communautaire en nationale acties soms betrekking op verschillende gebieden en gaan de acties op verschillende data van start. Tot slot worden de doelstellingen vaak niet gekwantificeerd en in te algemene termen geformuleerd (18). Tegen deze achtergrond lijkt het verband tussen de diagnose van de op te lossen sociaal-economische problemen en de doelstellingen van alle uitgevoerde maatregelen, sub- programma’s en projecten alsmede het verband tussen al deze doelstellingen onderling, niet altijd evident, mede omdat de fysieke en effectindicatoren die betrekking hebben op de verschillende niveaus van een programma de behoeften aan evaluatie van een programma niet volledig weergeven. Evenzo blijkt het moeilijk de resultaten van elk programma vast te stellen en ze los te zien van andere particuliere, regionale of nationale acties; d) het opstellen van modellen waarmee de te verwachten effecten kunnen worden geraamd op basis van de tussentijdse en nog te verwachten uitvoeringen, wordt nog steeds weinig toegepast. De tussentijdse evaluatie van bepaalde nationale CB’s is gebaseerd op een input-outputmodel (Portugal) of op een macro-econo- metrisch model (Spanje, Ierland), terwijl het opstellen van regionale modellen nog steeds erg marginaal is. In dit verband dient het voorbeeld van het ontwikkeling- smodel voor de provincie Henegouwen (België) te worden vermeld dat in het kader van de tussentijdse evaluatie is gehanteerd. Het opstellen van modellen voor de effecten in het kader van maatregelen is evenmin erg gangbaar, behalve op het gebied van de vervoersinfrastructuur. Vermeldenswaard is de toe- passing van het input-outputmodel bij het project Expo 1998 (Portugal) in het kader van evaluaties vooraf alsmede van tussentijdse evaluaties, al moet voorzichtigheid worden betracht wat betreft de ramingen; e) de schatting van de effecten op de werkgelegenheid is eveneens nog steeds een precair punt. De toepassing van modellen en andere analyse- en onderzoeks- methoden verschaffen onvoldoende details over ener- zijds de netto-omvang van gecreëerde arbeidsplaatsen met inachtneming van de nieuwe arbeidsplaatsen die gecreëerd zouden zijn zonder de actie in kwestie en van de vervangingseffecten, en anderzijds de mate van duurzaamheid van de werkgelegenheid. In het alge- meen verschafte deze evenmin duidelijkheid over het aantal gecreëerde arbeidsplaatsen dat niet aan de uitvoering van het programma is toe te schrijven. (18) Bijvoorbeeld: het weer doen opleven van het platteland, versterking van de economische structuur in de regio, struc- turele wijzigingen die verband houden met regionale ontwik- keling. 6. 24. bepaalde evaluatiecontracten voorzien, in het kader van de bottom-upbenadering, onderzoeken die die- nen te worden verricht bij partners voor plaatselijke economische ontwikkeling en bij uiteindelijke begunstig- den, waaronder ondernemingen die communautaire steun genieten, teneinde de bijdrage van het communautaire programma vanuit kwantitatief of kwalitatief oogpunt te beoordelen. De resultaten van de enqueˆtes zijn soms niet representatief genoeg gezien het aantal ondernemingen en partners dat is geënqueˆteerd, en gezien de twijfelachtige betrouwbaarheid, want ze worden niet altijd aan onder- zoek onderworpen. 6. 25. wat de resultaat- en effectindicatoren betreft, wordt geconstateerd dat: a) de tijd die nodig is om de gegevens en statistieken te verzamelen vaak lang is; b) de bestaande gegevens betrekking hebben op geografi- sche gebieden die niet overeenkomen met de beoogde gebieden; c) de gegevens over de ondernemingen niet per bedrijf worden geregistreerd, hetgeen leidt tot een verteke- ning van de plaatselijke statistische gegevens als zich slechts e´e´n enkel bedrijf in het gebied bevindt, terwijl de onderneming meerdere vestigingen heeft op het nationale grondgebied; d) veel statistiekbureaus niet in staat zijn de algemene gegevens gericht uit te vergroten met het oog op een gegeven gebied of een gegeven problematiek. 6. 26. Wanneer de beoordelaar indicatoren aangeeft die geschikter zijn om het effect te meten, zij het om in een leemte te voorzien of om hiermee de voorgeschreven indicatoren te vervangen, licht hij deze niet toe en laat hij onzekerheid bestaan over de toepasbaarheid ervan. Bovendien vermeldt hij niet altijd de onderzoeken die nog moeten worden verricht om ze een concrete vorm te geven, noch geeft hij een raming van de kosten. Er wordt eveneens op gewezen dat het moeilijk is de op de programmadoelstellingen betrekking hebbende indicato- ren te kwantificeren zonder informatie over historische reeksen. Uitvoering van de programma’s in het kader van doel- stelling 2 (1994-1996) 6. 27. Uit de resultaten van de tussentijdse evaluatie van de EPD’s, CB’s en OP’s van de periode 1994-1996, evenals van het toezicht, blijkt dat de geplande financie- ring en de uitvoering van de programma’s niet op elkaar zijn afgestemd. Ondanks talloze aanpassingen van de programma’s tijdens de laatste programmeringsfase 1994- 1996 waarin de opname van de bedragen van de financië- le bijstand werd beoogd, hebben transfers plaatsgevonden van kredieten van de programmering 1994-1996, van gemiddeld ongeveer 12 %, naar de programmering 1997- 1999. Deze situatie zou ertoe kunnen leiden dat de aandacht voornamelijk uitgaat naar de besteding van 16. 11. 98 NL Publicatieblad van de Europese Gemeenschappen C 347/17 kredieten en dat de rol van de evaluatie wordt onderge- waardeerd, met name wat betreft de coherentie tussen de doelstellingen, de toegewezen middelen en het effect van de structurele acties. 7. EFFECT VAN DE STRUCTUURFONDSEN EN EVALUA- TIEMODELLEN Effect op het niveau van de CB’s en de programma’s Resultaten van de modellen wat betreft het effect van de Structuurfondsen 7. 1. Met de voor de macro-economische evaluatie op het gebied van de SF’s gehanteerde modellen (zie bijlage III) wordt, met inachtneming van de specifieke kenmerken hiervan, op gedifferentieerde wijze het effect van de SF’s beoordeeld wat betreft: a) de verwezenlijking van doelstellingen van de SF’s in termen van toename van het BBP, reële convergentie van het BBP per hoofd van de bevolking, werkgele- genheid en werkloosheid; b) het vervullen van de voorwaarden die verband hou- den met de uitvoering van de SF’s, zoals additionali- teit, duurzame ontwikkeling, met name betreffende de beheersing van de overheidsschuld en de betalingsba- lans, inkomensverdeling, milieubescherming; c) de effecten in termen van vraag en aanbod; d) de doeltreffendheid van de instrumenten van de SF’s, zoals overheidsinvesteringen, investeringen in perso- nele middelen en steun aan particuliere ondernemin- gen. Toename van het BBP 7. 2. Zoals blijkt uit tabel 7, duiden de resultaten van de belangrijkste gehanteerde modellen ter beoordeling van het effect van de SF’s (HERMIN, OGM en DIO) voor de cohesielanden op een positieve groei van het BBP en dientengevolge op een verbetering van de convergentie. De cumulatieve groei van de economie van de cohesielan- den van 1994 tot en met 1999 die toe te schrijven is aan de structurele acties die deel uitmaken van de CB’s, zou derhalve, in reële termen van het BBP, voor Portugal 5,5 %, voor Griekenland 5,9 %, voor Spanje 2,6 % en voor Ierland 3,3 % bedragen. Deze resultaten berusten op de veronderstelling dat het additionaliteitsbeginsel volko- men wordt nageleefd, en kunnen dientengevolge worden gewijzigd in geval van niet-naleving (zie paragrafen 8. 11 tot 8. 13). Bovendien hebben de verschillende macro- economische modellen resultaten opgeleverd die vol- doende coherentie vertonen om het effect van het CB’s 1994-1999 op de toename in reële termen van het jaarlijks BBP als aannemelijk te kunnen beschouwen. De meeste effecten die verband houden met de vraag doen zich echter nog steeds vooral op korte termijn voor, terwijl de effecten op het aanbod pas veel later optreden. Evenzo wordt met het HELM-model dat voor de regio Henegouwen is gehanteerd, geschat dat het effect van het EPD in termen van jaarlijkse toename van de totale toegevoegde waarde een toename van 1,7 tot 2,5 % inhoudt voor de periode 1994-2002. In het geval van de Mezzogiorno in Italië lijkt het effect van de SF’s op de toename daarentegen zeer beperkt, zelfs bijna nihil. Het QUEST-model van de Commissie komt, op basis van hypothesen over de wijze waarop bedrijven en consumen- ten zullen anticiperen, uit op lagere schattingen over de effecten op groei en werkgelegenheid dan de voorgaande modellen. Volgens dit model zullen de voordelen in de zin van groeimogelijkheden en vermindering van de werk- loosheid eerst op lange termijn zichtbaar worden. 7. 3. Wat betreft de gemiddelde versnelde jaarlijkse toe- name die kan worden toegeschreven aan de structurele acties die deel uitmaken van de CB’s, blijkt uit tabel 8 dat een toename van het BBP met 1 %, gegenereerd door de multiplier-effecten van de CB’s, voor de periode 1994- 1999 leidt tot een extra toename per jaar met 0,2 % tot 0,3 % van de vraageffecten en met maximaal 0,2 % van de aanbodeffecten. Op economisch vlak draagt het over- wicht van het effect op de vraag, dat aan het licht is gekomen door het HERMIN-model en welk effect zou verdwijnen zodra de communautaire steun wordt stopge- zet, slechts bij aan de verwezenlijking van de doelstellin- gen van artikel 130 A van het Verdrag wanneer het effect op het aanbod zich op duurzame wijze ontwikkelt en het de productiecapaciteiten van de betreffende regio’s ver- sterkt. Doordat het effect op het aanbod zich veel later voordoet dan dat op de vraag, is het mogelijk dat de hiermee samenhangende multiplier-effecten worden on- derschat. Reële convergentie in termen van het BBP per hoofd van de bevolking 7. 4. Uit de in het kader van de SF’s gehanteerde model- len blijkt dat het convergentieproces niet altijd wordt gewaarborgd en dat bepaalde CB-programmeringen hooguit het verschil kleiner kunnen maken dan dat ze bijdragen aan de ontwikkeling van de convergentie. 7. 5. Wat Ierland betreft, voorspellen Bradley (HERMIN 1994) en Honohan (HERMIN 1997) wat het effect van de steun in het kader van de CB’s 1989-1993 en 1994- 1999 op het BBP per hoofd van de bevolking zou kunnen zijn. Bradley is van oordeel dat de bijdrage van de CB’s 1994-1999 aan deze inhaalrace bescheiden blijkt te zijn, terwijl volgens Honohan de CB’s een belangrijke rol spelen in het convergentieproces. Beutel (1997) voorspelt dat Ierland de rest van Europa zelfs zonder CB 1994- 1999, dat het jaarlijkse groeicijfer met 0,6 % zou doen toenemen, zal inhalen. In het geval van Spanje, Portugal en Griekenland zou het geraamde jaarlijkse groeicijfer voor de periode 1994-1999 dankzij de SF’s stijgen met C 347/18 NL Publicatieblad van de Europese Gemeenschappen 16. 11. 98 respectievelijk 0,4 %, 1,1 % en 1 %, hetgeen in alle gevallen een positief effect heeft gehad op de reële conver- gentie in termen van BBP per hoofd van de bevolking. 7. 6. De prognostische simulaties die zijn uitgevoerd met behulp van het OGM-model dat betrekking heeft op de convergentie in reëel BBP per hoofd van de bevolking in vergelijking met het gemiddelde van de Unie, geven schattingen aan die er de aandacht op vestigen dat, ook al zijn de in 1995 voorspelde tendensen te pessimistisch voor Ierland (zie tabel 9), de nettobijdrage van de CB’s aan de convergentie nog steeds bescheiden is voor de cohesielanden. 7. 7. Wat Henegouwen betreft, wordt in het HELM- model rekening gehouden met de aspecten van de reële convergentie voor de tussentijdse evaluatie en wordt hierin geschat dat het geraamde jaarlijkse groeicijfer van Henegouwen ongeveer 1,4 % tot 1,6 % boven het Euro- pese gemiddelde zal liggen dankzij de SF’s, hetgeen een echte inhaalrace mogelijk zou maken. 7. 8. Uit deze ramingen blijkt dat, gezien de verschillen in de regionale of sectorale productieve structuren van de lidstaten van D1, de steun van de SF’s uiteenlopende effecten sorteert. Hiermee wordt eveneens bevestigd dat de kwaliteit van de programmering van de SF’s dient te worden verbeterd, opdat, met convergentie als doel, mid- dels de acties in het kader van de SF’s de productieve capaciteiten van de economie kunnen worden verbeterd. Werkgelegenheid en werkloosheid 7. 9. In tabel 10 worden de resultaten van de evaluaties van het effect van de SF’s op de werkgelegenheid en de werkloosheid kort weergegeven. Uit alle studies blijkt dat de CB’s nettobanen opleveren. Deze nieuwe banen wor- den vaak gecreëerd in de sector van niet-verhandelbare diensten, terwijl de productiviteitseffecten van de CB’s hoofdzakelijk waarneembaar zijn in de industriële sector. Tot slot wordt in sommige studies melding gemaakt van een vermindering van het aantal arbeidsplaatsen in de industriële sector die te wijten is aan een toename van de arbeidsproductiviteit. tuur („hard infrastructure”) zoals opgenomen in de CB’s meer bijdragen aan de toename van het BBP dan de investeringen in personele middelen. Door het OGM- model (Pereira 1991) toe te passen voor de evaluatie van de effecten van vervanging van steun voor particuliere investeringen of voor investeringen in personele middelen door aanvullende steun voor investeringen in infrastruc- tuur, wordt duidelijk dat als gevolg van de SF’s een verbetering optreedt in termen van toename van het BBP en in het convergentieproces. Verplichting tot additionaliteit en medefinanciering 7. 11. De modellen hebben het eveneens mogelijk gemaakt het belang van de additionaliteit en de medefi- nanciering door de overheid te beoordelen. Zo is Hono- han (HERMIN, 1997) van mening dat zonder de ver- plichting tot medefinanciering door de overheid, het groeicijfer van de economie van Ierland 1 % lager zou zijn geweest, en dat de werkgelegenheid in mindere mate zou zijn toegenomen. Daarentegen verwacht Honohan een aanzienlijker reductie van de ratio overheidsschuld/ BBP en van het batig saldo op de betalingsbalans wan- neer de verplichting tot medefinanciering door de over- heid ontbreekt. Wat Portugal betreft, leidt de voorwaarde van medefinanciering volgens de HERMIN-evaluatie tot een extra cumulatief voordeel van 1,3 % voor het BBP, maar leidt eveneens tot een minder positieve ontwikkeling op het vlak van overheidsschuld. 7. 12. In de HELM-evaluatie voor Henegouwen wordt grote waarde gehecht aan de additionaliteit. De gemid- delde groeicijfers van de toegevoegde waarde van de drie scenario’s — het regionale beleid met inbegrip van het EDP, de voortzetting van het regionale beleid zonder communautaire steun, het regionale beleid waaruit het EDP is voortgekomen — voor de periode 1994-1999 nemen volgens de HELM-evaluatie toe tot respectievelijk 2,5 %, 1,7 % en 0,1 %, en het groeicijfer van de werkge- legenheid zou dalen van 0,8 % naar 0,2 %. De toestand waarin de industrie verkeert zou eveneens aanzienlijk verslechteren. Met de HELM-evaluatie werd, door het variabel subsidiepercentage te laten schommelen, even- eens vastgesteld dat de mate waarin investeringen worden bevorderd niet evenredig is aan het steunbedrag en dat talloze investeringen ook met lagere steunniveaus zouden plaatsvinden. Doeltreffendheid van de CB-instrumenten Duurzame ontwikkeling 7. 10. Uit de HERMIN-evaluaties voor Spanje, Ierland en Portugal blijkt dat de steun voor overheidsinvesteringen, met name voor infrastructuur, productiever is in termen van groei dan de steun voor investeringen in personele middelen (met uitzondering van Spanje) en die voor particuliere investeringen. Dit blijkt uit tabel 11 dat per instrument de toename laat zien van het nationale BBP als gevolg van de toename met 1 % van het aandeel van het CB in het cumulatief BBP, voor de periode 1994- 1999. In de HERMIN-studie voor Griekenland wordt eveneens geconcludeerd dat de investeringen in infrastruc- 7. 13. Uit tabel 10 blijkt dat er niet altijd een evaluatie wordt uitgevoerd van de effecten van de SF’s op het saldo van de handelsbalans, van de lopende rekening van de betalingsbalans of van het overheidstekort. De verschil- lende studies leiden bovendien tot uiteenlopende conclu- sies; zo leidt de door de CB’s teweeggebrachte economi- sche groei in sommige gevallen tot een verbetering van de overheidsfinanciën via de belastingen, terwijl de CB’s volgens andere modellen begrotingstekorten veroorza- ken. 16. 11. 98 NL Publicatieblad van de Europese Gemeenschappen C 347/19 Rol van de evaluatie op macro-economisch niveau in het besluitvormingsproces met betrekking tot de Structuur- fondsen 7. 14. Gezien de effecten op korte termijn van de SF’s op de vraag, worden in de tussentijdse evaluaties de proble- men ten aanzien van de besteding van communautaire middelen door de overheid vaak overschat en de effecten op langere termijn op het aanbod vaak onderschat. Dit kan een vertekening teweegbrengen van de heroriënterin- gen of herprogrammeringen van de OP’s of CB’s. Maat- regelen of projecten die niet snel genoeg gebruik maken van de communautaire kredieten, lopen dan ook het risico dat ze worden geschrapt, met name op gebieden waar de uitvoering gecompliceerd is, zoals innovatie of nieuwe technologieën, ten gunste van reeds bestaande structuren met een veel geringere productiviteit, zonder dat de macro-economische aspecten van duurzame ont- wikkeling altijd in aanmerking worden genomen. 7. 15. In deze context zijn de aanvullende macro-econo- mische evaluaties waarin de aspecten duurzaamheid, groei of convergentie zijn opgenomen, onmisbaar voordat er ook maar enig besluit kan worden genomen ten aanzien van de oorspronkelijke programmering en de wijziging ervan. In talloze gevallen, zoals in Spanje, in Griekenland of in de nieuwe Duitse deelstaten, zijn reeds herprogrammeringen in het kader van de tussentijdse evaluatie uitgevoerd zonder serieuze algemene macro- economische analyse. Wat de regio’s van D1 in Duitsland betreft, is geen enkele macro-economische analyse van het effect uitgevoerd ten tijde van de tussentijdse evaluatie. Effect van subprogramma’s, maatregelen en projecten 7. 16. Er zijn zeer weinig evaluaties van de subpro- gramma’s en maatregelen, hoewel de subprogramma’s of maatregelen de drijvende kracht van de programmering van de SF’s vormen. De versnippering, het gebrek aan afbakening en coherentie van veel subprogramma’s of maatregelen, alsmede de gebrekkige kwantificering van ermee samenhangende specifieke doelstellingen kunnen onder meer een verklaring zijn voor het feit dat het effect moeilijk te meten is. 7. 17. Deze lacune bemoeilijkt elke poging om de syner- gie en de complementariteit van maatregelen onderling of tussen verschillende programma’s vast te stellen en te meten. Bovendien is de samenhang tussen de algemene doelstellingen van het programma en de specifieke doel- stellingen van subprogramma’s of maatregelen zeer vaak niet erg duidelijk. Zo zijn in de tussentijdse evaluatierap- porten talloze coherentieproblemen in de programma’s van de CB’s 1994-1999 in het kader van D1 aan het licht gekomen. met de hierboven beschreven macro-economische model- len uitsluitend een evaluatie van de doeltreffendheid van de voornaamste CB-instrumenten — overheidsinvesterin- gen, particuliere investeringen en investeringen in mense- lijk potentieel — worden gegeven voor wat betreft de respectieve bijdrage die ze leveren aan de toename van het BBP. De uitgaven voor infrastructuur, die een aanvul- ling vormen op het particulier kapitaal, lijken het rende- ment van dit kapitaal te doen toenemen en zouden een groter versnellingseffect hebben op het tempo van de convergentie dan andere investeringsvormen (zie tabel 11). 7. 19. Niettemin is de keuze van de maatregelen of subprogramma’s waaruit het programma is opgebouwd en de financiering ervan niet neutraal wat betreft het effect van de regionale ontwikkeling in termen van duur- zame endogene groei. Aan de hand van de evaluaties die de Commissie of de lidstaten in het kader van hun partnerschap met betrekking tot de subprogramma’s of maatregelen hebben uitgevoerd kunnen overigens nog steeds niet de gevolgen van een specifieke maatregel op andere gebieden of sectoren worden geanalyseerd en kan deze maatregel niet met andere maatregelen worden ver- geleken waarmee soortgelijke doelstellingen worden nagestreefd. Bovendien zal bij de analyse van het effect van maatregelen of subprogramma’s eveneens de oor- interregionale spronkelijke afweging tussen groei en gelijkheid, die de gemaakte keuze bij voorbaat bepaalde, in aanmerking moeten worden genomen, teneinde de verwachte en reeds bereikte vooruitgang in doeltreffend- heid te kunnen vergelijken. 7. 20. De kosten-batenanalyse van de projecten wordt in beginsel gemaakt met het oog op goedkeuring van de financiering van het project. Deze analyse is verplicht overeenkomstig artikel 5 van Verordening (EEG) nr. 2083/93 (EFRO) voor de grote projecten waarvan de totale kosten meer dan 25 Mio ECU bedragen voor de investeringen in infrastructuur en meer dan 15 Mio ECU investeringen. Deze beoordelingen voor productieve vooraf van grote projecten maken deel uit van het onderzoek van de aanvragen om communautaire steun en bepalen de financieringstoewijzing, maar de verordenin- gen inzake de SF’s voorzien niet in evaluaties ervan achteraf en de Commissie kan niet eisen dat deze plaats- vinden om na te gaan of de verwachte sociaal-economi- sche voordelen ten aanzien van de hiervoor ter beschik- king gestelde communautaire middelen ook daadwerke- lijk zijn behaald. Door deze tekortkoming in het evalua- tieproces van grote projecten valt zelfs met het begrip evaluatie op dit niveau niet te werken, aangezien een beoordeling vooraf slechts gegrond is wanneer er daad- werkelijk een evaluatie achteraf plaatsvindt. Bovendien zou met deze micro-economische en sectorale studies tevens het potentiële effect van de SF’s op de productivi- teit kunnen worden ingeschat en zouden ze aldus een bruikbaar instrument kunnen worden om dit effect op korte of middellange termijn te analyseren. 7. 18. De technieken die zijn afgestemd op het meten van het effect van een specifiek subprogramma of van een specifieke maatregel zijn overigens dun gezaaid. Zo kan 7. 21. Bij de evaluatie van de projecten moet ook reke- ning worden gehouden met de synergieën en de comple- mentariteit die nog altijd onvoldoende of slechts opper- C 347/20 NL Publicatieblad van de Europese Gemeenschappen 16. 11. 98 vlakkig worden geëvalueerd. Het is noodzakelijk de pro- jecten op het punt van complementariteit en synergie op elkaar af te stemmen, teneinde het te verwachten effect niet af te zwakken. 8. 4. Hetzelfde geldt voor de zwakke statistische basis, waardoor de validiteit van de indicatoren ter discussie staat en waardoor het proces van toezicht en evaluatie in sterke mate wordt beïnvloed. 7. 22. In de tussentijdse evaluatie worden vaak proble- men met betrekking tot het beheer van programma’s aangesneden, maar hierbij wordt vaak geen rekening gehouden met de criteria die de keuze van projecten hebben bepaald, zoals de duurzaamheid van het project of de mate waarin het project bijdraagt aan de regionale ontwikkeling. Met het systeem voor het beheer van de programma’s moet de zekerheid kunnen worden geboden dat de criteria voor de selectie van projecten zo worden gehanteerd dat de resultaten van het programma worden geoptimaliseerd. Met name projecten die een zeer geringe toegevoegde waarde in termen van ontwikkeling hebben, dienen vermeden te worden, ook al bieden zij het voor- deel dat de kredieten erg snel worden opgenomen. Het systeem voor de selectie van projecten moet doorzichtiger worden, teneinde toezicht hierop mogelijk te maken en ervoor te zorgen dat ze kunnen worden geëvalueerd. 8. CONCLUSIE 8. 1. De evaluatie van de communautaire structurele acties is voorgeschreven in de regelgeving die is voortge- komen uit de besluiten van de Raad en wordt tegenwoor- dig op grote schaal toegepast in het kader van het partnerschap. De evaluatie is een systeem geworden ter ondersteuning van het ontwerpen en beheren van de bijstandsverlening en draagt zodoende bij aan een betere kennis van de effecten en het nut daarvan. Voor de periode 1994-1999 zijn in de loop van 1997 meer dan 250 tussentijdse evaluaties door de toezichtcomite´s (19) afgerond. 8. 2. Met de herziening van de hervorming van de SF’s bereikt de evaluatie een stadium van volledige ontwikke- ling dat vanaf heden via een betere methodologische begeleiding dient te worden geconsolideerd. In het kader van de regionale ontwikkeling dient nog het nodige te worden gedaan om te bepalen welke evaluatiemethoden het meest geschikt zijn voor het meten van het sociaal- economisch effect van programma’s, aangezien het MEANS-programma geen bevredigende oplossing heeft kunnen bieden. 8. 3. Daarnaast dient bijzondere aandacht te worden geschonken aan de indicatoren op alle niveaus wat betreft hun relevantie, de manier waarop ze informatie verschaf- fen en de daarmee samenhangende kosten. Ook dienen de kwalitatieve aspecten te worden geformaliseerd. Zonder nieuwe ontwikkelingen op deze gebieden dreigt het eva- luatieproces te stagneren. (19) De toezichtcomite´s bestaan uit vertegenwoordigers van de betrokken nationale instanties en van de Commissie. 8. 5. Het huidige grote aantal min of meer relevante indicatoren komt de kwaliteit van de evaluatie niet ten goede en staat een effectieve werking van de evaluatie in de weg. Een klein aantal voor rechtvaardiging of her- oriëntering van een structureel beleid noodzakelijke effectindicatoren dient zorgvuldig te worden geselecteerd, waarbij rekening wordt gehouden met de moeilijkheden ten gevolge van de regionalisering der gegevens en met de materiële mogelijkheden inzake informatievergaring. De betrouwbaarheid van deze indicatoren dient te worden gecontroleerd. De vergelijkbaarheid van de indicatoren en de integratie ervan op Europese schaal dienen te worden verbeterd. 8. 6. Opdat in het besluitvormingsproces en bij het ope- rationeel beheer van de SF’s volledig rekening kan wor- den gehouden met de evaluaties, dient ervoor te worden gezorgd dat de evaluaties doorzichtig en objectief zijn, dat de doelstellingen ervan overeenkomen met de behoeften en dat de gestelde einddatum adequaat is. 8. 7. Om de objectiviteit van de resultaten van de evalua- tie te garanderen, dient de onafhankelijkheid van de beoordelaars ten opzichte van de beheerders en de betref- fende overheidsinstanties te worden beschermd. 8. 8. De hantering van een gemeenschappelijk referentie- kader zou bevorderlijk zijn voor de begrijpelijkheid en vergelijkbaarheid van de evaluatierapporten, alsmede voor de uitwisseling van ervaringen. 8. 9. Voor elke evaluatie dienen meer operationele doel- stellingen te worden vastgesteld. De taakomschrijving en het bestek, die in het algemeen door de Commissie worden goedgekeurd, dienen duidelijk aan te geven welke methoden het meest geschikt zijn om regionale, sectorale of nationale aspecten te behandelen of vooral het effect op korte of lange termijn te beoordelen. De sterke en zwakke punten van alle andere methoden moeten met die van de door de Commissie gehanteerde methoden worden vergeleken. Zo ook moet het referentiekader van elke evaluatie een door de Commissie voorgestelde minimum- lijst met indicatoren bevatten om de resultaten van de doelstellingen van programma’s te meten, teneinde een voor de analyse onontbeerlijke coherentie te garanderen. Andere indicatoren die betrekking hebben op de sociaal- economische en structurele situatie kunnen natuurlijk worden gebruikt om deze analyse aan te vullen en te verfijnen. 8. 10. Gezien de verscheidenheid aan benaderingen met betrekking tot de evaluatie, moet de Commissie eisen dat de beoordelaars in het stadium van de uitnodiging tot inschrijving hun aanpak veel explicieter formuleren, met 16. 11. 98 NL Publicatieblad van de Europese Gemeenschappen C 347/21 name het soort effecten dat hiermee dient te worden gemeten en voor welke tijdsduur, teneinde de volledigheid van de aangewende methodieken te kunnen beoordelen. Bovendien dient de evaluatie een uitvoerige analyse te bevatten van de samenhang tussen de doelstellingen van de programma’s en de zwaartepunten en maatregelen waarmee deze doelstellingen worden nagestreefd, alsmede de noodzakelijke trapsgewijze weergave van doelstellin- gen/resultaten/uitvoeringen van de programma’s, zwaarte- punten en maatregelen. 8. 11. In deze context is een betere onderverdeling van de de evaluatie, naar gelang van de betrokken begunstigden, noodzakelijk om de doeltreffendheid ervan te doen toe- nemen en om beter aan hun specifieke verwachtingen te voldoen, met name op het vlak van de tussentijdse evaluaties. Ook dient een betere beheersing van de kosten te worden nagestreefd, aangezien de Commissie niet altijd op de hoogte is van de voor de evaluatie in het kader van het partnerschap bestemde uitgaven. 8. 12. De Commissie dient eveneens aan te geven welke aspecten van het regionale beleid meer in het bijzonder moeten worden geëvalueerd: additionaliteit, convergentie, partnerschap, concentratie, werkgelegenheid, endogene economische ontwikkeling of sociaal welzijn. Bij een beoordeling van de doeltreffendheid van de structurele acties mag de meting van het BBP per hoofd van de bevolking niet de enige maatstaf zijn. 8. 13. De inschatting van het effect en van de toege- voegde waarde van het programma op communautair niveau moet gebaseerd kunnen worden op nationale en regionale ontwikkelingsmodellen, alsmede op effect- modellen voor maatregelen. 8. 14. De macro-economische resultaten van de structu- rele acties dienen te worden verfijnd met inachtneming van de tekortkomingen van de toegepaste modellen, de neveneffecten van deze acties en alle effecten ervan op het sociaal welzijn. 8. 15. Bij het opstellen van macro-economische modellen wordt een fundamenteel onderscheid gemaakt tussen het effect op de vraag op kortere termijn en de structurele aanpassingen van het aanbod. De programmering van de bijstandsverlening van de SF’s dient meer op verbetering van de productiecapaciteit van de economie te worden gericht om te waarborgen dat de effecten duurzaam zijn en om een te duidelijke afhankelijkheid van de vraag te vermijden. Een dergelijke afhankelijkheid zou tot een situatie leiden waarin de communautaire steun op lange termijn onontbeerlijk zou blijven. 8. 16. Aangezien het effect op het aanbod pas na lange tijd zichtbaar wordt, wordt in de tussentijdse evaluatie over het algemeen meer aandacht geschonken aan het effect op de vraag. De Commissie dient actie te onderne- men om instrumenten te ontwikkelen die nodig zijn voor het toezicht op en de evaluatie van het structurerende effect op de economie. 8. 17. Uit de macro-economische modellen blijkt even- eens dat een beleid dat is gericht op economische groei niet altijd verenigbaar is met duurzame ontwikkeling. De relatie tussen het effect op de groei en het effect op de duurzame ontwikkeling moet nog verder worden geanaly- seerd en bij de programmering van de bijstandsverlening van de SF’s dient met deze dualiteit systematisch rekening te worden gehouden. 8. 18. Het effect van de verplichting tot additionaliteit en tot medefinanciering door de overheid is niet eenvoudig af te bakenen en het wordt niet altijd onderzocht. Dit effect dient systematischer en grondiger te worden geana- lyseerd. 8. 19. Het is niet de bedoeling dat de evaluatie op zich het politiek besluitvormingsproces, waarin belangrijker overwegingen zijn opgenomen, vervangt, maar ze moet wel een onmisbaar instrument voor een evenwichtig en doeltreffend beheer van de communautaire structurele acties vormen dat de sociaal-economische resultaten in aanmerking neemt. Dit verslag werd door de Rekenkamer te Luxemburg vastgesteld te harer zitting van 26 september 1998. Voor de Rekenkamer Bernhard FRIEDMANN President Kosten van de rechtstreeks door de Commissie (DG XVI) gefinancierde evaluatie voor het eerste CB Tabel 1 1989-1993 (in ecu) Land Doelstelling 1 Doelstelling 2 Communautaire initiatieven Thematisch Overige Totaal Vooraf Achteraf Vooraf Achteraf Vooraf Achteraf België Denemarken Duitsland Griekenland Spanje Frankrijk Ierland Italië Luxemburg Nederland Portugal Verenigd Koninkrijk EG 35 000 31 000 42 000 35 000 35 000 35 000 53 000 150 172 207 372 97 662 109 572 150 552 193 022 72 572 17 500 35 000 17 500 70 000 35 000 35 000 17 500 35 000 122 500 69 040 25 520 138 570 117 090 253 185 96 580 15 880 47 925 131 500 14 815 65 963 10 514 143 480 526 347 739 274 197 228 201 915 395 955 15 128 46 816 452 706 223 428 98 400 35 395 25 000 593 350 260 977 104 371 464 064 390 156 25 000 625 169 626 694 77 500 151 845 30 000 151 845 151 845 35 000 550 256 187 898 96 034 299 550 1 456 714 1 455 713 881 291 810 551 1 255 088 48 508 154 741 1 340 897 1 229 694 740 971 Totaal 266 000 980 924 385 000 910 105 3 117 154 3 227 676 1 070 791 9 957 650 Bron: Europese Commissie C 3 4 7 2 2 / N L P u b l i c a t i e b l a d v a n d e E u r o p e s e G e m e e n s c h a p p e n 1 6. 1 1. 9 8 Kosten van de rechtstreeks door de Commissie (DG XVI) gefinancierde evaluatie voor het tweede CB tot 1 april 1998 Tabel 2 1994-1999 1994-1996 1997-1999 1994-1999 Land Doelstelling 1 Doelstelling 2 Doelstelling 2 CI Thematisch Vooraf Tussentijdse Vooraf Tussentijdse Vooraf Vooraf (in ecu) Onderzoeken cohesie Methodologische ontwikkeling en overige Totaal België Denemarken Duitsland Griekenland Spanje Frankrijk Ierland Italië Luxemburg Nederland Oostenrijk Portugal Finland Zweden Verenigd Koninkrijk EG 24 000 352 527 38 940 108 303 68 995 86 841 56 000 83 809 19 000 17 671 60 000 71 774 49 150 1 030 037 4 171 941 1 382 117 481 092 1 067 557 1 514 311 37 499 11 827 1 631 604 339 214 281 295 70 885 26 530 23 312 94 784 85 102 186 122 105 287 9 143 46 431 33 000 16 750 27 000 154 591 127 300 611 348 9 278 128 450 209 078 807 462 722 690 61 741 104 924 171 201 326 614 247 636 10 600 9 600 29 200 19 000 45 600 31 169 10 600 10 600 30 000 1 559 39 702 23 286 29 725 36 091 4 326 33 185 460 4 406 245 35 247 35 845 4 314 127 986 2 576 126 19 417 33 357 62 217 55 167 48 367 56 967 52 317 49 417 14 597 46 817 38 417 52 122 90 000 4 030 438 1 045 981 75 547 1 551 316 4 358 697 1 842 384 1 700 175 1 180 200 2 539 868 96 541 269 677 233 944 1 765 268 682 578 555 931 415 217 6 877 328 Totaal 684 483 12 371 906 935 352 3 400 422 196 369 248 391 2 704 112 619 179 4 030 438 25 190 652 Bron: Europese Commissie. 1 6 1 1 9 8. N L P u b l i c a t i e b l a d v a n d e E u r o p e s e G e m e e n s c h a p p e n C 3 4 7 / 2 3 C 347/24 NL Publicatieblad van de Europese Gemeenschappen 16. 11. 98 Tabel 3 Controle, toezicht en evaluatie Middelen RR Uitvoeringen RR Effecten Input Output Outcome rr Controle RR rr rr Toezicht (op beheer) RR Evaluatie (van effecten) RR Referenten Overeenstemming met beleidsteksten Normen van goed beheer Tevredenheid van de burgers Bron: MEANS Tabel 4 Beoordeling van de waarde van een programma Effecten qq QQ QQ Maatschappij Behoeften Input QQ QQ Resultaten qq QQ QQ RR Middelen Hulpbronnen RR Acties Uitvoeringen QQ Specifieke algemene doelstellingen Relevantie Efficiëntie Doeltreffendheid Nut Overheids- optreden Evaluatie Bron: MEANS 16. 11. 98 NL Publicatieblad van de Europese Gemeenschappen C 347/25 Tabel 5 Aantal tussentijdse evaluaties per land en per doelstelling Land Doelstelling 1 Doelstelling 2 Doelstelling 3 Doelstelling 4 Doelstelling 5a Doelstelling 5b Doelstelling 6 Totaal België Denemarken Duitsland Griekenland Spanje Frankrijk Ierland Italië Luxemburg Nederland Oostenrijk Portugal Finland Zweden Verenigd Koninkrijk 1 8 28 27 6 11 24 1 1 25 12 Totaal 144 4 2 9 9 27 11 1 5 4 1 5 13 91 5 1 13 12 1 1 1 1 1 4 1 1 5 1 1 2 1 1 1 1 1 4 1 42 19 1 1 1 1 1 1 1 1 8 3 1 8 7 20 13 1 5 7 2 5 11 83 19 6 40 28 58 55 11 50 4 13 15 25 13 14 38 389 1 1 2 Er is een aanvang gemaakt met vijf tussentijdse evaluaties van CB’s — Spanje, Griekenland, Ierland, Italië en Portugal — en voor de acties in het kader van doelstelling 1 Duitsland is een samenvatting van de evaluatiewerkzaamheden opgesteld Bron: Europese Commissie Stand van de tussentijdse evaluaties in het kader van doelstellingen 1, 2 en 6 Tabel 6 Lidstaat Toezichtcomite´s Aanbesteding Geselecteerd orgaan Aantal reeds overgelegde of geplande rapporten D1 Cohesieland Spanje 1 CB-comite´ 12 regionale subcomite´s 7 EFRO-sectorale subcomite´s 1 regionaal/centraal (Cantabria) afgerond 12 afgerond 7 afgerond 1 extern 12 externe 7 externe 1 rapport, gepland voor juli 1997 12 rapporten, gepland voor mei 1997; 1 rapport overgelegd 7 rapporten, gepland voor mei-juni 1997; 1 rapport overgelegd 1 afgerond 1 extern rapport gepland voor mei 1997 Griekenland Ierland Portugal 1 CB-comite´ 13 regionale subcomite´s 17 sectorale subcomite´s selectie is gaande 13 afgerond 7 afgerond 3 gepubliceerd 1 CB-comite´ 9 sectorale comite´s geëntameerd in 1996 1 CB-comite´ 7 regionale subcomite´s 3 multiregionale subcomite´s 7 sectorale subcomite´s afgerond afgerond afgerond afgerond 6 ontvangen offertes — 13 externe benoeming is gaande — 13 rapporten, overgelegd juni 1997 1 extern 9 externe 1 extern 7 externe 3 externe 14 externe 1 tussentijds rapport, overgelegd in maart 1997 9 tussentijdse rapporten, overgelegd in maart 1997 rapport gepland voor eind ’97 7 rapporten, overgelegd eerste kwartaal ’97 3 rapporten, overgelegd eerste kwartaal ’97 12 rapporten, overgelegd eerste kwartaal ’97 — 1 rapport gepland voor juli 1997 — 1 rapport gepland voor september 1997 D1 Overige landen Duitsland 1 CB-comite´ 6 regionale subcomite´s 3 ESF-EOGFL-FIOV-sub- comite´s 1997 (niet-openbaar) 1996 — 1 extern 6 externe — 1 eindrapport, gepland voor augustus 1997 6 rapporten, overgelegd mei 1997 — België 1 EPD-comite´ 3. 9. 1994 1 extern eindrapport overgelegd mei 1997 C 3 4 7 2 6 / N L P u b l i c a t i e b l a d v a n d e E u r o p e s e G e m e e n s c h a p p e n 1 6. 1 1. 9 8 Lidstaat Toezichtcomite´s Aanbesteding Geselecteerd orgaan Aantal reeds overgelegde of geplande rapporten Frankrijk 6 EPD-comite´s 6 afgerond 6 externe Corsica: tussentijds rapport, overgelegd december 1996 Arrondissementen Avesnes, Douai en Valenciennes van de regio Nord-Pas de Calais: rapport gepland voor juli 1997 Martinique/Guadeloupe: rapporten gepland voor juni 1997 Re´union/Guyana: rapporten gepland voor eind ’97 Italië 1 CB-comite´ 8 regionale subcomite´s 12 multiregionale subcomite´s shortlist beschikbaar, selectie verwacht november 1997 geëntameerd publicatie onderweg, selectie verwacht (zomer ’97) 0 interne evaluatie: rapport gepland voor juli 1997 externe evaluatie: rapport gepland voor juni 1998 2 van de 8 extern 0 rapporten gepland voor begin ’98 — Nederland 1 EPD-comite´ maart 1996 1 extern rapport gepland voor eind ’97 Verenigd Koninkrijk 2 EPD-comite´s 1 februari 1996 (Merseyside) februari 1996 (H&I) 1 extern 1 extern 1 rapport, overgelegd begin ’97 1 rapport, gepland voor zomer ’97 Noord-Ierland 1 CB-comite´ 9 sectorale subcomite´s 1 juni 1996 mei 1996 1 extern 9 externe rapport overgelegd mei ’97 9 rapporten, overgelegd eerste kwartaal ’97 Oostenrijk 1 comite´ afgerond 1 extern rapport gepland voor herfst ’97 D6 Finland 1 EPD-comite´ afgerond 1 extern rapport gepland voor oktober 1997 Zweden 1 EPD-comite´ afgerond 1 extern rapport overgelegd juni 1997 Bron: Europese Commissie. 1 6 1 1 9 8. N L P u b l i c a t i e b l a d v a n d e E u r o p e s e G e m e e n s c h a p p e n C 3 4 7 / 2 7 C 347/28 NL Publicatieblad van de Europese Gemeenschappen 16. 11. 98 Het effect van de tweede CB-programma’s (met inbegrip van de nationale medefinanciering) op de groei van het BBP Tabel 7 CB’s 1994-1999 als een % van het BBP HERMIN (1) (Gemiddeld % jaarlijkse groeicijfers 1994-1999) vraag aanbod Totaal OGM (2) (Gemiddeld % jaar- lijkse groeicijfers 1994-1999) DIO (3) (Gemiddeld % jaar- lijkse groeicijfers 1994-1999) Griekenland Spanje(4) Portugal Ierland 5,9 2,6 5,5 3,3 0,9 0,6 1,6 0,5 0,9 0,3 0,2 0,2 1,8 0,8 1,8 0,7 0,6 0,2 0,4 0,1 1 0,5 1 0,6 (1) HERMIN: Econometrisch model dat gebaseerd is op het oorspronkelijke HERMES-model (Harmonised Econometric Research for Modelling Economic Systems), dat echter als kenmerk heeft dat het klein (Min) is, vandaar (HER)MIN. Zie hoofdstuk 7 en met name de paragrafen 7. 2, 7. 5, 7. 10, 7. 11 en bijlage III, paragraaf 5. (2) Optimal Growth Model (OGM) van Pereira (1991 et 1995). Zie hoofdstuk 7 en met name de paragrafen 7. 2, 7. 6, 7. 10, 7. 11, en bijlage III, paragraaf 7. (3) Dynamic Input-output model (DIO) van Beutel (1995, 1996 et 1997). Zie paragraaf 6. 23 d) en bijlage III, paragraaf 9. (4) Wat Spanje betreft zijn niet alle regio’s subsidiabel uit hoofde van D1. Bron: Evaluaties op basis van relevante macro-economische modellen, die medegefinancierd zijn door de Commissie. Multiplier-effecten van het CB-programma op de jaarlijkse groei in 1994-1999 Tabel 8 HERMIN Vraag Aanbod Totaal OGM DIO Griekenland Spanje Portugal Ierland 0,2 0,2 0,3 0,2 0,2 0,1 0 0,1 0,4 0,3 0,3 0,3 0,1 0,1 0,1 0 0,2 0,2 0,2 0,2 Bron: Evaluaties op basis van relevante macro-economische modellen, die medegefinancierd zijn door de Commissie. Reële convergentie in BBP per hoofd van de bevolking in de OGM-aanpak Tabel 9 9 0 90 8 0 80 7 0 70 60 6 0 50 5 0 40 4 0 i e d l e d d m e g - U E t e h n a v % Griekenland G r e e c e I r e l a n d Ierland P o r t u g a l Portugal S p a i n Spanje 30 3 0 1993 1 9 9 3 1995 1 9 9 5 1997 1 9 9 7 1999 1 9 9 9 2003 2 0 0 3 2007 2 0 0 7 NB: Van deze gesimuleerde prognoses op basis van betrekkelijk weinig recente gegevens zijn slechts de grote lijnen van de tendensen en niet de absolute waarden relevant. Met name voor Ierland blijken de voorspellingen te pessimistisch. Bron: Evaluaties op basis van het OGM-model (Pereira, 1995). Bradley et al. (HERMIN) Honohan (ed. ) (HERMIN) Herce en Sosvilla- Rivero (HERMIN) Christodoulakis e Kalyvitis (HERMIN) Sema-Group (HELM) Pereira (1995) (OGM) 16. 11. 98 NL Publicatieblad van de Europese Gemeenschappen C 347/29 Het effect van CB-programma’s op werkgelegenheid en duurzaamheid in de periode 1989-1999 Tabel 10 Auteur Werkgelegenheid en werkloosheid Duurzaamheid Overheidsfinanciën Betalingsbalans — Totale werkgelegenheid neemt toe — Financieringsbehoefte Handelsbalans verslechtert van de overheid neemt toe bij aanvang van het programma en wordt later minder wanneer aanbodeffecten voor- handen zijn — Groei-effecten bij onge- wijzigde financieringsbe- hoefte van de over- heidssector zijn kleiner — Werkgelegenheid in handwerksnijverheid neemt af, hetgeen deels te wijten is aan toename van de productiviteit — Werkgelegenheid in de sector van niet-verhan- delbare diensten neemt toe — Totale werkgelegenheid neemt toe — Zie voorgaand onder- zoek — Schuld/BNP-ratio wordt aanzienlijk minder — Totale werkgelegenheid neemt toe — Zie studie van Bradley — Werkloosheid neemt af et al. — Schuld/BNP-ratio wordt minder Betalingsbalans verbetert zo- lang EU-financiering voort- duurt Handelsbalans verslechtert, hetgeen te wijten is aan de vraageffecten — Totale werkgelegenheid neemt toe — Primair tekort neemt Buiten beschouwing gelaten toe — Werkloosheid in de steden daalt — Totale werkgelegenheid neemt toe Buiten beschouwing gelaten Buiten beschouwing gelaten — Werkgelegenheid in handwerksnijverheid neemt af — Werkgelegenheid in commerciële dienstverle- ning neemt toe Model van volledige werkgelegenheid Lolos e Zonallas (BBM) Werkgelegenheid neemt toe en werkloosheid neemt af Primair tekort van de over- heid als percentage van BBP neemt toe Tekort op de lopende reke- ning neemt toe, behalve voor Spanje in 1997-1999 Belastingtekort neemt toe van 1989-1993 en neemt af in 1994-1995 Lopende rekening verslech- tert Beutel (DIO) — Werkgelegenheid neemt toe in Portugal, Grie- Buiten beschouwing gelaten Toename export-import in kenland en Spanje — In Ierland zorgt het eerste CB voor een af- name van de werkgelegenheid terwijl met het tweede CB nieuwe banen worden gecreëerd Portugal en Griekenland maar afname in Ierland FIDIMS Werkgelegenheid neemt toe in Noord- en Zuid- Italië Buiten beschouwing gelaten Buiten beschouwing gelaten C 347/30 NL Publicatieblad van de Europese Gemeenschappen 16. 11. 98 De cumulatieve toename van het BBP (BNP) in % als gevolg van de toename met 1 % van het aandeel van het CB in het BBP (1994-1999) Tabel 11 Fysiek kapitaal Menselijk kapitaal Particulier kapitaal Spanje Ierland Portugal Bron: HERMIN-evaluaties. 2 1,4 1,9 3,3 1,2 1,3 1,5 1,1 Niet beschikbaar 16. 11. 98 NL Publicatieblad van de Europese Gemeenschappen C 347/31 BIJLAGE I SAMENVATTING VAN DE IN HET KADER VAN DE EVALUATIE ACHTERAF VAN DE CB’S VAN DOELSTELLING 1 1989-1993 TOE TE PASSEN METHODEN 1. Het uitdrukkelijke doel van de evaluatie achteraf van de CB’s in het kader van D1 1989-93 was: a) beoordelen van de strategie en de doelstellingen in het kader van de CB’s en hieruit lering trekken voor het toekomstig optreden. Analyse van de gevolgen voor de oorspronkelijk vastgestelde doelstellingen, van de bijstelling en aanpassing van de acties gedurende de uitvoeringsperiode; b) opmaken van een eerste balans op het vlak van de CB’s en de OP’s, van de materiële resultaten van de belangrijke acties en een eerste beoordeling van het effect ervan; c) analyseren van de doeltreffendheid van de uitvoeringsmechanismen en hieruit lering trekken voor eventuele aanpassingen in de toekomst. 2. Methodologische benaderingen zijn uitgewerkt door de voornaamste consultant die belast is met de coördinatie van de door andere consultants voor de betreffende lidstaten uitgevoerde evaluaties: a) de eerste doelstelling betreft, om de logica die inherent is aan de CB’s en OP’s en aan de aanpassingen van de CB’s en OP’s sinds 1989 te evalueren — en, meer specifiek, om de oorzaken van deze aanpassingen te analyseren, alsmede de toegevoegde waarde op communautair niveau, de interne coherentie, de externe coherentie, de relevantie van de strategie ten aanzien van de problemen en de mate waarin de financieringen hierop zijn afgestemd — dienen de volgende taken, die deel uitmaken van een top-downbenadering, te worden uitgevoerd: — vergaring van informatie en van sleutelgegevens: financiële gegevens, doelstellingen vooraf, verwachte output/effecten, doelgroepen en -gebieden, voornaamste gehanteerde instrumenten, aantal goedgekeurde projecten/maatregelen, aantal uitgevoerde projecten, — beschrijving van de omgeving en de ontwikkeling van het programma (beginsituatie-huidige situatie); identificatie van externe factoren die van invloed zijn op de ontwikkeling en het welslagen/mislukken van het programma; analyse van de fundamentele problemen en oorzaken; het vaststellen van de essentiële indicatoren van de regionale ontwikkeling, waaronder indica- toren voor de verandering van ongelijkheden, — identificatie van beleidsinstrumenten (leningen, subsidies, technische bijstand), — rangschikking van doelstellingen, identificatie van hiërarchische niveaus en van de verbanden tussen doelstellingen en instrumenten; b) de tweede doelstelling betreft, werden de uit te voeren analyses gebaseerd op zowel top-down als bottom-upbenaderingen: — analyse van de output en van de effecten op het niveau van de OP’s, van maatregelen en projecten, waarbij rekening is gehouden met nettoverliezen en met substitutie- en multiplier- effecten, — analyse van de relatieve doeltreffendheid van maatregelen en van gecombineerde maatregelen; analyse van de oorzaken van welslagen/mislukken, — vergelijking van output en input, bovendien moesten essentiële en facultatieve indicatoren vastgesteld worden; c) de derde doelstelling betreft, werd een analyse beoogd van de doeltreffendheid van uitvoerings- mechanismen met betrekking tot de CB’s en OP’s en een beperkt aantal maatregelen, alsmede identificatie van de reeds in het proces van programmering, uitvoering, toezicht en evaluatie aangebrachte en nog aan te brengen verbeteringen; voor elke lidstaat zou een onderzoek plaatsvin- den naar de mechanismen met betrekking tot besluitvorming, planning, financiële controle, uitvoering, toezicht en controle, de financiële circuits, het partnerschap, de additionaliteit, de coördinatie van middelen, het vereenvoudigings- en harmonisatieproces, grotere flexibiliteit, grotere doorzichtigheid; er zou ook een grondige analyse van de uitvoering van en het toezicht op een klein aantal maatregelen/grote projecten worden verricht; d) werd gekozen voor ad-hocsteekproeven van programma’s, maatregelen en projecten, enerzijds met het doel een beperkt aantal fysieke en effectindicatoren aan te geven, anderzijds om grondige analyses uit te voeren. C 347/32 NL Publicatieblad van de Europese Gemeenschappen 16. 11. 98 BIJLAGE II SAMENVATTING VAN DE BENADERING VAN DE EVALUATIE ACHTERAF VAN DOELSTELLING 2 1989-1993 De evaluatie achteraf van de communautaire acties in het kader van doelstelling 2 voor de programmerings- periode 1989-1993 die doorgaans EFRO- en ESF-componenten bevatten, bestond uit: a) algemene analyses die betrekking hadden op alle D2-regio’s en -gebieden, teneinde de sociaal- economische situatie vlak vóór de SF-actie in het kader van D2 en de sociaal-economische situatie na deze acties te vergelijken; deze analyses moesten eveneens leiden tot een analyse van de strategie, van de rangorde van de doelstellingen, prioriteiten en maatregelen, van de indicatoren, van de geplande en niet geplande effecten, van de synergieën tussen componenten van de programma’s, van de integratie van de verschillende fondsen. Deze analyses moesten zijn gebaseerd op de inhoud van de CB’s en de OP’s, op de jaarlijkse uitvoeringsverslagen of op de aan het toezichtcomite´ voorgelegde verslagen en, als ze voorhanden waren, op evaluaties vooraf en achteraf; b) grondige studies die betrekking hadden op 22 regio’s en die ten doel hadden: — de CB’s, de OP’s en de soorten aangepaste maatregelen grondig te onderzoeken; — de institutionele structuren en de wijze waarop de programma’s worden beheerd te analyseren; — het „toegevoegde waarde”-effect dat aan de CB’s en aan de OP’s kan worden toegeschreven, aan een evaluatie te onderwerpen; — de kosten en de doeltreffendheid van de maatregelen aan een evaluatie te onderwerpen; — een onderzoek in te stellen naar de mate waarin de actie van het D2-programma aan het regionaal ontwikkelingsproces bijdraagt. De grondige evaluaties zijn gebaseerd op de bottom-upbenadering, met als doel, de processen bij de keuze van de acties, de soorten acties, de beheersprocedures, het effect van de acties, ook in de zin van toegevoegde waarde, de synergieën en de additionaliteit te onderzoeken, de bevindingen bijeen te brengen en zo naar het niveau van de maatregel en tenslotte van het programma op te klimmen. BIJLAGE III KENMERKEN VAN DE IN HET KADER VAN DE EVALUATIE VAN DE SF’S GEHANTEERDE MACRO-ECONOMISCHE MODELLEN 1. De voornaamste modellen die in het kader van de macro-economische evaluatie op het gebied van de SF’s zijn gehanteerd, bestaan uit: a) econometrische modellen, zoals HERMIN (1), HELM (2) en QUEST II (3); b) modellen voor een algemeen berekenbaar evenwicht, zoals OGM (4) en BBM (5); c) input-output-modellen, zoals DIO (6) en FIDIMI (7); d) structureel-residuele analyse. (1) HERMIN: Econometrisch model dat is gebaseerd op het oorspronkelijk HERMES-model (Harmonised Econometric Research for Modelling Economic Systems) maar met als specifiek kenmerk dat het een minimale omvang heeft (Min), vandaar (HER)MIN. (2) HELM: Hainaut Economic Lead-in Model. (3) QUEST II: een Multy Country Business Cycle and Growth Model — Economic Papers nr. 123 — Oktober 1997. DG II — Economische en financiële zaken. (4) Optimal Growth Model (OGM) van Pereira (1991 en 1995). (5) Bourguignon, Branson en de Melo model (BBM) van Lolos en Zonzilas (1992). (6) Dynamic Input-output model (DIO) van Beutel (1995, 1996 en 1997). (7) FIDIMI Consulting Company, Evaluatie van het macro-economische effect van het CB in het kader van doelstelling 1 — Italië en van de uitvoeringsmechanismen. 16. 11. 98 NL Publicatieblad van de Europese Gemeenschappen C 347/33 De kenmerken van de toepassing van deze modellen in de onderzochte gevallen worden schematisch weergegeven in de tabellen III 1 en III 2. In tabel III 3 wordt wat dat betreft het model van de kenmerken van de CB’s gegeven. 2. Doordat het mogelijk is de economische ontwikkeling van D1-landen over een tijdsinterval van meer dan tien jaar en uitgaande van meerdere sectoren te simuleren, kan bovendien de door de SF’s teweeg- gebrachte structurele verandering worden begrepen en kan de betrouwbaarheid van het inhaalproces worden geëvalueerd dat via de communautaire hulp moet worden ondersteund en geïntensiveerd. 3. In het kader van haar onderzoek heeft de Kamer een analyse (8) laten uitvoeren om te kunnen beoordelen in welke mate deze macro-economische technieken geschikt zijn voor het meten van het effect van de structurele acties en of deze op doeltreffende wijze kunnen bijdragen aan het besluitvormings- en strategisch proces van de programmering. 4. Uit deze analyse blijkt dat de gezichtspunten ten aanzien van de endogene of exogene factoren die van invloed zijn op het welslagen van de structurele programma’s, variëren naar gelang van de gehanteerde methoden en theoretische benaderingen. Met de macro-economische modellen wordt immers beoogd de mechanismen van het economische systeem van een land of regio weer te geven en de effecten van een exogene schok te achterhalen of te simuleren zoals die welke teweeg wordt gebracht door de uitvoering van structurele programma’s. Er bestaat geen unieke en volledige weergave van de economische realiteit. 5. In het econometrische HERMIN-model, waarin rekening wordt gehouden met het specifieke karakter van elke lidstaat en waarin de effecten op nationaal niveau worden geïntegreerd, wordt uitgegaan van de veronderstelling dat de productiecapaciteiten van de economieën niet ten volle worden benut en dat, dientengevolge, de multiplier- en versnellingseffecten die verband houden met de toegenomen investe- ringen voor een toename van de productie en de werkgelegenheid zorgen. Dit model lijkt bevredigende resultaten op te leveren in termen van effecten op de vraag. Wat de effecten op het aanbod betreft, leidt een afname van de werkloosheid volgens het model tot hogere lonen, waarbij rekening wordt gehouden met de Phillipscurve en het effect op de inflatie wordt beperkt; bovendien wordt expliciet rekening gehouden met de effecten op de productiviteit door de effecten van externe besparingen in de modellen op te nemen die de toename en verbetering van het menselijk potentieel en het fysiek kapitaal van de overheids- en particuliere sector op de productiviteit hebben. De mate waarin hiermee rekening wordt gehouden verschilt echter van land tot land. Het model verschaft slechts gedeeltelijke informatie over duurzame ontwikkeling, waarbij met name geen rekening wordt gehouden met aspecten die verband houden met schommelingen in de wisselkoers, om het evenwicht op de betalingsbalans te waarborgen, of schommelingen in belastingtransfers. 6. Het macro-econometrische HELM-model, dat voor de tussentijdse evaluatie van het EPD 1994-1999 D1 voor de provincie Henegouwen (België) werd gehanteerd, is een van de weinige modellen die specifiek rekening houden met de regionale ontwikkelingsaanpak, aangezien hierin de effecten van de endogene groei die verband houden met de productiviteit op lange termijn in aanmerking worden genomen, hoewel de verbetering van de productiviteit die te danken is aan de bijstandsverlening van de SF’s grotendeels beperkt blijft tot de industriële sector en uitsluitend de arbeidsproductiviteit betreft. Hierin worden globale en toegevoegde effecten van het EPD op de economie van Henegouwen aangegeven, zoals de cumulatief gegenereerde investering, de toegevoegde waarde of de werkgelegen- heid in de sectoren handwerksnijverheid en verhandelbare diensten gedurende de periode van 1994 tot 2002 of 2005, waarbij wordt uitgegaan van hetzelfde soort uitgangspunt als in het HERMIN-model wat betreft de aanwending van productiecapaciteiten en de multiplier- en versnellingseffecten van investeringen op de vraag. Opgemerkt zij dat in het HELM-model wel rekening wordt gehouden met de regionale export, maar niet met de uit andere regio’s afkomstige import, zodat het risico bestaat dat de effecten op de vraag te hoog worden ingeschat. Het cijfer met betrekking tot de vraag valt ook nog hoger uit doordat geen rekening is gehouden met de loonaanpassingen die verband houden met de afname van de werkloosheid, noch met hogere kosten of capaciteitsbeperkingen. Het HELM-model geeft eveneens weinig aanwijzingen met betrekking tot de ontwikkeling van de werkloosheid of tot het werkaanbod. Het is immers gebaseerd op reeds lang bestaande statistische informatie waarbij echter niet is nagegaan of deze wordt gestaafd door andere relevante informatie. 7. De modellen voor een algemeen berekenbaar evenwicht worden meer in het bijzonder op nationaal niveau toegepast. Deze modellen vestigen de aandacht op de aanbodeffecten op de lange termijn die voortvloeien uit de communautaire structurele acties. Met het OGM-model, waarin een tussentijds endogeen groeikader wordt gehanteerd, wordt ervan uitgegaan dat de markten van productiefactoren in (8) De Kamer heeft gebruik gemaakt van de diensten van een externe beoordelaar die in hoge mate gespecialiseerd was op het gebied van macro-economische modellen en de Europese economie. C 347/34 NL Publicatieblad van de Europese Gemeenschappen 16. 11. 98 evenwicht zijn en dat de economie volledig gebruik maakt van de productiecapaciteit. Veranderingen in de vraag hebben geen enkel effect op de productie en de werkgelegenheid, en met de SF-programma’s kan de groei slechts worden bevorderd wanneer de productiviteit erdoor wordt verhoogd; deze productiviteitseffecten worden duidelijk gespecificeerd in de productiefunctie. Het model beoogt een optimale waarde voor het land vast te stellen door een functie van tussentijds sociaal welzijn te maximaliseren. Uitgaande van een bestendige situatie, worden de economische actoren, terwijl ze volkomen de omvang van de middelen voorzien die hen zullen worden toegekend, alsmede de periode waarover de steun zal worden gespreid, geacht de meest gunstige besluiten te nemen over besteding en investering op basis van deze gegevens. Tot slot voorziet het OGM-model op lange termijn het evenwicht op de betalingsbalans en het begrotingsevenwicht. 8. Het BBM-model voorziet voor bepaalde sectoren dat de arbeidsmarkten in evenwicht zijn en dat derhalve de vraageffecten niet van invloed zijn op de productie en de werkgelegenheid, terwijl voor andere sectoren groei moet leiden tot een toename van de vraag. In het model zijn eveneens productiviteitseffecten opgenomen die verband houden met de technologische veranderingen welke een afname van input met zich meebrengen. 9. Met het DIO-model voor input-output wordt getracht het verband weer te geven tussen alle middelen waarover een economie de beschikking heeft en de gehele uiteindelijke besteding van deze middelen. Op deze wijze wordt de onderlinge afhankelijkheid van de verschillende sectoren van een land vastgesteld, die met elkaar verbonden zijn op basis van intermediair verbruik. De input-outputbenadering zorgt ervoor dat de effecten van structurele acties op de vraag zo groot mogelijk zijn en laat de effecten op het aanbod (effecten op de productiviteit, op de lonen, aanpassing van de inflatie) buiten beschouwing. De duurzame ontwikkeling komt hierin niet aan bod. Het FIDIMI-model is een combinatie van het model voor een algemeen evenwicht en van het input-outputmodel en hiermee kunnen de effecten van de in het zuiden van Italië uitgevoerde communautaire acties op het noorden van Italië worden geanalyseerd. 10. Van de andere bestaande technieken voor het evalueren van de effecten van regionaal beleid, hanteert Eurostat vooral de structureel-residuele analyse voor het uitvoeren van evaluaties van het effect van de SF’s in bepaalde gebieden die in aanmerking komen voor D1 of D2. Deze analyse is gericht op het vaststellen van het overschot, dat tot stand komt door het verschil tussen de werkelijke en de gesimuleerde situatie als gevolg van de toepassing van geraamde nationale tendensen. Door het effect aldus af te bakenen worden echter de resultaten van het programma waarvan de evaluatie gaande is, van andere politieke acties op nationaal en Europees niveau alsmede van het reeds uitgevoerd regionaal beleid onderling vermengd. Bovendien bevatten de door Eurostat in 1997 uitgevoerde studies gegevens over indicatoren waarvan de meest recente uit 1993 dateren, hetgeen de waarde van de conclusies van deze studies behoorlijk relativeert. 11. Met het QUEST II-model wordt getracht de economieën van de lidstaten en de interactie hiervan met de rest van de wereld, vooral met de Verenigde Staten en Japan te analyseren. Het model is meer in het bijzonder gericht op de doorwerking van de effecten van het economisch beleid op nationaal en internationaal niveau. Dit model is aanvankelijk geconcipieerd om te dienen als middel voor simulatie en niet zozeer voor prognose. In het QUEST II-model is nu meer dan in het eerdere model het effect van het aanbod opgenomen en wordt meer rekening gehouden met de interacties in termen van voorraden. Desalniettemin worden in QUEST II de implicaties in de zin van veranderingen in het gedrag van de economische subjecten weinig of onvoldoende opgenomen. Tabel III. 1 Basiskenmerken van de macro-econometrische modellen Auteurs Model Land of regio Vraageffecten Duurzaamheid Lonen Productiviteit Aanbodeffecten Bradley et al. (1994) HERMIN Ierland en Portugal Honohan (ed. ) (1997) HERMIN Ierland — Standaard Keynesiaanse structuur investerings- vraag bevordert geaggre- geerde vraag — Arbeidsmarkten zijn niet automatisch in evenwicht — Economie draait niet op volledige capaciteit — Monetaire sector en wis- selkoersen zijn niet in het model opgenomen — Werkloosheid toegenomen Phillipscurvestructuur brengt koppeling tot stand tussen werkgelegenheid, lo- nen en inflatie — Inflatoir effect van toename van vraag is beperkt — Stijgende lonen veroorza- ken instroom van arbeid in Ierland — Investering in menselijk po- tentieel heeft geen effecten op de lonen — Met CB’s samenhangende Betalingsbalans: investeringen doen sectorale totale productiviteit in Ier- land toenemen — In Portugal geen producti- viteitseffecten door particu- liere investeringen en be- paalde infrastructuuruitga- ven — Opstellen van modellen voor productiviteitseffecten is omstreden, met name wat betreft menselijk po- tentieel — Vraageffect doet import toenemen — Productiviteitseffect verbe- tert export en trekt recht- streekse buitenlandse in- vestering in Ierland aan — Exogene wisselkoers maakt volledige beoordeling van betalingsbalans niet moge- lijk Overheidsfinanciën — Productiviteitseffect zou werkgelegenheid kunnen doen afnemen — Beperkte opstelling van modellen voor overheids- sector Herce e Sosvilla-Ri- vero (1994) HERMIN Spanje Zie model voor Ierland maar zonder arbeidsmigratie Zie model voor Ierland — Financiering overheidssec- tor neemt toe, ten gevolge van de CB’s — Er is rekening gehouden met simulatie met ongewij- zigde financiering over- heidssector Zie model voor Ierland, maar geen koppeling tussen produc- tiviteitseffect en rechtstreekse buitenlandse investering Zie model voor Ierland, maar: — Investeringen in menselijk potentieel doen arbeidspro- ductiviteit in plaats van to- tale productiviteit toenemen — Steun voor particuliere in- vesteringen zorgt voor da- ling van gebruikerskosten van kapitaal. 1 6 1 1 9 8. N L P u b l i c a t i e b l a d v a n d e E u r o p e s e G e m e e n s c h a p p e n C 3 4 7 / 3 5 Auteurs Model Land of regio Vraageffecten Duurzaamheid Lonen Productiviteit Aanbodeffecten Christodoulakis en Kalyvitis (1995) HERMIN Griekenland — Zie model voor Spanje — Wisselkoers is opgenomen in model Zie modellen voor Ierland Sema-groep (1997) HELM Henegouwen — Keynesiaanse/kaldor- structuur — Investeringsvraag bevor- dert geaggregeerde vraag — Arbeidsvraag is opgeno- men in het model — Arbeidsaanbod en werk- loosheid zijn niet opgeno- men in het model — Import uit andere regio’s is niet opgenomen in het model Geen effecten op lonen en prij- zen Zie model voor Spanje, maar: — Nominale wisselkoers past zich aan om een constante reële wisselkoers in stand te houden — Fiscaal beginsel wordt ver- ondersteld om overheids- schuld te stabiliseren Geen beoordeling van gevol- gen voor overheidsschuld of betalingsbalans Zie model voor Spanje en Ier- land, maar: — Investeringen in menselijk potentieel doen loonkosten per eenheid product afne- men — Steun voor particuliere in- vesteringen heeft geen pro- ductiviteitseffect — Investering in „zachte in- frastructuur” doet aantal banen bij overheid toene- men — Met CB’s samenhangende programma’s doen voorna- melijk arbeidsproductiviteit in de handwerksnijverheids- sector toenemen — Bij de verslaglegging van de resultaten wordt geen on- derscheid gemaakt tussen vraag- en aanbodeffecten C 3 4 7 3 6 / N L P u b l i c a t i e b l a d v a n d e E u r o p e s e G e m e e n s c h a p p e n 1 6. 1 1. 9 8 Basiskenmerken van het model voor een berekenbaar algemeen evenwicht en van het input-outputmodel Tabel III. 2 Auteurs Model Land of regio Vraageffecten Duurzaamheid Lonen Productiviteit Aanbodeffecten Pereira (1991) Optimal Growth model (OGM) Portugal — Geen Keynesiaanse vraageffecten — Alle factormarkten zijn in even- wicht — Lonen passen zich aan om arbeids- markt vrij te maken Pereira (1995) Portugal, Griekenland, Ierland en Spanje — De economie draait op volle ca- paciteit Lolos en Zonzilas (1992) Bourguignon, Branson en de Melo model (BBM) Griekenland — Keynesiaanse vraageffecten — Arbeidsmarkten vrijgemaakt in sommige sectoren en in andere niet — Er is rekening gehouden met vaste en flexibele wisselkoers — Lonen passen zich aan om arbeids- markten in sommige sectoren vrij te ma- ken — Werkloosheid zorgde voor grotere Phillipscurve in de andere sectoren Beutel (1995, 1996, 1997) Dynamic Input- output (DIO) Griekenland, Portugal en Spanje Keynesiaanse vraageffecten Geen looneffecten Productiviteitseffecten omdat overheids- en particulier kapitaal en menselijk potentieel in productie zijn — Tussentijdse maximali- sering van welzijn ga- randeert dynamische optimale oplossing — Beperkingen betalings- balans en overheidsfi- nanciën en tot tevre- denheid gestemd — Investering in over- heids- en particulier kapitaal doet secto- rale totale producti- viteit op discutabele wijze toenemen — Investering in men- — Geen beperking opge- legd inzake overheids- leningen — Er is rekening gehou- den met maatregelen inzake ongelijkheid in inkomens selijk potentieel doet input van ge- schoolde arbeid en het aantal banen bij de overheid toene- men Geen productiviteitsef- fecten Beperkingen betalingsba- lans en overheidsfinanciën zijn niet in model opgeno- men. 1 6 1 1 9 8. N L P u b l i c a t i e b l a d v a n d e E u r o p e s e G e m e e n s c h a p p e n C 3 4 7 / 3 7 Tabel III. 3 Model van de kenmerken van CB-programma’s Auteurs CB-programma Sectorale aandachtsgebieden Instrumenten Medefinanciering en additionaliteit Begin en einde Bradley et al. (1994) 1994-1999 Honohan (ed. ) (1997) Herce en Sosvilla-Rivero (1994) (HERMIN) — Vier sectoren: sectoren verhandelbare, niet-ver- handelbare en overheids- diensten en landbouw- sector — Sector verhandelbare dien- sten is voornaamste sector voor aanbodeffecten — Sectoren niet-verhandel- bare en overheidsdiensten zijn het belangrijkst voor vraageffecten — (Overheids)investeringen in mate- riële infrastructuur — Investering in menselijk potentieel — Investeringen en productiesteun voor de particuliere sector — In sommige studies wordt volledige binnenlandse medefinanciering ver- geleken met geen of gedeeltelijke binnenlandse financiering — Prognoses voor 1991-2020 uitgezonderd Honohan (1993-2010) — Er is rekening gehouden met scenario’s voor „harde en zachte landing” Christodoulakis en Kalyvitis (HERMIN) 1994-1999 Zelfde als voorgaande onder- zoeken — Harde infrastructuur — Uitvoering van simulaties waarbij — Prognoses voor 1991-2010 — Zachte infrastructuur — Steun voor productieve investering — Onderwijs en opleiding wordt uitgegaan van geraamde me- definancieringscijfers — Scenario voor „harde lan- ding” Sema-groep (HELM) 1994-1999 — Zes sectoren, landbouw, — Investeringen in fysiek overheids- handwerksnijverheid, ener- gie, bouw, commerciële dienstverlening, niet-com- merciële dienstverlening en particulier kapitaal — Investeringen in menselijk poten- tieel — Investering in O en O-kapitaal Lolos en Zonzilos (BBM) 1989-1993 Negen sectoren: landbouw, energie en mijnbouw, voe- dingsmiddelenindustrie, lichte industrie, industrie voor half- fabrikaten, bouw, handel, vervoers- en telecommunica- tiediensten, overige diensten (waaronder overheid) — Overheidsinvesteringen in geselec- teerde sectoren — Investeringen in menselijk poten- tieel doen aantal banen bij over- heid en aantal geschoolde arbeiders toenemen en leiden tot transfers naar huishoudens — Steun aan particuliere firma’s — Prognoses voor 1994-2005 — Scenario waarbij EU- en regionale steun van 1989-1993 later wordt voortgezet — Scenario waarbij extra EU-steun en binnenlandse medefinanciering voor 1994-1999 wordt toegevoegd — Scenario waarbij geen EU-steun wordt verleend in 1989-1999 Over additionaliteit wordt niet gespro- ken, maar is vermoedelijk een voor- waarde van het model — Prognoses voor 1988-1995 — „Harde landing” C 3 4 7 3 8 / N L P u b l i c a t i e b l a d v a n d e E u r o p e s e G e m e e n s c h a p p e n 1 6. 1 1. 9 8 Auteurs CB-programma Sectorale aandachtsgebieden Instrumenten Medefinanciering en additionaliteit Begin en einde Beutel [DIO] 1989-1999 25 sectoren, gebaseerd op input-outputtabellen Additionaliteit is een voorwaarde van het model — Prognoses voor 1989-1994 — Op sectoren gerichte modellen van investeringen in overheids- en par- ticulier kapitaal en in menselijk potentieel — Investeringen in opleiding beïnvloe- den lonen en salarissen in de eco- nomie FIDIMI (1991) 1989-1993 16 sectoren, gebaseerd op input-outputtabellen — Op sectoren gerichte modellen van CB-programma’s — Additionaliteit vormt een belang- rijk onderdeel van de studie — Scenario’s verschillen op het punt van de omvang van de middelen die met of zonder CB-programma’s in Zuid-Italië zouden worden geïn- vesteerd — Uitsluitend verslaglegging over het algehele effect zonder uitsplitsing per jaar — Scenario’s voor „harde en zachte landing” worden niet in aanmerking geno- men Pereira (1991) (OGM) 1989-1993 2 sectoren: verhandelbare en niet-verhandelbare diensten — Investeringen in infrastructuur van — Medefinancieringsvoorwaarden — Prognoses voor 1990-2006 de overheid worden opgelegd — Investeringen in menselijk poten- — Model maakt het mogelijk na te tieel — Steun voor particuliere investerin- gen gaan of additionaliteit zal worden verwezenlijkt — Er is nagedacht over scena- rio’s voor „zachte en harde landing” Pereira (1995) (OGM) 1994-1999 en vergelijking met 19891993 Zie voorgaande model Zie voorgaande model — Medefinancieringsvoorwaarden — Prognoses voor 1993-2007 worden opgelegd — Scenario voor „harde lan- — In simulaties worden de volgende ding” gevallen vergeleken: i) geen additionaliteit ii) officiële definitie en iii) tussentijdse definitie van addi- tionaliteit. 1 6 1 1 9 8. N L P u b l i c a t i e b l a d v a n d e E u r o p e s e G e m e e n s c h a p p e n C 3 4 7 / 3 9 C 347/40 NL Publicatieblad van de Europese Gemeenschappen 16. 11. 98 ANTWOORDEN VAN DE COMMISSIE I. ALGEMEEN De Commissie geeft toe dat het evaluatieproces, dat voor velen nog nieuw is, een aantal leemten en onnauwkeurig- heden vertoont, zowel wat betreft de inhoud als het gebruik dat er kan worden van gemaakt; zij wijst er evenwel op dat er in enkele jaren tijd toch opmerkelijke vorderingen zijn gemaakt. De Commissie is zich bewust van de problemen die nog een oplossing moeten krijgen; daarom heeft zij, zowel op het vlak van de organisatie als op dat van de methodolo- gie, haar inspanningen uitgebreid teneinde tot een zo bevredigend mogelijke situatie te komen, met name door een permanente dialoog te voeren met al degenen die in de verschillende landen van de Unie werkzaam zijn op dit gebied. De ontwikkeling van de evaluatie van de bijstand uit de Structuurfondsen kan in drie grote fasen worden inge- deeld, die overeenstemmen met de drie programmerings- perioden. Periode 1989-1993 De verordeningen betreffende de eerste hervorming van de Structuurfondsen werden pas in december 1988 door de Raad goedgekeurd; de nationale programma’s die begin 1989 werden ingediend, beantwoordden slechts gedeeltelijk aan de vereisten inzake strategie, keuze van de te bereiken doelstellingen en kwantificering van de verwachte effecten. Daarom werd getracht deze leemten aan te vullen door in een evaluatie achteraf de bereikte resultaten te vergelijken met herziene doelstellingen. Dit was een aanzienlijke opdracht waaraan specifieke beperkingen waren verbon- den, die duidelijk naar voor zijn gekomen in de rapporten over de bijstand in de gebieden van doelstelling 1 en doelstelling 2. Niettemin werd daarmee de basis gelegd voor een coherente analyse van het effect van deze hervorming op de economische en sociale samenhang. Periode 1994-1999 Na dit eerste experiment werden op verzoek van bepaalde lidstaten en de Commissie strengere voorschrif- ten vastgesteld inzake toezicht en evaluatie, waarbij drie fasen werden ingevoerd: een beoordeling vooraf, een tussentijdse evaluatie en een evaluatie achteraf. De tussen- tijdse evaluatie is van onbetwistbaar nut gebleken. Voor het eerst werden deze evaluaties verricht op het niveau van de diverse toezichtcomite´s, zodat nauwere contacten ontstonden tussen de beoordelaar en de te beoordelen begunstigden; hiermee werd zelfs verder gegaan dan de strikte toepassing van de voorschriften. De opgestelde rapporten werden in de diverse toezichtcomite´s toegelicht en besproken, zodat de evaluatie zowel een informatieve als een operationele functie kreeg, hetgeen niet mogelijk was als de werkzaamheden door de Commissie werden georganiseerd en geleid. Er kunnen discrepanties ontstaan wat betreft de toegepas- te methoden, de keuze van de beoordelaars, de kosten van de werkzaamheden en het detail van de resultaten, ook al berust de coördinatie en de algemene leiding van de werkzaamheden bij de administratieve eenheid Coördi- natie van de evaluatie van de Commissie en bij de nationale vertegenwoordigers in de Groep technische eva- luatie. Ondanks de uiteenlopende benadering, die ver- band houdt met de manoeuvreerruimte waarover iedere lidstaat in het kader van de subsidiariteit beschikt, is de Commissie toch van mening dat deze aanpak in grote mate ertoe heeft bijgedragen dat een ware evaluatiecul- tuur is ontstaan. De begunstigden konden ervan worden overtuigd dat zij over een operationeel instrument beschikken voor een beter beheer van de bijstand, zowel op nationaal als op communautair niveau. Dit kan alleen maar gunstig zijn voor de toekomstige evaluaties; de kwaliteit van de conclusies van de evaluaties zal namelijk evenveel afhangen van de informatie die door de project- beheerders wordt bijgehouden en verstrekt als van de expertise van de onafhankelijke beoordelaars. Periode 2000-2006 De voorstellen voor de nieuwe verordeningen zijn er in het bijzonder op gericht de factoren die de reikwijdte van de evaluatie beperken, tot een minimum te herleiden en er aldus voor te zorgen dat de middelen van de Structuur- fondsen nog doeltreffender worden besteed. In dit ver- band is het volgende voorgesteld: — de plannen die door de lidstaten worden ingediend, moeten een beoordeling vooraf en een nauwkeurige kwantificering van de te bereiken doelstellingen bevat- ten; — er moet rekening worden gehouden met de resultaten van de evaluaties die voor de voorgaande periode per thema of per programma zijn verricht; — er moet een nauwe samenhang tot stand worden gebracht tussen de tussentijdse herprogrammering en de conclusies van de tussentijdse evaluatie. Teneinde een grotere doeltreffendheid bij de besteding van de Structuurfondsen te verzekeren, stelt de Commis- sie voor 10 % van de kredieten halverwege de looptijd toe te wijzen, naar gelang van het bereikte prestatie- niveau; daarbij worden criteria gehanteerd die nauw 16. 11. 98 NL Publicatieblad van de Europese Gemeenschappen C 347/41 verband houden met de kwaliteit van de programmering, het toezicht, de beoordeling vooraf en de tussentijdse evaluatie. II. SPECIFIEKE OPMERKINGEN 2. REIKWIJDTE VAN DE CONTROLE Wat tenslotte de methodologische aspecten betreft, is de Commissie voornemens om in het najaar een publicatie te verspreiden over de werkzaamheden die in het kader van het MEANS-programma (1) zijn verricht, teneinde tot een betere harmonisatie van de evaluatiemethoden binnen de Unie te komen. Het betreft met name: — een nauwkeurige omschrijving van een referentiekader en van de methodologie voor de beoordeling vooraf, de tussentijdse evaluatie en evaluatie achteraf ; — een overzicht van de literatuur betreffende de verschil- lende evaluatiemethoden en de voorwaarden voor de toepassing daarvan; — een analyse van de toegepaste indicatoren per bij- standspakket. Harmonisatie van de systemen en indi- catieve lijst van de indicatoren; — de methodologie en de organisatie van de thematische evaluaties; — een meertalig glossarium van de belangrijkste begrip- pen op het gebied van de evaluatie; — een overzicht van de meest innoverende nationale of communautaire projecten. Uit de hiernavolgende opmerkingen blijkt dat de Com- missie in een aantal gevallen de mening van de Rekenka- mer deelt. Toch moet steeds rekening worden gehouden met de problemen en de beperkingen die inherent zijn aan ieder evaluatieproces, zelfs wanneer deze geleidelijk wor- den opgelost of opgeheven. In ieder geval mag nooit uit het oog worden verloren dat de evaluatie in de eerste plaats moet worden gezien als een technisch hulpmiddel bij de besluitvorming of het beheer, en dat het niet de bedoeling is dat de politieke besluitvorming erdoor wordt vervangen. De evaluatie heeft ten doel de gevolgen van de te nemen of reeds genomen besluiten te verduidelijken. Bovendien is een zekere flexibiliteit nodig wat de te volgen methoden betreft, zodat rekening kan worden gehouden met de specifieke omstandigheden van iedere evaluatie. Tenslotte wijst de Commissie erop dat de respectieve bevoegdheden van de nationale overheidsdiensten en de Commissie in verband met het beheer van de Structuur- fondsen sedert de hervorming in 1988 steeds duidelijker zijn afgebakend, met name wat de evaluatie betreft. De lidstaten dragen steeds meer verantwoordelijkheid voor de uitvoering van de evaluaties. (1) Meerjarenprogramma inzake methoden voor de evaluatie van structuurmaatregelen. 2. 3. De Rekenkamer heeft geen onderzoek uitgevoerd in landen als Duitsland en het Verenigd Koninkrijk, waar de evaluaties op een heel andere manier worden aangepakt. 3. SAMENVATTING VAN DE BELANGRIJKSTE OPMER- KINGEN 3. 2. De Commissie is van mening dat met de gevallen waarin zij niet over de budgettaire gegevens betreffende de evaluatie beschikt, slechts geringe kosten gemoeid zijn. Aangezien de tussentijdse evaluatie nog in volle ontwik- keling is en op een gedecentraliseerd niveau plaatsvindt, kunnen de daaraan verbonden uitgaven nog aanzienlijk variëren. De bedragen die aan de evaluatie worden besteed worden onderverdeeld per land, per doelstelling en per bijstandspakket. Daarover zijn gegevens gepubli- ceerd in de jaarlijkse evaluatiebalans van de Commissie. De Commissie blijft ernaar streven om systematisch te kunnen bepalen welk gedeelte van de voor technische bijstand toegekende middelen aan evaluatie wordt besteed en in het kader van het partnerschap wordt beheerd. 3. 3. Op grond van de geldende voorschriften en gelet op het subsidiariteitsbeginsel beschikt de Commissie niet over de bevoegdheid om een nauwkeurig omschreven kader vast te stellen voor de evaluatiemethodologie en de indicatoren. Teneinde de nationale methoden te perfectioneren en de kwaliteit van de evaluatie te verbeteren heeft de Commis- sie: — het MEANS-programma opgezet en acht handleidin- gen gepubliceerd over aangelegenheden van methodo- logische aard; — drie Europese conferenties georganiseerd over de tech- nieken en de gebruiken op het gebied van de evalua- tie; — documenten verspreid, zoals opdrachtomschrijvingen voor de beoordeling vooraf en een handleiding voor de evaluatie van grote projecten; — groepen voor technische evaluatie opgericht, waaraan de lidstaten deelnemen, en heeft zij verschillende semi- nars georganiseerd. 3. 4. Het is in de praktijk niet mogelijk om de evaluatie achteraf onmiddellijk te doen aansluiten op de diverse fasen van de programmering van de structuurmaatrege- len. Een evaluatie achteraf kan pas twee of drie jaar na afloop van de programmeringsperiode worden verricht. C 347/42 NL Publicatieblad van de Europese Gemeenschappen 16. 11. 98 Om dit probleem te verhelpen heeft de Commissie erop aangedrongen dat tussentijdse evaluaties en evaluaties per thema zouden worden uitgevoerd. Zo konden bijvoor- beeld de resultaten van de thematische evaluaties die in 1992 en 1993 werden verricht, worden gebruikt voor de voorbereiding van de programmering 1994-99. Voor de programmering na 2000 zullen tussentijdse eva- luaties beschikbaar zijn; voor iedere doelstelling worden evaluatiebalansen opgesteld, waarin de tussentijdse eva- luaties worden aangevuld en bijgewerkt. Bovendien zijn vier thematische evaluaties aangevat. De Commissie heeft dit systeem opgenomen in haar voorstellen voor een wijziging van de verordeningen. 3. 5. Er moet een onderscheid worden gemaakt tussen de objectiviteit van de evaluatie en de beschikbaarheid en de kwaliteit van de gegevens. In het kader van de evaluatie wordt vaak gewezen op het probleem van de gegevens, en er is haast geen verslag waarin deze kwestie niet ter sprake wordt gebracht. Toch kan in dit opzicht een verbetering worden waargenomen, die met name te dan- ken is aan de strengere evaluatievoorwaarden. De Commissie acht de situatie op dit gebied niet bevredi- gend; dit mag echter niet worden toegeschreven aan de evaluatie als zodanig, maar heeft eerder te maken met de toezichtsystemen. De Commissie onderstreept dat het probleem van de deugdelijkheid van de gegevens en de indicatoren in hoofdzaak een aangelegenheid is voor de controle op het toezicht. De Commissie blijft streven naar een verbetering van de situatie en zal rekening houden met de opmerking van de Rekenkamer betreffende een meer systematische controle op de betrouwbaarheid van de gegevens. De werkzaam- heden in verband met de controle zullen het ook mogelijk maken dat de verbetering zich doorzet, die al enkele jaren op het terrein wordt waargenomen. 3. 6. Bij de gunning van contracten houden de betrokken diensten zich aan de voorschriften van de richtlijnen terzake en volgen zij de procedure die door het RCAC is vastgesteld. Het is echter niet mogelijk om over de opdracht te onderhandelen vóór de overeenkomst wordt ondertekend, hetgeen er vaak toe leidt dat later toelich- tingen moeten worden verstrekt, zodat vertragingen in het vastgestelde tijdschema ontstaan. Het gaat hier echter om een marginaal probleem. Bovendien ligt de oorzaak van dit probleem niet alleen bij de diensten van de Commissie. De zwakke punten die in bepaalde evaluatierapporten worden geconstateerd, kun- nen evengoed worden toegeschreven aan incompetentie van de adviseurs of aan een gebrekkige kwaliteit van de beschikbare gegevens: vaak zijn bepaalde rapporten van uitstekende kwaliteit, terwijl andere, die op precies dezelfde opdrachtomschrijvingen zijn gebaseerd, te wen- sen overlaten. 3. 7. De Commissie is er het met de Rekenkamer over eens dat zich problemen hebben voorgedaan bij de orga- nisatie van de eerste evaluaties, waarbij op weinig enthousiasme van de lidstaten kon worden gerekend. De evaluaties achteraf van de doelstellingen 1 en 2 zijn door internationaal befaamde adviesbureaus en deskundi- gen van hoog niveau uitgevoerd op basis van een gemeen- schappelijke methodologie. Uit het tweede deel van punt 3. 7 blijkt overigens dat deze aanpak, ondanks de gecon- stateerde onvolkomenheden, nuttig is geweest. De kritiek van de Rekenkamer heeft betrekking op de evaluaties die in 1993-1994 zijn uitgevoerd; sedertdien is er op initiatief van de Commissie veel werk verricht om de methoden te verbeteren. Ook de kritiek van de Rekenkamer betref- fende de evaluatie achteraf van doelstelling 2 is gedeelte- lijk terecht. Toch moet de mogelijkheid om tot een nauwkeurige kwantificering te komen van de effecten of van de toegevoegde communautaire waarde, vanuit een meer pragmatische oogpunt worden bekeken. 3. 8. De tussentijdse evaluatie heeft betrekking op de analyse van de eerste resultaten van de bijstandspakket- ten. De beoordeling van de effecten geschiedt in het kader van de evaluatiebalansen en de evaluaties achteraf. Hier- voor worden echter niet altijd econometrische modellen opgesteld, die vaak bijzonder duur zijn en niet altijd het meest geschikte middel blijken te zijn om het effect te meten. De evaluatie is een instrument dat het beheer moet ondersteunen en mag derhalve slechts worden gezien als een van de hulpmiddelen bij het besluitvormingsproces. 3. 9. De Commissie is tot de constatatie gekomen dat de opdeling van programmeringsperiode voor doelstelling 2 niet aan de behoeften van de betrokken gebieden heeft beantwoord en dat de tenuitvoerlegging van de pro- gramma’s erdoor complexer is geworden. In de voorstel- len van de Commissie van maart 1998 inzake de hervor- ming van de Structuurfondsen, is voor doelstelling 2, net als voor de andere doelstellingen, slechts in e´e´n enkele programmeringsperiode voorzien. 3. 11 - 3. 12. Teneinde te voorkomen dat het aantal evaluaties van programma’s of subprogramma’s te groot wordt en het beheer daardoor onoverzichtelijk wordt, is het vaak meer aangewezen op sommige belangrijke gebie- den selectief tewerk te gaan. De Commissie is het er met de Rekenkamer over eens dat het beter zou zijn het aantal maatregelen en subpro- gramma’s of zelfs het aantal programma’s te beperken. Ze heeft overigens al concrete voorstellen in die zin gedaan in het kader van de hervorming van de Fondsen. 16. 11. 98 NL Publicatieblad van de Europese Gemeenschappen C 347/43 4. ALGEMENE PROBLEMEN Inleiding 4. 1. De Commissie heeft het herhaaldelijk betreurd dat de doelstellingen in sommige lidstaten niet naar behoren worden gekwantificeerd. Doordat de nationale overheids- uitgaven niet per doelstelling worden beheerd, is het bovendien moeilijk om tot een beheersysteem te komen dat op indicatoren is gebaseerd. Het probleem heeft derhalve niet zozeer te maken met het ontbreken van een methodologisch of analytisch kader, dan wel met de opzet van de programma’s en de systemen van de natio- nale statistiek. alle communautaire bestekken van doelstelling 1 en van vijftien EPD van doelstelling 2. Naast de thematische evaluaties die ook de periode 1989-1993 bestrijken, heeft de Commissie een evaluatie achteraf gemaakt van alle communautaire bestekken en EPD van de doelstellingen 1 en 2 over de periode 1989-1993. 4. 9. Dit vraagstuk is reeds behandeld in punt 3. 2. Het is mogelijk dat in de door de Commissie opgestelde finan- ciële balans van de evaluaties een aantal evaluaties ont- breken, die uitsluitend op initiatief van de lidstaat zijn verricht en uit de technische bijstand werden gefinan- cierd. Het betreft hier echter te verwaarlozen bedragen in verhouding tot de totale kosten van de andere werkzaam- heden. 4. 3. De Commissie wijst in dit verband op de volgende punten: Referentiekader — sedert 1994 verstrekt zij de lidstaten gemeenschappe- lijke richtsnoeren voor het toezicht en de tussentijdse evaluaties; — in december 1994 heeft zij de Groep Technische Evaluatie - die verantwoordelijk is voor de lidstaten - een kaderdocument voorgelegd over het doel, de inhoud en de wijze van uitvoering van de tussentijdse evaluaties. Na dit eerste overleg hebben nog vier andere vergaderingen in deze groep plaatsgevonden; — in 1995 heeft zij de overheidsdiensten een MEANS- bulletin toegezonden over de organisatie van de tus- sentijdse evaluatie in het kader van het partnerschap, waarvan drie van de vijf hoofdstukken betrekking hebben op de voorbereiding van het bestek en het aanbestedingsdossier, de selectie van de beoordelaars en de kwaliteit van de evaluatie; — in 1996 heeft zij, nog voordat zij de eerste evaluaties had ontvangen, de overheidsdiensten een MEANS- bulletin over de beoordeling van de kwaliteit van de evaluatierapporten toegezonden, dat vergezeld ging van een gedetailleerd schema. 4. 5. Er zij ook op gewezen dat in de periode 1989-1993 een aantal evaluaties in het kader van het partnerschap zijn verricht. Dit betekent dat de lidstaten en de toezicht- comite´s actief werden betrokken bij diverse thematische evaluaties of evaluaties achteraf die op initiatief van de Commissie zijn uitgevoerd - evaluaties per thema of evaluaties achteraf. 4. 8. De Rekenkamer constateert dat tijdens de eerste programmeringsperiode slechts geringe bedragen zijn uit- getrokken voor de evaluatie van de doelstellingen 1 en 2. Omdat in bijna geen enkele lidstaat evaluaties waren verricht, heeft de Commissie aan het begin van de periode het initiatief genomen een eerste evaluatie te maken van 4. 11 - 4. 12. De MEANS-handleidingen zijn informatieve documenten die bestemd zijn voor overheidsdiensten waar reeds een ruime technische expertise aanwezig is. De Commissie acht het belangrijker dat het gemiddelde niveau van de evaluaties wordt verhoogd dan dat de kennis van de reeds gespecialiseerde deskundigen wordt uitgebreid. Statistische basisgegevens en informatie over de nage- streefde doelstellingen 4. 14 – 4. 15. De Commissie deelt de mening van de Rekenkamer. Indicatoren 4. 15 – 4. 20. De Rekenkamer erkent de inspanningen die de Commissie heeft gedaan om de indicatoren te perfec- tioneren. De voorschriften terzake werden in 1993 uitge- breid en er is tezamen met de diverse lidstaten getracht de discrepanties te kwantificeren. Bij de evaluatie achteraf werd prioritaire aandacht besteed aan de kwantificering van de doelstellingen en er is vooruitgang geconstateerd: voor de bijstandspakketten 1994-1999 was de kwantifi- cering duidelijk beter dan voordien. Bij de tussentijdse evaluaties kwam het er in de eerste plaats op aan de indicatoren en de doeltreffendheid ervan te verbeteren. De Commissie wijst erop dat het probleem zich niet beperkt tot een verhoging of een verlaging van het aantal indicatoren; met de bestaande toezichtsystemen is het namelijk moeilijk om een regelmatige kwantificering te verzekeren van de overeengekomen indicatoren van de programma’s. Het betreft evenmin een gebrek aan samen- hang in de programmering: de regionale en plaatselijke instanties hebben in het kader van de subsidiariteit het recht om hun eigen prioriteiten vast te leggen en zelf de reikwijdte van de programmering in hun land te bepa- len. C 347/44 NL Publicatieblad van de Europese Gemeenschappen 16. 11. 98 Niettemin kan een verbetering worden waargenomen, die waarschijnlijk een gevolg is van de strengere evaluatie- voorwaarden. Objectiviteit van de evaluaties De analyse van de Commissie vormt slechts een methodo- logische omkadering en is derhalve niet toereikend; daarom is de Commissie voornemens verdergaande initia- tieven te nemen in het kader van de hervorming van de Structuurfondsen. Benutting van de evaluatie 4. 22. De opdeling van de programmeringsperiode is de samenhang tussen evaluatie en programmering inderdaad niet ten goede gekomen; dit is een van de redenen waarom de Commissie voor de toekomst slechts een enkele programmeringsperiode heeft voorgesteld. Niette- min heeft de programmering 1997-1999 profijt kunnen halen uit een evaluatie achteraf over de periode 1983- 1993 en uit een beoordeling vooraf van de EPD die op initiatief van de Commissie werd verricht en betrekking had op aangelegenheden die onder haar bevoegdheid vallen en die tot de prioriteiten van de Unie behoren. De Commissie is van mening dat de evaluaties in het kader van de herprogrammering en de thematische eva- luaties voor het MKB en O & O tot de evaluatie achteraf over de periode 1994-1996 behoren. De Commissie voert thans besprekingen met de lidstaten om tot een evaluatie- balans te komen die in het tweede halfjaar van 1998 zal worden bekendgemaakt en betrekking heeft op de periode vanaf 1994. Van deze evaluatiebalans zal worden uitgegaan bij de toekomstige programmering. 4. 23 - 4. 26. De Commissie werkt thans aan een verslag voor ieder land afzonderlijk waarin de kwaliteit van de evaluatie wordt onderzocht en wordt nagegaan in hoe- verre deze bijdraagt tot de aanpassing van de steunmaat- regelen. De belangrijkste aspecten van de tussentijdse herziening zullen in een syntheserapport worden opgeno- men. Uit de gegevens waarover de Commissie beschikt, blijkt niet dat de opmerkingen van de Rekenkamer, die betrekking hebben op honderden programma’s en op sterk uiteenlopende situaties, terecht zijn. De Commissie zal de resultaten beoordelen bij de indie- ning van het verslag over de tussentijdse herziening. Op dit ogenblik lijkt het standpunt van de Rekenkamer voorbarig. De Commissie wijst er tevens op dat de evaluaties niet alleen nuttig zijn voor de beheerders, maar dat zij tevens een goede basis vormen om beter verantwoording te kunnen afleggen ten aanzien van de Begrotingsautoriteit, het Europees Parlement en de burgers. 4. 27 - 4. 29. In dit verband schijnt de Rekenkamer, ondanks de positieve opmerkingen die zij in de punten 6. 5-6. 7 maakt, zich niet voldoende bewust te zijn van het complexe karakter van het partnerschap. Om de objectiviteit en de onafhankelijkheid van de evaluaties te verzekeren, is meer nodig dan een duidelijk referentiekader voor de toepassing van de methodolo- gieën en de controle van de gegevens ter plaatse. De kwaliteit van de evaluatie hangt in grote mate af van professionele kwaliteiten, beroepsethiek, de invloed van de belangen van de lidstaten, enz. De Rekenkamer vermeldt niet dat de geschiktheid van de methodologie, de betrouwbaarheid van de gegevens en de geloofwaardigheid van de resultaten uitdrukkelijk als drie van de acht criteria worden genoemd in het MEANS- bulletin nr. 5 over de beoordeling van de kwaliteit van de evaluatieverslagen. De Commissie streeft voortdurend naar verbetering van de normen en de criteria, waarbij zij echter rekening dient te houden met de reële situatie ter plaatse. Daarom zal zij zich meer gaan bezighouden met de beoordeling van de werking van de evaluatiesystemen ter plaatse. De door de Commissie gegunde evaluatiecontracten 4. 30 – 4. 31. De Commissie past bij de gunning van opdrachten de normen en de procedures toe die zijn vastgesteld in het kader van het RCAC. De selectie van de deskundigen geschiedt op grond van de selectiecriteria en de gunningscriteria die in het Publicatieblad zijn bekendgemaakt. De toepassing van deze criteria en de resultaten van de procedure worden opgenomen in het rapport dat aan het RCAC wordt voorgelegd. In verband met de „te vage” omschrijvingen in de aanbe- stedingsdossiers, mag niet uit het oog worden verloren dat de Commissie expertise koopt en dat zij er alle belang bij heeft dat de contracten zodanig worden opgesteld dat de aangewezen adviseurs in staat zijn hun deskundigheid ten volle te benutten. 4. 32. De methode die voor doelstelling 1 is gevolgd, is niet geschikt voor doelstelling 2, waarbij 60 programma’s zijn betrokken. Gezien het bedrag van de uitgaven en het aantal teams dat daarmee gemoeid zou zijn, zou deze methode hebben geleid tot de versnippering van de opdracht, hetgeen zou indruisen tegen de letter en de geest van de richtlijn betreffende de procedures voor de gunning van overheidsopdrachten. De Commissie heeft in die gevallen de voorschriften nageleefd en heeft erop toegezien dat zij de controle niet 16. 11. 98 NL Publicatieblad van de Europese Gemeenschappen C 347/45 zou verliezen over de praktische uitvoering van de evalua- tie. Te dien einde heeft zij begeleidende comite´s opgericht en geregeld vergaderingen georganiseerd met de evaluatie- teams. De verslagen werden vervolgens ter controle aan de beherende diensten voorgelegd. 4. 33. De omschrijving van de werkzaamheden hangt af van de behoeften van de opdrachtgever. Hij bepaalt welke informatie hij nodig heeft en de evaluatiediensten waken over de inhoud daarvan. Behalve wat de inhoud van de opdracht betreft, zijn de contractvoorwaarden gestandaardiseerd op initiatief van het RCAC. Zoals reeds eerder is onderstreept, bestaat er geen alge- meen aanvaarde methodologie voor de evaluatie van de programma’s. Teneinde de controle over de gekozen aanpak niet te verliezen onderzoekt de Commissie de toepasselijkheid van de methodologie en van de voorge- stelde technieken. In het bestek wordt een algemeen methodologisch kader opgenomen; over de specificaties en de technische hulpmiddelen wordt onderhandeld. 4. 34. In dit concrete geval heeft de Commissie in overleg met de adviseurs die de evaluatie hebben verricht, getracht de kwaliteit van het verslag te verhogen door alle diensten en de betrokken ambtenaren bijeen te brengen in een debat over de inhoud van het verslag en de lering die eruit kan worden getrokken. Het eindverslag werd in mei 1995 (drie maanden na de voorgeschreven datum) opnieuw ingediend en na officieel overleg aanvaard in juni 1995; de betaling is verricht in juli 1995. Het rapport waarover de Rekenkamer het heeft, is slechts een bijwerking van het eindverslag door de adviseur, waarmee geen supplementaire kosten waren gemoeid. 4. 35. De Commissie onderstreept dat de omschrijving van de opdracht drie nauwkeurig omschreven hoofdcrite- ria omvat, namelijk de deugdelijkheid van de strategie, de bereikte resultaten en de doeltreffendheid daarvan, en de doeltreffendheid van de uitvoeringsmechanismen (blz. 2 tot 4 van het document). De Commissie heeft haar standpunt over de methodolo- gie al eerder uiteengezet. De diverse diensten worden geraadpleegd en de coördinerende dienst neemt het besluit om het rapport al dan niet te aanvaarden. 5. EVALUATIES ACHTERAF VAN DE CB IN HET KADER VAN DE DOELSTELLINGEN 1 EN 2 (1989-1993) Inleiding 5. 2. De Commissie is het er met de Rekenkamer over eens dat zich bij deze evaluaties problemen hebben voor- gedaan die verband houden met de opzet van de pro- gramma’s van de eerste generatie. Evaluaties achteraf van de CB in het kader van doelstel- ling 1 (1989-1993) 5. 3. Een aantal van de opmerkingen van de Rekenkamer in dit verband vraagt enige nuancering. a) Als de gegevens betreffende de regionale verschillen „te oud zijn”, heeft dit te maken met de Bureaus voor de Statistiek en niet met de methodologie van de evaluatie. b) De beoordelaars hebben de steekproeftechnieken toe- gepast die normaal worden gebruikt in het kader van de evaluaties en hebben bovendien casestudies ver- richt voor specifieke gevallen. Wanneer deze technie- ken juist worden toegepast, kunnen degelijke resulta- ten worden bereikt. e) De Rekenkamer constateert dat uit de „bottom-up- analyses” niet altijd conclusies kunnen worden getrokken in verband met het effect van de pro- gramma’s. Het is echter niet mogelijk om het effect op het communautair beleid, op de verbetering van het beheer, op de doorzichtigheid, enz. , te beoordelen aan de hand van „top-downs”-analyses of econome- trische modellen. g) Deze opmerking van de Rekenkamer betreft aspecten die niet tot de evaluatieopdracht behoorden. 5. 6. De Commissie bevestigt dat wel degelijk van deze evaluaties is uitgegaan in het kader van de verantwoor- ding die zij aan de Begrotingsautoriteit moet afleggen en in het kader van haar werkzaamheden voor het verslag over de Economische en Sociale Samenhang. 5. 7. Een van de drie doelstellingen van de evaluatieop- dracht bestond er inderdaad in aanbevelingen te doen in verband met de verbetering van het systeem voor toezicht en beheer. Tevens werd de deugdelijkheid van de strategie geanalyseerd en werd een balans van de resultaten opge- maakt aan de hand waarvan de doeltreffendheid van de bijstandspakketten kon worden geanalyseerd. Evaluaties achteraf in het kader van doelstelling 2 (1989-1993) 5. 13. Het is niet altijd aangewezen om systematisch econometrische modellen toe te passen, hetzij omdat het om geringe steunbedragen gaat, hetzij omdat geen statisti- sche reeksen op regionale basis voorhanden zijn. De beoordeling van de resultaten van het beleid is opge- nomen in het verslag over de Economische en Sociale Samenhang. In het kader van het nieuwe voorstel voor de hervorming van de Structuurfondsen vanaf het jaar 2000 heeft de Commissie aanpassingen op dit gebied voorge- steld. C 347/46 NL Publicatieblad van de Europese Gemeenschappen 16. 11. 98 5. 16. De Commissie heeft een aantal van de aanbevelin- gen van deze evaluatie opgenomen in haar voorstellen voor nieuwe verordeningen. 6. TUSSENTIJDSE EVALUATIES (1994-1999) Ontwikkeling en integratie van de beginselen van de tussentijdse evaluatie 6. 1 - 6. 20. De Commissie deelt de mening van de Rekenkamer wat dit gedeelte van het verslag betreft. Toch wenst zij enige toelichtingen te verstrekken: — Punt 6. 15: De Commissie is van mening dat de kritische beoordeling van de strategie, de levensvat- baarheid van de projecten en de effecten in het licht van de doelstellingen eerder aspecten zijn die bij de beoordeling vooraf of bij de evaluatie achteraf aan bod moeten komen. — Punt 6. 16: De tussentijdse evaluatie heeft ten doel bij te dragen aan de aanpassing van de bijstandspakket- ten en de verbetering van het financieel beheer. De analyse van de toegevoegde waarde hoort eerder thuis in de evaluatiebalans en de evaluaties achteraf. Toch kan de analyse van het effect van de communautaire prioriteiten op de aanpassing van de bijstandspakket- ten in vele gevallen nuttige informatie opleveren over de communautaire toegevoegde waarde. — Punt 6. 18: De Commissie heeft getracht om via de tussentijdse evaluatie een zo goed mogelijk beeld te krijgen van de synergie tussen de uit de diverse fondsen gefinancierde maatregelen, met name in lan- den met gescheiden programmering, bijvoorbeeld de EDP van doelstelling 1 in Duitsland. Daartoe hebben de voor de EFRO-projecten aangewezen beoordelaars een overzicht gemaakt van de evaluaties die voor ieder fonds afzonderlijk zijn verricht. De Commissie geeft toe dat de door de Rekenkamer bedoelde regionale evaluatie bijzonder zwak is, maar wijst erop dat deze niet representatief is voor alle evaluaties die in dat land zijn verricht. Het is bijvoorbeeld juist dat bij de tussentijdse evaluatie geen analyse is gemaakt van de wijzigingen in het indicatieve financieringsplan die zijn voortgevloeid uit de wijziging van het O. P. op verzoek van Brandenburg. In verband met de hoge kredietabsorptie van de bedoelde projecten zijn de maatregelen aangepast tijdens de vergaderingen van de toezichtcomite´s van 12. 6. 1996 en 5. 8. 1996. Benaderingen, methoden en technieken De beoordeling van de doeltreffendheid geschiedt volgens „bottom-up”-methoden. Voor de grote CB diende te worden vastgesteld welke gevolgen de herprogrammering voor het globale effect zou hebben; hiervoor werden in Ierland, in Spanje, in Griekenland, in Portugal en in Italië technieken gebruikt die tot de econometrische modelle- ring behoren. 6. 22. De Commissie heeft een beroep gedaan op de beste expertise in Europa en in de Verenigde Staten om de beste methoden te vinden om programma’s te evalue- ren. Praktische problemen op het gebied van de methodologie, en toezichtsystemen die vaak ontoereikend zijn, beperken de vergelijkbaarheid van de resultaten op Europees niveau. 6. 23. De tussentijdse evaluaties hebben over het alge- meen niet ten doel het effect van de programma’s te meten. Dit is een bewuste keuze, aangezien tijdens de eerste fase nog geen concrete effecten kunnen worden waargenomen; eerst komt namelijk de uitvoering, vervol- gens de resultaten en ten slotte de effecten. De raming van de globale effecten van de grote CB is al in punt 6. 21 aan bod gekomen. 7. EFFECT VAN DE STRUCTUURFONDSEN EN EVALUA- TIEMODELLEN Effect op het niveau van de CB en de programma’s 7. 1 - 7. 15. In dit gedeelte van het verslag behandelt de Rekenkamer de resultaten van de verschillende econo- metrische en macro-economische modellen, hetgeen tot een zekere verwarring kan leiden wanneer noch de reik- wijdte, noch de aard van de resultaten wordt toegelicht. Hierover zijn in het verslag over de Economische en Sociale Samenhang gestructureerde gegevens in een aange- past kader opgenomen. Effect van subprogramma’s, maatregelen en projecten 7. 17 - 7. 19. Volgens de Rekenkamer zouden niet vol- doende evaluaties van subprogramma’s en maatregelen plaatsvinden; de evaluatie van een programma geschiedt echter over het algemeen volgens de „bottom-up”- methode, waarbij precies van de evaluatie van maatrege- len en subprogramma’s wordt uitgegaan. 6. 21. De Rekenkamer heeft kritiek op de vage formule- ring van de doelstellingen van de tussentijdse evaluaties in de contracten. De Commissie heeft in dit verband instruc- ties gegeven, die echter niet altijd op het gedecentrali- seerde niveau zijn opgevolgd. Zo zijn ook de thematische evaluaties die door de Com- missie zijn opgezet, specifiek en horizontaal gericht op bepaalde reeksen van maatregelen en/of subprogramma’s, bijvoorbeeld in verband met het MKB, O & O, milieu, enz. 16. 11. 98 NL Publicatieblad van de Europese Gemeenschappen C 347/47 8. CONCLUSIE 8. 1 - 8. 19. De Commissie is van mening dat de conclusie van de Rekenkamer opbouwende kritiek bevat op gebie- den waar de Commissie al jaren naar verbeteringen streeft en waaraan zij aandacht zal blijven besteden. de vorderingen die zijn geconstateerd. Dankzij het werk dat de Commissie in het kader van de Structuurfondsen heeft verricht en dankzij het initiatief SEM 2000, is een evaluatiecultuur zonder voorgaande kunnen ontstaan. Er zijn nog slechts weinig regio’s die niet bij het evaluatie- proces zijn betrokken. De Commissie geeft toe dat de Rekenkamer terecht zwakke plekken heeft aangewezen, maar wijst tevens op Het subsidiariteitsbeginsel en het heterogene karakter van de geografische en de thematische aspecten zijn factoren die niet uit het oog mogen worden verloren