Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

1 Vivien Lo – Evaluation förderpolitischer Maßnahmen Fraunhofer ISI Institut System- und Innovationsforschung Methodische Grundlagen der Evaluation Vivien.

Ähnliche Präsentationen


Präsentation zum Thema: "1 Vivien Lo – Evaluation förderpolitischer Maßnahmen Fraunhofer ISI Institut System- und Innovationsforschung Methodische Grundlagen der Evaluation Vivien."—  Präsentation transkript:

1 1 Vivien Lo – Evaluation förderpolitischer Maßnahmen Fraunhofer ISI Institut System- und Innovationsforschung Methodische Grundlagen der Evaluation Vivien Lo Vivien Lo Seminar Angewandte Wirtschaftsgeographie SS 2005: Fragestellungen und methodische Ansätze der regionalen Innovationsforschung Fraunhofer ISI Institut System- und Innovationsforschung Evaluation förderpolitischer Maßnahmen und Instrumente

2 2 Vivien Lo – Evaluation förderpolitischer Maßnahmen Fraunhofer ISI Institut System- und Innovationsforschung Gliederung Notwendigkeit und Definition Die vier W-Fragen Entwicklung und Ausblick Praxisbeispiele Fallstricke 3.

3 3 Vivien Lo – Evaluation förderpolitischer Maßnahmen Fraunhofer ISI Institut System- und Innovationsforschung Innovationspolitik muss (1)geeignete Zielsetzungen und Instrumente für die Anpassung und Modernisierung des Innovationssystems bereitstellen, (2)ihre Interventionen im Geflecht der vielfältigen Akteure abstimmen und (3)dies auf absehbare Zeit unter der Bedingung knapper werdender staatlicher Mittel tun (Kuhlmann/Holland 2005). Weitergehende Priorisierung und kontinuierliche Bewertung der bisherigen Innovationspolitik 1. Notwendigkeit und Definition

4 4 Vivien Lo – Evaluation förderpolitischer Maßnahmen Fraunhofer ISI Institut System- und Innovationsforschung Evaluationsforschung = Teilbereich der empirischen Forschung mit dem Ziel der Bewertung von Maßnahmen oder Interventionen (Bortz/Döring 1995) Evaluation: Bewertung von Programmen, Interventionen, Maßnahmen sowie Entwicklung formaler Regeln und Kriterien für die Erfolgs- und Wirkungskontrolle dieser Maßnahmen (fteval 2003) Definition

5 5 Vivien Lo – Evaluation förderpolitischer Maßnahmen Fraunhofer ISI Institut System- und Innovationsforschung Forschung: z.B. Bewertung des Standes der Forschung in einem bestimmten Technologiegebiet Projekte/Programme: z.B. Assessment der Kompetenzzentrenprogramme Systeme: z.B. Evaluation der Netzwerkförderung in Sachsen Strukturen/Institutionen: z.B. Evaluation der Betreuungsstrukturen zum 6. Rahmenprogramm Anwendungsbereiche in der Innovationspolitik

6 6 Vivien Lo – Evaluation förderpolitischer Maßnahmen Fraunhofer ISI Institut System- und Innovationsforschung Zu welchem Zeitpunkt im Programm soll evaluiert werden? 2. Die vier W-Fragen Wann? Was? Wie? Warum? Was steht auf der Agenda der Evaluation? Welche Methoden werden eingesetzt? Wozu dient die Evaluation? Was folgt aus der Evaluation?

7 7 Vivien Lo – Evaluation förderpolitischer Maßnahmen Fraunhofer ISI Institut System- und Innovationsforschung Ex-ante Evaluationen Eigene Darstellung nach fteval Standards, Wien 2003 Interim/ begleitende Evaluationen Ex-post Evaluationen Transfer der Evaluationsergebnisse Implementation, Management Entwicklung, Design, Weiterentwicklung a) Wann: Zu welchem Zeitpunkt soll evaluiert werden?

8 8 Vivien Lo – Evaluation förderpolitischer Maßnahmen Fraunhofer ISI Institut System- und Innovationsforschung (1)Zielausrichtung und Zielerreichung (2)Zielgruppendefinition und -erreichung (3)Instrumentenwahl und -ausgestaltung (4)Wirksamkeit/Effektivität (5)Effizienz (6)Weiterentwicklung/ Handlungsempfehlungen b) Was: Was steht auf der Agenda der Evaluation? Wurden die Ziele erreicht? Waren die Annahmen richtig? Ist die Zielgruppe die richtige? Wurde die Zielgruppe erreicht? Sind die Instrumente geeignet? Welche direkten/indirekten, intendierten/ nichtintendierten Wirkungen gibt es? Waren Implementierung und Verwaltung effizient? Welche hemmenden und fördernden Faktoren gibt es? Passfähigkeit und Komplementarität mit anderen Instrumenten?

9 9 Vivien Lo – Evaluation förderpolitischer Maßnahmen Fraunhofer ISI Institut System- und Innovationsforschung Übliche Methoden: Studium von Hintergrundmaterial (zur Entwicklung der Maßnahme, zur Zielgruppe) Interviews (Experten, Fördernehmer) Schriftliche Befragung Auswertung vorhandener Daten und Informationen des Monitorings beim Projektträger (Antragseingang, Gutachten, Endberichte) Fallstudien Workshops Internationaler Vergleich, Benchmarking Bibliometrie, Patentstudien Peer/Panel Review Mikro/makroökonomische Modelle, ökonometrische Modellierung c) Wie: Welche Methoden werden eingesetzt?

10 10 Vivien Lo – Evaluation förderpolitischer Maßnahmen Fraunhofer ISI Institut System- und Innovationsforschung Primärerhebung, Sekundärdaten, Daten beim Projektträger Evaluierung durch Peers oder Evaluationsexperten Qualitativ und/oder Quantitativ Validität, Reliabilität Kontrollgruppe Der richtige Methodenmix

11 11 Vivien Lo – Evaluation förderpolitischer Maßnahmen Fraunhofer ISI Institut System- und Innovationsforschung Einstieg in neue Technologiefelder Angemeldete und genehmigte Patente und Marken Verstetigung von FuE- Aktivitäten Typische Erfolgskriterien Technischer Erfolg Ökonomischer Erfolg Umsätze durch Lizenzen und Patente Gesicherter und zusätzlicher Umsatz Gesicherte und zusätzliche Arbeitsplätze Umsätze durch Produkte/Dienstleistungen

12 12 Vivien Lo – Evaluation förderpolitischer Maßnahmen Fraunhofer ISI Institut System- und Innovationsforschung Additionalität I: Zusätzlich ausgelöste Aufwendungen/Beschäftigung in FuE und Umsätze durch FuE Additionalität II: Schnelleres Durchführen von FuE-Projekten Höheres Risiko von FuE-Projekten Additionalität III: Verhaltensveränderung im Sinne von Verstetigung von FuE oder Lernen von Innovationskooperationen Zentrales Erfolgskriterium: Additionalität

13 13 Vivien Lo – Evaluation förderpolitischer Maßnahmen Fraunhofer ISI Institut System- und Innovationsforschung Verwendung öffentlicher Mittel Wie und mit welcher Wirksamkeit werden Mittel eingesetzt Wie kann die Effektivität und Effizienz erhöht werden Qualitätsmanagement und Qualitätsentwicklung zwischen den konkurrierenden Interessen verschiedener Akteure in der Innovationspolitik Warum: Wozu dient die Evaluation? Legitimierung Information Steuerung Kontrolle Vermittlung

14 14 Vivien Lo – Evaluation förderpolitischer Maßnahmen Fraunhofer ISI Institut System- und Innovationsforschung Summative Evaluation: Maßnahme bereits abgeschlossen, Zusammenfassung der Wirksamkeit Formative Evaluation: Abwicklung der Maßnahme und deren Wirkungen werden fortlaufend kontrolliert, Einsatz bei Entwicklung und Implementierung neuer Maßnahmen, erkundend angelegt Warum: Was folgt aus der Evaluation?

15 15 Vivien Lo – Evaluation förderpolitischer Maßnahmen Fraunhofer ISI Institut System- und Innovationsforschung FuE und Innovation sind keine unidirektionalen, linearen Prozesse, sondern rückgekoppelte, soziale Prozesse Geförderte Projekte häufig eingebettet in "Projektfamilie", keine einzelne Zurechenbarkeit Zielerreichung zum Teil nur indirekt messbar (z.B. FuE- Kooperationen), Indikatoren mit üblichen Problemen behaftet Ziele auf politischer, Unternehmens- und Projektebene können sich unterscheiden 3. Fallstricke Problem der Zurechenbarkeit öffentliche Förderung Privater technischer Erfolg Privater ökonomischer Erfolg öffentlicher Nutzen (Wissens- diffusion)

16 16 Vivien Lo – Evaluation förderpolitischer Maßnahmen Fraunhofer ISI Institut System- und Innovationsforschung Was sich politische Entscheider wünschen Was Evaluatoren sagen Zeitige Information für Entscheidungsgrundlagen Es kann Jahre dauern, bis Forschung Früchte trägt Klare Zuordnung von Wirkungen zu Investitionen Lineare Zusammenhänge sind selten, Additionalität ist nur schwer zu messen Objektiver Beweis von Exzellenz in der Forschung Peers verteidigen ihr Feld und internationale Kollegen Zentrale Indikatoren für Monitoring und Benchmarking Indikatorenwahl nicht eindeutig, manipulierbar Die "Bring-Lücke" (Delivery Gap) Quelle: nach Sturn/Zinnöcker 2003

17 17 Vivien Lo – Evaluation förderpolitischer Maßnahmen Fraunhofer ISI Institut System- und Innovationsforschung Was sich Evaluatoren wünschen Was politische Entscheider sagen Klar definierte ZielhierarchieProgramme entstehen aus politischen Kompromissen mit verschiedenen, z.T. konfligierenden Zielen Garantierte UnabhängigkeitEmpfehlungen müssen innerhalb realistischer Grenzen liegen Angemessene Zeit und Ressourcen für die Evaluation Resultate werden in kürzester Zeit benötigt Voller Zugang zu Informationen und Stakeholdern Daten sind nicht zugänglich, Betroffene haben keine Zeit Die "Kunden-Lücke" (Customer Gap) Quelle: nach Sturn/Zinnöcker 2003

18 18 Vivien Lo – Evaluation förderpolitischer Maßnahmen Fraunhofer ISI Institut System- und Innovationsforschung Forschungs- und Innovationspolitik muss zunehmend nachweisen, dass sich Investitionen lohnen Nachweis und Hinwirken, dass Marktversagen nicht durch Staatsversagen ersetzt wird European Research Area ERA/ Lissabon Ziel: 2010 den wettbewerbsfähigsten und dynamischsten wissensbasierten Wirtschaftsraum zu erreichen Zunehmende Verankerung: Standard bei EU-Projekten, Abteilung Evaluation im BMWA Professionalisierung durch Festlegung von Standards in nationalen Fachverbänden (z.B. DeGEval, fteval) 4. Zukünftige Bedeutung von Evaluationen

19 19 Vivien Lo – Evaluation förderpolitischer Maßnahmen Fraunhofer ISI Institut System- und Innovationsforschung System Programm System Institutionen Evaluierung und Weiterentwicklung der Netzwerkstrategie des Freistaates Sachsen Evaluierung der österreichischen Betreuungsstrukturen für das 6. EU-Rahmen­programm für Forschung, technologische Entwicklung und Demonstration Assessment "Zukunft der Kompetenzzentrenprogramme (K plus und K ind/net) und Zukunft der Kompetenzzentren" 5. Praktische Beispiele Programm Institutionen System


Herunterladen ppt "1 Vivien Lo – Evaluation förderpolitischer Maßnahmen Fraunhofer ISI Institut System- und Innovationsforschung Methodische Grundlagen der Evaluation Vivien."

Ähnliche Präsentationen


Google-Anzeigen