Methodische Grundlagen der Evaluation Vivien Lo v.lo@isi.fraunhofer.de Fraunhofer ISI Institut System- und Innovationsforschung Seminar Angewandte Wirtschaftsgeographie SS 2005: Fragestellungen und methodische Ansätze der regionalen Innovationsforschung Evaluation förderpolitischer Maßnahmen und Instrumente

1. 2. 3. 4. 5. Gliederung Notwendigkeit und Definition Die vier W-Fragen Entwicklung und Ausblick Fallstricke Praxisbeispiele

Warum Evaluation in der Innovationspolitik? 1. Notwendigkeit und Definition Warum Evaluation in der Innovationspolitik? Innovationspolitik muss geeignete Zielsetzungen und Instrumente für die Anpassung und Modernisierung des Innovationssystems bereitstellen, ihre Interventionen im Geflecht der vielfältigen Akteure abstimmen und dies auf absehbare Zeit unter der Bedingung knapper werdender staatlicher Mittel tun (Kuhlmann/Holland 2005). Weitergehende Priorisierung und kontinuierliche Bewertung der bisherigen Innovationspolitik

Definition Evaluationsforschung = Teilbereich der empirischen Forschung mit dem Ziel der Bewertung von Maßnahmen oder Interventionen (Bortz/Döring 1995) Evaluation: Bewertung von Programmen, Interventionen, Maßnahmen sowie Entwicklung formaler Regeln und Kriterien für die Erfolgs- und Wirkungskontrolle dieser Maßnahmen (fteval 2003)

Anwendungsbereiche in der Innovationspolitik Forschung: z.B. Bewertung des Standes der Forschung in einem bestimmten Technologiegebiet Projekte/Programme: z.B. Assessment der Kompetenzzentrenprogramme Systeme: z.B. Evaluation der Netzwerkförderung in Sachsen Strukturen/Institutionen: z.B. Evaluation der Betreuungsstrukturen zum 6. Rahmenprogramm

2. Die vier W-Fragen Wann? Was? Wie? Warum? Zu welchem Zeitpunkt im Programm soll evaluiert werden? Was? Was steht auf der Agenda der Evaluation? Wie? Welche Methoden werden eingesetzt? Warum? Wozu dient die Evaluation? Was folgt aus der Evaluation?

a) Wann: Zu welchem Zeitpunkt soll evaluiert werden? Ex-ante Evaluationen Entwicklung, Design, Weiterentwicklung Transfer der Evaluationsergebnisse Implementation, Management Interim/ begleitende Evaluationen Ex-post Evaluationen Eigene Darstellung nach fteval Standards, Wien 2003

b) Was: Was steht auf der Agenda der Evaluation? Zielausrichtung und Zielerreichung Zielgruppendefinition und -erreichung Instrumentenwahl und -ausgestaltung Wirksamkeit/Effektivität Effizienz Weiterentwicklung/ Handlungsempfehlungen Wurden die Ziele erreicht? Waren die Annahmen richtig? Ist die Zielgruppe die richtige? Wurde die Zielgruppe erreicht? Sind die Instrumente geeignet? Welche direkten/indirekten, intendierten/ nichtintendierten Wirkungen gibt es? Waren Implementierung und Verwaltung effizient? Welche hemmenden und fördernden Faktoren gibt es? Passfähigkeit und Komplementarität mit anderen Instrumenten?

c) Wie: Welche Methoden werden eingesetzt? Übliche Methoden: Studium von Hintergrundmaterial (zur Entwicklung der Maßnahme, zur Zielgruppe) Interviews (Experten, Fördernehmer) Schriftliche Befragung Auswertung vorhandener Daten und Informationen des Monitorings beim Projektträger (Antragseingang, Gutachten, Endberichte) Fallstudien Workshops Internationaler Vergleich, Benchmarking Bibliometrie, Patentstudien Peer/Panel Review Mikro/makroökonomische Modelle, ökonometrische Modellierung

Der richtige Methodenmix Primärerhebung, Sekundärdaten, Daten beim Projektträger Evaluierung durch Peers oder Evaluationsexperten Qualitativ und/oder Quantitativ Validität, Reliabilität Kontrollgruppe

Typische Erfolgskriterien Umsätze durch Lizenzen und Patente Gesicherter und zusätzlicher Umsatz Gesicherte und zusätzliche Arbeitsplätze Umsätze durch Produkte/Dienstleistungen Einstieg in neue Technologiefelder Angemeldete und genehmigte Patente und Marken Verstetigung von FuE-Aktivitäten Technischer Erfolg Ökonomischer Erfolg

Zentrales Erfolgskriterium: Additionalität Additionalität I: Zusätzlich ausgelöste Aufwendungen/Beschäftigung in FuE und Umsätze durch FuE Additionalität II: Schnelleres Durchführen von FuE-Projekten Höheres Risiko von FuE-Projekten Additionalität III: Verhaltensveränderung im Sinne von Verstetigung von FuE oder Lernen von Innovationskooperationen

Warum: Wozu dient die Evaluation? Legitimierung Verwendung öffentlicher Mittel Wie und mit welcher Wirksamkeit werden Mittel eingesetzt Wie kann die Effektivität und Effizienz erhöht werden Qualitätsmanagement und Qualitätsentwicklung zwischen den konkurrierenden Interessen verschiedener Akteure in der Innovationspolitik Information Steuerung Kontrolle Vermittlung

Warum: Was folgt aus der Evaluation? Summative Evaluation: Maßnahme bereits abgeschlossen, Zusammenfassung der Wirksamkeit Formative Evaluation: Abwicklung der Maßnahme und deren Wirkungen werden fortlaufend kontrolliert, Einsatz bei Entwicklung und Implementierung neuer Maßnahmen, erkundend angelegt

3. Fallstricke Problem der Zurechenbarkeit Privater technischer Erfolg öffentlicher Nutzen (Wissens-diffusion) Privater technischer Erfolg öffentliche Förderung Privater ökonomischer Erfolg FuE und Innovation sind keine unidirektionalen, linearen Prozesse, sondern rückgekoppelte, soziale Prozesse Geförderte Projekte häufig eingebettet in "Projektfamilie", keine einzelne Zurechenbarkeit Zielerreichung zum Teil nur indirekt messbar (z.B. FuE-Kooperationen), Indikatoren mit üblichen Problemen behaftet Ziele auf politischer, Unternehmens- und Projektebene können sich unterscheiden

Die "Bring-Lücke" (Delivery Gap) Was sich politische Entscheider wünschen Was Evaluatoren sagen Zeitige Information für Entscheidungsgrundlagen Es kann Jahre dauern, bis Forschung Früchte trägt Klare Zuordnung von Wirkungen zu Investitionen Lineare Zusammenhänge sind selten, Additionalität ist nur schwer zu messen Objektiver Beweis von Exzellenz in der Forschung Peers verteidigen ihr Feld und internationale Kollegen Zentrale Indikatoren für Monitoring und Benchmarking Indikatorenwahl nicht eindeutig, manipulierbar Quelle: nach Sturn/Zinnöcker 2003

Die "Kunden-Lücke" (Customer Gap) Was sich Evaluatoren wünschen Was politische Entscheider sagen Klar definierte Zielhierarchie Programme entstehen aus politischen Kompromissen mit verschiedenen, z.T. konfligierenden Zielen Garantierte Unabhängigkeit Empfehlungen müssen innerhalb realistischer Grenzen liegen Angemessene Zeit und Ressourcen für die Evaluation Resultate werden in kürzester Zeit benötigt Voller Zugang zu Informationen und Stakeholdern Daten sind nicht zugänglich, Betroffene haben keine Zeit Quelle: nach Sturn/Zinnöcker 2003

4. Zukünftige Bedeutung von Evaluationen Forschungs- und Innovationspolitik muss zunehmend nachweisen, dass sich Investitionen lohnen Nachweis und Hinwirken, dass Marktversagen nicht durch Staatsversagen ersetzt wird European Research Area ERA/ Lissabon Ziel: 2010 den wettbewerbsfähigsten und dynamischsten wissensbasierten Wirtschaftsraum zu erreichen Zunehmende Verankerung: Standard bei EU-Projekten, Abteilung Evaluation im BMWA Professionalisierung durch Festlegung von Standards in nationalen Fachverbänden (z.B. DeGEval, fteval)

5. Praktische Beispiele Evaluierung und Weiterentwicklung der Netzwerkstrategie des Freistaates Sachsen Evaluierung der österreichischen Betreuungsstrukturen für das 6. EU-Rahmen­programm für Forschung, technologische Entwicklung und Demonstration Assessment "Zukunft der Kompetenzzentrenprogramme (K plus und K ind/net) und Zukunft der Kompetenzzentren" System Programm Institutionen System Programm System Institutionen