Evaluation und New Public Management DeGEval Jahrestagung 4. Oktober 2001 in Speyer Evaluation und New Public Management Prof. Dr. Ernst Buschor Vizepräsident der Regierung des Kantons Zürich Vorsitzender des Verwaltungsreformausschusses Prof. Dr. Ernst Buschor, Zürich

Merkmale des New Public Management Wettbewerbsorientierte Steuerung (Trennung Finanzierungsträger / Leistungserbringer) Fokussierung auf Effektivität, Effizienz und Qualität der Aufgabenerfüllung (Konzentration auf Output- und Outcome) (Delegation statt Zentralisierung) Trennung strategische (Regierung) / operative Führung (Verwaltung/Betrieb) Globalbudget und Leistungsauftrag Aktive Innovation Delegation durch dezentrale Führung Buschor

New Public Management im internationalen Kontext UK: FMI; Next Steps Initiative; Citizen Charters OECD - PUMA CH: Wirkungsorientierte Verwaltungsführung (wif!) NZL: New Zealand Model of Public Management New Public Management Australien: FMIP, National Competition Policy USA: National Performance Review D: Moderner Staat; Neues Steuerungsmodell Ö: VIP; Reformprojekte der Länder und Kommunen

Chancen des Neuen Steuerungsmodells verbesserte politische Steuerungsfähigkeit Alternative zu traditionellen Sparbemühungen verbesserte Effektivität und Effizienz (value for money) stärkere Stakeholder-Orientierung der Verwaltung erhöhte Transparenz des öffentlichen Sektors motivierende Arbeitsumgebung für MitarbeiterInnen neues Gleichgewicht zwischen Rechtsstaat, Demo-kratie, Leistungsstaat und Wirtschaftlichkeit

(US Government Performance and Results Act 1993) Ziele des GPRA (US Government Performance and Results Act 1993) Ausarbeitung von Leistungszielen für die einzelnen Programme 2. Objektive, quantifizierte Messung der Zielvorgaben 3. Kurze Beschreibung der Strategien und erforderlichen Mittel 4. Festlegung von Indikatoren zur Messung der Inputs, Outputs und Outcomes 5. Vergleich der Vorgaben mit den erreichten Ergebnissen 6. Beschreibung Validierung der Leistungsinformationen

Stärken- / Schwächenprofil der US-Leistungspläne Programmleistungen werden in der Regel mit Leistungs- indikatoren gemessen und quantifiziert Verbreitetes Aufzeigen von Zeitreihen Strategien werden häufig mit Indikatorreihen quantifiziert Schwächen Kritische Führungsgrössen und Risiken werden nicht konsistent aufgezeigt Querschnittsbezüge von Programmen sind besser aufzuzeigen Die Darstellung der Zusammenhänge zwischen verfügbaren Mitteln und Programmzielen ist ungenügend Die Glaubwürdigkeit der Leistungswiedergabe durch die Indikatoren ist ungenügend Vgl. General Accounting Office of United States, Managing für Results, Opportunities für Continued Improvements in Agencies‘ Performance Plans, GAO/GGD/AIMD-99-215 p. 3

Anforderungen an Indikatoren 1. Zentrale Bedeutung: Messung einer zentralen Wirkung / Nebenwirkung des Programms 2. Hohe Datenvalidität - intern: Ursächlichkeit der Aussagen - extern: Allgemein gültige Indikatoren 3. Einfachheit: möglichst wenige, treffende Indikatoren mit klaren Aussagen 4. Genauigkeit: verlässlicher Massstab für den Indikator 5. Rechtzeitigkeit: Verfügbarkeit der Masszahl(en) zum nützlichen Zeitpunkt 6. Vollständigkeit: Messung der wichtigsten programm- relevanten Dimensionen 7. Vertraulichkeitsschutz: Respektierung der Persönlichkeitsschutzvorschriften 8. Erhebungswirtschaftlichkeit (Vertretbares Verhältnis des Datennutzens zu den Datenerstellungskosten) E. Buschor

Grenzen der Leistungsindikatoren (N. Caiden) 1. Leistungsmessung und Evaluation können sind nützliche Informationsinstrumente - nicht mehr 2. Nicht alle Aktivitäten sind gleichwertig und zielführend quantifzierbar 3. Leistungsindikatoren haben eine grosse politische Bedeutung 4. Leistungsmessung und Evaluation genügen allein nicht für die Entscheidungsfindung („disappointingly limited value“) N. Caiden, Public Service Professionalism for Performance Measurement and Evaluation, in: Public Budtgeting & Finance, Vol 18 Nr. 2 1998, S. 43 ff (35ff)

Gefahren der Leistungsmessung (P. Smith) 1. Tunnelblick: Nur Berüchsichtigung des Naheliegendsten 2. Suboptimierung: einseitige Bedarfs-, Leistungs- oder Wirtschaftlichkeitszielerfassung 3. Kurzsichtigkeit: Einseitige Erfassung kurzfristiger Ziele, Vernachlässigung längerfristiger Ziele 4. Konvergenzdenken: Orientierung am Durchschnitt statt an den Bestwerten 5. Erstarrung: Fehlender Wille zur Innovation 6. Spielerei: Versuch, sich im System bequem einzurichten 7. Irreführung: Bewusste Verwendung falscher Daten Buschor

5-Ebenen-Konzept LEISTUNGSERSTELLUNG Rahmen ordnung Steuerungsform Regulierungs- wirkungen Rahmen ordnung Versorgungs- formziele (Efficacy) Steuerungsform Wer? Evaluation Wirkungsziele Effektivität (Effectiveness) Bedarfs- ziele Ergebnisse (Outcomes) Leistungs- messung Qualitäts- sicherung (z.B. Bench- marking) Wozu? Prozessziele Effizienz (Efficiency) Leistungsplan (Out- / Inputs) Leistungen (Out-/ Inputs) Was? Prozessziele Wirtschaftlich- keit (Economy) Resourcen- verbrauch (Kosten) Kosten- rechnung Ressourcen- plan Wie? Haushalts- vollzug Budget/Rechung Finanzierungs- ziele Budgetausgl. Haushaltausgl. Wieviel? Fiskal. Konku- renzfähigkeit Fiskal. Konku- renzfähigkeit (Equity) interne / externe Revision LEISTUNGSERSTELLUNG

- + Fremdevaluation zeigt Aussenwirkungen ist ein Instrument der Rechenschaftsablegung - + Gute Kenntnisse von Externen über das Vorgehen einer Evaluation Unabhängigkeit sichergestellt Untersuchungsgegenstand ist Externen oft weniger gut bekannt Fremdevaluationen benötigen eine grössere Einarbeitungszeit

Informationsbeschaffung des Bundesgesetzgebers Klöti Schneider (1989) - Evaluation spielte nur bei Tempolimiten eine entscheidende Rolle - vorparlamentarische Suche nach Konkordanzlösungen in neo-korporatistischen Gremien Evaluationshindernisse Hindernisse Massnahmen 1. Begrenzung auf „machbaren“ Konsens 2. Mitentscheid / Veto der Interessierten 3. Unattraktive Forschungsbedingun- gen und segmentierte Evaluation mit „indirekten“ Resultatsvorgaben 4. Nichtveröffentlichung der Studien 5. Verwaltungsgeprägte Parlaments- information Mandatsausweitung bei Forschungsaufträgen Echte Expertengremien mit wissenschaftlichem Potential Objektive Vergabeverfahren Systematische Veröffentlichung Verwaltungsunbhängige Evalua- tion des Parlaments Prof. E. Buschor

SEVAL-Evaluationsstandards (vgl. www.seval.ch; in Anlehnung an die Standards des Joint Committee on Standards for Educational Evaluation) Nützlichkeit (stakeholderorientiert, zielklar, glaubwürdig, transparent, vollständig, rechtzeitig, wirkungsbezogen) 2. Durchführbarkeit (praktikabel, tragfähig, kostenwirksam) 3. Korrektheit (vereinbarungsgemäss, human, vollständig, fair, offen, interessenkonflikttransparent) 4. Genauigkeit (dokumentiert, kontextanalytisch, informationsver- lässlich, valide, reliabel, systematisch geprüft, qualititativ und quan- titativ, schlussfolgerungsbegründet, unparteiisch)

Evaluation und New Public Management Selbstevaluation Hat Hauptsächlich Innenwirkung in der Organisationsheit hilft Qualität und Leistungsmenge kontinuierlich verbessern - + Kenntnisse über den Ablauf einer Evaluation oft nicht vorhanden Geringere Glaubwürdigkeit der Resultate nach aussen Interne Strukturen und Unterlagen sind bekannt höhere Akzeptanz nach innen Prof. Dr. Ernst Buschor, Zürich

10 Vorteile der Selbstevaluation (M.A. Dugan) 1. Schöpft Begabungen aus 2. Erhöht die Qualität und Wirksamkeit von Fremdevaluationen 3. Erlaubt eine systematische, flexible Abwicklung von Evaluationen 4. Erhöht die Wirksamkeit von Evaluationen dank der Einbindung der Betroffenen 5. Spart Evaluationskosten 6. Erhöht die Lernfähigkeit der Beteiligten 7. Erlaubt die Realisierung anspruchsvoller Programme 8. Verbessert die Kommunikation durch die ständige Einbindung 9. Fördert die Umsetzung am Ort besser als eine Durchsetzung “von oben” 10. Stellt Umfeld gerechtes Material zur Umsetzung bereit

10 Nachteile der Selbstevaluation (M.A. Dugan) 1. Ein Teil methodischer Rigorosität kann verloren gehen 2. Gute Ausbildung ist wesentlich und notwendig für den Erfolg 3. Der Aufbau der Selbstevaluation benötigt Zeit 4. Die Fähigkeiten zur Durchführung der Selbstevaluationen sind unterschiedlich 5. Die Evaluationsleitung benötig organisatorisches und methodisches Grundwissen 6. Die Motivation zur Mitwirkung ist bei den Betroffenen unterschiedlich 7. Bei der Auswertung können sich Schwierigkeiten methodischer Art ergeben 8. Die Evaluationsleitung kann Schwierigkeiten bei der Wirkungsinterpretation haben 9. Methodisch anspruchsvolle Berichterstattung ist in der Regel nicht verfügbar 10. Es sind erhebliche Einführungskosten notwendig

Definition von Qualitätsmanagement Evaluation und New Public Management Definition von Qualitätsmanagement Unter Qualitätsmanagement sind alle organisatorischen Massnahmen zu verstehen, die dauerhaft die geforderte Qualität gewährleisten. Definition von Qualität Unter „Qualität“ verstehen wir das Erreichen eines möglichst hohen Gebrauchs- (fitness for use) und Lebensnutzens (fitness for life). Wir streben einen möglichst qualitätsfördernden Einsatz knapper Ressourcen an. (aus: Qualitätsleitbild Kanton Zürich, 30. Mai 2001) Prof. Dr. Ernst Buschor, Zürich

Zürcher Qualitätsmodell in Anlehnung an das EFQM- Modell Ein Modell für alle Einheiten der kantonalen Verwaltung Grundlagen Gesamtschau Führung Mitarbeitende Infrastruktur Leistungen Dritter Abläufe Leistungs-erbringung Unterstützung Leistungen Planung Daten-erhebung Ergebnisse Wirkungen Planung Daten-erhebung Nutzen Steuerung Ergebnis

Common Assessment Framework CAF Common Assessment Framework Kriterienfeld 1 Die Führungsebene Kriterienfeld 2 Organisationspolitik und -strategie Kriterienfeld 3 Personalmanagement Kriterienfeld 4 Externe Partnerschaften & Ressourcen Kriterienfeld 5 Prozess- und Veränderungsmanagement Kriterienfeld 6 Kunden-/Bürgerorientierte Resultate Kriterienfeld 7 MitarbeiterInnenzufriedenheit Kriterienfeld 8 Auswirkungen auf die Gesellschaft Kriterienfeld 9 Wichtigsten Leistungsergebnisse

Evaluation Qualitätsmanagement Thematisch fokussiert zeitlich begrenzt nicht flächendeckend kontinuierliche Verbesserung regelmässig flächendeckend Assessment Audit Benchmarking Umfrage Reklamationsauswertung Vorschlagswesen Qualitätszirkel Qualitätsstandards Critical friends Peer review Supervision Fallstudie Datenanalyse quasi-Experiment Varianzanalyse Gruppenbeobachtung Stichprobe Umfrage Simulationsmodell Zeitreihenanalyse

Instrumente der Wirkungssteuerung Controlling / Qualitäts- management Prospektive Evaluation Retrospektive Evaluation Revision (intern / extern) Ziel- setzung strategische u. operative Steue- rung rasche Feedbacks umfassende Massnahmen- abschätzung Kenntnis gewoll- ter u. ungewoll- ter Wirkungen bessere Control- lingmassstäbe Prozessunabhängige Prüfung Ordnungsmäs- sigkeit, Wirtschaftlich- keit (u. Wirksamkeit) Haupt- formen Berichtswesen Zeitreihenvergl. Benchmarking Qualitätssicherung Szenarien Modelle Hypothesen Policy on/off- Vergleich Zeitreihenanal. Quervergleiche (quasi-Experim.) Rechnungsprüfung Wirtschaftlichkeits- analysen (Kurz-Evaluationen) Kosten niedrig/mittel hoch hoch mittel/hoch Stärken Kostengünstige Wirkungssteuerung rasche Feedbacks bereichsdeckend Breiter Wir- kungseinblick kausale Fak- torenkenntnis Wirkungskenntnis gewollter u. unge- wollter Wirkungen besseres Controlling Präventivwirkung Problemfrüher- kennung Schwä-chen Fehlsteuerung (falsche / fehlende Steuerungsgrössen) teuer zeitaufwendig nicht bereichs- deckend möglich teuer zeitaufwendig nicht bereichs- deckend möglich ressourcenorientiert Stichproben (formalistisch) Buschor

11 Regeln für den Evaluationsvollzug 1. Evaluationen in ein bis zwei Jahren abwickeln 2. Leitung durch betroffene, Überwachung durch übergeordnete Stelle (Abbau der Dominanz von Eigeninteressen / enger Betrachtungsweise) 3. Kontaktmöglichkeit der Evaluatoren mit den politischen Entscheidungs- trägern 4. Einhaltung der finanziellen Rahmenbedingungen 5. Klarheit über die Fragestellungen v o r der Auftragsvergabe 6. Klares Auftragskonzept für die Evaluatoren 7. Periodische Besprechung der Zwischenergebnisse 8. Frühzeitige Absprache über die Datenbeschaffung (Vermeidung Miss- verhältnis Datenbeschaffung / Analyse) 9. Berücksichtigung der wichtigen Aspekte der Beteiligten / Betroffenen und der wichtigen Nebenwirkungen 10. Schlussbericht in verständlicher Sprache mit Zusammenfassung 11. Beschreibung der Datenquellen, Annahmen und Methoden Buschor

Profil von Evaluation und Leistungsmessung Qualitätsmanagement 6 4 Kleiner Zeitbedarf Breite Anwendbarkeit 2 Leistungsmessung Evaluation Niedrige Kosten Ursachenanalyse Buschor

Best Practice im Performance Measurement (Schlussfolgerungen des Berichts von VP Gore) 1. Klare, konsistente und sichtbare Führung der obersten Leitungsstufen 2. Klarer Konzeptrahmen für die Leistungsmessung 3. Wirksame interne und externe Kommunikation 4. Klare und verstandene Zuordnung der Resultatver- antwortung 5. Zielerreichung und nicht (nur) Indikatorerreichung 6. Kontinuierliche Leistungs- und Qualitätsver- besserung 7. Positive (nicht bestrafende) Anreize zur Ziel- erreichung 8. Offene, breite und kontinuierliche Diskussion der Zielerreichung