Entwicklung der Evaluation in Post-Sowjet Ländern - zwischen Rationalisierung und Legitimierung - Russland und GUS-Staaten (Dr. Daniel Tsygankov) Koordinationsstelle für Weiterbildung an der Universität Bern Netzwerk Evaluation in der Bundesverwaltung Universität Bern, 25. Juni 2008

Ausgangsfragestellung In den letzten Jahrzehnten werden Evaluationen vermehrt durchgeführt; dieser Trend trifft jetzt auch Staaten des ehemaligen Sowjet-Blocks und China. Viele Post-Sowjet Länder sind bei rascher „Westbindung“ in die internationalen Traditionen und Organisationen mit entwickelten Evaluationskulturen (mehr oder weniger) eingegliedert. Welche Risiken bestehen für „am Rande gebliebene“ Russland / GUS-Staaten? Evaluation entwickelt sich hier „wild“, fragmen- tarisch, nach eigenen (noch nicht klaren) Szenarien.

Wissensnutzung in der Politik und Verwaltung Welche Ziele verfolgen Beamte/Politiker bei der Wissensnutzung? wissenschaftlich-zentrierte Ziele (das erworbene Wissen kann die Rationalität der Entscheidungen verbessern); angewandte Ziele: o Legitimierung der vorgeschlagenen Programme bzw. der schon getroffenen Beschlüsse; o Taktikgewinn (z. B., Zeitgewinn, Erfolgsbericht auf Sitzungen mit Vorgesetzten). !! Verteilung der Mittel auf engen Gutachterkreis (keine bzw. formale Ausschreibung) oder sogar „falsche Anreize“ für Beamte – sind nicht Ziel, sondern – ein Hintergrund der Entscheidungen zur Wahl der Berater/Evaluierenden (abhängig von institutioneller Entwicklung d. jeweiligen Gesellschaft).

Modelle der Zusammenarbeit zwischen Auftraggeber und Experten/Wissenschaftlern „Technokratische“ (Auftragsgeber hat das Sagen, und Auftragnehmer passt sich zu seinen Anforderungen an); „Meritokratische“ (Auftraggeber hat „keine Ahnung“, und Experten entscheiden alles – von Themen- formulierung bis zum Forschungsabwicklung); Policy Learning (beide Parteien, durch mehrstufige Iterationen finden gegenseitiges Verständnis).

„Durchdringen“ der Evaluation in Machtfeldern Einerseits ist die Nutzung der Evaluationsergebnisse in der politischen Praxis nicht immer gegeben (vgl. sog. “knowledge utilization research”) => Die Information über Evaluationen, ihre Konzepte und Argumente „durchdringt“ nur allmählich und indirekt - über Interessengruppen, Expertenengagement, Einfluss und öffentliche Medien den Prozess politischen Entscheidens. Andererseits gewinnt Evaluation an Einfluss als neue „(Trans)disziplin“ – neben Managementlehre und Marktforschung – im Vergleich zur Politikwissenschaft, Soziologie und Philosophie. Damit finden leider auch viele Quasi- und Pseudo-Evaluationen statt.

Rekapitulation – I Dementsprechend sprechen… die Anhänger einer erweiterten Nutzung (Integration der Evaluierung in die staatliche Verwaltung) von der Herausforderung der "Effektivität" für modernen Staat (vgl. NPM, Performance Audit usw.); und Kritiker - von modernen „Verifikationsritualen“, der „Audit Society“ und der „Expertenverschwörung“. !! Hierher geht es nicht um nutzlose und methodisch fragwürdige Forschungen.

Rekapitulation – II Folglich könnte man die Evaluationsentwicklung sowie die darauf bezogene öffentlichen Praxis wie auch die Forschungsstrategie auf Achsen zwischen zwei Polen platzieren. "Rationalisierung" “Legitimierung” Für weitere Analyse der Entwicklungschancen könnte man als Dimensionen betrachten: oinstitutional framework des Landes oWellen den Publik Sektor Reformen oEntwicklung der wissenschaftlichen Disziplinen oStruktur des Machtfeldes und des Felder der intellektuellen Produktion in ihrer historischen Perspektive usw.

Auswahl der Insidermeinungen „Logik eines korrupten Staates (+ fehlende Zivilgesellschaft) beinhaltet keinen Wirksamkeitsprüfungsbegriff; man braucht keine Evaluation, nur Kontrolle“ (russ. Marktforscherin, 35 J.a.) „Wissenschaft ist „bequemer Weg“ für Korruption geworden, da keiner weiss wie viel kostet ein Bericht, eine Innovationsidee“ (stellvertr. Abteilungsleiter in einen russ. Bundesamt, 32 J.a.) „Viele Auftraggeber brauchen nur „Rückzahlungen“, die anderen – auch Begleitforschungen“ (russ. Regierungsexperte, 30 J.a.) „Evaluation ist nur frische Bezeichnung für altbekannte Ansätze; aber damit könnte man die Forschungsmittel von Bundesämter im Anspruch nehmen“ (Vize-Präsident der russ. Handels- und Industriekammer, 55 J.a.)

Merkmale der “nicht-rationalen” Intendierung Ausschreibungspreis unterscheidet sich von marktüblichen Abschätzungen: –Auf % höher (Korruptionsfallverdacht) –Auf 10-15% höher (Zwischensituation) –Auf 20-30% weniger (es braucht dringend eine Rationalisierung) Widersprüchliche bzw. schwer zu verstehende Themenformulierung Entgehen der Vorgespräche seitens Auftraggeber Teilnahme im Wettbewerb einigen Firmen, die auf Markt gar nicht bekannt Nicht-Veröffentlichung der Berichte auf Webseiten von Auftraggeber und Auftragnehmer

Schlussfolgerungen Für Russland und einige GUS-Länder existiert das Risiko der oberflächlichen Nutzung, der Abschätzungsrhetorik und einseitigen Abschiebung der Evaluation auf den Pol «Legitimierung» Können Massnahmen wie die Bildung nationalen Evaluationassoziationen, Erarbeitung von Evaluationsstandards, Entwicklung von Ausbildungsprogrammen auf Masterstufe und Weiterbildungsangebote, Herausgabe von Fachzeitschriften und Lehrbüchern in der Muttersprache usw. zur Senkung dieses Risikos beitragen? Oder es wäre erforderlich, nicht orthodoxe Schritte zu unternehmen, um zur rationalen Nutzung der Evaluation als Querschnittsdisziplin beizutragen?

Contact information Head of CPPE – Dr. Daniel Tsygankov Address in Russia: , Moscow, Smolnaya street, 10 Phone: +7 (499) Web: (English) (Russian) European office (Paris) – Maria Smirnova