Wie wollen und sollen die Geisteswissenschaften Qualität und Leistung messen und steuern? Prof. Dr. Hans-Dieter Daniel, Sven Hug & Michael Ochsner Seite 1SAGW, Kursaal Bern

Übersicht Teil 1: Reaktionen der Geisteswissenschaften auf das Forschungsrating des Wissenschaftsrates (Köln) Teil 2: Kooperationsprojekt der Universitäten Basel und Zürich „Entwicklung und Erprobung von Qualitätskriterien für die Geisteswissenschaften“ ( ) Teil 3: Empfehlungen zur Bewertung und Steuerung von Forschungsleistung (Wissenschaftsrat, 2011) Seite 2SAGW, Kursaal Bern

Teil 1: Forschungsrating des Wissenschaftsrates –Ziel, die Forschungsleistungen aller deutschen Universitäten und der von Bund und Ländern gemeinsam geförderten außeruniversitären Forschungseinrichtungen zu vergleichen und zu bewerten –Kriterien –Leistungsdimension Forschung Qualität, Effektivität, Effizienz –Leistungsdimension Nachwuchsförderung Prozesse, Erfolg –Leistungsdimension Wissenstransfer Relevanz, wirtschaftliche Umsetzung, Fort- und Weiterbildung, forschungsbasierte Beratung Seite 3SAGW, Kursaal Bern

Stimmen von Geisteswissenschaftlern (vgl. z.B. H.-Soz.-u-Kult.) 1.Forschungsevaluationen sind Ausdruck einer Ökonomisierung von Forschung „Forschung [erzeugt] keine Güter, die zu ihren Marktpreisen erfasst und über marktpreisbewertete input-output-Schemata kalkuliert werden können.“ (Plumpe, 2010, S. 574) 1.Starke Vorbehalte gegenüber Quantifizierung von Forschungsleistungen „[...] jegliche ’Qualitätsmessung’, die mit Zitationen arbeitet [...] benachteiligt prinzipiell [...] diejenigen, die in entlegeneren Gebieten arbeiten.“ (Hose, 2009) 2.Ängste vor dysfunktionalen Effekten und Anpassungszwängen „Wenn immer unausgegorenere Beiträge publiziert werden müssen, weil zwischen Antragsbewilligung und Verlängerungsantrag gar keine nennenswerte Zeit mehr liegt, ist das ja ein [...] Trauerspiel.“ (Herbert & Kaube, 2008, S. 39) 3.Mangelnder Konsens über Kriterien und den Gegenstand der Forschung (vgl. z.B. Herbert & Kaube, 2008) „In einigen geisteswissenschaftlichen Disziplinen gibt es tatsächlich nicht nur keinen Konsens über die Kriterien für gute und schlechte Wissenschaft, es gibt auch keinen Konsens mehr über die Gegenstände der Wissenschaft und die sinnvollerweise zu verwendenden Methoden.“ (Herbert & Kaube, 2008, S. 50) Seite 4

Forschungsrating Anglistik (Stand: Juni 2011) BewertungskriterienBewertungsaspekteDaten I.ForschungsqualitätQualität des Outputs a) Exemplarische Publikationen b)Publikationsliste nach Typen Quantität des Outputs a) Zahl wissenschaftlicher Publikationen nach Typen II.ReputationAnerkennung (qualitativ) a) Wissenschaftliche Preise/Auszeichnungen b)Fellowships (inkl. DAAD, AvH) Professional Activities (qualitativ) a)Herausgeberschaften, Gutachtertätigkeiten, Editorial Board Mitgliedschaften, Ämter in Fachverbänden, Akademiemitgliedschaften III.Forschungs- ermöglichung Drittmittelaktivitäten (a. qualitativ, b. quantitativ) a) Liste Drittmittelprojekte b) Ausgabesummen Drittmittel, Anzahl drittmittelfinanzierter Mitarbeiter Nachwuchsförderung (a. qualitativ, b. quantitativ) a) Liste Promotionen, Habilitationen, Promotionsprogramme, Auszeichnungen/Preise b) Zahl Promotionsprogramme, Doktorandenstellen (in Programmen, Drittmittelprojekten), Stipendien, Postdocs, Nachwuchsgruppenleiter Infrastrukturen/Netzwerke (qualitativ) a) Liste Sammlungen, Archive, etc. b) Netzwerke, Verbünde, Zentren c) Organisation Konferenzen/Tagungen IV.Transfer an ausser- universitäre Adressaten Personaltransfer (qualitativ) a) Weiterbildungsangebote b) Kooperationen Ministerien, Unternehmen, Verbänden und Schulen Wissensvermittlung (qualitativ) a) Medien und Öffentlichkeitsarbeit b) Liste weiterer Forschungsprodukte c) Lehrmaterialien

Teil 2: Kooperationsprojekt der Universitäten Zürich und Basel Entwicklung und Erprobung von Qualitätskriterien für die Forschung in den Geisteswissenschaften ( ): –CRUS B-05: „mesurer les performances de la recherche“ –Entwicklung von Qualitätskriterien, –die die Forschungsleistungen in der Dt. und Engl. Literaturwissenschaft und der Kunstgeschichte/-wissenschaft adäquat abbilden, –die von den Forschenden aus den genannten Fächern akzeptiert werden, –und die in unterschiedlichen sprachlichen, kulturellen und nationalen Kontexten anwendbar sind Seite 6SAGW, Kursaal Bern

Seite 7 Delphi-Methode: –Mehrmalige, schriftliche Befragung von Expertinnen und Experten mit anonymer Rückmeldung nach jeder Befragungsrunde Fächer: Literaturwissenschaft (Dt., Engl.), Kunstgeschichte/-wissenschaft Expertenpool: –Schweiz: 130 Professorinnen und Professoren an 8 Universitäten –LERU (League of European Research Universities): 520 Professorinnen und Professoren an 17 Universitäten Drei Befragungsrunden: –1. Runde: Ergänzung der Qualitätskriterien und Forschungsindikatoren Mai-Juli 2010; Paper-Pencil; Teilerhebung: N=180; Rücklaufquote (Rlq): 28% –2. Runde: Bewertung der Qualitätskriterien März-April 2011; Online-Befragung; Vollerhebung: N=650; Rlq: 30% –3. Runde: Bewertung der Forschungsindikatoren Oktober-Dezember 2011; Online-Befragung; Vollerhebung: N=650; Rlq: ≈12% Delphi-Befragung: Überblick SAGW, Kursaal Bern

Seite 8 Konsensfähig in allen Fächern: („Meine Forschungsleistung wird angemessen beurteilt, wenn beru ̈ cksichtigt wird, ob...“) –Gelehrsamkeit, Scholarship, Belesenheit –Pflege des kulturellen Gedächtnisses –Inspiration für die akademische Gemeinschaft –Innovation, Originalität –Wissenschaftlichkeit –Offenheit gegenüber Ideen und Personen –Wissenschaftlicher Austausch –Leidenschaft –Forschungsvision Delphi: 2. Befragungsrunde – Resultate Konsensfähige Qualitätskriterien SAGW, Kursaal Bern

Delphi: 2. Befragungsrunde Für 50% der Qualitätskriterien konnten Indikatoren identifiziert werden –Offenheit gegenüber Personen: z.B. –Anzahl der Kooperationen oder Publikationen mit Forschenden aus reputationsschwachen Institutionen oder „wissenschaftlichen Entwicklungsländern“; –Anzahl der Ko−Autorschaften mit wissenschaftlichem Nachwuchs; –Verfu ̈ gbarkeit von Publikationen (z.B.: Anzahl von Open−Access− Publikationen im Verhältnis zu allen Publikationen) –Inspiration für die akademische Gemeinschaft: z.B. –Anzahl und Gewichtung der Erwähnungen in Danksagungen; –Erfolg des wissenschaftlichen Nachwuchses (studentische Lehrveranstaltungsbeurteilung; Ehrungen und Preise; Zitierungen) Beispiel für nicht-indikatorisierbares Qualitätskriterium –Wissenschaftlichkeit –nur dem Peer-Urteil zugänglich Seite 9SAGW, Kursaal Bern

Reaktionen auf Delphi-Befragung –Negativ „Nachdem ich Nächte und Tage in entsprechenden Kommissionen meine Zeit versessen habe und ernüchtert sehe, dass der politische Wille, aber auch die Machbarkeit einer sinnvollen Wertung geisteswissenschaftlicher Leistung entgegensteht, bin ich auch nicht mehr bereit, Zeit in diese Fragen zu investieren.“ –Positiv „Ich kann Ihnen nur zu den 17 Kriterien gratulieren. Als Spielerei habe ich sie dann in eine Prioritätsreihenfolge gebracht. Das hat mir viel Spass gemacht und auch zu Erkenntnissen über mich selbst verholfen.“ Seite 10SAGW, Kursaal Bern

Seite 11 –Interesse an Entwicklung von Qualitätskriterien in den Geisteswissenschaften ist gross, wenn die Fächer eingebunden werden (Rücklaufquote: 30%) –Einige Qualitätskriterien sind innerhalb eines Faches konsensfähig –Einige Qualitätskriterien sind auch über Fachgrenzen hinweg konsensfähig –9 Kriterien sind in allen drei Fächern konsensfähig –8 Kriterien sind nur in einem oder zwei Fächern konsensfähig –Um Forschungsleistungen in geisteswissenschaftlichen Fächern adäquat evaluieren zu können, muss ein breites Spektrum von Qualitätskriterien berücksichtigt werden –Interesse an Indikatorisierung von Qualitätskriterien offenbar gering (Rücklaufquote ≈ 12%) Ausgewählte Befunde SAGW, Kursaal Bern

Teil 3: Empfehlungen zur Bewertung und Steuerung von Forschungsleistung (WR, 11/2011) –wissenschaftsinterne Verständigung über Qualitätsstandards als Basis der Indikatorenentwicklung –Der Begriff der Forschungsleistung sollte möglichst breit gefasst sein (mehrdimensionaler Qualitätsbegriff) –Interpretation von Indikatoren durch qualifizierte Peers (fachbezogene Einordnung) –Evaluationen sollten stets als informed peer review durchgeführt werden –Gewährleistung grösstmöglicher Verfahrenstransparenz und Partizipationsmöglichkeiten als Basis für Akzeptanz –Verzicht auf die Verwendung rein quantitativer Indikatoren für die Bewertung von Individuen Seite 12SAGW, Kursaal Bern

Weiterführende Informationen Vielen Dank für Ihre Aufmerksamkeit! SAGW, Kursaal BernSeite 13