Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats Leistungsvergleiche in der Forschung: die Pilotstudie Forschungsrating des Wissenschaftsrats Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats

Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats Übersicht Grundzüge des Forschungsratings Verbindungen zum Qualitätsmanagement der Hochschulen Erfahrungen aus der Pilotstudie Chemie und Soziologie Ausblick Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats

Grundzüge des Forschungsratings Bewertung von Universitäten und außeruniversitären Forschungseinrichtungen (Art. 91 b GG) Fachspezifisch differenziert Vergleichende Bewertung nach einheitlichen Maßstäben Rating, kein Ranking Mehrdimensionale Bewertung Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats

Bewertungsdimensionen und -kriterien Kriterium Forschung I. Forschungsqualität II. Impact/Effektivität III. Effizienz Nachwuchsförderung IV. Nachwuchsförderung Wissenstransfer V. Transfer in andere gesellschaftliche Bereiche VI. Wissensvermittlung und -verbreitung Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats

Veröffentlichung der Ergebnisse Diagrammdarstellung Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats

Grundzüge des Forschungsratings Bewertung von Universitäten und außeruniversitären Forschungseinrichtungen (Art. 91 b GG) Fachspezifisch differenziert Vergleichende Bewertung nach einheitlichen Maßstäben Rating, kein Ranking Mehrdimensionale Bewertung Differenzierung der Forschungsqualität nach „Forschungseinheiten“ Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats

Veröffentlichung der Ergebnisse Diagrammdarstellung Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats

Forschungseinheiten: Einzelbewertung Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats

Grundzüge des Forschungsratings (Forts.) Bewertung von Universitäten und außeruniversitären Forschungseinrichtungen (Art. 91 b GG) Fachspezifisch differenziert Vergleichende Bewertung nach einheitlichen Maßstäben Rating, kein Ranking Mehrdimensionale Bewertung Differenzierung der Forschungsqualität nach „Forschungseinheiten“ „Informed peer review“: Bewertungsgruppen Operationalisierung durch Fachgutachter Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats

Verbindungen zum Qualitätsmanagement der Hochschulen Forschungsrating Qualitätsmanagement Externe Bewertung durch Gutachter Strategische Planung und Steuerung Datenanalyse, Vergleich Interne Evaluation Operationalisierung Kriterien Zuordnung von Indikatoren Definition Erhebungsformate Berichtssystem, Forschungsdatenbank Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats

Externe Bewertung durch Gutachter Unabhängige Einschätzung durch renommierte Fachwissenschaftler Vergleichsperspektive „Kalibrierung“ interner Qualitätsbewertungsinstrumente Mehrdimensionale Bewertung nach sechs Kriterien Abgleich mit eigenen Schwerpunkten / Profil Differenzierte Qualitätsbewertung der Forschungseinheiten Stärken-Schwächen-Analyse (Zuschnitt entscheidend!) Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats

Datenanalyse, Vergleich Aufstellung der quantitativen und qualitativen Daten sortiert nach Kriterien und Bewertungsaspekten Angaben zu Median/Mittelwert und Streuung der quantitativen Indikatoren in einem „Leitfaden zu den Datenberichten“ (veröffentlicht auf Homepage) Perzentilwerte als skaleninvariante Lagemaße: Vergleichsperspektive, implizites „Benchmarking“ Einrichtung Zitationen Perzentil Uni D 2550 100% Uni B 1230 90% Uni H 856 80% Uni A 798 70% Uni F 796 60% Uni C 781 50% Uni I 345 40% Uni E 69 30% Uni G 35 20% Uni J 12 10% Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats

Operationalisierung Kriterien: Datengrundlage Kombination von bei den teilnehmenden Einrichtungen erhobenen Daten und verfügbaren (Publikations-/Zitations-) Datenbanken Kombination von quantitativen Indikatoren und qualitativen Informationen Begutachtung von Publikationslisten, Listen der Drittmittelprojekte, Preise etc. durch Gutachter Möglichkeit zur Selbstbeschreibung der Forschungseinheiten / Einrichtungen Unterschiede zwischen Chemie und Soziologie u.a. Zitationsanalyse (Chemie) vs. Lektüre ausgewählter Publikationen (Soz.) Transfer in Industrie (Chemie) anhand Patente, Lizenzen, Drittmittel vs. Transfer in Politik und Verbände anhand Beratungspositionen, Gutachten, Transferprojekten (Soz.) Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats

Bewertungsmatrix Bsp. Chemie, Kriterium „Forschungsqualität“ Kriterium I. Forschungsqualität 1. Relativer Rezeptionserfolg quantitativ: Zitationen/Publikation in Relation zum fachgebietsbezogenen Zitationsdurchschnitt (ZP/FCSm) Zitationen/Publikation in Relation zum zeitschriftenbezogenen Zitationsdurchschnitt (ZP/JCSm) Zitationen/Publikation (ZP) Anzahl Publikationen (P) – Zusatzinformation zur Bewertung der Zitationsindikatoren 2. Qualität des Outputs qualitativ: Publikationsliste Forschungsprodukte außer Publikationen, z. B. Datenbanken und Software, Patente 3. Beurteilung durch Peers Liste der Drittmittelprojekte Liste bedeutender Forschungspreise und Auszeichnungen Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats

Pilotstudie Chemie und Soziologie Basis: Wissenschaftsrat 2004: Empfehlungen zu Rankings im Wissenschaftssystem Fächer Chemie und Soziologie Verantwortung bei Steuerungsgruppe Neben WR-Mitgliedern und weiteren Sachverständigen DFG, FhG, HGF, HRK, MPG und WGL mit Vizepräsidenten vertreten Bewertungsgruppen für Chemie und Soziologie mit je 15 Gutachtern aus Vorschlägen der genannten Wissenschaftsorganisationen und der Fachgesellschaften Gesellschaft Deutscher Chemiker (GDCh) und Deutsche Gesellschaft für Soziologie (DGS) Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats

Pilotstudie Chemie und Soziologie Teilnehmer: Struktur Forschungseinheiten sehr unterschiedlich: Chemie ca. 350 Forschungseinheiten, durchschnittlich 3 Professuren Soziologie ca. 250 Forschungseinheiten, 75 % nur 1 Professur Universitäten Außeruniversitäre Institute Professuren Chemie 57 20 1.038 Soziologie 54 3 376 Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats

Begutachtungsverfahren Zuordnung von je zwei Berichterstattern Fachkompetenz Befangenheiten Unabhängige Bewertungsvorschläge Identifikation von Dissensfällen, Bitte um Überprüfung in Pilotstudie je nach Kriterium 70 – 90 % übereinstimmende Voten Plenare Diskussion und Verabschiedung aller Bewertungen Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats

Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats Ausblick Beratung auf WR-Sitzungen 7.-8. Mai 2008 zur Diskussion: schrittweise Weiterentwicklung zu klären: Forschungseinheiten Effizienzbewertung Taxonomie Turnus Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats

Vielen Dank für Ihre Aufmerksamkeit! www.forschungsrating.de Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats