Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats

Präsentation zum Thema: "Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats"—  Präsentation transkript:

1 Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats
Leistungsvergleiche in der Forschung: die Pilotstudie Forschungsrating des Wissenschaftsrats Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats

2 Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats
Übersicht Grundzüge des Forschungsratings Verbindungen zum Qualitätsmanagement der Hochschulen Erfahrungen aus der Pilotstudie Chemie und Soziologie Ausblick Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats

3 Grundzüge des Forschungsratings
Bewertung von Universitäten und außeruniversitären Forschungseinrichtungen (Art. 91 b GG) Fachspezifisch differenziert Vergleichende Bewertung nach einheitlichen Maßstäben Rating, kein Ranking Mehrdimensionale Bewertung Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats

4 Bewertungsdimensionen und -kriterien
Kriterium Forschung I. Forschungsqualität II. Impact/Effektivität III. Effizienz Nachwuchsförderung IV. Nachwuchsförderung Wissenstransfer V. Transfer in andere gesellschaftliche Bereiche VI. Wissensvermittlung und -verbreitung Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats

5 Veröffentlichung der Ergebnisse Diagrammdarstellung
Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats

6 Grundzüge des Forschungsratings
Bewertung von Universitäten und außeruniversitären Forschungseinrichtungen (Art. 91 b GG) Fachspezifisch differenziert Vergleichende Bewertung nach einheitlichen Maßstäben Rating, kein Ranking Mehrdimensionale Bewertung Differenzierung der Forschungsqualität nach „Forschungseinheiten“ Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats

7 Veröffentlichung der Ergebnisse Diagrammdarstellung
Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats

8 Forschungseinheiten: Einzelbewertung
Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats

9 Grundzüge des Forschungsratings (Forts.)
Bewertung von Universitäten und außeruniversitären Forschungseinrichtungen (Art. 91 b GG) Fachspezifisch differenziert Vergleichende Bewertung nach einheitlichen Maßstäben Rating, kein Ranking Mehrdimensionale Bewertung Differenzierung der Forschungsqualität nach „Forschungseinheiten“ „Informed peer review“: Bewertungsgruppen Operationalisierung durch Fachgutachter Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats

10 Verbindungen zum Qualitätsmanagement der Hochschulen
Forschungsrating Qualitätsmanagement Externe Bewertung durch Gutachter Strategische Planung und Steuerung Datenanalyse, Vergleich Interne Evaluation Operationalisierung Kriterien Zuordnung von Indikatoren Definition Erhebungsformate Berichtssystem, Forschungsdatenbank Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats

11 Externe Bewertung durch Gutachter
Unabhängige Einschätzung durch renommierte Fachwissenschaftler Vergleichsperspektive „Kalibrierung“ interner Qualitätsbewertungsinstrumente Mehrdimensionale Bewertung nach sechs Kriterien Abgleich mit eigenen Schwerpunkten / Profil Differenzierte Qualitätsbewertung der Forschungseinheiten Stärken-Schwächen-Analyse (Zuschnitt entscheidend!) Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats

12 Datenanalyse, Vergleich
Aufstellung der quantitativen und qualitativen Daten sortiert nach Kriterien und Bewertungsaspekten Angaben zu Median/Mittelwert und Streuung der quantitativen Indikatoren in einem „Leitfaden zu den Datenberichten“ (veröffentlicht auf Homepage) Perzentilwerte als skaleninvariante Lagemaße: Vergleichsperspektive, implizites „Benchmarking“ Einrichtung Zitationen Perzentil Uni D 2550 100% Uni B 1230 90% Uni H 856 80% Uni A 798 70% Uni F 796 60% Uni C 781 50% Uni I 345 40% Uni E 69 30% Uni G 35 20% Uni J 12 10% Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats

13 Operationalisierung Kriterien: Datengrundlage
Kombination von bei den teilnehmenden Einrichtungen erhobenen Daten und verfügbaren (Publikations-/Zitations-) Datenbanken Kombination von quantitativen Indikatoren und qualitativen Informationen Begutachtung von Publikationslisten, Listen der Drittmittelprojekte, Preise etc. durch Gutachter Möglichkeit zur Selbstbeschreibung der Forschungseinheiten / Einrichtungen Unterschiede zwischen Chemie und Soziologie u.a. Zitationsanalyse (Chemie) vs. Lektüre ausgewählter Publikationen (Soz.) Transfer in Industrie (Chemie) anhand Patente, Lizenzen, Drittmittel vs. Transfer in Politik und Verbände anhand Beratungspositionen, Gutachten, Transferprojekten (Soz.) Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats

14 Bewertungsmatrix Bsp. Chemie, Kriterium „Forschungsqualität“
Kriterium I. Forschungsqualität 1. Relativer Rezeptionserfolg quantitativ: Zitationen/Publikation in Relation zum fachgebietsbezogenen Zitationsdurchschnitt (ZP/FCSm) Zitationen/Publikation in Relation zum zeitschriftenbezogenen Zitationsdurchschnitt (ZP/JCSm) Zitationen/Publikation (ZP) Anzahl Publikationen (P) – Zusatzinformation zur Bewertung der Zitationsindikatoren 2. Qualität des Outputs qualitativ: Publikationsliste Forschungsprodukte außer Publikationen, z. B. Datenbanken und Software, Patente 3. Beurteilung durch Peers Liste der Drittmittelprojekte Liste bedeutender Forschungspreise und Auszeichnungen Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats

15 Pilotstudie Chemie und Soziologie
Basis: Wissenschaftsrat 2004: Empfehlungen zu Rankings im Wissenschaftssystem Fächer Chemie und Soziologie Verantwortung bei Steuerungsgruppe Neben WR-Mitgliedern und weiteren Sachverständigen DFG, FhG, HGF, HRK, MPG und WGL mit Vizepräsidenten vertreten Bewertungsgruppen für Chemie und Soziologie mit je 15 Gutachtern aus Vorschlägen der genannten Wissenschaftsorganisationen und der Fachgesellschaften Gesellschaft Deutscher Chemiker (GDCh) und Deutsche Gesellschaft für Soziologie (DGS) Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats

16 Pilotstudie Chemie und Soziologie
Teilnehmer: Struktur Forschungseinheiten sehr unterschiedlich: Chemie ca. 350 Forschungseinheiten, durchschnittlich 3 Professuren Soziologie ca. 250 Forschungseinheiten, 75 % nur 1 Professur Universitäten Außeruniversitäre Institute Professuren Chemie 57 20 1.038 Soziologie 54 3 376 Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats

17 Begutachtungsverfahren
Zuordnung von je zwei Berichterstattern Fachkompetenz Befangenheiten Unabhängige Bewertungsvorschläge Identifikation von Dissensfällen, Bitte um Überprüfung in Pilotstudie je nach Kriterium 70 – 90 % übereinstimmende Voten Plenare Diskussion und Verabschiedung aller Bewertungen Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats

18 Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats
Ausblick Beratung auf WR-Sitzungen Mai 2008 zur Diskussion: schrittweise Weiterentwicklung zu klären: Forschungseinheiten Effizienzbewertung Taxonomie Turnus Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats

19 Vielen Dank für Ihre Aufmerksamkeit!
Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats