Was ist und wie misst man Qualität in der Wissenschaft? Dr. Sigrun Nickel | DAAD-Lektoren Seminar | 22.Juli 2014

Agenda 1. Gestiegener Bedarf an Informationen zur Qualitätsbeurteilung national und international 2. Überblick über Qualitätsbegriffe 3. Unterschiedliche Qualitäten in Hochschul- und Forschungseinrichtungen und deren Messung 4. Literaturhinweise Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014

Agenda 1. Gestiegener Bedarf an Informationen zur Qualitätsbeurteilung national und international 2. Überblick über Qualitätsbegriffe 3. Unterschiedliche Qualitäten in Hochschul- und Forschungseinrichtungen und deren Messung 4. Literaturhinweise Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014

Hintergründe für gestiegenen Bedarf an Informationen zur Qualitätsbeurteilung Einen großen Raum nehmen Informationen ein, die eine Beurteilung von Leistungen in Forschung, Lehre und Studium in Hochschulen und Forschungseinrichtungen ermöglichen. Methoden: Indikatorgestützte Leistungsvergleiche, Peer Reviews/Evaluationen, wissenschaftliche Studien. Längst geht es nicht mehr nur um die Offenlegung wissenschaftlicher Ergebnisse gegenüber Politik und Gesellschaft, sondern verstärkt auch um die Bewertung und Kontextualisierung erbrachter Leistungen etwa in Form von Evaluationen, Akkreditierungen, Benchmarks, indikatorgestützter Leistungsvergleiche und wissenschaftlicher Studien. Vor diesem Hintergrund hat sich eine vielfältige Szene an Institutionen etabliert, die solche Informationen bezogen auf Hochschulen und Forschungseinrichtungen produzieren. Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014

In Deutschland aktive nationale Institutionen mit Informations-angeboten zur Leistungsbeurteilung in der Forschung Quelle: Nickel, Duong, Ulrich 2013: Informationen zur Leistungsbeurteilung in Forschung, Lehre und Studium. Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014

In Deutschland aktive nationale Institutionen mit Informations-angeboten zur Leistungsbeurteilung in Studium und Lehre Quelle: Nickel, Duong, Ulrich 2013: Informationen zur Leistungsbeurteilung in Forschung, Lehre und Studium. Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014

In Deutschland aktive internationale Institutionen mit Informationsangeboten zur Leistungsbeurteilung in der Forschung Quelle: Nickel, Duong, Ulrich 2013: Informationen zur Leistungsbeurteilung in Forschung, Lehre und Studium. Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014

In Deutschland aktive internationale Institutionen mit Informationsangeboten zur Leistungsbeurteilung in Studium und Lehre Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014

Projekt „Global University Ranking“ Diskussion um europäisches Ranking während der Französischen Ratspräsidentschaft  Im Zusammenhang mit European Classification: Classification und Ranking als Instrument der Transparenz  Französische „Presidency Declaration“ Alternative zu Shanghai-Ranking (genauer vgl. Ranking- Übersicht: http://www.che- ranking.de/cms/?getObject=47&getLang=de) Online-Portal U-Multirank: http://www.multirank.eu/ Beteiligung aktuell: 879 Hochschulen in 70 Ländern weltweit Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014

Diversifizierung im europäischen Hochschulraum 2005 Projektstart: Classifying European Institutions of Higher Education (CEIHE) – Mapping Diversity Schemes on education Types of degrees offered Range of subjects offered Orientation of degrees (academic/professional) European educational profile Schemes on reasearch and innovation Research intensiveness Innovation intensiveness research European research profile Schemes of students and staff profile International orientation Involvement in life-long-learning Institutional schemes Size Mode of delivery Community services Public/Private funding Legal status 2010 dritte Projektphase beendet: http://www.u-map.eu/ Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014

U-Multirank bildet Hochschulprofile ab Aufbauend auf U-Map, vgl. Folie 10 Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014

Agenda 1. Gestiegener Bedarf an Informationen zur Qualitätsbeurteilung national und international 2. Überblick über Qualitätsbegriffe 3. Unterschiedliche Qualitäten in Hochschul- und Forschungseinrichtungen und deren Messung 4. Literaturhinweise Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014

Qualität ist anspruchsvoll „Qualität ist flüchtig, gleichzeitig aber die ‚driving force‘ des Hochschulsystems.“ Ada Pellert, 2002

Qualität ist relational „Quality should be seen as a multi-dimensional und subjective concept. Good quality depends upon the objectives and criteria a person or group judges to be relevant in a specific context.“ Frans van Vught, 1994

Qualität ist nachweisbar „Die Qualität von Forschung, Lehre und Studium zeigt sich in den sichtbaren Ergebnissen“. Sigrun Nickel, 2014

Verbreitete Qualitätsbegriffe im Hochschulbereich Exzellenz Ziel- und Zweckerfüllung („fitness for purpose“) Eignung des Ziels („fitness of purpose“) Erfüllung formaler Richtlinien („compliance“) Erfüllung von Standards Kundenzufriedenheit Gegenwert für Investitionen („value for money“) Verantwortlichkeit („accountability“) Fähigkeit zum institutionellen Wandel („capacity for change“) Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014

Agenda 1. Gestiegener Bedarf an Informationen zur Qualitätsbeurteilung national und international 2. Überblick über Qualitätsbegriffe 3. Unterschiedliche Qualitäten in Hochschul- und Forschungseinrichtungen und deren Messung 4. Literaturhinweise Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014

Kausalkette im Qualitätsmanagement Zielqualität Prozessqualität Ergebnisqualität Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014

Unterschiedliche Qualitätsebenen in Hochschulorganisationen Qualität der Zielsetzungen in Forschung sowie Lehre und Studium Qualität der internen Prozesse einer Hochschule Qualität der Ergebnisse der Studienangebote und Forschungsbereiche einer Hochschule Qualität der Wirkungen der Studienangebote und Forschungsbereiche einer Hochschule Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014

Qualitätsziele entscheidend bestimmt… … durch hochschulinterne und -externe Anspruchsgruppen Stadt / Region Private Einrichtungen Staat Hochschule Leistungsabnehmer Nach Urs Scheidegger (2001): Management des Strategiepro-zesses von Universitäten Öffentlichkeit Mitbewerber Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014

Zielqualität Spezifisch: verständlich und einfach auf einen speziellen Sachbereich hin formuliert Messbar: der Erreichungsgrad kann anhand von Daten festgestellt werden Anspruchsvoll: herausfordernd Realistisch: umsetzbar Terminiert: der Zeitraum, in dem das Ziel erreicht werden soll, ist angegeben; evtl. Meilensteine Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014

Qualitätsbeurteilung Messe ich Performanz oder Qualität? Qualität ist eine Eigenschaft oder ein Bündel an Eigenschaften Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014

Indikatoren – Was muss man beachten? Indikatoren sind (meist) ‚Proxies‘ Frage: Welche Informationen sind für die Qualitätsentwicklung der Hochschule relevant?  Indikatoren messen in der Regel nicht genau das, was gesteuert werden soll und sind in erster Linie Kommunikationsanlässe. Bezug von Indikatoren zu Zielen muss klar sein Frage: Warum messen wir gerade das? Zeitpunkt der Messung beachten  Für Qualitätssicherung sind Frühwarnsignale wertvoll Verhaltenssteuernde Wirkungen von Indikatoren reflektieren Frage: Was soll durch die Messung erreicht werden?  Nebenwirkungen beachten Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014

Forschungsindikatorik am Beispiel Bibliometrie „The application of mathematical and statistical methods to books and other media of communication“ (Pritchard, 1969). Bibliometrie ist mit dem Aspekt der quantitativen Untersuchung der Wissenschaft ein Teilgebiet der Wissenschaftssoziologie, mit dem Aspekt der quantitativen Untersuchung von (publizierten) Informationen Teilgebiet der Informationswissenschaft und hat ihre Ursprünge in der Bibliothekswissenschaft. Bibliometrische Indikatoren: Publikationen als Proxy für Produktivität (-> Spezialisierung) Koautorenschaften als Proxy für Kooperation (-> Netzwerkanalysen) Zitierungen als Proxy für Wahrnehmung in der wiss. Community Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014

Für die Gewinnung bibliometrischer Daten genutzte Datenbanken Web of Science (WoS) – vor allem Science Citation Index Scopus Database (Elsevier) Chemical Abstracts Service (CAS) Literaturdatenbank INSPEC database for Physics, Electronics & Computing Physical Review Online Archive (PROLA) SAO/NASA Astrophysics Data System (ADS) Google Scholar Citations Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014

Wissenschaftsrat: Forschungsrating Soziologie 2008, Bewertungskriterien Wissenschaftsrat (WR) (2008): Steuerungsgruppe der Pilotstudie Forschungsrating im Auftrag des Wissenschaftsrates. Forschungsleistungen deutscher Universitäten und außeruniversitärer Einrichtungen in der Soziologie Ergebnisse der Pilotstudie Forschungsrating des Wissenschaftsrats. Köln. http://www.wissenschaftsrat.de/texte/pilot_ergeb_sozio.pdf Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014

Wissenschaftsrat: Forschungsrating Soziologie 2008 Wissenschaftsrat (WR) (2008): Steuerungsgruppe der Pilotstudie Forschungsrating im Auftrag des Wissenschaftsrates. Forschungsleistungen deutscher Universitäten und außeruniversitärer Einrichtungen in der Soziologie Ergebnisse der Pilotstudie Forschungsrating des Wissenschaftsrats. Köln. http://www.wissenschaftsrat.de/texte/pilot_ergeb_sozio.pdf Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014

Wissenschaftsrat: Forschungsrating Soziologie 2008 Wissenschaftsrat (WR) (2008): Steuerungsgruppe der Pilotstudie Forschungsrating im Auftrag des Wissenschaftsrates. Forschungsleistungen deutscher Universitäten und außeruniversitärer Einrichtungen in der Soziologie Ergebnisse der Pilotstudie Forschungsrating des Wissenschaftsrats. Köln. http://www.wissenschaftsrat.de/texte/pilot_ergeb_sozio.pdf Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014

Qualität in Lehre und Studium als mehrdimensionales Konstrukt Multifaktorielles Modell der Lehrveranstal-tungsqualität Quelle: Rindermann 2009 Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014

Beispiele Qualitätsindikatoren Studium und Lehre Gewichtung Benotung der Lehrveranstaltung (LV) insgesamt durch Studierende 50 % Einschätzung der Angemessenheit des Arbeitsaufwandes 12,5 % Einschätzung der Strukturierung der LV Einschätzung des Engagements und der Motivation des Dozenten/der Dozentin Einschätzung der Fähigkeit des Dozenten/der Dozentin, auf Fragen und Belange der Studierenden einzugehen Nach: Craanen, Michael 2009: Fakultätsübergreifende Evaluation der Lehre am Karlsruher Institut für Technologie - KIT Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014

Indikatorenbildung beim nationalen CHE-Ranking: Studierendenurteile 31 verschiedene Indizes „Kernset“ von 13 Indizes, die für alle Fächer verwandt werden Indizes werden 1-10 Einzelitems gebildet Skala von 1-sehr gut bis 6-sehr schlecht Einteilung in Spitzen-, Mittel- und Schlussgruppe nach (nicht) signifikanter Abweichung vom Bundesmittelwert (im jeweiligen Fach) Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014

Mittelwert für alle Hochschulen Überblick Indizes (ein Fachbereich) Indikator Mittelwert Fallzahl Gruppe Mittelwert für alle Hochschulen Gesamturteil 3,63 52 3 2,91 Lehrangebot 3,5 2,92 E-Learning 2,89 41 2,43 Methodenausbildung 2,77 2 2,38 Praxisbezug 3,65 51 3,45 Studienorganisation 3,71 2,96 Betreuung 3,16 50 2,41 Kontakt Studierende 2,49 2,15 Arbeitsmarktbezug 3,4 45 3,29 IT-Infrastruktur 2,19 44 2,39 Räume 3,64 49 2,95 Bibliotheken 2,64 47 2,25 Auslandsaufenthalte 3,44 32 2,78 Evaluationen 3,69 2,85 [1] 1 = Spitzengruppe, 2 = Mittelgruppe, 3 = Schlussgruppe, 100 = nicht gerankt Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014

Anteil mangel- haft bis un- genügend Detaildaten auf Einzelitemebene (ein FB) Lehrangebot Mittelwert Gesamt- Mittelwert Standard- abweichung Fallzahl Anteil gut bis sehr gut Anteil mangel- haft bis un- genügend Inhaltliche Breite des Lehrangebots 3,37 2,69 1,24 52 28,8% 19,2% Forschungsbezug der Lehrveranstaltungen 3,24 2,89 1,22 49 28,6% 22,4% Internationale Ausrichtung des Lehrangebots 3,8 3,35 1,38 46 19,6% 34,8% Interdisziplinäre Bezüge innerhalb des Lehrangebots 3,32 2,66 1,32 47 27,7% 17% Didaktische Vermittlung des Lehrstoffs 3,39 2,77 1,13 51 23,5% Möglichkeit, frühzeitig an der Forschung teilzunehmen 4,00 1,30 14,9% 42,6% Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014

Agenda 1. Gestiegener Bedarf an Informationen zur Qualitätsbeurteilung national und international 2. Überblick über Qualitätsbegriffe 3. Unterschiedliche Qualitäten in Hochschul- und Forschungseinrichtungen und deren Messung 4. Literaturhinweise Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014

Literaturhinweise Harvey, L. / Green, D. (1993): Defining Quality. In: Assessment and Evaluation in Higher Education, Vol. 18, No 1, S. 9-34. Hornbostel, S. (2010): (Forschungs)Evaluation. In: Simon, D. / Knie, A. / Hornbostel, S. (Hg.): Handnbuch Wissenschaftspolitik. Wiesbaden, S. 293-309 Kehm, B.M. (2014): Global university rankings: impacts and unintended effects. In: European Journal of Education, 49 (1), S. 102-112. Download: 10.1111/ejed.12064, abgerufen am 15.07.14. Lessenich, S. (2014): Gibt es richtiges Leben im Falschen? Eine Warnung. In: DUZ 06/2014, S. 22. Pellert, A. (2002): Hochschule und Qualität. In: Reil, T. / Winter, M. (Hg.): Qualitätssicherung an Hochschulen: Theorie und Praxis. Bielefeld, S. 21-29. Nickel, S. (Hg.) (2014): Implementierung von Qualitätsmanagementsystemen. Erfahrungen aus der Hochschulpraxis. Gütersloh. Download: http://www.che.de/downloads/CHE_AP_163_Qualitaetsmanagementsysteme_2014.pdf, Nickel, S. / Duong, S. / Ulrich, S. (2013): Informationsstrukturen zur Beurteilung von Leistungen in Forschung, Lehre und Studium. Akteure und Datenangebote in Deutschland. Download: http://www.che.de/downloads/CHE_AP_172_Leistungsbewertung_in_der_Wissenschaft.pdf, abgerufen am 15.07.14. Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014

Literaturhinweise Rindermann, H. (2009): Lehrevaluation. Einführung und Überblick zu Forschung und Praxis der Lehrveranstaltungsevaluation an Hochschulen mit einem Beitrag zur Evaluation computerba­ sierten Unterrichts. 2. Leicht korrigierte Auflage. Landau. van Vught, F. A. (ed.) (2009): Mapping the Higher Education Landscape. Towards a European Classification of Higher Education. Towards a European Classification of Higher Education. Dordrecht. van Vught, F.A. / Ziegele, F. (eds.) (2012): Multidimensional Ranking. The Design and Development of U-Multirank. Dordrecht. Schmooch, U. (2014): Trotz alledem: Mitmachen lohnt sich. Eine Entwarnung. In: DUZ 06/2014, S. 23. Serrano-Velarde, K. (2008): Evaluation, Akkreditierung und Politik. Zur Organisation von Qualitätssicherung im Zuge des Bologna-Prozesses. Wiesbaden. Sondermann, M. / Simon, D. / Scholz, A.-M. / Hornbostel, S. (2008): Die Exzellenzinitiative: Beobachtungen aus der Implementierungsphase. iFQ-Working Paper No. 5. Bonn. Download: http://www.forschungsinfo.de/Publikationen/Download/working_paper_5_2008.pdf, abgerufen am 24.06.2013. Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014

Vielen Dank für Ihre Aufmerksamkeit! sigrun.nickel@che.de