Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Was ist und wie misst man Qualität in der Wissenschaft? Dr. Sigrun Nickel | DAAD-Lektoren Seminar | 22.Juli 2014.

Ähnliche Präsentationen


Präsentation zum Thema: "Was ist und wie misst man Qualität in der Wissenschaft? Dr. Sigrun Nickel | DAAD-Lektoren Seminar | 22.Juli 2014."—  Präsentation transkript:

1 Was ist und wie misst man Qualität in der Wissenschaft? Dr. Sigrun Nickel | DAAD-Lektoren Seminar | 22.Juli 2014

2 Agenda Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.20142 1. Gestiegener Bedarf an Informationen zur Qualitätsbeurteilung national und international 2. Überblick über Qualitätsbegriffe 3. Unterschiedliche Qualitäten in Hochschul- und Forschungseinrichtungen und deren Messung 4. Literaturhinweise

3 Agenda Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.20143 1. Gestiegener Bedarf an Informationen zur Qualitätsbeurteilung national und international 2. Überblick über Qualitätsbegriffe 3. Unterschiedliche Qualitäten in Hochschul- und Forschungseinrichtungen und deren Messung 4. Literaturhinweise

4  Einen großen Raum nehmen Informationen ein, die eine Beurteilung von Leistungen in Forschung, Lehre und Studium in Hochschulen und Forschungseinrichtungen ermöglichen. Methoden:  Indikatorgestützte Leistungsvergleiche,  Peer Reviews/Evaluationen,  wissenschaftliche Studien.  Längst geht es nicht mehr nur um die Offenlegung wissenschaftlicher Ergebnisse gegenüber Politik und Gesellschaft, sondern verstärkt auch um die Bewertung und Kontextualisierung erbrachter Leistungen etwa in Form von Evaluationen, Akkreditierungen, Benchmarks, indikatorgestützter Leistungsvergleiche und wissenschaftlicher Studien.  Vor diesem Hintergrund hat sich eine vielfältige Szene an Institutionen etabliert, die solche Informationen bezogen auf Hochschulen und Forschungseinrichtungen produzieren. Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.20144 Hintergründe für gestiegenen Bedarf an Informationen zur Qualitätsbeurteilung

5 5 Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014 In Deutschland aktive nationale Institutionen mit Informations- angeboten zur Leistungsbeurteilung in der Forschung Quelle: Nickel, Duong, Ulrich 2013: Informationen zur Leistungsbeurteilung in Forschung, Lehre und Studium.

6 6 Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014 In Deutschland aktive nationale Institutionen mit Informations- angeboten zur Leistungsbeurteilung in Studium und Lehre Quelle: Nickel, Duong, Ulrich 2013: Informationen zur Leistungsbeurteilung in Forschung, Lehre und Studium.

7 In Deutschland aktive internationale Institutionen mit Informationsangeboten zur Leistungsbeurteilung in der Forschung 7 Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014 Quelle: Nickel, Duong, Ulrich 2013: Informationen zur Leistungsbeurteilung in Forschung, Lehre und Studium.

8 In Deutschland aktive internationale Institutionen mit Informationsangeboten zur Leistungsbeurteilung in Studium und Lehre Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014

9  Diskussion um europäisches Ranking während der Französischen Ratspräsidentschaft  Im Zusammenhang mit European Classification: Classification und Ranking als Instrument der Transparenz  Französische „Presidency Declaration“  Alternative zu Shanghai-Ranking (genauer vgl. Ranking- Übersicht: http://www.che- ranking.de/cms/?getObject=47&getLang=de)http://www.che- ranking.de/cms/?getObject=47&getLang=de  Online-Portal U-Multirank: http://www.multirank.eu/http://www.multirank.eu/  Beteiligung aktuell: 879 Hochschulen in 70 Ländern weltweit Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.20149 Projekt „Global University Ranking“

10 1.Schemes on education  Types of degrees offered  Range of subjects offered  Orientation of degrees (academic/professional)  European educational profile 2.Schemes on reasearch and innovation  Research intensiveness  Innovation intensiveness research  European research profile 3.Schemes of students and staff profile  International orientation  Involvement in life-long-learning 4.Institutional schemes  Size  Mode of delivery  Community services  Public/Private funding  Legal status 10 Diversifizierung im europäischen Hochschulraum Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014 2010 dritte Projektphase beendet: http://www.u-map.eu/http://www.u-map.eu/ 2005 Projektstart: Classifying European Institutions of Higher Education (CEIHE) – Mapping Diversity

11 U-Multirank bildet Hochschulprofile ab Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.201411 Aufbauend auf U-Map, vgl. Folie 10

12 Agenda Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.201412 1. Gestiegener Bedarf an Informationen zur Qualitätsbeurteilung national und international 2. Überblick über Qualitätsbegriffe 3. Unterschiedliche Qualitäten in Hochschul- und Forschungseinrichtungen und deren Messung 4. Literaturhinweise

13 „Qualität ist flüchtig, gleichzeitig aber die ‚driving force‘ des Hochschulsystems.“ Ada Pellert, 2002 Qualität ist anspruchsvoll

14 „Quality should be seen as a multi- dimensional und subjective concept. Good quality depends upon the objectives and criteria a person or group judges to be relevant in a specific context.“ Frans van Vught, 1994 Qualität ist relational

15 „Die Qualität von Forschung, Lehre und Studium zeigt sich in den sichtbaren Ergebnissen“. Qualität ist nachweisbar Sigrun Nickel, 2014

16  Exzellenz  Ziel- und Zweckerfüllung („fitness for purpose“)  Eignung des Ziels („fitness of purpose“)  Erfüllung formaler Richtlinien („compliance“)  Erfüllung von Standards  Kundenzufriedenheit  Gegenwert für Investitionen („value for money“)  Verantwortlichkeit („accountability“)  Fähigkeit zum institutionellen Wandel („capacity for change“) Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.201416 Verbreitete Qualitätsbegriffe im Hochschulbereich

17 Agenda Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.201417 1. Gestiegener Bedarf an Informationen zur Qualitätsbeurteilung national und international 2. Überblick über Qualitätsbegriffe 3. Unterschiedliche Qualitäten in Hochschul- und Forschungseinrichtungen und deren Messung 4. Literaturhinweise

18 Kausalkette im Qualitätsmanagement Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.201418 ZielqualitätProzessqualitätErgebnisqualität

19 Qualität der Zielsetzungen in Forschung sowie Lehre und Studium Qualität der internen Prozesse einer Hochschule Qualität der Ergebnisse der Studienangebote und Forschungsbereiche einer Hochschule Qualität der Wirkungen der Studienangebote und Forschungsbereiche einer Hochschule Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.201419 Unterschiedliche Qualitätsebenen in Hochschulorganisationen

20 Qualitätsziele entscheidend bestimmt… Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.201420 Hochschule MitbewerberÖffentlichkeit Stadt / Region Staat Leistungsabnehmer Private Einrichtungen … durch hochschulinterne und -externe Anspruchsgruppen Nach Urs Scheidegger (2001): Management des Strategiepro- zesses von Universitäten

21 Zielqualität Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.201421 Spezifisch:verständlich und einfach auf einen speziellen Sachbereich hin formuliert Messbar: der Erreichungsgrad kann anhand von Daten festgestellt werden Anspruchsvoll:herausfordernd Realistisch:umsetzbar Terminiert:der Zeitraum, in dem das Ziel erreicht werden soll, ist angegeben; evtl. Meilensteine

22 Qualitätsbeurteilung Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.201422 Messe ich Performanz oder Qualität? Qualität ist eine Eigenschaft oder ein Bündel an Eigenschaften

23  Indikatoren sind (meist) ‚Proxies‘ Frage: Welche Informationen sind für die Qualitätsentwicklung der Hochschule relevant?  Indikatoren messen in der Regel nicht genau das, was gesteuert werden soll und sind in erster Linie Kommunikationsanlässe.  Bezug von Indikatoren zu Zielen muss klar sein Frage: Warum messen wir gerade das?  Zeitpunkt der Messung beachten  Für Qualitätssicherung sind Frühwarnsignale wertvoll  Verhaltenssteuernde Wirkungen von Indikatoren reflektieren Frage: Was soll durch die Messung erreicht werden?  Nebenwirkungen beachten Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.201423 Indikatoren – Was muss man beachten?

24 „The application of mathematical and statistical methods to books and other media of communication“ (Pritchard, 1969). Bibliometrie ist mit dem Aspekt der quantitativen Untersuchung der Wissenschaft ein Teilgebiet der Wissenschaftssoziologie, mit dem Aspekt der quantitativen Untersuchung von (publizierten) Informationen Teilgebiet der Informationswissenschaft und hat ihre Ursprünge in der Bibliothekswissenschaft. Bibliometrische Indikatoren:  Publikationen als Proxy für Produktivität (-> Spezialisierung)  Koautorenschaften als Proxy für Kooperation (-> Netzwerkanalysen)  Zitierungen als Proxy für Wahrnehmung in der wiss. Community Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.201424 Forschungsindikatorik am Beispiel Bibliometrie

25 Für die Gewinnung bibliometrischer Daten genutzte Datenbanken Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.201425 Web of Science (WoS) – vor allem Science Citation Index Scopus Database (Elsevier) Chemical Abstracts Service (CAS) Literaturdatenbank INSPEC database for Physics, Electronics & Computing Physical Review Online Archive (PROLA) SAO/NASA Astrophysics Data System (ADS) Google Scholar Citations

26 Wissenschaftsrat: Forschungsrating Soziologie 2008, Bewertungskriterien Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.201426 Wissenschaftsrat (WR) (2008): Steuerungsgruppe der Pilotstudie Forschungsrating im Auftrag des Wissenschaftsrates. Forschungsleistungen deutscher Universitäten und außeruniversitärer Einrichtungen in der Soziologie Ergebnisse der Pilotstudie Forschungsrating des Wissenschaftsrats. Köln. http://www.wissenschaftsrat.de/texte/pilot_ergeb_sozio.pdf

27 Wissenschaftsrat: Forschungsrating Soziologie 2008 Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.201427 Wissenschaftsrat (WR) (2008): Steuerungsgruppe der Pilotstudie Forschungsrating im Auftrag des Wissenschaftsrates. Forschungsleistungen deutscher Universitäten und außeruniversitärer Einrichtungen in der Soziologie Ergebnisse der Pilotstudie Forschungsrating des Wissenschaftsrats. Köln. http://www.wissenschaftsrat.de/texte/pilot_ergeb_sozio.pdf

28 Wissenschaftsrat: Forschungsrating Soziologie 2008 Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.201428 Wissenschaftsrat (WR) (2008): Steuerungsgruppe der Pilotstudie Forschungsrating im Auftrag des Wissenschaftsrates. Forschungsleistungen deutscher Universitäten und außeruniversitärer Einrichtungen in der Soziologie Ergebnisse der Pilotstudie Forschungsrating des Wissenschaftsrats. Köln. http://www.wissenschaftsrat.de/texte/pilot_ergeb_sozio.pdf

29 Qualität in Lehre und Studium als mehrdimensionales Konstrukt Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.201429 Multifaktorielles Modell der Lehrveranstal- tungsqualität Quelle: Rindermann 2009

30 Beispiele Qualitätsindikatoren Studium und Lehre Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.201430 QualitätsindikatorGewichtung Benotung der Lehrveranstaltung (LV) insgesamt durch Studierende 50 % Einschätzung der Angemessenheit des Arbeitsaufwandes 12,5 % Einschätzung der Strukturierung der LV12,5 % Einschätzung des Engagements und der Motivation des Dozenten/der Dozentin 12,5 % Einschätzung der Fähigkeit des Dozenten/der Dozentin, auf Fragen und Belange der Studierenden einzugehen 12,5 % Nach: Craanen, Michael 2009: Fakultätsübergreifende Evaluation der Lehre am Karlsruher Institut für Technologie - KIT

31  31 verschiedene Indizes  „Kernset“ von 13 Indizes, die für alle Fächer verwandt werden  Indizes werden 1-10 Einzelitems gebildet  Skala von 1-sehr gut bis 6-sehr schlecht  Einteilung in Spitzen-, Mittel- und Schlussgruppe nach (nicht) signifikanter Abweichung vom Bundesmittelwert (im jeweiligen Fach) Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.201431 Indikatorenbildung beim nationalen CHE-Ranking: Studierendenurteile

32 32Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014 IndikatorMittelwertFallzahlGruppe Mittelwert für alle Hochschulen Gesamturteil3,635232,91 Lehrangebot3,55232,92 E-Learning2,894132,43 Methodenausbildung2,775222,38 Praxisbezug3,655123,45 Studienorganisation3,715232,96 Betreuung3,165032,41 Kontakt Studierende2,495032,15 Arbeitsmarktbezug3,44523,29 IT-Infrastruktur2,194422,39 Räume3,644932,95 Bibliotheken2,644732,25 Auslandsaufenthalte3,443232,78 Evaluationen3,694132,85 [1] [1] 1 = Spitzengruppe, 2 = Mittelgruppe, 3 = Schlussgruppe, 100 = nicht gerankt Überblick Indizes (ein Fachbereich)

33 LehrangebotMittelwert Gesamt- Mittelwert Standard- abweichung Fallzahl Anteil gut bis sehr gut Anteil mangel- haft bis un- genügend Inhaltliche Breite des Lehrangebots 3,372,691,245228,8%19,2% Forschungsbezug der Lehrveranstaltungen 3,242,891,224928,6%22,4% Internationale Ausrichtung des Lehrangebots 3,83,351,384619,6%34,8% Interdisziplinäre Bezüge innerhalb des Lehrangebots 3,322,661,324727,7%17% Didaktische Vermittlung des Lehrstoffs 3,392,771,135123,5%19,6% Möglichkeit, frühzeitig an der Forschung teilzunehmen 4,003,241,304714,9%42,6% 33Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014 Detaildaten auf Einzelitemebene (ein FB)

34 Agenda Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.201434 1. Gestiegener Bedarf an Informationen zur Qualitätsbeurteilung national und international 2. Überblick über Qualitätsbegriffe 3. Unterschiedliche Qualitäten in Hochschul- und Forschungseinrichtungen und deren Messung 4. Literaturhinweise

35 Harvey, L. / Green, D. (1993): Defining Quality. In: Assessment and Evaluation in Higher Education, Vol. 18, No 1, S. 9-34. Hornbostel, S. (2010): (Forschungs)Evaluation. In: Simon, D. / Knie, A. / Hornbostel, S. (Hg.): Handnbuch Wissenschaftspolitik. Wiesbaden, S. 293-309 Kehm, B.M. (2014): Global university rankings: impacts and unintended effects. In: European Journal of Education, 49 (1), S. 102-112. Download: 10.1111/ejed.12064, abgerufen am 15.07.14.10.1111/ejed.12064 Lessenich, S. (2014): Gibt es richtiges Leben im Falschen? Eine Warnung. In: DUZ 06/2014, S. 22. Pellert, A. (2002): Hochschule und Qualität. In: Reil, T. / Winter, M. (Hg.): Qualitätssicherung an Hochschulen: Theorie und Praxis. Bielefeld, S. 21-29. Nickel, S. (Hg.) (2014): Implementierung von Qualitätsmanagementsystemen. Erfahrungen aus der Hochschulpraxis. Gütersloh. Download: http://www.che.de/downloads/CHE_AP_163_Qualitaetsmanagementsysteme_2014.pdf, http://www.che.de/downloads/CHE_AP_163_Qualitaetsmanagementsysteme_2014.pdf Nickel, S. / Duong, S. / Ulrich, S. (2013): Informationsstrukturen zur Beurteilung von Leistungen in Forschung, Lehre und Studium. Akteure und Datenangebote in Deutschland. Download: http://www.che.de/downloads/CHE_AP_172_Leistungsbewertung_in_der_Wissenschaft.pdf, abgerufen am 15.07.14. http://www.che.de/downloads/CHE_AP_172_Leistungsbewertung_in_der_Wissenschaft.pdf Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.201435 Literaturhinweise

36 Rindermann, H. (2009): Lehrevaluation. Einführung und Überblick zu Forschung und Praxis der Lehrveranstaltungsevaluation an Hochschulen mit einem Beitrag zur Evaluation computerba­ sierten Unterrichts. 2. Leicht korrigierte Auflage. Landau. van Vught, F. A. (ed.) (2009): Mapping the Higher Education Landscape. Towards a European Classification of Higher Education. Towards a European Classification of Higher Education. Dordrecht. van Vught, F.A. / Ziegele, F. (eds.) (2012): Multidimensional Ranking. The Design and Development of U-Multirank. Dordrecht. Schmooch, U. (2014): Trotz alledem: Mitmachen lohnt sich. Eine Entwarnung. In: DUZ 06/2014, S. 23. Serrano-Velarde, K. (2008): Evaluation, Akkreditierung und Politik. Zur Organisation von Qualitätssicherung im Zuge des Bologna-Prozesses. Wiesbaden. Sondermann, M. / Simon, D. / Scholz, A.-M. / Hornbostel, S. (2008): Die Exzellenzinitiative: Beobachtungen aus der Implementierungsphase. iFQ-Working Paper No. 5. Bonn. Download: http://www.forschungsinfo.de/Publikationen/Download/working_paper_5_2008.pdf, abgerufen am 24.06.2013. http://www.forschungsinfo.de/Publikationen/Download/working_paper_5_2008.pdf Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.201436 Literaturhinweise

37 Vielen Dank für Ihre Aufmerksamkeit! sigrun.nickel@che.de


Herunterladen ppt "Was ist und wie misst man Qualität in der Wissenschaft? Dr. Sigrun Nickel | DAAD-Lektoren Seminar | 22.Juli 2014."

Ähnliche Präsentationen


Google-Anzeigen