Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Was ist und wie misst man Qualität in der Wissenschaft? Dr. Sigrun Nickel | DAAD-Lektoren Seminar | 22.Juli 2014.

Ähnliche Präsentationen


Präsentation zum Thema: "Was ist und wie misst man Qualität in der Wissenschaft? Dr. Sigrun Nickel | DAAD-Lektoren Seminar | 22.Juli 2014."—  Präsentation transkript:

1 Was ist und wie misst man Qualität in der Wissenschaft? Dr. Sigrun Nickel | DAAD-Lektoren Seminar | 22.Juli 2014

2 Agenda Qualität in der Wissenschaft | Dr. Sigrun Nickel | Gestiegener Bedarf an Informationen zur Qualitätsbeurteilung national und international 2. Überblick über Qualitätsbegriffe 3. Unterschiedliche Qualitäten in Hochschul- und Forschungseinrichtungen und deren Messung 4. Literaturhinweise

3 Agenda Qualität in der Wissenschaft | Dr. Sigrun Nickel | Gestiegener Bedarf an Informationen zur Qualitätsbeurteilung national und international 2. Überblick über Qualitätsbegriffe 3. Unterschiedliche Qualitäten in Hochschul- und Forschungseinrichtungen und deren Messung 4. Literaturhinweise

4  Einen großen Raum nehmen Informationen ein, die eine Beurteilung von Leistungen in Forschung, Lehre und Studium in Hochschulen und Forschungseinrichtungen ermöglichen. Methoden:  Indikatorgestützte Leistungsvergleiche,  Peer Reviews/Evaluationen,  wissenschaftliche Studien.  Längst geht es nicht mehr nur um die Offenlegung wissenschaftlicher Ergebnisse gegenüber Politik und Gesellschaft, sondern verstärkt auch um die Bewertung und Kontextualisierung erbrachter Leistungen etwa in Form von Evaluationen, Akkreditierungen, Benchmarks, indikatorgestützter Leistungsvergleiche und wissenschaftlicher Studien.  Vor diesem Hintergrund hat sich eine vielfältige Szene an Institutionen etabliert, die solche Informationen bezogen auf Hochschulen und Forschungseinrichtungen produzieren. Qualität in der Wissenschaft | Dr. Sigrun Nickel | Hintergründe für gestiegenen Bedarf an Informationen zur Qualitätsbeurteilung

5 5 Qualität in der Wissenschaft | Dr. Sigrun Nickel | In Deutschland aktive nationale Institutionen mit Informations- angeboten zur Leistungsbeurteilung in der Forschung Quelle: Nickel, Duong, Ulrich 2013: Informationen zur Leistungsbeurteilung in Forschung, Lehre und Studium.

6 6 Qualität in der Wissenschaft | Dr. Sigrun Nickel | In Deutschland aktive nationale Institutionen mit Informations- angeboten zur Leistungsbeurteilung in Studium und Lehre Quelle: Nickel, Duong, Ulrich 2013: Informationen zur Leistungsbeurteilung in Forschung, Lehre und Studium.

7 In Deutschland aktive internationale Institutionen mit Informationsangeboten zur Leistungsbeurteilung in der Forschung 7 Qualität in der Wissenschaft | Dr. Sigrun Nickel | Quelle: Nickel, Duong, Ulrich 2013: Informationen zur Leistungsbeurteilung in Forschung, Lehre und Studium.

8 In Deutschland aktive internationale Institutionen mit Informationsangeboten zur Leistungsbeurteilung in Studium und Lehre Qualität in der Wissenschaft | Dr. Sigrun Nickel |

9  Diskussion um europäisches Ranking während der Französischen Ratspräsidentschaft  Im Zusammenhang mit European Classification: Classification und Ranking als Instrument der Transparenz  Französische „Presidency Declaration“  Alternative zu Shanghai-Ranking (genauer vgl. Ranking- Übersicht: ranking.de/cms/?getObject=47&getLang=de)http://www.che- ranking.de/cms/?getObject=47&getLang=de  Online-Portal U-Multirank:  Beteiligung aktuell: 879 Hochschulen in 70 Ländern weltweit Qualität in der Wissenschaft | Dr. Sigrun Nickel | Projekt „Global University Ranking“

10 1.Schemes on education  Types of degrees offered  Range of subjects offered  Orientation of degrees (academic/professional)  European educational profile 2.Schemes on reasearch and innovation  Research intensiveness  Innovation intensiveness research  European research profile 3.Schemes of students and staff profile  International orientation  Involvement in life-long-learning 4.Institutional schemes  Size  Mode of delivery  Community services  Public/Private funding  Legal status 10 Diversifizierung im europäischen Hochschulraum Qualität in der Wissenschaft | Dr. Sigrun Nickel | dritte Projektphase beendet: Projektstart: Classifying European Institutions of Higher Education (CEIHE) – Mapping Diversity

11 U-Multirank bildet Hochschulprofile ab Qualität in der Wissenschaft | Dr. Sigrun Nickel | Aufbauend auf U-Map, vgl. Folie 10

12 Agenda Qualität in der Wissenschaft | Dr. Sigrun Nickel | Gestiegener Bedarf an Informationen zur Qualitätsbeurteilung national und international 2. Überblick über Qualitätsbegriffe 3. Unterschiedliche Qualitäten in Hochschul- und Forschungseinrichtungen und deren Messung 4. Literaturhinweise

13 „Qualität ist flüchtig, gleichzeitig aber die ‚driving force‘ des Hochschulsystems.“ Ada Pellert, 2002 Qualität ist anspruchsvoll

14 „Quality should be seen as a multi- dimensional und subjective concept. Good quality depends upon the objectives and criteria a person or group judges to be relevant in a specific context.“ Frans van Vught, 1994 Qualität ist relational

15 „Die Qualität von Forschung, Lehre und Studium zeigt sich in den sichtbaren Ergebnissen“. Qualität ist nachweisbar Sigrun Nickel, 2014

16  Exzellenz  Ziel- und Zweckerfüllung („fitness for purpose“)  Eignung des Ziels („fitness of purpose“)  Erfüllung formaler Richtlinien („compliance“)  Erfüllung von Standards  Kundenzufriedenheit  Gegenwert für Investitionen („value for money“)  Verantwortlichkeit („accountability“)  Fähigkeit zum institutionellen Wandel („capacity for change“) Qualität in der Wissenschaft | Dr. Sigrun Nickel | Verbreitete Qualitätsbegriffe im Hochschulbereich

17 Agenda Qualität in der Wissenschaft | Dr. Sigrun Nickel | Gestiegener Bedarf an Informationen zur Qualitätsbeurteilung national und international 2. Überblick über Qualitätsbegriffe 3. Unterschiedliche Qualitäten in Hochschul- und Forschungseinrichtungen und deren Messung 4. Literaturhinweise

18 Kausalkette im Qualitätsmanagement Qualität in der Wissenschaft | Dr. Sigrun Nickel | ZielqualitätProzessqualitätErgebnisqualität

19 Qualität der Zielsetzungen in Forschung sowie Lehre und Studium Qualität der internen Prozesse einer Hochschule Qualität der Ergebnisse der Studienangebote und Forschungsbereiche einer Hochschule Qualität der Wirkungen der Studienangebote und Forschungsbereiche einer Hochschule Qualität in der Wissenschaft | Dr. Sigrun Nickel | Unterschiedliche Qualitätsebenen in Hochschulorganisationen

20 Qualitätsziele entscheidend bestimmt… Qualität in der Wissenschaft | Dr. Sigrun Nickel | Hochschule MitbewerberÖffentlichkeit Stadt / Region Staat Leistungsabnehmer Private Einrichtungen … durch hochschulinterne und -externe Anspruchsgruppen Nach Urs Scheidegger (2001): Management des Strategiepro- zesses von Universitäten

21 Zielqualität Qualität in der Wissenschaft | Dr. Sigrun Nickel | Spezifisch:verständlich und einfach auf einen speziellen Sachbereich hin formuliert Messbar: der Erreichungsgrad kann anhand von Daten festgestellt werden Anspruchsvoll:herausfordernd Realistisch:umsetzbar Terminiert:der Zeitraum, in dem das Ziel erreicht werden soll, ist angegeben; evtl. Meilensteine

22 Qualitätsbeurteilung Qualität in der Wissenschaft | Dr. Sigrun Nickel | Messe ich Performanz oder Qualität? Qualität ist eine Eigenschaft oder ein Bündel an Eigenschaften

23  Indikatoren sind (meist) ‚Proxies‘ Frage: Welche Informationen sind für die Qualitätsentwicklung der Hochschule relevant?  Indikatoren messen in der Regel nicht genau das, was gesteuert werden soll und sind in erster Linie Kommunikationsanlässe.  Bezug von Indikatoren zu Zielen muss klar sein Frage: Warum messen wir gerade das?  Zeitpunkt der Messung beachten  Für Qualitätssicherung sind Frühwarnsignale wertvoll  Verhaltenssteuernde Wirkungen von Indikatoren reflektieren Frage: Was soll durch die Messung erreicht werden?  Nebenwirkungen beachten Qualität in der Wissenschaft | Dr. Sigrun Nickel | Indikatoren – Was muss man beachten?

24 „The application of mathematical and statistical methods to books and other media of communication“ (Pritchard, 1969). Bibliometrie ist mit dem Aspekt der quantitativen Untersuchung der Wissenschaft ein Teilgebiet der Wissenschaftssoziologie, mit dem Aspekt der quantitativen Untersuchung von (publizierten) Informationen Teilgebiet der Informationswissenschaft und hat ihre Ursprünge in der Bibliothekswissenschaft. Bibliometrische Indikatoren:  Publikationen als Proxy für Produktivität (-> Spezialisierung)  Koautorenschaften als Proxy für Kooperation (-> Netzwerkanalysen)  Zitierungen als Proxy für Wahrnehmung in der wiss. Community Qualität in der Wissenschaft | Dr. Sigrun Nickel | Forschungsindikatorik am Beispiel Bibliometrie

25 Für die Gewinnung bibliometrischer Daten genutzte Datenbanken Qualität in der Wissenschaft | Dr. Sigrun Nickel | Web of Science (WoS) – vor allem Science Citation Index Scopus Database (Elsevier) Chemical Abstracts Service (CAS) Literaturdatenbank INSPEC database for Physics, Electronics & Computing Physical Review Online Archive (PROLA) SAO/NASA Astrophysics Data System (ADS) Google Scholar Citations

26 Wissenschaftsrat: Forschungsrating Soziologie 2008, Bewertungskriterien Qualität in der Wissenschaft | Dr. Sigrun Nickel | Wissenschaftsrat (WR) (2008): Steuerungsgruppe der Pilotstudie Forschungsrating im Auftrag des Wissenschaftsrates. Forschungsleistungen deutscher Universitäten und außeruniversitärer Einrichtungen in der Soziologie Ergebnisse der Pilotstudie Forschungsrating des Wissenschaftsrats. Köln.

27 Wissenschaftsrat: Forschungsrating Soziologie 2008 Qualität in der Wissenschaft | Dr. Sigrun Nickel | Wissenschaftsrat (WR) (2008): Steuerungsgruppe der Pilotstudie Forschungsrating im Auftrag des Wissenschaftsrates. Forschungsleistungen deutscher Universitäten und außeruniversitärer Einrichtungen in der Soziologie Ergebnisse der Pilotstudie Forschungsrating des Wissenschaftsrats. Köln.

28 Wissenschaftsrat: Forschungsrating Soziologie 2008 Qualität in der Wissenschaft | Dr. Sigrun Nickel | Wissenschaftsrat (WR) (2008): Steuerungsgruppe der Pilotstudie Forschungsrating im Auftrag des Wissenschaftsrates. Forschungsleistungen deutscher Universitäten und außeruniversitärer Einrichtungen in der Soziologie Ergebnisse der Pilotstudie Forschungsrating des Wissenschaftsrats. Köln.

29 Qualität in Lehre und Studium als mehrdimensionales Konstrukt Qualität in der Wissenschaft | Dr. Sigrun Nickel | Multifaktorielles Modell der Lehrveranstal- tungsqualität Quelle: Rindermann 2009

30 Beispiele Qualitätsindikatoren Studium und Lehre Qualität in der Wissenschaft | Dr. Sigrun Nickel | QualitätsindikatorGewichtung Benotung der Lehrveranstaltung (LV) insgesamt durch Studierende 50 % Einschätzung der Angemessenheit des Arbeitsaufwandes 12,5 % Einschätzung der Strukturierung der LV12,5 % Einschätzung des Engagements und der Motivation des Dozenten/der Dozentin 12,5 % Einschätzung der Fähigkeit des Dozenten/der Dozentin, auf Fragen und Belange der Studierenden einzugehen 12,5 % Nach: Craanen, Michael 2009: Fakultätsübergreifende Evaluation der Lehre am Karlsruher Institut für Technologie - KIT

31  31 verschiedene Indizes  „Kernset“ von 13 Indizes, die für alle Fächer verwandt werden  Indizes werden 1-10 Einzelitems gebildet  Skala von 1-sehr gut bis 6-sehr schlecht  Einteilung in Spitzen-, Mittel- und Schlussgruppe nach (nicht) signifikanter Abweichung vom Bundesmittelwert (im jeweiligen Fach) Qualität in der Wissenschaft | Dr. Sigrun Nickel | Indikatorenbildung beim nationalen CHE-Ranking: Studierendenurteile

32 32Qualität in der Wissenschaft | Dr. Sigrun Nickel | IndikatorMittelwertFallzahlGruppe Mittelwert für alle Hochschulen Gesamturteil3,635232,91 Lehrangebot3,55232,92 E-Learning2,894132,43 Methodenausbildung2,775222,38 Praxisbezug3,655123,45 Studienorganisation3,715232,96 Betreuung3,165032,41 Kontakt Studierende2,495032,15 Arbeitsmarktbezug3,44523,29 IT-Infrastruktur2,194422,39 Räume3,644932,95 Bibliotheken2,644732,25 Auslandsaufenthalte3,443232,78 Evaluationen3,694132,85 [1] [1] 1 = Spitzengruppe, 2 = Mittelgruppe, 3 = Schlussgruppe, 100 = nicht gerankt Überblick Indizes (ein Fachbereich)

33 LehrangebotMittelwert Gesamt- Mittelwert Standard- abweichung Fallzahl Anteil gut bis sehr gut Anteil mangel- haft bis un- genügend Inhaltliche Breite des Lehrangebots 3,372,691,245228,8%19,2% Forschungsbezug der Lehrveranstaltungen 3,242,891,224928,6%22,4% Internationale Ausrichtung des Lehrangebots 3,83,351,384619,6%34,8% Interdisziplinäre Bezüge innerhalb des Lehrangebots 3,322,661,324727,7%17% Didaktische Vermittlung des Lehrstoffs 3,392,771,135123,5%19,6% Möglichkeit, frühzeitig an der Forschung teilzunehmen 4,003,241,304714,9%42,6% 33Qualität in der Wissenschaft | Dr. Sigrun Nickel | Detaildaten auf Einzelitemebene (ein FB)

34 Agenda Qualität in der Wissenschaft | Dr. Sigrun Nickel | Gestiegener Bedarf an Informationen zur Qualitätsbeurteilung national und international 2. Überblick über Qualitätsbegriffe 3. Unterschiedliche Qualitäten in Hochschul- und Forschungseinrichtungen und deren Messung 4. Literaturhinweise

35 Harvey, L. / Green, D. (1993): Defining Quality. In: Assessment and Evaluation in Higher Education, Vol. 18, No 1, S Hornbostel, S. (2010): (Forschungs)Evaluation. In: Simon, D. / Knie, A. / Hornbostel, S. (Hg.): Handnbuch Wissenschaftspolitik. Wiesbaden, S Kehm, B.M. (2014): Global university rankings: impacts and unintended effects. In: European Journal of Education, 49 (1), S Download: /ejed.12064, abgerufen am /ejed Lessenich, S. (2014): Gibt es richtiges Leben im Falschen? Eine Warnung. In: DUZ 06/2014, S. 22. Pellert, A. (2002): Hochschule und Qualität. In: Reil, T. / Winter, M. (Hg.): Qualitätssicherung an Hochschulen: Theorie und Praxis. Bielefeld, S Nickel, S. (Hg.) (2014): Implementierung von Qualitätsmanagementsystemen. Erfahrungen aus der Hochschulpraxis. Gütersloh. Download: Nickel, S. / Duong, S. / Ulrich, S. (2013): Informationsstrukturen zur Beurteilung von Leistungen in Forschung, Lehre und Studium. Akteure und Datenangebote in Deutschland. Download: abgerufen am Qualität in der Wissenschaft | Dr. Sigrun Nickel | Literaturhinweise

36 Rindermann, H. (2009): Lehrevaluation. Einführung und Überblick zu Forschung und Praxis der Lehrveranstaltungsevaluation an Hochschulen mit einem Beitrag zur Evaluation computerba­ sierten Unterrichts. 2. Leicht korrigierte Auflage. Landau. van Vught, F. A. (ed.) (2009): Mapping the Higher Education Landscape. Towards a European Classification of Higher Education. Towards a European Classification of Higher Education. Dordrecht. van Vught, F.A. / Ziegele, F. (eds.) (2012): Multidimensional Ranking. The Design and Development of U-Multirank. Dordrecht. Schmooch, U. (2014): Trotz alledem: Mitmachen lohnt sich. Eine Entwarnung. In: DUZ 06/2014, S. 23. Serrano-Velarde, K. (2008): Evaluation, Akkreditierung und Politik. Zur Organisation von Qualitätssicherung im Zuge des Bologna-Prozesses. Wiesbaden. Sondermann, M. / Simon, D. / Scholz, A.-M. / Hornbostel, S. (2008): Die Exzellenzinitiative: Beobachtungen aus der Implementierungsphase. iFQ-Working Paper No. 5. Bonn. Download: abgerufen am Qualität in der Wissenschaft | Dr. Sigrun Nickel | Literaturhinweise

37 Vielen Dank für Ihre Aufmerksamkeit!


Herunterladen ppt "Was ist und wie misst man Qualität in der Wissenschaft? Dr. Sigrun Nickel | DAAD-Lektoren Seminar | 22.Juli 2014."

Ähnliche Präsentationen


Google-Anzeigen