Qualitätsentwicklung & Evaluation von E-Learning – eine kritische Zwischenbilanz Prof. Dr. Patricia Arnold Hochschule München Campus Innovation, 26.11.09, Hamburg

Anlass: Zeit für einen Rückblick… Qualitätsentwicklung im e-Learning Bis 2003 (Arnold et.al. 2004) Seit 2004 DIN 9000ff. EFQM LQW ZFU Leitfaden PAS 1032-1/2 („Prozessmodell) 2004 ISO 19796-1/3 (Internationaler Standard) 2005/2009 PAS 1037 „QM-Stufenmodell“) 2004 PAS 1068 „Beipackzettel“ 2006 PAS 1069 „Leitfaden“ 2009 Qualitätsplattform Lernen Gütesiegel TU Darmstadt E-Learning Label TU Darmstadt Certificate of E-Learning (CEL) …

Struktur des Vortrags Herausforderung Qualität im E-Learning Qualitätsentwicklung im Überblick E-Learning Label der TU Darmstadt Referenzprozessmodell PAS 1032-1 Qualitätsplattform Lernen (QPL) Zwischenbilanz - und neue Herausforderungen

Herausforderung: Qualität im E-Learning „Eine Eigenart von Bildung insgesamt, die sie von anderen Dienstleistungen unterscheidet, ist, dass der Abnehmer der Leistung die Leistung selber mitproduziert. Bildungsarbeit ist die Leistung derjenigen, die sich bilden, sie ist ein Prozess, der wesentlich subjektive Faktoren integriert, wie Interesse, Emotionalität und Engagement.“ (Küchler 2000) Qualität wird „erst im Prozess des Lernens von den Lernenden selbst hergestellt.“ (Zimmer/Psaralidis 2000) Ko-Produzentenverhältnis von Qualität im Bereich Bildung berücksichtigen!

Qualität - ein vielschichtiges Konzept Begriffsdimensionen Qualitätsebenen Einhalten / Über- treffen von Standards Fehlerlosigkeit Zweckmäßigkeit Angemessener Gegenwert Transformation: Lernergebnis Input-Aspekte Durchführungs-Aspekte Output-Aspekte Bezugspunkt Produktqualität Prozessqualität „Über Qualität […] lässt sich also nicht abstrakt, sondern nur in einem definierten Kontext verhandeln.“ (Küchler 2000)

Herausforderung: Qualität im E-Learning II E-Learning hochgradig interdisziplinär, zahlreiche verschiedene Akteure beteiligt, mit je unterschiedlichen Akteursperspektiven auf Qualität: Lernende, Lehrende, Autoren, Medienentwickler, Teletutoren etc. Im Hochschulkontext: Fakultäten, Rechenzentren, Hochschulleitungen etc. Verständigungsprozess über unterschiedliche Akteursperspektiven auf Qualität notwendig Nachweis von Qualitätsmanagementsystemen zunehmend gefordert z.B. in der Anerkennungs- und Zulasssungsverordnung Weiterbildung (AZVW) im Bereich der beruflichen Bildung

Qualitätsentwicklung im Überblick 1 Qualität auf der Ebene des E-Learning-Produkts (Mikroebene) Z.B. TU Darmstadt Gütesiegel, ZFU-Leitfaden 2 Qualität auf der Ebene eines Bildungsangebots/Studiengangs (Mesoebene) Z.B. TU Darmstadt E-Learning Label, Certifcate of E-Learning 3 Qualität auf Prozessebene der Organisation (Makroebene): Z.B. QM-Modelle PAS 1032-1 (ISO 19796-1), PAS 1037 QM Stufenmodell 4 Qualität durch Preise/Auszeichnungen entwickeln – E-Learning Awards 5 Qualität durch Qualifizierung der Lehrenden/Online-Tutoren entwickeln

Beispiel: Online-Studiengang BA Soziale Arbeit (basa-online) Mikroebene Mesoebene Makroebene Online-Module mit multimedial aufbereiteten Studienmaterialien entwickeln Online-Studiengang an den einzelnen Hochschulen (als Angebot des lebenslangen Lernens gemäß Bologna-Zielen) etablieren Weiterentwicklungsprozesse (Aktualisierung, Evaluation etc.) auf Ebene des Anbieter-Hochschulverbundes entwickeln

Beispiel E-Learning Label TU Darmstadt Selbstevaluation mittels Online-Fragebogen Evaluation durch Befragung der Studierenden Durchführung Funktionen Definition von EL- Veranstaltungen Kennzeichnung von EL- Angeboten Sicherung einer Mindestqualität Etablierung von Evaluationsmaßnahmen zur Weiterentwicklung Lernerorientierung Erweiterung der Lehr/Lerninhalte Unterstützung der Selbststudiums-phasen Betreuung und Beratung der Studierenden Erweiterung der Lernzugänge Aktivierung der Studierenden Im Lehr/Lernprozess Sonnberger 2008

Überblick über Evaluationsverfahren Evaluation von E-Learning Expertenverfahren Empirische Verfahren Kriterien-kataloge Beobach- tungen … Logfile-Analyse Befragungen Cognitive walkthrough … + reale Lernsituation berücksichtigt + Evaluationsdesigns mit Handlungsforschung …möglich + Lernerorientierung - aufwändiger, je spezifisches Design + geringer Aufwand, scheinen ...Qualität objektiv zu messen - Berücksichtigen Lerner und ...Rahmenbedingungen nicht

Prozessmodell PAS 1032-1 (ISO 19796-1) Anforderungsermittlung Rahmen-bedingungen Konzeption … Produktion … Einführung … Durch-führung Evaluation … Konzeption Produktion Einführung Konzeption des Medien- und Interaktions- designs Konzeption Medieneinsatz Konzeption der Kommunikations- möglichkeiten und -formen

Qualitätsmanagementmodelle im Überblick generisch spezifisch . DIN EN ISO 9000ff. LQW (Lernerorientierte Qualitätstestierung in der Weiterbildung) PAS 1032-1/2 (Aus– und Weiterbildung mit Schwerpunkt E-Learning) „Hauskonzept“ EFQM (European Foundation for Quality Management) PAS 1037 (Organisationen der wirtschaftsorientierten Aus- und Weiter-bildung: QM STUFEN-MODELL) ISO 19796-1/3 (Informationstechnik - Lernen, Ausbilden und Weiterbilden ) Branchenunabhängig, „Übersetzungsleistung“ erforderlich Spezifische Entwicklung für die eigene Organisation für Bildungs sektor für E-Learning

Weitere Spezifikationen für E-Learning PAS 1068:2006 Aus- und Weiterbildung unter besonderer Berücksichtigung von e-Learning – Leitfaden zur Beschreibung von Bildungsangeboten „Beipackzettel“ zur Förderung von Transparenz im E-Learning PAS 1069:2009 Aus- und Weiterbildung unter besonderer Berücksichtigung von E-Learning - Leitfaden zum Referenzprozessmodell für Qualitätsmanagement und Qualitätssicherung - Planung, Entwicklung, Durchführung und Evaluation von Bildungsprozessen und Bildungsangeboten : Leitfaden und Qualitätsprofile für die PAS 1032-1 Leitfaden zur Umsetzung der PAS 1032-1 mit Praxisbeispielen

Qualitätsplattform Lernen (QPL) Verschiedene etablierte Instrumente der Qualitätsenwicklung sind integriert: Prozessmodell der ISO/IEC 19796-1 (bzw. PAS 1032-1 ), PAS 1068 „Leitfaden für die Begutachtung von Fernlehrgängen“ (ZFU), Qualitätssiegel E-Learning QSEL sowie alle derzeit relevanten Zertifizierungsmodelle wie z.B. LQW, EFQM Kriterienkataloge z.B. des TU Darmstadt-Gütesiegels,. Modularer Aufbau Teil A: Qualität von Bildungsangeboten Teil B: Qualität von Organisationen - Basic Teil C: Qualität von Organisationen – Exzellenz Steht seit Juni 2009 unter Creative-Commons- Lizenz "BY-NC-SA 3.0" online zur Verfügung

Zwischenbilanz … Es liegen eine Reihe E-Learning spezifischer Zertifizierungsmodelle, Spezifikationen sowie ein internationaler Standard ISO 19796 vor - auf Prozess- wie auch auf Produktebene Qualitätsentwicklung muss aber immer kontextualisiert erfolgen, d.h. auf die eigene Organisation, die Rahmenbedingungen, die Lernenden und die Ziele angepasst werden Komplexer Aushandlungsprozess, der Ressourcen und Kommunikation benötigt („QM muss leben“) Qualitätsentwicklung ist ein zyklischer, iterativer Prozess Formative Evaluationen mit unterschiedlichen empirischen Verfahren integrieren ...und neue Herausforderungen:

Neue Herausforderungen… Wie lassen sich Qualitätsstandards, Prozessmodelle und Spezifikationen auf E-Learning 2.0 (mit Wikis, Weblogs, Online Communities)sowie im Bereich der Freien Bildungsressourcen (Open Educational Resources OER) anwenden bzw. hier umsetzen? Auf der Agenda 2010 der European Foundation for Quality in E-Learning (EFQUEL) “Promote the use of Open Educational Resources through the identification of suitable methods for quality development for Open Educational Resources Increasing usage in Open Educational Resources by creating mechanisms which improve the trust in Open Educational Resources within and outside of education” http://www.qualityfoundation.org/:

Vielen Dank… …..für Ihre Aufmerksamkeit! Kontakt: Prof. Dr. Patricia Arnold Fakultät für angewandte Sozialwissenschaften Hochschule München arnold@hm.edu