Pilotprojekt Lehrevaluation am WWZ: Ergebnisse Vizerektorat Entwicklung SAQE 23.06.2011

Rückblick: Pilotprojekt an der WW-Fakultät im HS 10 Ablauf Best Practice- Austausch, Recherche, Analyse (Aug 2010) Projektergebnisse festlegen Workshops mit Anspruchsgruppen (Aug 2010) Analyse Workshop- ergebnisse (Sep 2010) Vorgehen / Um- Setzung evaluieren und optimieren Vorgehen planen Entscheid Pilotphase (Sep 2010) Entscheid Evaluation ab HS 11 (Mai 2011) Evaluation der Pilot- evaluation, Berichter- stellung (Jan-Mär 2011) Planung Pilotevaluation (Okt, Nov 2010) Vorgehen umsetzen Erstellung Materialien (Okt, Nov 2010) Prozess- / Instrumen- tenverbesserung (Mär-Mai 2011) Pilotevaluation (Dez 2010)

Ergebnisse: Fragebogenevaluation Ablauf Ergebnisse: Fragebogenevaluation Gesamturteil: Studierende: Dozierende: CK-Mitglieder: Vorteile: Kritikpunkt: sehr gut, deutlich besser als der bisherige Fragebogen „Ich schätze seine Breite“ „Ich schätze, dass er mir gerechter wird als der bisherige Fragebogen“ „Ich schätze, dass er mir mehr Informationen liefert“ theoretisch-empirische Fundierung Breite Differenzierung Praxisnähe offene Kommentarmöglichkeiten individuelle Rückmeldungsmöglichkeit pro DozentIn gute testtheoretische Güte Fragebogenlänge

Ergebnisse: Feedbackgesprächsevaluation Ablauf Ergebnisse: Feedbackgesprächsevaluation Gesamturteil: Studierende: Dozierende CK-Mitglieder: Vorteile: Kritikpunkte: Feedbackgespräch Gesamturteil: Studierende: Dozierende CK-Mitglieder: Vorteile: Kritikpunkte: nur teilweise gewünschte Wirkung Rückmeldung der Ergebnisse, fühlen sich ernst genommen Rückmeldungs- und Diskussionsmöglichkeit der Ergebnisse --- breite Rückmeldungsmöglichkeit der Ergebnisse Möglichkeit, Ergebnisse im Plenum zu diskutieren Braucht viel Zeit zum Diskussionsanstoss Diskussion verläuft zäh wenig Studierendenrückmeldungen nur teilweise gewünschte Wirkung „Ich schätze, dass mir die Ergebnisse rückgemeldet werden“ „Ich schätze, dass ich die Ergebnisse kommentieren kann“ --- Rückmeldungsmöglichkeit Kommentiermöglichkeit Diskussionsanstoss Diskussionsverlauf Studierendenrückmeldungen

Ergebnisse: Fokusgruppengesprächsevaluation Ablauf Ergebnisse: Fokusgruppengesprächsevaluation Gesamturteil: Studierende: Dozierende: Vorteile: Kritikpunkte: Fokusgruppe Gesamturteil: Studierende: Dozierende: Vorteile: Kritikpunkte: Äusserst positive Beurteilung direkter Kontakt mit Dozierenden, offen, geschätzt vertiefte Diskussion von Rückmeldungen, Erarbeitung von Verbesserungsmöglichkeiten, offen, gewinnbringend Einblick- und Mitwirkungsmöglichkeit für Studierende Vertiefte Diskussionsmöglichkeit für Dozierende gemeinsame Erarbeitungsmöglichkeit von Verbesserungsmassnahmen Möglicher Wiederholungseffekt bei allsemestriger Durchführung Aufwand Zweifel an Repräsentativität der Studierendenurteile äusserst positive Beurteilung „Ich schätze den direkten Kontakt mit den Dozierenden“ „Ich schätze die Möglichkeit, die Ergebnisse vertieft diskutieren zu und Lösungen gemeinsam erarbeiten zu können“ Einblick- und Mitwirkungsmöglichkeit Vertiefte Diskussionsmöglichkeit gemeinsame Erarbeitungsmöglichkeit von Verbesserungsmassnahmen Möglicher Wiederholungseffekt Aufwand Informationsrepräsentativität

Statistische Fragebogenanalyse Ablauf Statistische Fragebogenanalyse Ziel: Methode: Ergebnis: grundlegende testtheoretische Überprüfung Itemanalysen (Verteilungswerte, Trennschärfen, Schwierigkeitsindizes) Korrelationsanalysen Faktorenanalysen sehr gut Untermauerung der Güte der Fragebogenitems, der Fragebogenskalierung und des Fragebogen an sich im Sinne der testtheoretischen Gütekriterien

Fazit Ablauf Fragebogen: Feedbackgespräch: Fokusgruppe: sehr gut, komprimieren auf zwei Seiten (i.d.R.) Feedback anstatt Feedbackgespräch eine „Perle“, alternierend einsetzen

Projektstart an weiteren Weiteres Vorgehen an der WW-Fakultät Ablauf Ergebnisse festlegen Projektstart an weiteren Fakultäten (Aug 2011) Entscheid Evaluation ab HS 11 (Mai 2011) Vorgehen / Um- Setzung evaluieren und optimieren Vorgehen planen Arbeitsgruppe Instrumente zur Weiterentwicklung (ab Aug 2011) Operationalisierung (Mär-Mai 2011) Vorgehen umsetzen Evaluation (Aug-Dez 2011)