Evaluationsprojekt der Fakultät III Einzelzielvereinbarungen zwischen dem Präsidenten der TU Berlin und der Fakultät III Lehrveranstaltungsevaluation Modulevaluation Preis für ausgezeichnete Lehre der Freunde der TUB Projektteam Leitung: Helmut Schubert, Silke Müllers Studentische Mitarbeit: Christian Bartke, Jana Andersen, Carina Sulttan, Anna Mikrzak Wissenschaftliche Beratung: Nina Baur 08.06.2012 Evaluationsprojekt der Fakultät III

Wenn das Studium abgebrochen wurde, was waren die Gründe? Umsetzung Studienabbruchanalyse Strukturierte Gruppendiskussionen Fragebogen zum Studienabbruch Welche Faktoren behindern den Studienfortschritt? Was sind Gefahren in den ersten Semestern? Wenn das Studium abgebrochen wurde, was waren die Gründe? Hauptgründe Voraussetzung für soziale Integration schaffen Unterstützung des selbst organisierten Lernens Berücksichtigung des Leistungsniveaus der Studierenden Evaluation der Lehre und des Workloads Optimierung der Studien- und Prüfungsorganisation Berücksichtigung außeruniversitärer Tätigkeit -> Modell für Teilzeitstudium Erweiterung des Informationsangebots zur Studienfachentscheidung Maßnahmen für ein erfolgreiches Studium fehlende Transparenz in der Prüfungsorganisation fehlende Räume für Gruppenarbeit & Selbststudium Leistungsdefizite und Prüfungsmisserfolge im Studienfach hohe psychische Belastung schlechte Lehrveranstaltungen Unzufriedenheit mit den Lehrenden unübersichtliche Studienorganisation zeitliche & fachliche Überforderung in Mathematik fehlende Praktikumsplätze fehlendes Feedback 08.06.2012 Evaluationsprojekt der Fakultät III

Einzelzielvereinbarungen zwischen dem Präsidenten der TU Berlin und der Fakultät III Maßnahmen Erfolgskriterium Zieldatum Ressourcen- bedarf Mittel­ Weiter- Entwicklung des Verfahrens zur Evaluation großer Lehrver- anstaltungen Zu den geplanten Maßnahmen gehören u.a.: - Weiterentwicklung der bestehenden Lehrveranstaltungs- evaluationen durch Studierendenbefragungen - Überarbeitung der bisherigen Fragebögen für Vorlesungen und Integrierte Veranstaltungen, ggf. Entwicklung von Fragebögen für weitere Lehrveranstaltungsformen in Zusammenarbeit mit ELV und den anderen Fakultäten - als Erhebungsinstrumente werden - soweit möglich - die Fragemodule von ELV übernommen - Abfrage bestimmter Gruppierungsmerkmale: Fakultät, Studiengang, Geschlecht, Pflichtkennzeichen sowie Fragen zu Workload und Stoffmenge - Verwendung der Kostenstelle als Befragungsmerkmal - Dokumentation des gesamten Verfahrens, um Verstetigung zu gewährleisten - Rückmeldung der real evaluierten Lehrveranstaltungen an ELV - Feedbacksystem für die Lehrenden LV-Evaluation an Fak. III wird regelmäßig in einem transparenten Verfahren durchgeführt; die Ergebnisse werden den Beteiligten mitgeteilt (Feedback); Durchdringungsgrad nach einem Durchlauf des Befragungsturnus wird dokumentiert; Speicherung der Daten aus Unizensus notwendige Personalmittel nach Ablauf der ZV: ein/e 40-Std- Tutor/in aus dem Kontingent der Fakultät 01.11.2010 bis 31.10.2011 verschoben: 01.04.2011 31.03.2012 1 Jahr 1 Tutor/in 80Std./Monat 12.500 evtl.Druck- kosten für Frage- bögen Modul- evaluation - Entwicklung von Fragebögen für die Evaluation von Modulen, ggf. unter Berücksichtigung aller Beteiligten (Studierende, Tutoren, Modulverantwortliche) - Modul-Evaluation hinsichtlich der Lehrveranstaltungen (Auswahl und Kombination, Lehrveranstaltungsarten, Lehrformen) und des Zeitpunkts im Studienverlauf - Workload-Evaluation Umsetzung der Ergebnisse und ggf. Überarbeitung der Studien- und Prüfungsordnungen der Studiengänge der Fakultät III Summe: 25.000 08.06.2012 Evaluationsprojekt der Fakultät III

Lehrveranstaltungsevaluation Ausweitung der Befragung auf alle großen Bachelor-Veranstaltungen, dabei Überarbeitung der bisherigen Fragebögen für Vorlesungen und Integrierte Veranstaltungen Carina Sulttan Entwicklung von Fragebögen für weitere Lehrveranstaltungsformen wie PR, UE, SE und andere Sonderveranstaltungen Christian Bartke Gruppendiskussion zu Praktika Carina Sulttan Erstellung eines „Evaluationsplaners“ Entwicklung eines Feedbacksystems für die Lehrenden Dokumentation des gesamten Verfahrens 08.06.2012 Evaluationsprojekt der Fakultät III

Update über Evaluations-Status Evaluierte Lehrveranstaltungen SoSe 2011 WiSe 2011/12 SoSe 2012 Anzahl 35 (33) 53 (49) ca. 25 Art angebotene VL angebotene VL, UE, PR angebotene PR, offene VL 08.06.2012 Evaluationsprojekt der Fakultät III 5

Problemanalyse der Evaluation im SoSe 11 & WiSe 11/12 Lösungsversuch enges Zeitfenster Überschneidung von Lehrveran-staltungen bzw. Evaluationsterminen Kommunikation mit den Lehrenden (Rückmeldungen auf Emails) interne Probleme (Arbeitsplätze, Druck- und Scanmöglichkeiten) Desinteresse der Lehrenden und der Studierenden rechtzeitige Ankündigung der anstehenden Evaluation teilweise Verteilung der Fragebögen durch die Lehrenden selbst größeres Zeitfenster der Evaluations-phase, Absprachen per Telefon gelöst schwierig Darstellung der Zielsetzung, des Verfahrens und der Ergebnisse 08.06.2012 Evaluationsprojekt der Fakultät III

Praktikumsevaluation WiSe 2011/12 Vorgehen Pretest eines Fragenkataloges zur Prüfung und Ermittlung - der Verständlichkeit der Fragen - der Eindeutigkeit und Vollständigkeit der Antwortvorgaben - der Befragungsdauer sowie Interesse und Aufmerksamkeit der Befragten Anschreiben der Fachgebiete für Teilnehmerzahlen und Praktikumszeiten Ergebnis 7 Praktika erfolgreiche evaluiert 2 Praktika zu wenig Rückmeldungen, 2 Praktika nicht evaluiert Teilnahme an der Evaluation - 215 Studierende gute Bewertung der Praktika: - bei 48 % der Fragen liegt der Median in der ersten Antwortkategorie - bei 51 % der Fragen liegt der Median in der zweiten Antwortkategorie 08.06.2012 Evaluationsprojekt der Fakultät III

Planung für den Zeitraum 1.4.2012 bis 31.03.2016 Erfüllung der Zielvereinbarungen im Bereich Lehrveranstaltungsevaluation Zeitraum 1.4.2011 bis 31.03.2012 Durchführung der LV-Evaluation in einem transparenten Verfahren Mitteilung der Ergebnisse an die Beteiligten: - Dozentenauswertung von UniZensus per Email an die Lehrenden - Studierendenauswertung online im Evaluationsportal der TU - Präsentation der Ergebnisse im Fakultätsrat Speicherung der Daten aus Unizensus Entwicklung und Einsatz eines neuen Fragebogens für Praktika Planung für den Zeitraum 1.4.2012 bis 31.03.2016 Weiterführung der Evaluation sowie Mitteilung und Speicherung der Ergebnisse und Dokumentation des Durchdringungsgrades nach jedem Durchlauf durch studentische Mitarbeiterin (40h/Monat) der Fakultät Diskussion innerhalb der Fakultät (siehe Folie „Ausblick“) 08.06.2012 Evaluationsprojekt der Fakultät III

Ausblick Lehrevaluation SoSe 2012 Lehrevaluation Praktika und evtl. offene Lehrveranstaltungen Evaluationsplaner Auswahl Studiengänge, Lehrveranstaltungen (BSc, MSc), Zyklus, weitere LV-Arten (VL, PR, UE, TUT, etc.) Diskussion in Ausbildungskommission und FKR Überarbeitung des Praktikumsfragenkataloges Spezielle Fragen zu Protokollen Anpassung an die verschiedenen Praktikumsformate Einsatz weiterer Evaluationsinstrumente Beispiele: „Lehrkonferenzen“, Gruppendiskussionen zu speziellen Themen, Interviews, Forum/Internet, „Kummerkasten“ Die Freitextkommentare zeige mit den genannten Punkten auf wichtige Kriterien für die Evaluation in den Praktika. Eine Anpassung des Bogens diesbezüglich ist daher anzustreben. (was sollte verändert werden, welche Vorschläge habe ich? wie würde ich mich daran beteiligen?) Die ersten Einblicke in evtl. Richtungen einer Übungsevaluation gibt die folgende Zusammenstellung verschiedener 08.06.2012 Evaluationsprojekt der Fakultät III

Evaluation der Module hinsichtlich Modulevaluation Evaluation der Module hinsichtlich Lehrveranstaltungen (Auswahl, Kombination, LV-Art, Lehrformen, Ziele, Kompetenzen) Zeitpunkt im Studienverlauf Workload Workload-Analyse in vier Modulen: Anna Mikrzak Analysis II Energie-, Impuls- und Stofftransport Physikalische Chemie Thermodynamik Gruppendiskussionen mit Studierenden zur Mathematik Jana Andersen 08.06.2012 Evaluationsprojekt der Fakultät III

Workloaderhebung Konzept „Pretest“ Phase – SoSe 2011 Standardisierter Fragebogen als Anhang in einigen Fragebögen der Lehrevaluation SoSe 2011 Präsenzzeit / Selbststudiumzeit / weitere Lebensbereiche Ziel: Ermittlung der „kritischen“ Module Kontinuierliche Erhebung – WiSe 2011/12 wöchentliche online Umfrage Präsenzzeit / Selbststudiumzeit vier evaluierte Module 08.06.2012 Evaluationsprojekt der Fakultät III

„Pretest“ Stichprobe Rücklauf: 97% (N=481) gerade Semester der Bachelorstudiengänge der Fak. III: N=231 Stichprobe ist repräsentativ Auswertung nach Studiengang und Fachsemesterzahl Ergebnisse in den meisten Fällen kein statistischer Zusammenhang zwischen Präsenzzeit und Zeit zum Selbststudium Vermutung: es werden weniger Module belegt als im Studienverlaufsplan vorgesehen dadurch Wahrnehmung der Selbststudiumszeit möglich 08.06.2012 Evaluationsprojekt der Fakultät III

Selbststudiumzeit (h) Median „Pretest“ Ergebnisse Studiengang Semesterzahl Präsenzzeit (SWS) Mittelwert Selbststudiumzeit (h) Median EPT 2 18 bis 10 4 16 bis 4 LMT 8-14 6 19 8-10 TUS 15 14-20 11 14 und mehr WeWi bis 8 10 bis 6/mehr als 10 BGT 22 mehr als 10 „SOLLWERT“ ca. 28 ca. 25 08.06.2012 Evaluationsprojekt der Fakultät III

„Pretest“ Schwachstellen zu kleine Stichproben Schwierigkeiten der Einschätzung der Stunden im Rückblick auf das ganze Semester, vor allem für die Selbststudiumszeit keine Aussagen über die jeweiligen Module Kontinuierliche Workloaderhebung Ergebnis zu geringe Beteiligung insgesamt und zu geringer Rücklauf trotz Anschreiben über ISIS und persönlichen Ankündigungen in den Lehrveranstaltungen 08.06.2012 Evaluationsprojekt der Fakultät III

Gruppendiskussion zu Praktika Thema: „Ökonomische und zeitliche Effizienz von Praktika“ 9 Teilnehmer/innen: Professoren, Wissenschaftlichen Mitarbeiter/innen, studentische Hilfskräfte, Studierende Vertreter der Studiengänge LMT, TUS, BT, EPT, WW Auswertung Nutzen der Praktika für die Studierenden auf wissenschaftlicher Ebene enorm, da Vertiefung des theoretischen Stoffes und Erfahrungen in der Handhabung Brücke zwischen Theorie an der Universität und Praxis im späteren Berufsleben unschätzbarer Vorteil im internationalen Vergleich Praktika als Element der Lehre unverzichtbar Fakultät sollte sich für einen Fortbestand der Praktika einsetzen 08.06.2012 Evaluationsprojekt der Fakultät III

Gruppendiskussion: „Mathematik und die Anderen“ Ausgangssituation Fachliche und inhaltliche Überforderung der Studierenden in den angebotenen Service-Modulen sowie unangemessene Berechnung der Leistungspunkte Forschungsfrage: „Warum fällt es Studierenden der Fakultät III so schwer, die Mathemodule, welche von der Fakultät II als Serviceveranstaltungen angeboten werden, zu bestehen?“ 08.06.2012 Evaluationsprojekt der Fakultät III

Gruppendiskussion: „Mathematik und die Anderen“ Fallzusammenfassung eine Gruppendiskussion mit 4 Mitgliedern ein Gruppeninterview mit 2 Personen zwei Einzelinterviews Ergebnisse vorwiegend positiv einzelne Zusatzangebote werden differenziert wahrgenommen (Tutorien-Sprechstunde, online, Fachmentorien usw.) Maßnahmen bessere Vernetzung der Studierenden  Erstsemesterfahrt Studierende besser über einzelne Angebote informieren „Early Bird“  sehr positive Rückmeldung, aber zu wenige Plätze 08.06.2012 Evaluationsprojekt der Fakultät III

Erfüllung der Zielvereinbarungen im Bereich Modulevaluation Untersuchung der Module Entwicklung und Einsatz von Fragebögen für die Durchführung der Workload-Evaluation sowie für die Findung der kritischen Module Gruppendiskussionen und Interviews zur Mathematik Gruppendiskussion zur Effizienz von Praktika Beteiligung der Studierenden und der Lehrenden an der Evaluation durch Fragebögen sowie an neuen Evaluationsmethoden äußerst gering Diskussion über Zielsetzung und Verfahren der Evaluation innerhalb der Fakultät notwendig Modulevaluation noch nicht weit reichend erforscht und derzeit aufgrund mangelnder Beteiligung schwierig 08.06.2012 Evaluationsprojekt der Fakultät III

Vergabe des Preises im Wert von 4000 € auf dem Erstsemestertag 2012 Vergabe des „Preis für vorbildliche Lehre“ der Gesellschaft von Freunden der TU Berlin an die Fakultät III Im Rahmen des Evaluationsprojekt hat sich die Fakultät für den Preis beworben und konnte diesen für sich gewinnen Verfahren und Zeitplan Erstes Treffen der Jury am 8. April 2012 Auswertung (Ranking) der Evaluationsergebnisse der letzten drei Semester mittels Alexander-Normierung Vorschlag von Dozent/innen auf Grundlage des Rankings Online-Befragung der Studierenden der Fakultät im Juni 2012 Entscheidung der Jury Ende SoSe 2012 große Grundlagen-Lehrveranstaltungen, „Qualität trotz Masse“, kleine problematischer in Auswertung und häufig auch sowieso besser bewertet, da spezifischer Vergabe des Preises im Wert von 4000 € auf dem Erstsemestertag 2012 08.06.2012 Evaluationsprojekt der Fakultät III