Siegbert Reiß J.W. Goethe-University Frankfurt am Main Studienerfolg dank Self-Assessments?! Web-basierte Self-Assessments an der Universität Frankfurt Siegbert Reiß J.W. Goethe-University Frankfurt am Main eLearning Netzwerktag am 30. Juni 2008 in Frankfurt am Main eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt

Übersicht Entwicklungsanlass Was meint Self-Assessment? Entwicklungsschritte eines Self-Assessments Technische Anforderungen Evaluation prognostischer Validitäten Resümee eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt

Entwicklungsanlass Hohe Studienbewerberzahlen/Zulassungsbeschränkung Hohe Studienabbruchzahlen Lange Studienzeiten „Erstsemester-Schock“ bei vielen Studierenden eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt

Entwicklungsanlass Das Hochschulrahmengesetz (§ 14) verpflichtet die Hochschulen, die „Studierenden und Studienbewerber über die Studienmöglichkeiten und über Inhalte, Aufbau und Anforderungen eines Studiums" zu unterrichten und sie „durch eine studienbegleitende fachliche Beratung" zu unterstützen. eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt

Entwicklungsanlass Die Beratung von Studieninteressierten vor einer Studienentscheidung stellt eine notwendige und wichtige Kommunikations- und Serviceleistung der Hochschulen dar (Profilierung der Hochschulen). Die Studienberatung soll Informationen über die Studienvoraussetzungen und Studienanforderungen für alle in Betracht kommenden Studiengänge anbieten. eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt

Entwicklungsanlass Studienberatung soll einen Vergleich der Fähigkeiten, der Bedürfnisse und Erwartungen des Einzelnen mit den Anforderungen des interessierenden Studienfaches ermöglichen. Potenzielle Studienbewerber müssen sich Klarheit darüber verschaffen können, ob das Studienangebot der Hochschule ihrer Wahl zu ihren Wünschen passt und ob sie die Studienanforderungen nach eigener Einschätzung erfüllen (Person-Job-Fit-Ansatz). eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt

Entwicklungsanlass Entwicklung und Evaluation eines Konzeptes für die Beratung und Rückmeldung sowie für die Auswahl von Bewerbern für das Studium der Informatik und der Psychologie in Frankfurt. Gemeinsames Projekt der Studiengänge Informatik und Psychologie in der Erwartung, dass die Rückmeldung aus dem Online-Self-Assessment zu einer besseren Passung zwischen Bewerber und Studiengang führt (höhere Studienzufriedenheit, geringere Zahl von Studienab-brüchen, kürzere Studiendauer). eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt

Was meint Self-Assessment? Web-basiertes und selbstgesteuertes Beratungsinstrument Richtet sich an Studieninteressierte Bietet die Möglichkeit, die eigenen Fähigkeiten und akademischen Orientierungen zu erforschen Verwendet unterschiedliche Aufgaben und Fragen, die sich auf die spezifischen Anforderungen des Studienfachs beziehen Meldet individuelle Stärken und Schwächen des Teilnehmers hinsichtlich kognitiver Fähigkeiten, der Studienmotivation und zum Studierverhalten unter Bezugnahme auf die Studierendenpopulation des Faches zurück eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt

Entwicklungschritte eines SelfAssessments Test Konstruktion Anwendung Anforderungen Konstrukte Evaluation Identifika-tion der Studieanfor-derungen Literatur, Arbeitskreise, Befragungen und Absolventen-studien Überführung der identifizierten Anforderungen in psychologische Konstrukte Entwicklung von Tests und Fragenbogen zur Messung der definierten Konstrukts Datensamm-lung via Internet, in Schulen, Laufbahn-beratung etc. Datengeleitete Verbesse-rungen der eingesetzten Tests und Fragebogen Überprüfung der of Akzeptanz, Effekte Laufbahnent-scheidung und prädictive Validität (modifiziert nach Hornke, 2007) eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt 9

Technische Anforderungen an das Tool Bewahrung der Anonymität der Teilnehmer (Zuordnung der Psychologiestudierenden über eine zusätzliche Kodierung) Dauer der Bearbeitung bei 60 bis 90 Minuten Online- und Offline-Bearbeitung (Modul können nacheinander herunter geladen werden) Unterstützung einer festgelegten Bearbeitungsreihenfolge (Fehlermeldung bei Nichteinhaltung der Reihenfolge) Einschränkung maximaler Bearbeitungszeiten durch Timer; zeitbeschränkte Pausen zwischen einzelnen Blöcken; keine Zeiteinschränkung zwischen den Modulen eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt

Startseite des Self-Assessments Psychologie eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt

Teilnehmerrückmeldung eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt

Erprobungsstichproben für das Self-Assessment Stichprobe Psychologie Insgesamt 74 Studierende der Pflichtlehrveranstaltung „Psychologische Statistik I“ im ersten Studiensemesters bearbeiteten das Online-Self-Assessment und erhielten dafür Credits (quasi Vollerhebung einer Semesterkohorte). Stichprobe Informatik Insgesamt 84 Studierende der Lehrveranstaltung „Grundlagen der Programmierung I“ bearbeiteten auf freiwilliger Basis das Online-Self-Assessment. eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt

Prognose von Studienleistung - Beziehung Kognitive Leistung zu Leistung „Psychologische Statistik I“ N~62 Leistung „Grundlagen der Programmierung 1“ N~84 Skala Prog. Validität Spearman r Textverständnis Deutsch - .01 Textverständnis Englisch .12 Stochastik .56 ** Prozentrechnung .21 Bruchrechnung .09 Algebra .41 ** Schlussfolg. Denken – verb. Schlussfolg. Denken – fig. .02 Gesamtscore (Summenwert) .46 ** Skala Prog. Validität Spearman r Textverständnis Deutsch .11‏‏ Textverständnis Englisch .12 Logik .19 Mathematik .28 * Algorithmisches Denken .31 ** Schlussfolg. Denken - fig. .02 Gesamtscore (Summenwert) eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt

Prognose von Studienleistung - Beziehung Studierverhalten und Studienmotivation zu Leistung “Psychologische Statistik I” N~59 Leistung “Grundlagen der Programmierung 1” N~84 Skala Prog. Validität Spearman r Ängstlichkeit - .10 Anspruchsniveau .23 Arbeitshaltung - .16 Flow .28 * Kontrollüberzeugung .12 Leistungsanspruch Lernbereitschaft. .01 Offenheit für Neues. - .04 Entscheidungsfähigkeit - .31 * Stressbewältigung .36 ** Zielgerichtetheit .10 Zuversicht .18 Skala Prog. Validität Spearman r Ängstlichkeit .06 Anspruchsniveau - .16 Arbeitshaltung .20 Flow - .12 Kontrollüberzeugung - .01 Leistungsanspruch - .05 Lernbereitschaft. - .03 Offenheit für Neues. .03 Entscheidungsfähigkeit .15 Stressbewältigung -.09 Zielgerichtetheit .07 Zuversicht eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt

Resümee Die Prüfung der prognostischen Validität erfordert die Kontrolle der Erprobungsstichprobe hinsichtlich Selektions- effekten und einer korrekten Aufgabenbearbeitung durch dieTeilnehmer. Ist beides gewährleistet, sind die aus Studierendenauswahl- verfahren bekannten prognostischen Validitäten erzielbar. Weitere Studien zur prognostischen Validität des Verfahrens (z. B. in Hinsicht auf Zwischenprüfungen) sind notwendig. Insgesamt konnten die ersten Untersuchungen an Studien- anfängern die Praktikabilität und Validität des web- basierten-Self-Assessments bestätigen, so dass unseres Erachtens seiner Nutzung im Rahmen der Studienfachent- scheidung nichts entgegen steht. eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt

Vielen Dank für Ihre Aufmerksamkeit Adresse https://www.gdv.informatik.uni-frankfurt.de/self-assessment/Informatik/ https://www.gdv.informatik.uni-frankfurt.de/self-assessment/Psychologie/ Johann Wolfgang Goethe-Universität Frankfurt Abtlg. für Psychologische Methodenlehre, Evaluation und Forschungsmethodik Abtlg. für Graphische Datenverarbeitung eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt

Bestandteile des Self-Assessments Acht organisatorische HTML-Seiten mit Beschreibungen der Ziele und der Funktionsweise des Self-Assessments (Start-, Beschreibungs- Registrierungs-, Zugangs-, Auswertungsseite und Seiten zum Passwortmanagement) Zehn inhaltlichen Aufgabenblöcke (im Flash-Format), zusammengefasst zu drei Modulen eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt

Zusammensetzung der Module Modul I (ca. 60 Minuten): Studierverhalten und Studienmotivation I, Textverständnis Deutsch, Textverständnis Englisch, Mathematische Kompetenz (Stochastik, Bruchrechnen, Prozentrechnen, Algebra) Modul II (ca. 30 Minuten): Studierverhalten und Studienmotivation II, Interpretation von Tabellen und Diagrammen, Schlussfolgerndes Denken – verbal (Analogieaufgaben) Modul III (ca. 10 Minuten): Studierverhalten und Studienmotivation III, Interesse an Inhalten des Psychologiestudiums, Schlussfolgerndes Denken – figural (Matrizenaufgaben) eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt

Zusammensetzung der Module Modul I (ca. 60 Minuten): Studierverhalten und Studienmotivation I, Textverständnis Deutsch, Textverständnis Englisch, Mathematische Kompetenz (Stochastik, Bruchrechnen, Prozentrechnen, Algebra) Modul II (ca. 30 Minuten): Studierverhalten und Studienmotivation II, Interpretation von Tabellen und Diagrammen, Schlussfolgerndes Denken – verbal (Analogieaufgaben) Modul III (ca. 10 Minuten): Studierverhalten und Studienmotivation III, Interesse an Inhalten des Psychologiestudiums, Schlussfolgerndes Denken – figural (Matrizenaufgaben) eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt

Zusammensetzung der Module Modul I (ca. 60 Minuten): Studierverhalten und Studienmotivation I, Textverständnis Deutsch, Textverständnis Englisch, Mathematische Kompetenz (Stochastik, Bruchrechnen, Prozentrechnen, Algebra) Modul II (ca. 30 Minuten): Studierverhalten und Studienmotivation II, Interpretation von Tabellen und Diagrammen, Schlussfolgerndes Denken – verbal (Analogieaufgaben) Modul III (ca. 10 Minuten): Studierverhalten und Studienmotivation III, Interesse an Inhalten des Psychologiestudiums, Schlussfolgerndes Denken – figural (Matrizenaufgaben) eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt

eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt

Aktueller Entwicklungsstand des Online- Self-Assessment Psychologie Interne Erprobungsversion seit Juni 2006 zugänglich - Gegliedert in zehn inhaltlichen Aufgabenblöcke (7 Skalen zum Leistungsbereich, 12 Skalen zum Studierverhalten und zur Studienmotivation, 4 Interessensbereiche) zusammengefasst in drei Modulen - 60 bis 90 Minuten durchschnittliche Bearbeitungsdauer - Online- und Offline-Bearbeitung möglich - Unterstützung einer festgelegten Bearbeitungsreihenfolge der Blöcke - Einschränkung maximaler Bearbeitungszeiten der Blöcke durch Timer; zeitbeschränkte Pausen zwischen einzelnen Blöcken; keine Zeitein schränkung zwischen den Modulen Erprobungsstichproben SS2006/WS2006/07 und SS 2007 Öffentliche Zugänglichkeit seit SS 2008 eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt

Akademische Laufbahnentscheidung Integration des SelfAssessments in den Prozess der Laufbahnentscheidung Klasse 11 12 (13) Abitur Universitätszulassung Akademische Laufbahnentscheidung Begleitet durch: Internet, Medien Eltern, Lehrer, Freunde Entscheidung Auswahl Beratungs- und Informationsdienste Informationsmaterial der Universitäten Self-Assessment (nach Hornke, 2007) eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt

Skalenanalysen Kognitive Leistungen Informatik Skala Cronbach’s α Item- a n z a hl Erklärte Varianz auf dem 1. Faktor Logik 0,35 4 36,8% Mathematik 0,52 6 30,6% Algorithmisches Denken 0,41 5 31,4% Textverständnis Deutsch 0,43 2 63,8% Textverständnis Englisch 0,13 3 37,0% Figurale Matrizenaufgaben 0,73 11 33,1% eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt

Skalenanalysen Kognitive Leistungen Informatik Skala Cronbach’s α Item- a n z a hl Erklärte Varianz auf dem 1. Faktor Kontrollüberzeugung 0,63 6 37,2% Entscheidungsfähigkeit 0,74 4 57,2% Belastbarkeit (Ängstlichkeit) 0,76 7 44,7% Zuversicht 0,82 9 48,5% Risikobereitschaft (Offenheit für Neues) 0,67 34,5% Zielgerichtetheit 0,75 10 32,5% Erfolgsorientierung (Stressbewältigung) 0,81 41,8% Flow 0,80 8 42,2% Leistungsdenken 0,84 42,5% Lernbereitschaft 0,64 49,5% Anspruchsniveau 0,87 58,2% Lerntechniken 0,54 43,2% Arbeitshaltung 0,71 53,6% Interessenfragen 0,85 20 30,4% eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt

Skalenanalysen Stichprobe I und II Kognitive Leistungen 1 Faktorenanalysen für dichotome Items wurden mit dem Programm mixFactor 1.3.75 von Häusler & Kubinger (Universität Wien) durchgeführt. eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt

Skalenanalysen Stichprobe I und II Studierverhalten und Studienmotivation eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt

Prognose von Studienleistung - Beziehung Kognitive Leistung zu Leistung im Fach „Psychologische Statistik II“ Stichprobe N~46 eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt

Prognose von Studienleistung - Beziehung Studierverhalten und Studienmotivation zu Leistung im Fach “Psychologische Statistik II” Stichprobe N~45 Skala Prog. Validität Spearman r Ängstlichkeit -.23 Anspruchsniveau .18 Arbeitshaltung -.03 Flow .20 Kontrollüberzeugung .21 Leistungsanspruch -.06 Lernbereitschaft -.09 Offenheit für Neues .04 Entscheidungsfähigkeit -.15 Stressbewältigung .28 Zielgerichtetheit .19 Zuversicht .24 eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt

Prognose von Studienleistung Vorhersagemodell für das Kriterium Studienerfolg (Leistung im Fach „Psychologische Statistik I“) von Stichprobe II (N=57). 4 Einflußvariablen: R R2 Kognitive Leistung (Summenwert) Entscheidungsfähigkeit Flow Stressbewältigung .52 .27 eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt