Siegbert Reiß J.W. Goethe-University Frankfurt am Main

Präsentation zum Thema: "Siegbert Reiß J.W. Goethe-University Frankfurt am Main"—  Präsentation transkript:

1 Siegbert Reiß J.W. Goethe-University Frankfurt am Main
Studienerfolg dank Self-Assessments?! Web-basierte Self-Assessments an der Universität Frankfurt Siegbert Reiß J.W. Goethe-University Frankfurt am Main eLearning Netzwerktag am 30. Juni 2008 in Frankfurt am Main eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt

2 Übersicht Entwicklungsanlass Was meint Self-Assessment?
Entwicklungsschritte eines Self-Assessments Technische Anforderungen Evaluation prognostischer Validitäten Resümee eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt

3 Entwicklungsanlass Hohe Studienbewerberzahlen/Zulassungsbeschränkung
Hohe Studienabbruchzahlen Lange Studienzeiten „Erstsemester-Schock“ bei vielen Studierenden eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt

4 Entwicklungsanlass Das Hochschulrahmengesetz (§ 14) verpflichtet die Hochschulen, die „Studierenden und Studienbewerber über die Studienmöglichkeiten und über Inhalte, Aufbau und Anforderungen eines Studiums" zu unterrichten und sie „durch eine studienbegleitende fachliche Beratung" zu unterstützen. eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt

5 Entwicklungsanlass Die Beratung von Studieninteressierten vor einer Studienentscheidung stellt eine notwendige und wichtige Kommunikations- und Serviceleistung der Hochschulen dar (Profilierung der Hochschulen). Die Studienberatung soll Informationen über die Studienvoraussetzungen und Studienanforderungen für alle in Betracht kommenden Studiengänge anbieten. eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt

6 Entwicklungsanlass Studienberatung soll einen Vergleich der Fähigkeiten, der Bedürfnisse und Erwartungen des Einzelnen mit den Anforderungen des interessierenden Studienfaches ermöglichen. Potenzielle Studienbewerber müssen sich Klarheit darüber verschaffen können, ob das Studienangebot der Hochschule ihrer Wahl zu ihren Wünschen passt und ob sie die Studienanforderungen nach eigener Einschätzung erfüllen (Person-Job-Fit-Ansatz). eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt

7 Entwicklungsanlass Entwicklung und Evaluation eines Konzeptes für die Beratung und Rückmeldung sowie für die Auswahl von Bewerbern für das Studium der Informatik und der Psychologie in Frankfurt. Gemeinsames Projekt der Studiengänge Informatik und Psychologie in der Erwartung, dass die Rückmeldung aus dem Online-Self-Assessment zu einer besseren Passung zwischen Bewerber und Studiengang führt (höhere Studienzufriedenheit, geringere Zahl von Studienab-brüchen, kürzere Studiendauer). eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt

8 Was meint Self-Assessment?
Web-basiertes und selbstgesteuertes Beratungsinstrument Richtet sich an Studieninteressierte Bietet die Möglichkeit, die eigenen Fähigkeiten und akademischen Orientierungen zu erforschen Verwendet unterschiedliche Aufgaben und Fragen, die sich auf die spezifischen Anforderungen des Studienfachs beziehen Meldet individuelle Stärken und Schwächen des Teilnehmers hinsichtlich kognitiver Fähigkeiten, der Studienmotivation und zum Studierverhalten unter Bezugnahme auf die Studierendenpopulation des Faches zurück eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt

9 Entwicklungschritte eines SelfAssessments
Test Konstruktion Anwendung Anforderungen Konstrukte Evaluation Identifika-tion der Studieanfor-derungen Literatur, Arbeitskreise, Befragungen und Absolventen-studien Überführung der identifizierten Anforderungen in psychologische Konstrukte Entwicklung von Tests und Fragenbogen zur Messung der definierten Konstrukts Datensamm-lung via Internet, in Schulen, Laufbahn-beratung etc. Datengeleitete Verbesse-rungen der eingesetzten Tests und Fragebogen Überprüfung der of Akzeptanz, Effekte Laufbahnent-scheidung und prädictive Validität (modifiziert nach Hornke, 2007) eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt 9

10 Technische Anforderungen an das Tool
Bewahrung der Anonymität der Teilnehmer (Zuordnung der Psychologiestudierenden über eine zusätzliche Kodierung) Dauer der Bearbeitung bei 60 bis 90 Minuten Online- und Offline-Bearbeitung (Modul können nacheinander herunter geladen werden) Unterstützung einer festgelegten Bearbeitungsreihenfolge (Fehlermeldung bei Nichteinhaltung der Reihenfolge) Einschränkung maximaler Bearbeitungszeiten durch Timer; zeitbeschränkte Pausen zwischen einzelnen Blöcken; keine Zeiteinschränkung zwischen den Modulen eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt

11 Startseite des Self-Assessments Psychologie
eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt

12 Teilnehmerrückmeldung
eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt

13 Erprobungsstichproben für das Self-Assessment
Stichprobe Psychologie Insgesamt 74 Studierende der Pflichtlehrveranstaltung „Psychologische Statistik I“ im ersten Studiensemesters bearbeiteten das Online-Self-Assessment und erhielten dafür Credits (quasi Vollerhebung einer Semesterkohorte). Stichprobe Informatik Insgesamt 84 Studierende der Lehrveranstaltung „Grundlagen der Programmierung I“ bearbeiteten auf freiwilliger Basis das Online-Self-Assessment. eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt

14 Prognose von Studienleistung - Beziehung Kognitive Leistung zu
Leistung „Psychologische Statistik I“ N~62 Leistung „Grundlagen der Programmierung 1“ N~84 Skala Prog. Validität Spearman r Textverständnis Deutsch - .01 Textverständnis Englisch .12 Stochastik .56 ** Prozentrechnung .21 Bruchrechnung .09 Algebra .41 ** Schlussfolg. Denken – verb. Schlussfolg. Denken – fig. .02 Gesamtscore (Summenwert) .46 ** Skala Prog. Validität Spearman r Textverständnis Deutsch .11‏‏ Textverständnis Englisch .12 Logik .19 Mathematik .28 * Algorithmisches Denken .31 ** Schlussfolg. Denken - fig. .02 Gesamtscore (Summenwert) eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt

15 Prognose von Studienleistung - Beziehung Studierverhalten und Studienmotivation zu
Leistung “Psychologische Statistik I” N~59 Leistung “Grundlagen der Programmierung 1” N~84 Skala Prog. Validität Spearman r Ängstlichkeit - .10 Anspruchsniveau .23 Arbeitshaltung - .16 Flow .28 * Kontrollüberzeugung .12 Leistungsanspruch Lernbereitschaft. .01 Offenheit für Neues. - .04 Entscheidungsfähigkeit - .31 * Stressbewältigung .36 ** Zielgerichtetheit .10 Zuversicht .18 Skala Prog. Validität Spearman r Ängstlichkeit .06 Anspruchsniveau - .16 Arbeitshaltung .20 Flow - .12 Kontrollüberzeugung - .01 Leistungsanspruch - .05 Lernbereitschaft. - .03 Offenheit für Neues. .03 Entscheidungsfähigkeit .15 Stressbewältigung -.09 Zielgerichtetheit .07 Zuversicht eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt

16 Resümee Die Prüfung der prognostischen Validität erfordert die Kontrolle der Erprobungsstichprobe hinsichtlich Selektions- effekten und einer korrekten Aufgabenbearbeitung durch dieTeilnehmer. Ist beides gewährleistet, sind die aus Studierendenauswahl- verfahren bekannten prognostischen Validitäten erzielbar. Weitere Studien zur prognostischen Validität des Verfahrens (z. B. in Hinsicht auf Zwischenprüfungen) sind notwendig. Insgesamt konnten die ersten Untersuchungen an Studien- anfängern die Praktikabilität und Validität des web- basierten-Self-Assessments bestätigen, so dass unseres Erachtens seiner Nutzung im Rahmen der Studienfachent- scheidung nichts entgegen steht. eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt

17 Vielen Dank für Ihre Aufmerksamkeit
Adresse Johann Wolfgang Goethe-Universität Frankfurt Abtlg. für Psychologische Methodenlehre, Evaluation und Forschungsmethodik Abtlg. für Graphische Datenverarbeitung eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt

18 Bestandteile des Self-Assessments
Acht organisatorische HTML-Seiten mit Beschreibungen der Ziele und der Funktionsweise des Self-Assessments (Start-, Beschreibungs- Registrierungs-, Zugangs-, Auswertungsseite und Seiten zum Passwortmanagement) Zehn inhaltlichen Aufgabenblöcke (im Flash-Format), zusammengefasst zu drei Modulen eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt

19 Zusammensetzung der Module
Modul I (ca. 60 Minuten): Studierverhalten und Studienmotivation I, Textverständnis Deutsch, Textverständnis Englisch, Mathematische Kompetenz (Stochastik, Bruchrechnen, Prozentrechnen, Algebra) Modul II (ca. 30 Minuten): Studierverhalten und Studienmotivation II, Interpretation von Tabellen und Diagrammen, Schlussfolgerndes Denken – verbal (Analogieaufgaben) Modul III (ca. 10 Minuten): Studierverhalten und Studienmotivation III, Interesse an Inhalten des Psychologiestudiums, Schlussfolgerndes Denken – figural (Matrizenaufgaben) eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt

20 Zusammensetzung der Module
Modul I (ca. 60 Minuten): Studierverhalten und Studienmotivation I, Textverständnis Deutsch, Textverständnis Englisch, Mathematische Kompetenz (Stochastik, Bruchrechnen, Prozentrechnen, Algebra) Modul II (ca. 30 Minuten): Studierverhalten und Studienmotivation II, Interpretation von Tabellen und Diagrammen, Schlussfolgerndes Denken – verbal (Analogieaufgaben) Modul III (ca. 10 Minuten): Studierverhalten und Studienmotivation III, Interesse an Inhalten des Psychologiestudiums, Schlussfolgerndes Denken – figural (Matrizenaufgaben) eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt

21 Zusammensetzung der Module
Modul I (ca. 60 Minuten): Studierverhalten und Studienmotivation I, Textverständnis Deutsch, Textverständnis Englisch, Mathematische Kompetenz (Stochastik, Bruchrechnen, Prozentrechnen, Algebra) Modul II (ca. 30 Minuten): Studierverhalten und Studienmotivation II, Interpretation von Tabellen und Diagrammen, Schlussfolgerndes Denken – verbal (Analogieaufgaben) Modul III (ca. 10 Minuten): Studierverhalten und Studienmotivation III, Interesse an Inhalten des Psychologiestudiums, Schlussfolgerndes Denken – figural (Matrizenaufgaben) eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt

22 eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt

23 Aktueller Entwicklungsstand des Online- Self-Assessment Psychologie
Interne Erprobungsversion seit Juni 2006 zugänglich - Gegliedert in zehn inhaltlichen Aufgabenblöcke (7 Skalen zum Leistungsbereich, Skalen zum Studierverhalten und zur Studienmotivation, 4 Interessensbereiche) zusammengefasst in drei Modulen - 60 bis 90 Minuten durchschnittliche Bearbeitungsdauer - Online- und Offline-Bearbeitung möglich - Unterstützung einer festgelegten Bearbeitungsreihenfolge der Blöcke - Einschränkung maximaler Bearbeitungszeiten der Blöcke durch Timer; zeitbeschränkte Pausen zwischen einzelnen Blöcken; keine Zeitein schränkung zwischen den Modulen Erprobungsstichproben SS2006/WS2006/07 und SS 2007 Öffentliche Zugänglichkeit seit SS 2008 eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt

24 Akademische Laufbahnentscheidung
Integration des SelfAssessments in den Prozess der Laufbahnentscheidung Klasse (13) Abitur Universitätszulassung Akademische Laufbahnentscheidung Begleitet durch: Internet, Medien Eltern, Lehrer, Freunde Entscheidung Auswahl Beratungs- und Informationsdienste Informationsmaterial der Universitäten Self-Assessment (nach Hornke, 2007) eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt

25 Skalenanalysen Kognitive Leistungen Informatik
Skala Cronbach’s α Item- a n z a hl Erklärte Varianz auf dem 1. Faktor Logik 0,35 4 36,8% Mathematik 0,52 6 30,6% Algorithmisches Denken 0,41 5 31,4% Textverständnis Deutsch 0,43 2 63,8% Textverständnis Englisch 0,13 3 37,0% Figurale Matrizenaufgaben 0,73 11 33,1% eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt

26 Skalenanalysen Kognitive Leistungen Informatik
Skala Cronbach’s α Item- a n z a hl Erklärte Varianz auf dem 1. Faktor Kontrollüberzeugung 0,63 6 37,2% Entscheidungsfähigkeit 0,74 4 57,2% Belastbarkeit (Ängstlichkeit) 0,76 7 44,7% Zuversicht 0,82 9 48,5% Risikobereitschaft (Offenheit für Neues) 0,67 34,5% Zielgerichtetheit 0,75 10 32,5% Erfolgsorientierung (Stressbewältigung) 0,81 41,8% Flow 0,80 8 42,2% Leistungsdenken 0,84 42,5% Lernbereitschaft 0,64 49,5% Anspruchsniveau 0,87 58,2% Lerntechniken 0,54 43,2% Arbeitshaltung 0,71 53,6% Interessenfragen 0,85 20 30,4% eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt

27 Skalenanalysen Stichprobe I und II Kognitive Leistungen
1 Faktorenanalysen für dichotome Items wurden mit dem Programm mixFactor von Häusler & Kubinger (Universität Wien) durchgeführt. eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt

28 Skalenanalysen Stichprobe I und II Studierverhalten und Studienmotivation
eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt

29 Prognose von Studienleistung - Beziehung Kognitive Leistung zu Leistung im Fach „Psychologische Statistik II“ Stichprobe N~46 eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt

30 Prognose von Studienleistung - Beziehung Studierverhalten und Studienmotivation zu Leistung im Fach “Psychologische Statistik II” Stichprobe N~45 Skala Prog. Validität Spearman r Ängstlichkeit -.23 Anspruchsniveau .18 Arbeitshaltung -.03 Flow .20 Kontrollüberzeugung .21 Leistungsanspruch -.06 Lernbereitschaft -.09 Offenheit für Neues .04 Entscheidungsfähigkeit -.15 Stressbewältigung .28 Zielgerichtetheit .19 Zuversicht .24 eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt

31 Prognose von Studienleistung
Vorhersagemodell für das Kriterium Studienerfolg (Leistung im Fach „Psychologische Statistik I“) von Stichprobe II (N=57). 4 Einflußvariablen: R R2 Kognitive Leistung (Summenwert) Entscheidungsfähigkeit Flow Stressbewältigung eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt