Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

ELearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt Studienerfolg dank Self-Assessments?! Web-basierte Self-Assessments.

Ähnliche Präsentationen


Präsentation zum Thema: "ELearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt Studienerfolg dank Self-Assessments?! Web-basierte Self-Assessments."—  Präsentation transkript:

1 eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt Studienerfolg dank Self-Assessments?! Web-basierte Self-Assessments an der Universität Frankfurt Siegbert Reiß J.W. Goethe-University Frankfurt am Main eLearning Netzwerktag am 30. Juni 2008 in Frankfurt am Main

2 eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt 2 Übersicht Entwicklungsanlass Was meint Self-Assessment? Entwicklungsschritte eines Self-Assessments Technische Anforderungen Evaluation prognostischer Validitäten Resümee

3 eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt 3 Hohe Studienbewerberzahlen/Zulassungsbeschränkung Hohe Studienabbruchzahlen Lange Studienzeiten Erstsemester-Schock bei vielen Studierenden Entwicklungsanlass

4 eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt 4 Das Hochschulrahmengesetz (§ 14) verpflichtet die Hochschulen, die Studierenden und Studienbewerber über die Studienmöglichkeiten und über Inhalte, Aufbau und Anforderungen eines Studiums" zu unterrichten und sie durch eine studienbegleitende fachliche Beratung" zu unterstützen. Entwicklungsanlass

5 eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt 5 Die Beratung von Studieninteressierten vor einer Studienentscheidung stellt eine notwendige und wichtige Kommunikations- und Serviceleistung der Hochschulen dar (Profilierung der Hochschulen). Die Studienberatung soll Informationen über die Studienvoraussetzungen und Studienanforderungen für alle in Betracht kommenden Studiengänge anbieten. Entwicklungsanlass

6 eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt 6 Studienberatung soll einen Vergleich der Fähigkeiten, der Bedürfnisse und Erwartungen des Einzelnen mit den Anforderungen des interessierenden Studienfaches ermöglichen. Potenzielle Studienbewerber müssen sich Klarheit darüber verschaffen können, ob das Studienangebot der Hochschule ihrer Wahl zu ihren Wünschen passt und ob sie die Studienanforderungen nach eigener Einschätzung erfüllen (Person-Job-Fit-Ansatz). Entwicklungsanlass

7 eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt 7 Entwicklung und Evaluation eines Konzeptes für die Beratung und Rückmeldung sowie für die Auswahl von Bewerbern für das Studium der Informatik und der Psychologie in Frankfurt. Gemeinsames Projekt der Studiengänge Informatik und Psychologie in der Erwartung, dass die Rückmeldung aus dem Online-Self-Assessment zu einer besseren Passung zwischen Bewerber und Studiengang führt (höhere Studienzufriedenheit, geringere Zahl von Studienab- brüchen, kürzere Studiendauer). Entwicklungsanlass

8 eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt 8 Web-basiertes und selbstgesteuertes Beratungsinstrument Richtet sich an Studieninteressierte Bietet die Möglichkeit, die eigenen Fähigkeiten und akademischen Orientierungen zu erforschen Verwendet unterschiedliche Aufgaben und Fragen, die sich auf die spezifischen Anforderungen des Studienfachs beziehen Meldet individuelle Stärken und Schwächen des Teilnehmers hinsichtlich kognitiver Fähigkeiten, der Studienmotivation und zum Studierverhalten unter Bezugnahme auf die Studierendenpopulation des Faches zurück Was meint Self-Assessment?

9 eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt Entwicklungschritte eines SelfAssessments Identifika- tion der Studieanfor- derungen Literatur, Arbeitskreise, Befragungen und Absolventen- studien Überführung der identifizierten Anforderungen in psychologische Konstrukte Entwicklung von Tests und Fragenbogen zur Messung der definierten Konstrukts Datengeleitete Verbesse- rungen der eingesetzten Tests und Fragebogen Überprüfung der of Akzeptanz, Effekte Laufbahnent- scheidung und prädictive Validität Anwendung Datensamm- lung via Internet, in Schulen, Laufbahn- beratung etc. Anforderungen Konstrukte Test Konstruktion Evaluation (modifiziert nach Hornke, 2007)

10 eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt 10 Bewahrung der Anonymität der Teilnehmer (Zuordnung der Psychologiestudierenden über eine zusätzliche Kodierung) Dauer der Bearbeitung bei 60 bis 90 Minuten Online- und Offline-Bearbeitung (Modul können nacheinander herunter geladen werden) Unterstützung einer festgelegten Bearbeitungsreihenfolge (Fehlermeldung bei Nichteinhaltung der Reihenfolge) Einschränkung maximaler Bearbeitungszeiten durch Timer; zeitbeschränkte Pausen zwischen einzelnen Blöcken; keine Zeiteinschränkung zwischen den Modulen Technische Anforderungen an das Tool

11 eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt 11 Startseite des Self-Assessments Psychologie

12 eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt Teilnehmerrückmeldung

13 eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt 13 Stichprobe Psychologie -Insgesamt 74 Studierende der Pflichtlehrveranstaltung Psychologische Statistik I im ersten Studiensemesters bearbeiteten das Online-Self-Assessment und erhielten dafür Credits (quasi Vollerhebung einer Semesterkohorte). Stichprobe Informatik –Insgesamt 84 Studierende der Lehrveranstaltung Grundlagen der Programmierung I bearbeiteten auf freiwilliger Basis das Online-Self-Assessment. Erprobungsstichproben für das Self-Assessment

14 eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt Prognose von Studienleistung - Beziehung Kognitive Leistung zu Leistung Psychologische Statistik I N~62 Leistung Grundlagen der Programmierung 1 N~84 SkalaProg. Validität Spearman r Textverständnis Deutsch-.01 Textverständnis Englisch.12 Stochastik.56 ** Prozentrechnung.21 Bruchrechnung.09 Algebra.41 ** Schlussfolg. Denken – verb..41 ** Schlussfolg. Denken – fig..02 Gesamtscore (Summenwert).46 ** SkalaProg. Validität Spearman r Textverständnis Deutsch.11 Textverständnis Englisch.12 Logik.19 Mathematik.28 * Algorithmisches Denken.31 ** Schlussfolg. Denken - fig..02 Gesamtscore (Summenwert).31 **

15 eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt Leistung Psychologische Statistik I N~59 Prognose von Studienleistung - Beziehung Studierverhalten und Studienmotivation zu Skala Prog. Validität Spearman r Ängstlichkeit-.10 Anspruchsniveau.23 Arbeitshaltung -.16 Flow.28 * Kontrollüberzeugung.12 Leistungsanspruch.12 Lernbereitschaft..01 Offenheit für Neues Entscheidungsfähigk eit -.31 * Stressbewältigung.36 ** Zielgerichtetheit.10 Zuversicht.18 Leistung Grundlagen der Programmierung 1 N~84 Skala Prog. Validität Spearman r Ängstlichkeit.06 Anspruchsniveau-.16 Arbeitshaltung.20 Flow-.12 Kontrollüberzeugung-.01 Leistungsanspruch-.05 Lernbereitschaft Offenheit für Neues..03 Entscheidungsfähigk eit.15 Stressbewältigung-.09 Zielgerichtetheit.07 Zuversicht.20

16 eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt 16 Die Prüfung der prognostischen Validität erfordert die Kontrolle der Erprobungsstichprobe hinsichtlich Selektions- effekten und einer korrekten Aufgabenbearbeitung durch dieTeilnehmer. Ist beides gewährleistet, sind die aus Studierendenauswahl- verfahren bekannten prognostischen Validitäten erzielbar. Weitere Studien zur prognostischen Validität des Verfahrens (z. B. in Hinsicht auf Zwischenprüfungen) sind notwendig. Insgesamt konnten die ersten Untersuchungen an Studien- anfängern die Praktikabilität und Validität des web- basierten-Self-Assessments bestätigen, so dass unseres Erachtens seiner Nutzung im Rahmen der Studienfachent- scheidung nichts entgegen steht. Resümee

17 eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt 17 Adresse https://www.gdv.informatik.uni-frankfurt.de/self-assessment/Informatik/ https://www.gdv.informatik.uni-frankfurt.de/self-assessment/Psychologie/ Johann Wolfgang Goethe-Universität Frankfurt Abtlg. für Psychologische Methodenlehre, Evaluation und Forschungsmethodik Abtlg. für Graphische Datenverarbeitung Vielen Dank für Ihre Aufmerksamkeit

18 eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt 18 Bestandteile des Self-Assessments Zehn inhaltlichen Aufgabenblöcke (im Flash-Format), zusammengefasst zu drei Modulen Acht organisatorische HTML-Seiten mit Beschreibungen der Ziele und der Funktionsweise des Self-Assessments (Start-, Beschreibungs- Registrierungs-, Zugangs-, Auswertungsseite und Seiten zum Passwortmanagement)

19 eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt 19 Zusammensetzung der Module Modul I (ca. 60 Minuten): Studierverhalten und Studienmotivation I, Textverständnis Deutsch, Textverständnis Englisch, Mathematische Kompetenz (Stochastik, Bruchrechnen, Prozentrechnen, Algebra) Modul II (ca. 30 Minuten): Studierverhalten und Studienmotivation II, Interpretation von Tabellen und Diagrammen, Schlussfolgerndes Denken – verbal (Analogieaufgaben) Modul III (ca. 10 Minuten): Studierverhalten und Studienmotivation III, Interesse an Inhalten des Psychologiestudiums, Schlussfolgerndes Denken – figural (Matrizenaufgaben)

20 eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt 20 Modul I (ca. 60 Minuten): Studierverhalten und Studienmotivation I, Textverständnis Deutsch, Textverständnis Englisch, Mathematische Kompetenz (Stochastik, Bruchrechnen, Prozentrechnen, Algebra) Modul II (ca. 30 Minuten): Studierverhalten und Studienmotivation II, Interpretation von Tabellen und Diagrammen, Schlussfolgerndes Denken – verbal (Analogieaufgaben) Modul III (ca. 10 Minuten): Studierverhalten und Studienmotivation III, Interesse an Inhalten des Psychologiestudiums, Schlussfolgerndes Denken – figural (Matrizenaufgaben) Zusammensetzung der Module

21 eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt 21 Modul I (ca. 60 Minuten): Studierverhalten und Studienmotivation I, Textverständnis Deutsch, Textverständnis Englisch, Mathematische Kompetenz (Stochastik, Bruchrechnen, Prozentrechnen, Algebra) Modul II (ca. 30 Minuten): Studierverhalten und Studienmotivation II, Interpretation von Tabellen und Diagrammen, Schlussfolgerndes Denken – verbal (Analogieaufgaben) Modul III (ca. 10 Minuten): Studierverhalten und Studienmotivation III, Interesse an Inhalten des Psychologiestudiums, Schlussfolgerndes Denken – figural (Matrizenaufgaben) Zusammensetzung der Module

22 eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt 22

23 eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt 23 Interne Erprobungsversion seit Juni 2006 zugänglich - Gegliedert in z ehn inhaltlichen Aufgabenblöcke (7 Skalen zum Leistungsbereich, 12 Skalen zum Studierverhalten und zur Studienmotivation, 4 Interessensbereiche) zusammengefasst in drei Modulen - 60 bis 90 Minuten durchschnittliche Bearbeitungsdauer - Online- und Offline-Bearbeitung möglich - Unterstützung einer festgelegten Bearbeitungsreihenfolge der Blöcke - Einschränkung maximaler Bearbeitungszeiten der Blöcke durch Timer; zeitbeschränkte Pausen zwischen einzelnen Blöcken; keine Zeitein schränkung zwischen den Modulen Erprobungsstichproben SS2006/WS2006/07 und SS 2007 Öffentliche Zugänglichkeit seit SS 2008 Aktueller Entwicklungsstand des Online- Self-Assessment Psychologie

24 eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt Integration des SelfAssessments in den Prozess der Laufbahnentscheidung Akademische Laufbahnentscheidung Entscheidung Eltern, Lehrer, Freunde Klasse (13) Abitur Universitätszulassung Begleitet durch: Beratungs- und Informationsdienste Auswahl Internet, Medien Self-Assessment Informationsmaterial der Universitäten (nach Hornke, 2007)

25 eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt Skalenanalysen Kognitive Leistungen Informatik Skala Cronbachs α Item- a n z a hl Erklärte Varianz auf dem 1. Faktor Logik0,35436,8% Mathematik0,52630,6% Algorithmisches Denken0,41531,4% Textverständnis Deutsch0,43263,8% Textverständnis Englisch0,13337,0% Figurale Matrizenaufgaben0,731133,1%

26 eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt Skalenanalysen Kognitive Leistungen Informatik Skala Cronbachs α Item- a n z a hl Erklärte Varianz auf dem 1. Faktor Kontrollüberzeugung0,63637,2% Entscheidungsfähigkeit0,74457,2% Belastbarkeit (Ängstlichkeit)0,76744,7% Zuversicht0,82948,5% Risikobereitschaft (Offenheit für Neues) 0,67734,5% Zielgerichtetheit0,751032,5% Erfolgsorientierung (Stressbewältigung) 0,81941,8% Flow0,80842,2% Leistungsdenken0,841042,5% Lernbereitschaft0,64449,5% Anspruchsniveau0,87758,2% Lerntechniken0,54443,2% Arbeitshaltung0,71953,6% Interessenfragen0,852030,4%

27 eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt N= 144<>146 Skalenanalysen Stichprobe I und II Kognitive Leistungen 1 Faktorenanalysen für dichotome Items wurden mit dem Programm mixFactor von Häusler & Kubinger (Universität Wien) durchgeführt.

28 eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt N= 144<>146 Skalenanalysen Stichprobe I und II Studierverhalten und Studienmotivation

29 eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt Prognose von Studienleistung - Beziehung Kognitive Leistung zu Leistung im Fach Psychologische Statistik II Stichprobe N ~ 46

30 eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt Stichprobe N~45 Prognose von Studienleistung - Beziehung Studierverhalten und Studienmotivation zu Leistung im Fach Psychologische Statistik II SkalaProg. Validit ä t Spearman r Ä ngstlichkeit-.23 Anspruchsniveau.18 Arbeitshaltung-.03 Flow.20 Kontroll ü berzeugung.21 Leistungsanspruch-.06 Lernbereitschaft-.09 Offenheit f ü r Neues.04 Entscheidungsf ä higkeit-.15 Stressbew ä ltigung.28 Zielgerichtetheit.19 Zuversicht.24

31 eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt Vorhersagemodell für das Kriterium Studienerfolg (Leistung im Fach Psychologische Statistik I) von Stichprobe II (N=57). Prognose von Studienleistung 4 Einflußvariablen: R R 2 Kognitive Leistung (Summenwert) Entscheidungsfähigkeit Flow Stressbewältigung.52.27


Herunterladen ppt "ELearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt Studienerfolg dank Self-Assessments?! Web-basierte Self-Assessments."

Ähnliche Präsentationen


Google-Anzeigen