Leitprojekt im Bereich Evaluation „EvaNet“ Leitprojekt im Bereich Evaluation Dipl.- Gwl. Renate Aheimer Institut für Erziehungswissenschaft und Psychologie Abteilung Berufs-, Wirtschafts- und Technikpädagogik

Tagesordnung Rückblick erste Sitzung Projekte Evaluationsvorhaben Relevante Kriterien Didaktische Angemessenheit Usability Lernerfolg Curriculum Erkenntnisse Methoden Beispiel für die Operationalisierung relevanter Kriterien Nächstes Treffen / weiteres Vorgehen

Rückblick - Projekte Tagesordnung Rückblick Projekte Evaluations- vorhaben Relevante Kriterien Didaktische Angemessenheit Usability Lernerfolg Curriculum Erkenntnisse Evaluations- methoden Beispiele Rückblick - Projekte

Rückblick Evaluationsvorhaben Tagesordnung Rückblick Projekte Evaluations- vorhaben Relevante Kriterien Didaktische Angemessenheit Usability Lernerfolg Curriculum Erkenntnisse Evaluations- methoden Beispiele

Relevante Kriterien für e-Learning Angebote Dimensionen Tagesordnung Rückblick Projekte Evaluations- vorhaben Relevante Kriterien Didaktische Angemessenheit Usability Lernerfolg Curriculum Erkenntnisse Evaluations- methoden Beispiele Didaktische Angemessenheit Sind die Instruktionsstrategien, Unterstützungen und Hilfsmittel angemessen um das angestrebte Lernziel zu erreichen? Usability Gestaltungsaspekt und technische Funktionsfähigkeit Lernerfolg In wie weit werden die Lernziele vom Teilnehmer / von der Teilnehmerin erreicht? Curriculare Angemessenheit

Didaktische Angemessenheit Relevante Kriterien Didaktische Angemessenheit Tagesordnung Rückblick Projekte Evaluations- vorhaben Relevante Kriterien Didaktische Angemessenheit Usability Lernerfolg Curriculum Erkenntnisse Evaluations- methoden Beispiele Sind die Lernaufträge klar und verständlich gestellt? Entspricht der Schwierigkeitsgrad dem Niveau der Lerner (Vorwissen / Voraussetzungen)? Sind die Lernziele / zu erbringenden Leistungen transparent? Ist der Aufbau des Kurses (inhaltlich / methodisch) begründet (Strukturiertheit)? Wird die Motivation der TeilnehmerInnen gefördert und wenn ja wie? Qualität und Präsentation der bereitgestellten Information? Welche Interaktionsmöglichkeiten gibt es? Wird bedarfsgerechte unterstützt?

Usability Relevante Kriterien Tagesordnung Rückblick Projekte Evaluations- vorhaben Relevante Kriterien Didaktische Angemessenheit Usability Lernerfolg Curriculum Erkenntnisse Evaluations- methoden Beispiele Lernbarkeit (Bedienbarkeit, Erlernbarkeit des Systems) Effizienz (Erlaubt das System dem Nutzer ein hohes Niveau an Produktivität) Zufriedenheit (Das System sollte angenehm zu bedienen sein) Funktionstüchtigkeit

Lernerfolg Relevante Kriterien Tagesordnung Rückblick Projekte Evaluations- vorhaben Relevante Kriterien Didaktische Angemessenheit Usability Lernerfolg Curriculum Erkenntnisse Evaluations- methoden Beispiele Erfassung ist abhängig vom Lernziel (Lernzieltaxonomie) Deklaratives Wissen: Multiple Choice Test / Quizze Übergreifende nicht fachliche Fertigkeiten (Teamfähigkeit, kritisches Denken, Kommunikation, Kreativität usw.) sind schwieriger zu prüfen: Lerntagebücher (Reflektion über Lernprozesse) Concept Maps / Klassifikationsmatrizen / Aufsatzaufgaben (Tiefe und Komplexität des Verständnisses) Authentisches Produkt, das über einen längeren Zeitraum angefertigt wird

Curriculare Angemessenheit Relevante Kriterien Curriculare Angemessenheit Tagesordnung Rückblick Projekte Evaluations- vorhaben Relevante Kriterien Didaktische Angemessenheit Usability Lernerfolg Curriculum Erkenntnisse Evaluations- methoden Beispiele Ist das Angebot konsistent zu bestehenden Angeboten? Fügt es sich in bestehende Lehrangebote und Lehrformen ein?  erhöht die Akzeptanz Ergänzen sich die Lehrelemente gegenseitig?

Erkenntnisse bezüglich Lehrform und Kompetenzentwicklung Relevanten Kriterien Erkenntnisse bezüglich Lehrform und Kompetenzentwicklung Tagesordnung Rückblick Projekte Evaluations- vorhaben Relevante Kriterien Didaktische Angemessenheit Usability Lernerfolg Curriculum Erkenntnisse Evaluations- methoden Beispiele Mit NBL wird nicht automatisch besser gelernt Mangelnde Nutzung der Interaktionsmöglichkeiten Eine Lernumgebung benötigt: sinnvollen didaktischen Aufbau der Inhalte optische Aufbereitung  Motivation erhalten Interaktionsmöglichkeiten durch Rückmeldungen Veranschaulichung intuitive Bedienbarkeit Motivation / zeitlich-ökonomischen Aspekte haben einen Einfluss auf den Lernerfolg

Evaluations- methoden Tagesordnung Rückblick Projekte Evaluations- vorhaben Relevante Kriterien Didaktische Angemessenheit Usability Lernerfolg Curriculum Erkenntnisse Evaluations- methoden Beispiele Evaluationsmethoden Test zur Erfassung des Lernerfolgs Beurteilung mittels eines Kriterienkatalogs  Sind bestimmte Qualitäts- bzw. Gütekriterien erfüllt? Beobachtung Evaluations- methoden Befragung bei den Nutzern nach der  Zufriedenheit, Anwendbarkeit, Nützlichkeit

Beispiel für die Operationalisierung relevanter Kriterien Tagesordnung Rückblick Projekte Evaluations- vorhaben Relevante Kriterien Didaktische Angemessenheit Usability Lernerfolg Curriculum Erkenntnisse Evaluations- methoden Beispiele Beispiel für die Operationalisierung relevanter Kriterien Kriterien Motivationstest

Vielen Dank für Ihre Aufmerksamkeit!

Gütekriterien aus der allgemeinen Lehr-Lernforschung Zielvariablen: Kognitive Entwicklung Anwendung und Transfer des Wissens Prädiktoren: Motivation Vorwissen Adaptivität Klarheit der Aufgabenstellung Begeisterung beim Lehrenden Relevanz der Inhalte Bedarfsgerechte Unterstützung Bekräftigung / Kompetenzerleben Aktive Auseinandersetzung Effektive Lernzeit Strukturierung / Segmentierung

Relevante Kriterien Aus der Mediendidaktik: Anschauliche Darstellung des Lehrmaterials Individualisierter Lernprozess (Ziel-/Inhaltsauswahl, Lerngeschwindigkeit, zeit- und räumliche Lernorganisation Gestufte Heranführung an die Selbststeuerung des Lernprozess Neue Interaktions- und Kooperationsmöglichkeiten Höhere Aktualität des Lerninhalts Kann das Gelernte in andere Lebensbereiche übertragen werden Wie sind die Phasen des Selbstgesteuerten Lernens in einen Bildungsgang eingepasst Verbindung von Präsenz – und Selbstlernphasen Technische Schwierigkeiten bez. Voraussetzungen

Gütekriterien Validität (Gültigkeit) Inhaltsvalidität Kriteriumsvalidität Konstruktvalidität notwendige nicht hinreichende Bedingung Reliabilität (Zuverlässigkeit) Retest Paralleltest Testhalbierung Objektivität (Unabhängigkeit vom Untersucher) Ein valides Instrument ist immer auch reliabel und objektiv

Lernzieltaxonomie Bereiche: Stufen: Kognitiver Bereich: Reproduktion Reorganisation Transfer Problemlösefähigkeit Vgl. Deutscher Bildungsrat Bereiche: Kognitiver Bereich: Wissen Verstehen Pragmatischer Bereich Affektiver Bereich Vgl. Bloom 1956