Leitprojekt im Bereich Evaluation

Präsentation zum Thema: "Leitprojekt im Bereich Evaluation"—  Präsentation transkript:

1 Leitprojekt im Bereich Evaluation
„EvaNet“ Leitprojekt im Bereich Evaluation Dipl.- Gwl. Renate Aheimer Institut für Erziehungswissenschaft und Psychologie Abteilung Berufs-, Wirtschafts- und Technikpädagogik

2 Tagesordnung Rückblick erste Sitzung Projekte Evaluationsvorhaben
Relevante Kriterien Didaktische Angemessenheit Usability Lernerfolg Curriculum Erkenntnisse Methoden Beispiel für die Operationalisierung relevanter Kriterien Nächstes Treffen / weiteres Vorgehen

3 Rückblick - Projekte Tagesordnung Rückblick Projekte
Evaluations- vorhaben Relevante Kriterien Didaktische Angemessenheit Usability Lernerfolg Curriculum Erkenntnisse Evaluations- methoden Beispiele Rückblick - Projekte

4 Rückblick Evaluationsvorhaben
Tagesordnung Rückblick Projekte Evaluations- vorhaben Relevante Kriterien Didaktische Angemessenheit Usability Lernerfolg Curriculum Erkenntnisse Evaluations- methoden Beispiele

5 Relevante Kriterien für e-Learning Angebote Dimensionen
Tagesordnung Rückblick Projekte Evaluations- vorhaben Relevante Kriterien Didaktische Angemessenheit Usability Lernerfolg Curriculum Erkenntnisse Evaluations- methoden Beispiele Didaktische Angemessenheit Sind die Instruktionsstrategien, Unterstützungen und Hilfsmittel angemessen um das angestrebte Lernziel zu erreichen? Usability Gestaltungsaspekt und technische Funktionsfähigkeit Lernerfolg In wie weit werden die Lernziele vom Teilnehmer / von der Teilnehmerin erreicht? Curriculare Angemessenheit

6 Didaktische Angemessenheit
Relevante Kriterien Didaktische Angemessenheit Tagesordnung Rückblick Projekte Evaluations- vorhaben Relevante Kriterien Didaktische Angemessenheit Usability Lernerfolg Curriculum Erkenntnisse Evaluations- methoden Beispiele Sind die Lernaufträge klar und verständlich gestellt? Entspricht der Schwierigkeitsgrad dem Niveau der Lerner (Vorwissen / Voraussetzungen)? Sind die Lernziele / zu erbringenden Leistungen transparent? Ist der Aufbau des Kurses (inhaltlich / methodisch) begründet (Strukturiertheit)? Wird die Motivation der TeilnehmerInnen gefördert und wenn ja wie? Qualität und Präsentation der bereitgestellten Information? Welche Interaktionsmöglichkeiten gibt es? Wird bedarfsgerechte unterstützt?

7 Usability Relevante Kriterien
Tagesordnung Rückblick Projekte Evaluations- vorhaben Relevante Kriterien Didaktische Angemessenheit Usability Lernerfolg Curriculum Erkenntnisse Evaluations- methoden Beispiele Lernbarkeit (Bedienbarkeit, Erlernbarkeit des Systems) Effizienz (Erlaubt das System dem Nutzer ein hohes Niveau an Produktivität) Zufriedenheit (Das System sollte angenehm zu bedienen sein) Funktionstüchtigkeit

8 Lernerfolg Relevante Kriterien
Tagesordnung Rückblick Projekte Evaluations- vorhaben Relevante Kriterien Didaktische Angemessenheit Usability Lernerfolg Curriculum Erkenntnisse Evaluations- methoden Beispiele Erfassung ist abhängig vom Lernziel (Lernzieltaxonomie) Deklaratives Wissen: Multiple Choice Test / Quizze Übergreifende nicht fachliche Fertigkeiten (Teamfähigkeit, kritisches Denken, Kommunikation, Kreativität usw.) sind schwieriger zu prüfen: Lerntagebücher (Reflektion über Lernprozesse) Concept Maps / Klassifikationsmatrizen / Aufsatzaufgaben (Tiefe und Komplexität des Verständnisses) Authentisches Produkt, das über einen längeren Zeitraum angefertigt wird

9 Curriculare Angemessenheit
Relevante Kriterien Curriculare Angemessenheit Tagesordnung Rückblick Projekte Evaluations- vorhaben Relevante Kriterien Didaktische Angemessenheit Usability Lernerfolg Curriculum Erkenntnisse Evaluations- methoden Beispiele Ist das Angebot konsistent zu bestehenden Angeboten? Fügt es sich in bestehende Lehrangebote und Lehrformen ein?  erhöht die Akzeptanz Ergänzen sich die Lehrelemente gegenseitig?

10 Erkenntnisse bezüglich Lehrform und Kompetenzentwicklung
Relevanten Kriterien Erkenntnisse bezüglich Lehrform und Kompetenzentwicklung Tagesordnung Rückblick Projekte Evaluations- vorhaben Relevante Kriterien Didaktische Angemessenheit Usability Lernerfolg Curriculum Erkenntnisse Evaluations- methoden Beispiele Mit NBL wird nicht automatisch besser gelernt Mangelnde Nutzung der Interaktionsmöglichkeiten Eine Lernumgebung benötigt: sinnvollen didaktischen Aufbau der Inhalte optische Aufbereitung  Motivation erhalten Interaktionsmöglichkeiten durch Rückmeldungen Veranschaulichung intuitive Bedienbarkeit Motivation / zeitlich-ökonomischen Aspekte haben einen Einfluss auf den Lernerfolg

11 Evaluations- methoden
Tagesordnung Rückblick Projekte Evaluations- vorhaben Relevante Kriterien Didaktische Angemessenheit Usability Lernerfolg Curriculum Erkenntnisse Evaluations- methoden Beispiele Evaluationsmethoden Test zur Erfassung des Lernerfolgs Beurteilung mittels eines Kriterienkatalogs  Sind bestimmte Qualitäts- bzw. Gütekriterien erfüllt? Beobachtung Evaluations- methoden Befragung bei den Nutzern nach der  Zufriedenheit, Anwendbarkeit, Nützlichkeit

12 Beispiel für die Operationalisierung relevanter Kriterien
Tagesordnung Rückblick Projekte Evaluations- vorhaben Relevante Kriterien Didaktische Angemessenheit Usability Lernerfolg Curriculum Erkenntnisse Evaluations- methoden Beispiele Beispiel für die Operationalisierung relevanter Kriterien Kriterien Motivationstest

13 Vielen Dank für Ihre Aufmerksamkeit!

14 Gütekriterien aus der allgemeinen Lehr-Lernforschung Zielvariablen:
Kognitive Entwicklung Anwendung und Transfer des Wissens Prädiktoren: Motivation Vorwissen Adaptivität Klarheit der Aufgabenstellung Begeisterung beim Lehrenden Relevanz der Inhalte Bedarfsgerechte Unterstützung Bekräftigung / Kompetenzerleben Aktive Auseinandersetzung Effektive Lernzeit Strukturierung / Segmentierung

15 Relevante Kriterien Aus der Mediendidaktik:
Anschauliche Darstellung des Lehrmaterials Individualisierter Lernprozess (Ziel-/Inhaltsauswahl, Lerngeschwindigkeit, zeit- und räumliche Lernorganisation Gestufte Heranführung an die Selbststeuerung des Lernprozess Neue Interaktions- und Kooperationsmöglichkeiten Höhere Aktualität des Lerninhalts Kann das Gelernte in andere Lebensbereiche übertragen werden Wie sind die Phasen des Selbstgesteuerten Lernens in einen Bildungsgang eingepasst Verbindung von Präsenz – und Selbstlernphasen Technische Schwierigkeiten bez. Voraussetzungen

16 Gütekriterien Validität (Gültigkeit) Inhaltsvalidität
Kriteriumsvalidität Konstruktvalidität notwendige nicht hinreichende Bedingung Reliabilität (Zuverlässigkeit) Retest Paralleltest Testhalbierung Objektivität (Unabhängigkeit vom Untersucher) Ein valides Instrument ist immer auch reliabel und objektiv

17 Lernzieltaxonomie Bereiche: Stufen: Kognitiver Bereich: Reproduktion
Reorganisation Transfer Problemlösefähigkeit Vgl. Deutscher Bildungsrat Bereiche: Kognitiver Bereich: Wissen Verstehen Pragmatischer Bereich Affektiver Bereich Vgl. Bloom 1956