Übersicht Kritik und Verbesserungsvorschläge am CbKST- Kurs

Präsentation zum Thema: "Übersicht Kritik und Verbesserungsvorschläge am CbKST- Kurs"—  Präsentation transkript:

1

2 Übersicht Kritik und Verbesserungsvorschläge am CbKST- Kurs
Definitionen Kompetenz Lernobjekt Exkurs Diplomarbeit Adaptive Competence Testing in eLearning Dösinger, G., & Albert, D. (2002). Einführung 4 Schritte mit Beispielsverankerungen Englisch- Kurs CbKST- Kurs Kritik und Verbesserungsvorschläge am CbKST- Kurs Erstellungsmethoden einer Wissensstruktur Aufgabe der PsychologInnen

3 Kompetenz - Definitionen
sprachwissenschaftlich: (idealisierte) Fähigkeit des Sprechers einer Sprache, mit einer begrenzten Anzahl von Elementen und Regeln eine unbegrenzte Zahl von Äußerungen zu bilden und zu verstehen, sowie über die sprachliche Richtigkeit von Äußerungen zu entscheiden. DUDEN 7. Auflage - Fremdwörterbuch

4 Kompetenz - Definitionen
wirtschaftlich: Eine erworbene persönliche Fähigkeit, die Angestellten ein gleichbleibend hohes Leistungsniveau in einem bestimmten Berufsfeld ermöglicht.

5 Kompetenz - Definitionen
psychologisch: „....die bei Individuen verfügbaren oder durch sie erlernbaren kognitiven Fähigkeiten und Fertigkeiten, um bestimmte Probleme zu lösen, sowie die damit verbundenen motivationalen, volitionalen und sozialen Bereitschaften und Fähigkeiten, um die Problemlösungen in variablen Situationen erfolgreich und verantwortungsvoll nutzen zu können.“ Weinert 2001

6 Kompetenzen Taught competencies: Kompetenzen die gelehrt werden
Required competencies: Kompetenzen die erforderlich sind, um LO zu verstehen Tested competencies: tatsächlich getestete Kompetenzen Beispiel Bruchrechnen: a/b : c/d = a/b : c/d = a/b * d/c Hockemeyer, C., Conlan, O., Wade, V., & Albert, D. (2003)

7 Verständnisfrage I Required, Tested, Taught – Competencies??
Beispiel Bruchrechnen: a/b : c/d = a/b : c/d = a/b * d/c Required, Tested, Taught – Competencies??

8 Lernobjekte “Learning Objects are defined (…) as any entity, digital or non- digital, which can be used, re- used or referenced during technology supported learning. Examples of technology- supported learning include computer- aided instruction systems, distance learning systems, and collaborative learning environments. Examples of Learning Objects include multimedia content, instructional content, learning objectives, instructional software and software tools, and persons, organizations, or events referenced during technology supported learning” [LTSC (Learning Technology Standards Committee), 2000] „any digital resource that can be reused to support learning“ (Wiley, 2001)

9 Exkurs: Englisch als Zweitsprache
Diplomarbeit von Kremser Pilotstudie 12- 14jährige SchülerInnen Englisch als Zweitsprache Englischtest – ohne Einfluss auf Note Ziel: Beschreibung des Englisch-Linguistischen Systems anhand der Wissensraumtheorie Modifizierte Version des Tests von Peltzer- Karpf und Zangl 1998

10 Exkurs – Beispiel: Englisch lernen
Singular/Plural Lernobjekt: Lückentext

11 Exkurs – Beispiel: Englisch lernen
Singular/Plural a… häufiges Wort x… -s z… unregelmässige Pluralformen b… seltenes Wort y… -es Kremser, M.G. (2000)

12 ENGLISCH KURS aus dem Internet
Beispiel: Englisch Kurs ENGLISCH KURS aus dem Internet

13 Vor- und Nachteile Vorteile  tolles Feedback
 sowohl richtige als auch falsche Antwort wird gegeben, inkl. Erklärung die lernende Person weiß, wieviel Zeitaufwand nötig ist Nachteile  das Programm führt die lernende Person nicht durch den Kurs  nicht adaptiv Bindestrich- und Leerzeichensetzung werden als Fehler gewertet Anhören der Vokabeln ist nicht möglich  Bilder fehlen (die lernende Person muß das Wort nicht schreiben können) Groß / Kleinschreibung egal ( Najavo – Najavos bei Eigennamen) Bei Test- Feedback fehlt die Erklärung Vokabelübersetzungsmöglichkeit fehlt  keine leichten Aufgaben, jedoch könnte dies auch zu Langeweile führen

14 CbKST – Kurs im Internet http://telearn.uni-graz.at:3536
Beispiel: CbKST-Kurs CbKST – Kurs im Internet

15 Was ist unsere Aufgabe als PsychologInnen?
Mit ExpertInnen vom jeweiligen Wissensgebiet zusammenarbeiten und unser Wissen über kognitive Strukturen im menschlichen Gehirn Motivationale, Pädagogische, Testtheoretische und viele andere Aspekte einbringen.

16 Zuordnung Doesinger und Albert (2002)
Wie können nun die Kompetenzen den LO´s zugeordnet werden? Doesinger und Albert (2002) „Adaptive Competence Testing in eLearning“

17 Zuordnung „Adaptive Competence Testing in eLearning“
Individualisierung wichtig bei eLearning Adaptives Lernen schwierig im Bezug auf eLearning Flexibles Lernen soll ermöglicht werden Artikel konzentriert sich auf Diagnose von Vorwissen im Bezug auf Kompetenzen die erforderlich sind beim Problemlösen Bezieht sich auf Korossy mit der Kompetenz- Performanz- Theorie Diese erlaubt adaptives und effizientes Testen aber auch Organisation des Lernprozesses Doesinger und Albert (2002)

18 4 Schritte 4 Schritte Identifikation und Präsentation von Lösungspfaden Erlangung des Kompetenzraums Kompetenz und Performanzebene miteinander in Beziehung setzen Ermitteln der Lösungsabhängigkeiten Doesinger und Albert (2002)

19 Step 1 – Theorie I Identifikation und Präsentation von Lösungspfaden
Menge Q mit den Problemen q Menge E mit Elementarkompetenzen ε E repräsentiert Wissensbereich W Analyse welche Pfade zur Lösung führen, WIE ein Problem gelöst werden kann Verschiedene Schritte der Lösungspfade mit Elementarkompetenzen beschreiben Doesinger und Albert (2002)

20 Step 1 – Beispiel Pluralbildung
ε 1: Pluralbildung - s ε 2: Pluralbildung - es ε 3: - y  - ies (inkl. Ausnahmen) ε 4: - f  - ves (inkl. Ausnahmen) ε 5: unregelmässige Pluralformen

21 Step 1 – Beispiel Englisch
Tabelle 1 q f(q) q1 {ε1} q2 {ε1, ε2} q3 {ε1, ε2, ε3} q4 {ε1, ε2, ε4} q5 {ε1, ε2, ε3, ε5} v {ε1, ε2, ε4, ε5} L = {{ε1}, {ε1, ε2}, {ε1, ε2, ε3}, {ε1, ε2, ε4}, {{ε1, ε2, ε3, ε5}, {ε1, ε2, ε4, ε5}}}

22 Step 2 – Theorie I Erlangung des Kompetenzraums
Bei der Auflösung des Sets „L“ unter Vereinigung erhält man die Kompetenzstruktur K. Wenn für alle Probleme nur ein Lösungsweg zugeordnet ist, ist die Kompetenzstruktur ein quasi-ordinaler Kompetenzraum der unter Vereinigung und Schnittmenge stabil ist Doesinger und Albert (2002)

23 Step 2 – Theorie II Gibt es mehrere alternative Lösungswege, ist die resultierende Wissensstruktur ein Kompetenzraum, der nur unter Vereinigung stabil ist Die Teilmengen der Elementarkompetenzen die bei der Auflösung unter Vereinigung erhalten werden, nennt man Kompetenzzustände K Sie sind Elemente der Kompetenzstruktur Doesinger und Albert (2002)

24 Step 2 – Theorie III Surmise Relation = Vermutungsrelation
a ≤ b  kann man b lösen, kann man auch a lösen Die Menge aller Wissenszustände entsprechend surmise relations nennt man (quasi-ordinalen) Wissensraum Ein Wissensraum entsprechend surmise relations enthält die leere Menge (also kein Wissen) und die komplette Menge der Testitems (alle Items wissen) als Wissenszustand Doesinger und Albert (2002)

25 Step 2 – Beispiel Englisch
K = {{}, {ε1}, {ε1, ε2}, {ε1, ε2, ε3}, {ε1, ε2, ε4}, {ε1, ε2, ε3, ε5}, {ε1, ε2, ε4, ε5}, {ε1, ε2, ε3, ε4}, {ε1, ε2, ε3, ε4, ε5}}

26 Step 3 – Theorie I Kompetenz und Performanzebene miteinander in Beziehung setzen Interpretationsfunktion wird angewandt Bildet jedes Item der Teilmenge von Kompetenzen die zum Lösen des Items erforderlich sind ab Ein korrekte Lösung eines Items wird so interpretiert, dass der Kompetenzzustand einer Person, zumindest alle diese Kompetenzen bis zu diesem Item beinhaltet Hockemeyer, C., Conlan, O., Wade, V., & Albert, D. (2003)

27 Step 3 – Theorie II Repräsentationsfunktion:
Beinhaltet zu jeder Teilmenge von Kompetenzen die Teilmenge von Items, die von einer Person lösbar sind, die diese und nur diese Kompetenzen hat Diese Funktion zeigt, wie die nicht- beobachtbaren Kompetenzen durch das Item-Lösungsverhalten sichtbar gemacht werden Hockemeyer, C., Conlan, O., Wade, V., & Albert, D. (2003)

28 Step 3 – Theorie III Die Teilmenge von Problemen, die durch die Repräsentationsfunktion zum Kompetenzzustand zugeordnet wird, nennt sich Performanz- Zustand Der Performanzzustand ist ein Element der Performanzstruktur Doesinger und Albert (2002)

29 Step 3 – Beispiel Englisch
Tabelle 2 q {} {ε1} {ε1, ε2} {ε1, ε2, ε3} {ε1, ε2, ε4} {ε1, ε2, ε3, ε5} {ε1, ε2 ε4, ε5} {ε1, ε2, ε3, ε4} {ε1, ε2, ε3, ε4, ε5} q1 ♦ • q2 q3 q4 q5 {q1} {q1, q2} {q1, q2, q3} {q1, q2, q4} {q1, q2, q3, q5} {q1, q2, q4, q5} {q1, q2, q3, q4} {q1, q2, q3, q4, q5}

30 Step 4 – Theorie I Ermittlung der Lösungsabhängigkeiten
In diesem Performanzraum kann man die Abhängigkeiten zwischen den Problemen, und daher die Ordnung auf der Problemmenge, erkennen. Jeder Performanzzustand wird jenem Problem zugeordnet, welches genau diesem Performanzzustand entspricht. Daraus wird jener Performanzzustand, der die minimalste Anforderung erfordert, extrahiert. Doesinger und Albert (2002)

31 Step 4 – Beispiel Englisch
Tabelle 3 q p(K)q q1 {q1}, {q1, q2}, {q1, q2, q3}, {q1, q2, q3, q4},… q2 {q1, q2}, {q1, q2, q3}, {q1, q2, q4}, {q1, q2, q3, q5}, {q1, q2, q4, q5}, {q1, q2, q3, q4}, {q1, q2, q3, q4, q5} q3 {q1, q2, q3}, {q1, q2, q3, q5}, {q1, q2, q3, q4}, {q1, q2, q3, q4, q5} q4 {q1, q2, q4}, {q1, q2, q4, q5}, {q1, q2, q3, q4}, {q1, q2, q3, q4, q5} q5 {q1, q2, q3, q5}, {q1, q2, q4, q5}, {q1, q2, q3, q4, q5}

32 Verständnisfrage II Wie schaut das dazupassende Hasse-Diagramm für die Surmise Relation der Elementarkompetenzen aus??

33 Step 4 – Beispiel Englisch
ε5 ε1… Pluralbildung -s ε2… Pluralbildung -es ε3… y  -ies ε4… f  -ves ε5… unregelmässige Pluralformen ε3 ε4 ε6 ε2 ε1

34 Steps anhand des CbKST – Kurses

35 CbKST EKST-Test KST-Test Order-Test Set-Test required + taught
required + tested EKST-Test EKST KST-Test KST Order-Test Order Theory Set-Test Set Theory Grundkenntnisse Mathematik (≤, ≥,…)

36 Step 1 – Beispiel CbKST ε 1: LO - Set Theory ε 2: TI - Set Theory
ε 3: LO - Order Theory ε 4: TI - Order Theory ε 5: LO - KST ε 6: TI - KST ε 7: LO - EKST ε 8: TI - EKST

37 Step 1 – Beispiel CbKST q f(q) q1 {ε1} q2 {ε1, ε2} q3 {ε1, ε3} q4
Tabelle 4 q f(q) q1 {ε1} q2 {ε1, ε2} q3 {ε1, ε3} q4 {ε1, ε3, ε4} q5 {ε1, ε3, ε5} q6 {ε1, ε3, ε5, ε6} q7 {ε1, ε3, ε5, ε7} q8 {ε1, ε3, ε5, ε7, ε8} L = {{ε1}, {ε1, ε2}, {ε1, ε3}, {ε1, ε3, ε4}, {ε1, ε3, ε5}, {ε1, ε3, ε5, ε6}, {ε1, ε3, ε5, ε7}, {ε1, ε3, ε5, ε7, ε8}}

38 Step 2 – Beispiel CbKST K = {{}, {ε1}, {ε1, ε2}, {ε1, ε3}, {ε1, ε3, ε4}, {ε1, ε3, ε5}, {ε1, ε3, ε5, ε6}, {ε1, ε3, ε5, ε7}, {ε1, ε3, ε5, ε7, ε8}, {ε1, ε2, ε3, ε4, ε5}, {ε1, ε2, ε3, ε4, ε5, ε6}, {ε1, ε2, ε3, ε4, ε5, ε6, ε7}, {ε1, ε2, ε4,}, {ε1, ε2, ε4, ε6}, {ε1, ε3, ε4, ε6, ε8},…}

39 Step 3 – Beispiel CbKST Tabelle 5 q {} {ε1} {ε1, ε2} {ε1, ε3}
{ε1, ε3, ε4,} {ε1, ε3, ε5} {ε1, ε3, ε5, ε6} {ε1, ε3, ε5, ε7} {ε1, ε3, ε5, ε7, ε8} {ε1, ε2, ε3, ε4, ε5} {ε1, ε2, ε3, ε4, ε5, ε6} {ε1, ε2, ε3, ε4, ε5, ε6, ε7 } {ε1, ε2, ε4} {ε1, ε2, ε4, ε6} {ε1, ε3, ε4, ε6, ε8} … q1 ♦ • q2 q3 q4 q5 q6 q7 q8 {q1} {q1, q2} {q1, q3} {q1, q3, q4} {q1, q3, q5} {q1, q3, q5, q6} {q1, q3, q5, q7} {q1, q3 q5, q7, q8} {q1, q2, q3, q4, q5} {q1, q2, q3, q4, q5, q6} {q1, q2, q4} {q1, q2, q4, q6} {q1, q3, q4, q6, q8}

40 Step 4 – Beispiel CbKST q p(K)q q1
Tabelle 6 q p(K)q q1 {q1}, {q1, q2}, {q1, q3}, {q1, q3, q4},… q2 {q1, q2}, {q1, q2, q3}, {q1, q2, q3, q4, q5}, {q1, q2, q3, q4, q5, q6},… q3 {q1, q3}, {q1, q3, q4}, {q1, q3, q5}, {q1, q3, q5, q6},… q4 {q1, q3, q4}, {q1, q2, q3, q4, q5}, {q1, q2, q3, q4, q5, q6}, {q1, q2, q3, q4, q5, q6, q7},… q5 {q1, q3, q5},{q1, q3, q5, q6}, {q1, q3, q5, q7}, {q1, q3, q5, q7, q8},… q6 {q1, q3, q5, q6}, {q1, q2, q3, q4, q5, q6}, {q1, q2, q3, q4, q5, q6, q7}, {q1, q2, q4, q6},… q7 {q1, q3, q5, q7}, {q1, q3, q5, q7, q8}, {q1, q2, q3, q4, q5, q6, q7},… q8 {q1, q3, q5, q7, q8}, {q1, q3, q4, q6, q8},…

41 CbKST EKST-Test KST-Test Order-Test Set-Test required + taught
required + tested EKST-Test EKST KST-Test KST Order-Test Order Theory Set-Test Set Theory Grundkenntnisse Mathematik (≤, ≥,…)

42 Exkurs: Set-Theory ε1… Mengenschreibweisen ε1 ε7
ε2… Zugehörigkeit ,  ε3… Operationen , , ,  ε4… Operationen  ε5… Operationen  ε6… Operationen  ε7 … Transformation von mathematischen Rechenregeln ε3 ε4 ε5 ε6 ε2 ε1

43 Lernobjekttypen – Beispiel: 
required + taught required + tested LO_062  LO_034  LO_027 TI_020   TI_002  LO_004 Grundkenntnisse Mathematik (≤, ≥,…)

44 Beispiel: karthesisches Produkt 
required + taught required + tested TI_062  TI_061 LO_052  LO_010  TI_015 LO_009 TI_014  TI_013 TI_012  TI_011 LO_008 Grundkenntnisse Mathematik (≤, ≥,…)

45 Neuester Stand der Wissenschaft:
Exkurs: Surmise Relations between Tests (Brandt, Albert, Hockemeyer, 1999) Neuester Stand der Wissenschaft: Item oder Itemmenge in Test A, die Person lösen kann  Person kann nicht-leere Teilmenge des Test B lösen

46 A und B sind in einer Surmise Relation von A zu B

47 Surmise Relations between Tests
Ist es möglich, die Eigenschaften von SR zwischen Items zu SR zwischen Tests abzuleiten? Jein!

48 Surmise Relations between Tests
Jein, weil... … SR between Items sind quasi-ordinal, reflexiv und transitiv … SR between Tests sind reflexiv, aber nicht unbedingt transitiv

49 Zur Erinnerung:Lernobjekttypen – Beispiel: 
required + taught required + tested LO_062  LO_034  LO_027 TI_020   TI_002  LO_004 Grundkenntnisse Mathematik (≤, ≥,…)

50 Surmise Relations between Items
LO_004 ist Vorraussetzung für LO_027 LO_027 ist Vorraussetzung für LO_034… UND Für LO_062 ist LO_034 Vorraussetzung Für LO_034 ist LO_027 Vorraussetzung… Gilt auch für Testitems!

51 Zur Erinnerung: CbKST EKST-Test KST-Test Order-Test Set-Test
required + taught required + tested EKST-Test EKST KST-Test KST Order-Test Order Theory Set-Test Set Theory Grundkenntnisse Mathematik (≤, ≥,…)

52 Surmise Relations between Tests
Laut SR between Tests gilt das gleiche Prinzip auch bei Itemmengen Set Theory ist Vorraussetzung für Order Theory Order Theory ist Vorraussetzung für KST... UND EKST baut auf KST auf KST baut auf Order Theory auf... Gilt auch für Tests!

53 Kritik/Verbesserungsvorschläge CbKST
LO_013 (LO_019): “A relation R over a set X is antisymmetric if, for all a and b in X, if a is related to b and b is related to a, then a = b. In mathematical notation, this is: "a,b  X: aRb  bRa  a=c“

54 Kritik/Verbesserungsvorschläge CbKST
Übersichtliche Tabelle mit Zeichenerklärung (, ",…) LO_020: Extended Knowledge Space Theory     * dddd     * dddd     * dddd LO_034: Figure 1 fehlt

55 Mögliche Methoden für die Erstellung einer Wissensstruktur
Analyse des Antwortverhaltens von Personen Grosse Stichprobe nötig, alle Personen müssen alle Aufgaben bearbeiten  unökonomisch, aufwendig Expertenbefragung …um Abhängigkeiten im Lösungsverhalten herauszufinden Analyse von Komponenten und Fähigkeiten Kognitive Anforderungen, die für die Lösung eines bestimmten Problems eines Wissensbereichs benötigt werden, werden bestimmt

56 Literaturverzeichnis
Brandt, S., Albert, D., & Hockemeyer, C. (1999). Surmise Relations between Tests - Preliminary Results of the Mathematical Modelling. Electronic Notes in Discrete Mathematics. Dösinger, G., & Albert, D. (2002). Adaptive Competence Testing in eLearning. European Journal of Open, Distance and E-Learning (EURODL). Hockemeyer, C., Conlan, O., Wade, V., & Albert, D. (2003). Applying Competence Prerequisite Structures for eLearning and Skill Management. Journal of Universal Computer Science, 9, 1428–1436. Kremser, M.G. (2000). Component-based Construction of a Knowledge Space for Children’s Second Language English Knowledge. An empirical investigation. (Diplomarbeit, Karl-Franzens-Universität Graz, 2000) Weinert, F.E. (2001). Vergleichende Leistungsmessung in Schulen – eine Umstrittene Selbstverständlichkeit. IN: Weinert, F.E. (Hrsg.): Leistungsmessungen in Schulen, Beltz Verlag, Weinheim – Basel, 17 – 31. Wiley, D. A. (2001). Connecting learning objects to instructional design theory: a definition, a metaphor, and a taxonomy [Internet]. Verfügbar unter:

57 Literaturverzeichnis
instructional-design-theory.pdf [März 2007] Duden. Fremdwörterbuch, 7.Auflage, Dudenverlag 2001 http;// Zusatzliteratur: Korossy, K. (1999). Qualitativ-strukturelle Wissesmodellierung in der elementaren Teilbarkeitslehre [1]. Zeitschrift für Experimentelle Psychologie, 46 (1),

58 Danke für Eure Aufmerksamkeit!       