Übersicht Kritik und Verbesserungsvorschläge am CbKST- Kurs Definitionen Kompetenz Lernobjekt Exkurs Diplomarbeit Adaptive Competence Testing in eLearning Dösinger, G., & Albert, D. (2002). Einführung 4 Schritte mit Beispielsverankerungen Englisch- Kurs CbKST- Kurs Kritik und Verbesserungsvorschläge am CbKST- Kurs Erstellungsmethoden einer Wissensstruktur Aufgabe der PsychologInnen

Kompetenz - Definitionen sprachwissenschaftlich: (idealisierte) Fähigkeit des Sprechers einer Sprache, mit einer begrenzten Anzahl von Elementen und Regeln eine unbegrenzte Zahl von Äußerungen zu bilden und zu verstehen, sowie über die sprachliche Richtigkeit von Äußerungen zu entscheiden. DUDEN 7. Auflage - Fremdwörterbuch

Kompetenz - Definitionen wirtschaftlich: Eine erworbene persönliche Fähigkeit, die Angestellten ein gleichbleibend hohes Leistungsniveau in einem bestimmten Berufsfeld ermöglicht. http://www.onpulson.de/lexikon/kompetenz.htm

Kompetenz - Definitionen psychologisch: „....die bei Individuen verfügbaren oder durch sie erlernbaren kognitiven Fähigkeiten und Fertigkeiten, um bestimmte Probleme zu lösen, sowie die damit verbundenen motivationalen, volitionalen und sozialen Bereitschaften und Fähigkeiten, um die Problemlösungen in variablen Situationen erfolgreich und verantwortungsvoll nutzen zu können.“ Weinert 2001

Kompetenzen Taught competencies: Kompetenzen die gelehrt werden Required competencies: Kompetenzen die erforderlich sind, um LO zu verstehen Tested competencies: tatsächlich getestete Kompetenzen Beispiel Bruchrechnen: a/b : c/d = a/b : c/d = a/b * d/c Hockemeyer, C., Conlan, O., Wade, V., & Albert, D. (2003)

Verständnisfrage I Required, Tested, Taught – Competencies?? Beispiel Bruchrechnen: a/b : c/d = a/b : c/d = a/b * d/c Required, Tested, Taught – Competencies??

Lernobjekte “Learning Objects are defined (…) as any entity, digital or non- digital, which can be used, re- used or referenced during technology supported learning. Examples of technology- supported learning include computer- aided instruction systems, distance learning systems, and collaborative learning environments. Examples of Learning Objects include multimedia content, instructional content, learning objectives, instructional software and software tools, and persons, organizations, or events referenced during technology supported learning” [LTSC (Learning Technology Standards Committee), 2000] „any digital resource that can be reused to support learning“ (Wiley, 2001)

Exkurs: Englisch als Zweitsprache Diplomarbeit von Kremser Pilotstudie 12- 14jährige SchülerInnen Englisch als Zweitsprache Englischtest – ohne Einfluss auf Note Ziel: Beschreibung des Englisch-Linguistischen Systems anhand der Wissensraumtheorie Modifizierte Version des Tests von Peltzer- Karpf und Zangl 1998

Exkurs – Beispiel: Englisch lernen Singular/Plural Lernobjekt: Lückentext

Exkurs – Beispiel: Englisch lernen Singular/Plural a… häufiges Wort x… -s z… unregelmässige Pluralformen b… seltenes Wort y… -es Kremser, M.G. (2000)

ENGLISCH KURS aus dem Internet Beispiel: Englisch Kurs ENGLISCH KURS aus dem Internet http://www.englisch-hilfen.de/grammer/plural.htm

Vor- und Nachteile Vorteile  tolles Feedback  sowohl richtige als auch falsche Antwort wird gegeben, inkl. Erklärung die lernende Person weiß, wieviel Zeitaufwand nötig ist Nachteile  das Programm führt die lernende Person nicht durch den Kurs  nicht adaptiv Bindestrich- und Leerzeichensetzung werden als Fehler gewertet Anhören der Vokabeln ist nicht möglich  Bilder fehlen (die lernende Person muß das Wort nicht schreiben können) Groß / Kleinschreibung egal ( Najavo – Najavos bei Eigennamen) Bei Test- Feedback fehlt die Erklärung Vokabelübersetzungsmöglichkeit fehlt  keine leichten Aufgaben, jedoch könnte dies auch zu Langeweile führen

CbKST – Kurs im Internet http://telearn.uni-graz.at:3536 Beispiel: CbKST-Kurs CbKST – Kurs im Internet http://telearn.uni-graz.at:3536

Was ist unsere Aufgabe als PsychologInnen? Mit ExpertInnen vom jeweiligen Wissensgebiet zusammenarbeiten und unser Wissen über kognitive Strukturen im menschlichen Gehirn Motivationale, Pädagogische, Testtheoretische und viele andere Aspekte einbringen.

Zuordnung Doesinger und Albert (2002) Wie können nun die Kompetenzen den LO´s zugeordnet werden? Doesinger und Albert (2002) „Adaptive Competence Testing in eLearning“

Zuordnung „Adaptive Competence Testing in eLearning“ Individualisierung wichtig bei eLearning Adaptives Lernen schwierig im Bezug auf eLearning Flexibles Lernen soll ermöglicht werden Artikel konzentriert sich auf Diagnose von Vorwissen im Bezug auf Kompetenzen die erforderlich sind beim Problemlösen Bezieht sich auf Korossy mit der Kompetenz- Performanz- Theorie Diese erlaubt adaptives und effizientes Testen aber auch Organisation des Lernprozesses Doesinger und Albert (2002)

4 Schritte 4 Schritte Identifikation und Präsentation von Lösungspfaden Erlangung des Kompetenzraums Kompetenz und Performanzebene miteinander in Beziehung setzen Ermitteln der Lösungsabhängigkeiten Doesinger und Albert (2002)

Step 1 – Theorie I Identifikation und Präsentation von Lösungspfaden Menge Q mit den Problemen q Menge E mit Elementarkompetenzen ε E repräsentiert Wissensbereich W Analyse welche Pfade zur Lösung führen, WIE ein Problem gelöst werden kann Verschiedene Schritte der Lösungspfade mit Elementarkompetenzen beschreiben Doesinger und Albert (2002)

Step 1 – Beispiel Pluralbildung ε 1: Pluralbildung - s ε 2: Pluralbildung - es ε 3: - y  - ies (inkl. Ausnahmen) ε 4: - f  - ves (inkl. Ausnahmen) ε 5: unregelmässige Pluralformen

Step 1 – Beispiel Englisch Tabelle 1 q f(q) q1 {ε1} q2 {ε1, ε2} q3 {ε1, ε2, ε3} q4 {ε1, ε2, ε4} q5 {ε1, ε2, ε3, ε5} v {ε1, ε2, ε4, ε5} L = {{ε1}, {ε1, ε2}, {ε1, ε2, ε3}, {ε1, ε2, ε4}, {{ε1, ε2, ε3, ε5}, {ε1, ε2, ε4, ε5}}}

Step 2 – Theorie I Erlangung des Kompetenzraums Bei der Auflösung des Sets „L“ unter Vereinigung erhält man die Kompetenzstruktur K. Wenn für alle Probleme nur ein Lösungsweg zugeordnet ist, ist die Kompetenzstruktur ein quasi-ordinaler Kompetenzraum der unter Vereinigung und Schnittmenge stabil ist Doesinger und Albert (2002)

Step 2 – Theorie II Gibt es mehrere alternative Lösungswege, ist die resultierende Wissensstruktur ein Kompetenzraum, der nur unter Vereinigung stabil ist Die Teilmengen der Elementarkompetenzen die bei der Auflösung unter Vereinigung erhalten werden, nennt man Kompetenzzustände K Sie sind Elemente der Kompetenzstruktur Doesinger und Albert (2002)

Step 2 – Theorie III Surmise Relation = Vermutungsrelation a ≤ b  kann man b lösen, kann man auch a lösen Die Menge aller Wissenszustände entsprechend surmise relations nennt man (quasi-ordinalen) Wissensraum Ein Wissensraum entsprechend surmise relations enthält die leere Menge (also kein Wissen) und die komplette Menge der Testitems (alle Items wissen) als Wissenszustand Doesinger und Albert (2002)

Step 2 – Beispiel Englisch K = {{}, {ε1}, {ε1, ε2}, {ε1, ε2, ε3}, {ε1, ε2, ε4}, {ε1, ε2, ε3, ε5}, {ε1, ε2, ε4, ε5}, {ε1, ε2, ε3, ε4}, {ε1, ε2, ε3, ε4, ε5}}

Step 3 – Theorie I Kompetenz und Performanzebene miteinander in Beziehung setzen Interpretationsfunktion wird angewandt Bildet jedes Item der Teilmenge von Kompetenzen die zum Lösen des Items erforderlich sind ab Ein korrekte Lösung eines Items wird so interpretiert, dass der Kompetenzzustand einer Person, zumindest alle diese Kompetenzen bis zu diesem Item beinhaltet Hockemeyer, C., Conlan, O., Wade, V., & Albert, D. (2003)

Step 3 – Theorie II Repräsentationsfunktion: Beinhaltet zu jeder Teilmenge von Kompetenzen die Teilmenge von Items, die von einer Person lösbar sind, die diese und nur diese Kompetenzen hat Diese Funktion zeigt, wie die nicht- beobachtbaren Kompetenzen durch das Item-Lösungsverhalten sichtbar gemacht werden Hockemeyer, C., Conlan, O., Wade, V., & Albert, D. (2003)

Step 3 – Theorie III Die Teilmenge von Problemen, die durch die Repräsentationsfunktion zum Kompetenzzustand zugeordnet wird, nennt sich Performanz- Zustand Der Performanzzustand ist ein Element der Performanzstruktur Doesinger und Albert (2002)

Step 3 – Beispiel Englisch Tabelle 2 q {} {ε1} {ε1, ε2} {ε1, ε2, ε3} {ε1, ε2, ε4} {ε1, ε2, ε3, ε5} {ε1, ε2 ε4, ε5} {ε1, ε2, ε3, ε4} {ε1, ε2, ε3, ε4, ε5} q1 ♦ • q2 q3 q4 q5 {q1} {q1, q2} {q1, q2, q3} {q1, q2, q4} {q1, q2, q3, q5} {q1, q2, q4, q5} {q1, q2, q3, q4} {q1, q2, q3, q4, q5}

Step 4 – Theorie I Ermittlung der Lösungsabhängigkeiten In diesem Performanzraum kann man die Abhängigkeiten zwischen den Problemen, und daher die Ordnung auf der Problemmenge, erkennen. Jeder Performanzzustand wird jenem Problem zugeordnet, welches genau diesem Performanzzustand entspricht. Daraus wird jener Performanzzustand, der die minimalste Anforderung erfordert, extrahiert. Doesinger und Albert (2002)

Step 4 – Beispiel Englisch Tabelle 3 q p(K)q q1 {q1}, {q1, q2}, {q1, q2, q3}, {q1, q2, q3, q4},… q2 {q1, q2}, {q1, q2, q3}, {q1, q2, q4}, {q1, q2, q3, q5}, {q1, q2, q4, q5}, {q1, q2, q3, q4}, {q1, q2, q3, q4, q5} q3 {q1, q2, q3}, {q1, q2, q3, q5}, {q1, q2, q3, q4}, {q1, q2, q3, q4, q5} q4 {q1, q2, q4}, {q1, q2, q4, q5}, {q1, q2, q3, q4}, {q1, q2, q3, q4, q5} q5 {q1, q2, q3, q5}, {q1, q2, q4, q5}, {q1, q2, q3, q4, q5}

Verständnisfrage II Wie schaut das dazupassende Hasse-Diagramm für die Surmise Relation der Elementarkompetenzen aus??

Step 4 – Beispiel Englisch ε5 ε1… Pluralbildung -s ε2… Pluralbildung -es ε3… y  -ies ε4… f  -ves ε5… unregelmässige Pluralformen ε3 ε4 ε6 ε2 ε1

Steps anhand des CbKST – Kurses http://telearn.uni-graz.at:3536

CbKST EKST-Test KST-Test Order-Test Set-Test required + taught required + tested EKST-Test EKST KST-Test KST Order-Test Order Theory Set-Test Set Theory Grundkenntnisse Mathematik (≤, ≥,…)

Step 1 – Beispiel CbKST ε 1: LO - Set Theory ε 2: TI - Set Theory ε 3: LO - Order Theory ε 4: TI - Order Theory ε 5: LO - KST ε 6: TI - KST ε 7: LO - EKST ε 8: TI - EKST

Step 1 – Beispiel CbKST q f(q) q1 {ε1} q2 {ε1, ε2} q3 {ε1, ε3} q4 Tabelle 4 q f(q) q1 {ε1} q2 {ε1, ε2} q3 {ε1, ε3} q4 {ε1, ε3, ε4} q5 {ε1, ε3, ε5} q6 {ε1, ε3, ε5, ε6} q7 {ε1, ε3, ε5, ε7} q8 {ε1, ε3, ε5, ε7, ε8} L = {{ε1}, {ε1, ε2}, {ε1, ε3}, {ε1, ε3, ε4}, {ε1, ε3, ε5}, {ε1, ε3, ε5, ε6}, {ε1, ε3, ε5, ε7}, {ε1, ε3, ε5, ε7, ε8}}

Step 2 – Beispiel CbKST K = {{}, {ε1}, {ε1, ε2}, {ε1, ε3}, {ε1, ε3, ε4}, {ε1, ε3, ε5}, {ε1, ε3, ε5, ε6}, {ε1, ε3, ε5, ε7}, {ε1, ε3, ε5, ε7, ε8}, {ε1, ε2, ε3, ε4, ε5}, {ε1, ε2, ε3, ε4, ε5, ε6}, {ε1, ε2, ε3, ε4, ε5, ε6, ε7}, {ε1, ε2, ε4,}, {ε1, ε2, ε4, ε6}, {ε1, ε3, ε4, ε6, ε8},…}

Step 3 – Beispiel CbKST Tabelle 5 q {} {ε1} {ε1, ε2} {ε1, ε3} {ε1, ε3, ε4,} {ε1, ε3, ε5} {ε1, ε3, ε5, ε6} {ε1, ε3, ε5, ε7} {ε1, ε3, ε5, ε7, ε8} {ε1, ε2, ε3, ε4, ε5} {ε1, ε2, ε3, ε4, ε5, ε6} {ε1, ε2, ε3, ε4, ε5, ε6, ε7 } {ε1, ε2, ε4} {ε1, ε2, ε4, ε6} {ε1, ε3, ε4, ε6, ε8} … q1 ♦ • q2 q3 q4 q5 q6 q7 q8 {q1} {q1, q2} {q1, q3} {q1, q3, q4} {q1, q3, q5} {q1, q3, q5, q6} {q1, q3, q5, q7} {q1, q3 q5, q7, q8} {q1, q2, q3, q4, q5} {q1, q2, q3, q4, q5, q6} {q1, q2, q4} {q1, q2, q4, q6} {q1, q3, q4, q6, q8}

Step 4 – Beispiel CbKST q p(K)q q1 Tabelle 6 q p(K)q q1 {q1}, {q1, q2}, {q1, q3}, {q1, q3, q4},… q2 {q1, q2}, {q1, q2, q3}, {q1, q2, q3, q4, q5}, {q1, q2, q3, q4, q5, q6},… q3 {q1, q3}, {q1, q3, q4}, {q1, q3, q5}, {q1, q3, q5, q6},… q4 {q1, q3, q4}, {q1, q2, q3, q4, q5}, {q1, q2, q3, q4, q5, q6}, {q1, q2, q3, q4, q5, q6, q7},… q5 {q1, q3, q5},{q1, q3, q5, q6}, {q1, q3, q5, q7}, {q1, q3, q5, q7, q8},… q6 {q1, q3, q5, q6}, {q1, q2, q3, q4, q5, q6}, {q1, q2, q3, q4, q5, q6, q7}, {q1, q2, q4, q6},… q7 {q1, q3, q5, q7}, {q1, q3, q5, q7, q8}, {q1, q2, q3, q4, q5, q6, q7},… q8 {q1, q3, q5, q7, q8}, {q1, q3, q4, q6, q8},…

CbKST EKST-Test KST-Test Order-Test Set-Test required + taught required + tested EKST-Test EKST KST-Test KST Order-Test Order Theory Set-Test Set Theory Grundkenntnisse Mathematik (≤, ≥,…)

Exkurs: Set-Theory ε1… Mengenschreibweisen ε1 ε7 ε2… Zugehörigkeit ,  ε3… Operationen , , ,  ε4… Operationen  ε5… Operationen  ε6… Operationen  ε7 … Transformation von mathematischen Rechenregeln ε3 ε4 ε5 ε6 ε2 ε1

Lernobjekttypen – Beispiel:  required + taught required + tested LO_062  LO_034  LO_027 TI_020   TI_002  LO_004 Grundkenntnisse Mathematik (≤, ≥,…)

Beispiel: karthesisches Produkt  required + taught required + tested TI_062  TI_061 LO_052  LO_010  TI_015 LO_009 TI_014  TI_013 TI_012  TI_011 LO_008 Grundkenntnisse Mathematik (≤, ≥,…)

Neuester Stand der Wissenschaft: Exkurs: Surmise Relations between Tests (Brandt, Albert, Hockemeyer, 1999) Neuester Stand der Wissenschaft: Item oder Itemmenge in Test A, die Person lösen kann  Person kann nicht-leere Teilmenge des Test B lösen

A und B sind in einer Surmise Relation von A zu B

Surmise Relations between Tests Ist es möglich, die Eigenschaften von SR zwischen Items zu SR zwischen Tests abzuleiten? Jein!

Surmise Relations between Tests Jein, weil... … SR between Items sind quasi-ordinal, reflexiv und transitiv … SR between Tests sind reflexiv, aber nicht unbedingt transitiv

Zur Erinnerung:Lernobjekttypen – Beispiel:  required + taught required + tested LO_062  LO_034  LO_027 TI_020   TI_002  LO_004 Grundkenntnisse Mathematik (≤, ≥,…)

Surmise Relations between Items LO_004 ist Vorraussetzung für LO_027 LO_027 ist Vorraussetzung für LO_034… UND Für LO_062 ist LO_034 Vorraussetzung Für LO_034 ist LO_027 Vorraussetzung… Gilt auch für Testitems!

Zur Erinnerung: CbKST EKST-Test KST-Test Order-Test Set-Test required + taught required + tested EKST-Test EKST KST-Test KST Order-Test Order Theory Set-Test Set Theory Grundkenntnisse Mathematik (≤, ≥,…)

Surmise Relations between Tests Laut SR between Tests gilt das gleiche Prinzip auch bei Itemmengen Set Theory ist Vorraussetzung für Order Theory Order Theory ist Vorraussetzung für KST... UND EKST baut auf KST auf KST baut auf Order Theory auf... Gilt auch für Tests!

Kritik/Verbesserungsvorschläge CbKST LO_013 (LO_019): “A relation R over a set X is antisymmetric if, for all a and b in X, if a is related to b and b is related to a, then a = b. In mathematical notation, this is: "a,b  X: aRb  bRa  a=c“ http://telearn.uni-graz.at:3536

Kritik/Verbesserungsvorschläge CbKST Übersichtliche Tabelle mit Zeichenerklärung (, ",…) LO_020: Extended Knowledge Space Theory     * dddd     * dddd     * dddd LO_034: Figure 1 fehlt

Mögliche Methoden für die Erstellung einer Wissensstruktur Analyse des Antwortverhaltens von Personen Grosse Stichprobe nötig, alle Personen müssen alle Aufgaben bearbeiten  unökonomisch, aufwendig Expertenbefragung …um Abhängigkeiten im Lösungsverhalten herauszufinden Analyse von Komponenten und Fähigkeiten Kognitive Anforderungen, die für die Lösung eines bestimmten Problems eines Wissensbereichs benötigt werden, werden bestimmt http://telearn.uni-graz.at:3536

Literaturverzeichnis Brandt, S., Albert, D., & Hockemeyer, C. (1999). Surmise Relations between Tests - Preliminary Results of the Mathematical Modelling. Electronic Notes in Discrete Mathematics. Dösinger, G., & Albert, D. (2002). Adaptive Competence Testing in eLearning. European Journal of Open, Distance and E-Learning (EURODL). Hockemeyer, C., Conlan, O., Wade, V., & Albert, D. (2003). Applying Competence Prerequisite Structures for eLearning and Skill Management. Journal of Universal Computer Science, 9, 1428–1436. Kremser, M.G. (2000). Component-based Construction of a Knowledge Space for Children’s Second Language English Knowledge. An empirical investigation. (Diplomarbeit, Karl-Franzens-Universität Graz, 2000) Weinert, F.E. (2001). Vergleichende Leistungsmessung in Schulen – eine Umstrittene Selbstverständlichkeit. IN: Weinert, F.E. (Hrsg.): Leistungsmessungen in Schulen, Beltz Verlag, Weinheim – Basel, 17 – 31. Wiley, D. A. (2001). Connecting learning objects to instructional design theory: a definition, a metaphor, and a taxonomy [Internet]. Verfügbar unter:

Literaturverzeichnis http://www.elearning-reviews.org/topics/technology/learning-objects/2001-wiley-learning-object- instructional-design-theory.pdf [März 2007] Duden. Fremdwörterbuch, 7.Auflage, Dudenverlag 2001 http;//www.englisch-hilfen.de/grammer/plural.htm http://ltsc.ieee.org/wg12/ http://www.onpulson.de/lexikon/kompetenz.htm http://telearn.uni-graz.at:3536 Zusatzliteratur: Korossy, K. (1999). Qualitativ-strukturelle Wissesmodellierung in der elementaren Teilbarkeitslehre [1]. Zeitschrift für Experimentelle Psychologie, 46 (1), 28-52.

Danke für Eure Aufmerksamkeit!       