ITB Kolloquium 18.04.07 Andreas Saniter Kompetenz & Evaluation.

Präsentation zum Thema: "ITB Kolloquium 18.04.07 Andreas Saniter Kompetenz & Evaluation."—  Präsentation transkript:

1 ITB Kolloquium 18.04.07 Andreas Saniter Kompetenz & Evaluation

2 ITB Kolloquium 18.4.2007 Seite 2 Folien 1. Kompetenz als kontextspezifische Disposition 2. Amorphes Gebilde – Reduzierbar? Disjunkt? 3. Niveaus vs. Entwicklung 4. Zielbereich Schule Professionalisierung 5. Evaluationsaufgaben

3 ITB Kolloquium 18.4.2007 Seite 3 1. Deskriptionen Kontextbezogene Dispositionen Vernachlässigung affektiver Faktoren Abgrenzung zu Intelligenzkonzepten –Fach- Personal- und Sozialkompetenz als Voraussetzung für Methoden- und Lernkompetenz (KMK 2000) –Fertigkeiten, Fähigkeiten, Kompetenz (EQF) –Fachwissen, Erkenntnisgewinnung, Kommunikation, Bewertung (Differenzierung der Kompetenz für allgemeinbildende physikalische Bildungsstandards) Performanzseitig lässt sich eine Metrik finden – ist eine strukturerhaltende Abbildung auf die Dispositionen / Psyche möglich?

4 ITB Kolloquium 18.4.2007 Seite 4 2.) Korrelationen ? ? ?

5 ITB Kolloquium 18.4.2007 Seite 5 2.) Modellierung Alternativ: Matrizendarstellung Eine psychometrisch optimale Aufgabe zielt auf genau 1 Feld der Kompetenzmatrix. Curricular & eng (1 Lösungsweg, keine Kontamination mit anderen Dimensionen / Teilleistungen). Liegen (fortgeschrittene) kognitive Leistungen nicht evt. zwischen den oder in der Kombination der Felder? Hat Kognition (jenseits elementarer Reproduktion) nicht emergenten Charakter (im Sinne einer Grenze der Elementarisierbarkeit)?

6 ITB Kolloquium 18.4.2007 Seite 6 3. ) Niveaus vs. Entwicklung Zuordnung der Aufgaben zu Schwierigkeitsniveaus retrospektiv (trotz impliziten Curriculums!?) Schüler (Kohorte) X macht es um z % besser als Schüler (Kohorte) Y, aber nicht was macht er / sie besser. Von der quantitativen über die qualitative Deskription zur Analyse !?

7 ITB Kolloquium 18.4.2007 Seite 7 3. ) Stufen vs. Entwicklung © Rainer Bremer

8 ITB Kolloquium 18.4.2007 Seite 8 1-3 Kompetenzmodelle PsychometrieEvaluationsaufgaben MetrischOrdinal QuantitativQualitativ Generische LösungenGenerative Lösungen ElementarisierendSynthetisch ProduktorientiertZugangsorientiert NiveaumodellEntwicklungsmodell Enge, curriculare AufgabenOffene, anspruchsvolle Aufgaben ReliabelGgf. Teildomänenspezifisch Scharf in der DefizitdiagnoseUnschärfen möglich

9 ITB Kolloquium 18.4.2007 Seite 9 4.) Aufgabenart Domänenspez. Kompetenz 1 – n Kompetenzfelder Jedes Kompetenzfeld lässt sich als Berufliche (auch akademische) Arbeitsaufgabe (BAG) externalisieren. Jeder BAG lassen sich anspruchsvolle Aufgaben zuordnen, die zu Evaluationszwecken nutzbar sind.

10 ITB Kolloquium 18.4.2007 Seite 10 5 Evaluationsaufgaben Die Aufgaben entstammen realen anspruchsvollen Arbeitsprozessen – können Lernende sie perfekt lösen, war die Aufgabe zu leicht. Insbesondere ist die Erzeugung einer eigenständigen (nicht reproduzierenden) Lösung erforderlich. Evaluiert wird der Zugang zu der Aufgabe, d. h. es wird qualitativ (und damit ordinal) differenziert, wie weit die domänenspezifische Kompetenzentwicklung bereits fortgeschritten ist. Es gibt wird nicht nach einem vollständigen System von Teilen gesucht, aus denen sich die Kompetenz summativ zusammensetzen ließe.

11 ITB Kolloquium 18.4.2007 Seite 11 Die Aufgabe »Prüfen einer Lampe« An Ihrem Standort werden in Zukunft Leseleuchten für Fluggeräte gefertigt. Ein Erstmuster ist bereits gefertigt worden (Bild 1 bis 5). Bevor die Leseleuchten in ein Flugzeug eingebaut werden können, müssen sie zunächst geprüft werden. Sie sind für das Prüfen dieser Leseleuchten zuständig. Ihre Aufgabe: Erstellen Sie einen Plan zur Funktionsprüfung der Leseleuchten.

12 ITB Kolloquium 18.4.2007 Seite 12 Einige Bilder

13 ITB Kolloquium 18.4.2007 Seite 13 Einige Bilder

14 ITB Kolloquium 18.4.2007 Seite 14 Kriterien PositionFrage 1Frage 2Punkte 1.Erfaßt die Lösung die Aufgabenstellung? Ging es um das bearbeitete Problem? 5 0 2.Ist die Lösung machbar? Läßt sich nach der Lösung tatsächlich arbeiten? 5 0 3.Reflektiert die Lösung Belange der Kunden? Ist denkbar, daß jemand so eine Lösung braucht? 5 0 4.Ist die Lösung einfach abgeleitet? Reproduziert die Lösung Gelerntes? -5 0

15 ITB Kolloquium 18.4.2007 Seite 15 Kompetente Lösung

16 ITB Kolloquium 18.4.2007 Seite 16 Kompetent II

17 ITB Kolloquium 18.4.2007 Seite 17 Aufgabe erfasst / unvollständig

18 ITB Kolloquium 18.4.2007 Seite 18 Null-Lösung

19 ITB Kolloquium 18.4.2007 Seite 19 Ergebnisse

20 ITB Kolloquium 18.4.2007 Seite 20 Kein Zusammenhang zwischen Sek. I–Abschluß und Lösungsqualität nachweisbar. Bildung beruflicher Identität als Voraussetzung für die Entstehung fachlicher Kompetenzen gelingt überwiegend (Lernkonzept). Andernfalls entsteht keine Fähigkeit zur Selbstoperationalisierung (Berufliches Arbeitskonzept). Kein oder nur geringer Einfluss der peer-to-peer Zusammenarbeit auf die Qualität der Lösungen nachweisbar. Generalisierte Beobachtungen

21 ITB Kolloquium 18.4.2007 Seite 21 Mögliche Perspektiven Beide Methoden schreiben Probanden / Kohorten eine (mittlere) domänenspezifische Kompetenz zu. –Wie kompatibel sind diese? –Wie können Untersuchungen angelegt sein, dass sie neben Befunden/Diagnosen auch Therapievorschläge beinhalten? · Wie können die Ergebnisse fundiert didaktisch gewendet werden? ·Wie können die Ergebnisse zur Ausdifferenzierung domänenspezifischer Kompetenzentwicklungsmodelle Verwendung finden?