ITB Kolloquium Andreas Saniter Kompetenz & Evaluation

ITB Kolloquium Seite 2 Folien 1. Kompetenz als kontextspezifische Disposition 2. Amorphes Gebilde – Reduzierbar? Disjunkt? 3. Niveaus vs. Entwicklung 4. Zielbereich Schule Professionalisierung 5. Evaluationsaufgaben

ITB Kolloquium Seite 3 1. Deskriptionen Kontextbezogene Dispositionen Vernachlässigung affektiver Faktoren Abgrenzung zu Intelligenzkonzepten –Fach- Personal- und Sozialkompetenz als Voraussetzung für Methoden- und Lernkompetenz (KMK 2000) –Fertigkeiten, Fähigkeiten, Kompetenz (EQF) –Fachwissen, Erkenntnisgewinnung, Kommunikation, Bewertung (Differenzierung der Kompetenz für allgemeinbildende physikalische Bildungsstandards) Performanzseitig lässt sich eine Metrik finden – ist eine strukturerhaltende Abbildung auf die Dispositionen / Psyche möglich?

ITB Kolloquium Seite 4 2.) Korrelationen ? ? ?

ITB Kolloquium Seite 5 2.) Modellierung Alternativ: Matrizendarstellung Eine psychometrisch optimale Aufgabe zielt auf genau 1 Feld der Kompetenzmatrix. Curricular & eng (1 Lösungsweg, keine Kontamination mit anderen Dimensionen / Teilleistungen). Liegen (fortgeschrittene) kognitive Leistungen nicht evt. zwischen den oder in der Kombination der Felder? Hat Kognition (jenseits elementarer Reproduktion) nicht emergenten Charakter (im Sinne einer Grenze der Elementarisierbarkeit)?

ITB Kolloquium Seite 6 3. ) Niveaus vs. Entwicklung Zuordnung der Aufgaben zu Schwierigkeitsniveaus retrospektiv (trotz impliziten Curriculums!?) Schüler (Kohorte) X macht es um z % besser als Schüler (Kohorte) Y, aber nicht was macht er / sie besser. Von der quantitativen über die qualitative Deskription zur Analyse !?

ITB Kolloquium Seite 7 3. ) Stufen vs. Entwicklung © Rainer Bremer

ITB Kolloquium Seite Kompetenzmodelle PsychometrieEvaluationsaufgaben MetrischOrdinal QuantitativQualitativ Generische LösungenGenerative Lösungen ElementarisierendSynthetisch ProduktorientiertZugangsorientiert NiveaumodellEntwicklungsmodell Enge, curriculare AufgabenOffene, anspruchsvolle Aufgaben ReliabelGgf. Teildomänenspezifisch Scharf in der DefizitdiagnoseUnschärfen möglich

ITB Kolloquium Seite 9 4.) Aufgabenart Domänenspez. Kompetenz 1 – n Kompetenzfelder Jedes Kompetenzfeld lässt sich als Berufliche (auch akademische) Arbeitsaufgabe (BAG) externalisieren. Jeder BAG lassen sich anspruchsvolle Aufgaben zuordnen, die zu Evaluationszwecken nutzbar sind.

ITB Kolloquium Seite 10 5 Evaluationsaufgaben Die Aufgaben entstammen realen anspruchsvollen Arbeitsprozessen – können Lernende sie perfekt lösen, war die Aufgabe zu leicht. Insbesondere ist die Erzeugung einer eigenständigen (nicht reproduzierenden) Lösung erforderlich. Evaluiert wird der Zugang zu der Aufgabe, d. h. es wird qualitativ (und damit ordinal) differenziert, wie weit die domänenspezifische Kompetenzentwicklung bereits fortgeschritten ist. Es gibt wird nicht nach einem vollständigen System von Teilen gesucht, aus denen sich die Kompetenz summativ zusammensetzen ließe.

ITB Kolloquium Seite 11 Die Aufgabe »Prüfen einer Lampe« An Ihrem Standort werden in Zukunft Leseleuchten für Fluggeräte gefertigt. Ein Erstmuster ist bereits gefertigt worden (Bild 1 bis 5). Bevor die Leseleuchten in ein Flugzeug eingebaut werden können, müssen sie zunächst geprüft werden. Sie sind für das Prüfen dieser Leseleuchten zuständig. Ihre Aufgabe: Erstellen Sie einen Plan zur Funktionsprüfung der Leseleuchten.

ITB Kolloquium Seite 12 Einige Bilder

ITB Kolloquium Seite 13 Einige Bilder

ITB Kolloquium Seite 14 Kriterien PositionFrage 1Frage 2Punkte 1.Erfaßt die Lösung die Aufgabenstellung? Ging es um das bearbeitete Problem? Ist die Lösung machbar? Läßt sich nach der Lösung tatsächlich arbeiten? Reflektiert die Lösung Belange der Kunden? Ist denkbar, daß jemand so eine Lösung braucht? Ist die Lösung einfach abgeleitet? Reproduziert die Lösung Gelerntes? -5 0

ITB Kolloquium Seite 15 Kompetente Lösung

ITB Kolloquium Seite 16 Kompetent II

ITB Kolloquium Seite 17 Aufgabe erfasst / unvollständig

ITB Kolloquium Seite 18 Null-Lösung

ITB Kolloquium Seite 19 Ergebnisse

ITB Kolloquium Seite 20 Kein Zusammenhang zwischen Sek. I–Abschluß und Lösungsqualität nachweisbar. Bildung beruflicher Identität als Voraussetzung für die Entstehung fachlicher Kompetenzen gelingt überwiegend (Lernkonzept). Andernfalls entsteht keine Fähigkeit zur Selbstoperationalisierung (Berufliches Arbeitskonzept). Kein oder nur geringer Einfluss der peer-to-peer Zusammenarbeit auf die Qualität der Lösungen nachweisbar. Generalisierte Beobachtungen

ITB Kolloquium Seite 21 Mögliche Perspektiven Beide Methoden schreiben Probanden / Kohorten eine (mittlere) domänenspezifische Kompetenz zu. –Wie kompatibel sind diese? –Wie können Untersuchungen angelegt sein, dass sie neben Befunden/Diagnosen auch Therapievorschläge beinhalten? · Wie können die Ergebnisse fundiert didaktisch gewendet werden? ·Wie können die Ergebnisse zur Ausdifferenzierung domänenspezifischer Kompetenzentwicklungsmodelle Verwendung finden?