Kompetenzmessung in der Beruflichen Bildung Reinhold Nickolaus Kompetenzmessung in der Beruflichen Bildung Vortrag im Rahmen der Fachtagung für Personal in der Beruflichen Bildung der IGM am 7.6.13

Aufbau Vorbemerkungen Kompetenzen und ihre Messung Beispiele für neue Testformen Ansprüche an Kompetenzmessungen und Probleme ihrer Einlösung In ASCOT bearbeitete Fragen, zugleich eine Zusammenfassung Ausblick: Erprobung neuer Aufgabenformate in Prüfungskontexten?

1. Vorbemerkungen Konzentration auf gewerblich-technischen Bereich Ziel: Einblicke in neue Testformen und wissenschaftliche Erkenntnisse zur Kompetenzmessung geben Unterschiedliche Ziele der Kompetenzmessung und damit verbundene Implikationen Individualdiagnostik Vergleiche auf institutioneller Ebene Internationale Vergleichsstudien (Problem der Vergleichbarkeit) Besondere Anforderungen in Prüfungskontexten

2. Kompetenzen und ihre Messung Definition: Mit Kompetenzen bezeichnen wir erwerbbare Fähigkeiten/Fertigkeiten, die zur Leistungserbringung in spezifischen, auch problemhaltigen Anforderungen befähigen (sowie die Bereitschaft, diese Fähigkeiten/Fertigkeiten einzubringen) Was verbirgt sich hinter diesen Fähigkeiten und Fertigkeiten und wie können wir diese erfassen? Was haben diese Fähigkeiten und Fertigkeiten mit fachspezifischem und handlungsbezogenem explizitem und implzitem Wissen zu tun? Wie ist die Bereitschaft/Motivation die eigenen Fähigkeiten in den Leistungserstellungsprozess einzubringen mit den Fähigkeiten und Fertigkeiten verknüpft?

Metakognitives System Nicht handlungsbezogenes CLARION – Modell (Abele 2013) Handlungsbezogenes Wissenssystem (HBS) Repräsentationen expliziter Handlungsregeln impliziter Handlungsstrukturen Motivation Metakognitives System Evaluation/ Überwachung Handlung/ Leistung Umwelt Nicht handlungsbezogenes Wissenssystem (NHBS) Repräsentation expliziten statischen Wissens impliziten statischen Wissens explizit implizit Ziele

Konstruktvalidität – Validitätsprobleme auf Konstruktebene Ansprüche an valide Kompetenzmessungen: Konstrukt-, inhalts- und kriterienbezogene Validität Konstruktvalidität – Validitätsprobleme auf Konstruktebene Ist bzw. unter welchen Bedingungen ist das Gesamtkonstrukt beruflicher Handlungskompetenz (Fach-, Sozial- und Personalkompetenz) valide abbildbar? Wie kann gewährleistet werden, dass die Subdimensionen valide erfasst werden können? a) bei Beschränkung auf Fähigkeiten/Fertigkeiten/Dispositionen b) bei Einbezug von Bereitschaften Inhaltsvalidität - Welche Inhalte bzw. Anforderungstypen sind zu berücksichtigen? Kriterienbezogene Validität – Maßstab reale Arbeitsproben

Strukturmodelle berufsfachlicher Kompetenz im gewerblich - technischen Bereich Grundlegende Fragen: Welche Kompetenzstruktur kann begründet unterstellt werden? (1) I Wissen/ Verständnis II Anwendung des Wissens in problemhaltigen Situationen III manuelle Fertigkeiten (2) Methodenkompetenz ist bisher nicht als eigenständige Kompetenzdimension empirisch ausweisbar (3) Es lassen sich z.T. Subdimensionen des Fachwissens und seiner Anwendung bestätigen. (4) Es lassen sich im Verlauf der Ausbildung Ausdifferenzierungs- und Verschmelzungsprozesse der Subdimensionen beobachten

Beispiele empirisch bestätigter Kompetenzstrukturmodelle

Strukturmodellierungen für Elektroniker a) Fachwissen Traditionelle Installationstechnik Elektrotechnische Grundlagen 1 2 3 4 5 6 7 8 N = 337, Χ² = 160, df = 129, Χ²/df = 1.24, p = .03, CFI = .96, TLI = .97, RMSEA = .03 Fachwissen 0.37 Steuerungs-/moderne (Bussysteme etc.) 9 10 11 12 13 14 0.65 0.89 EAP/PV = .54 EAP/PV = .74 EAP/PV = .78 Reliabilität N = Stichprobengröße X² = Chi-Test-Wert Df = t-Test-Wert X²/df = P = Signifikanzniveau CFI = bewertet der CFI nicht den absoluten Fit, sondern zeigt, wie gut ein Modell relativ zu dem hypothetischen Nullmodell zu den Daten paßt. Der CFI ist auf ein Intervall von 0 (keine Übereinstimmung zwischen Modell und Daten) und 1 (maximale Übereinstimmung) normiert. TLI = das auch als TLI (Tucker-Lewis Index) bekannt ist (vgl. Tucker/Lewis, 1973). Es ist jedoch in Anwendung und Interpretation nicht unumstritten. RMSEA = EAP/PV =

Korrelationen zwischen den Subdimensionen der Fachkompetenz bei Elektronkern für Energie- und Gebäudetechnik Überschrift? N = 382, Χ² = 217, df = 163, Χ²/df = 1.30, p = .01, CFI = .94, TLI = .96, RMSEA = .03 Traditionelle Installationstechnik Elektrotechnische Grundlagen Steuerungs-/ moderne Installationstechnik (Bussysteme etc.) Fachspezifische Problemlösefähigkeit 0.33 0.57 0.24 0.37 0.64

Problemlösefähigkeit Zusammenhang zwischen dem Fachwissen und der fachspezifischen Problemlösefähigkeit N = 382, Χ² = 226, df = 182, Χ²/df = 1.30, p = .01, CFI = .95, TLI = .96, RMSEA = .03 Traditionelle Installationstechnik Elektrotechnische Grundlagen Fachwissen Steuerungs-/ Moderne Installationstechnik (Bussysteme etc.) Fachspezifische Problemlösefähigkeit 0.86 0.39 0.70 0.81

Niveaumodell des Fachwissens (Elektroniker Energie- und Gebäudetechnik)

Elektroniker: Kompetenzniveaus NIVEAU 4 Bewältigung auch wenig vertrauter Anforderungen Analyse mit anschließendem regelbasierten Erarbeiten von Lösungen gelingt auch in weniger vertrauten Kontexten Mehrere und mathematisch aufwändige Lösungsschritte Lösungshinweise im Tabellenbuch implizit NIVEAU 3 Bewältigung vertrauter Anforderungen Analyse mit anschließendem regelbasierten Erarbeiten von Lösungen gelingt in vertrauten Strukturen Mehrere, jedoch mathematisch weniger aufwändige Lösungsschritte Lösungsschritte im Tabellenbuch fast vollständig und explizit NIVEAU 2 Basale elektrotechnische Grundkenntnisse Aufgaben, die eine Benennung / Beschreibung erfordern, werden bewältigt Wissensanwendung gelingt bei wenigen Schritten und bezogen auf Einzelheiten Lösungshinweise im Tabellenbuch fast vollständig und explizit NIVEAU 1 Rudimentäre elektrotechnische Grundkenntnisse Aufgaben die Benennung / Beschreibung erfordern werden nicht mit hinreichender Sicherheit bewältigt Auch Wissensanwendungen gelingen selbst bei Einzelheiten nicht sicher Auch explizite Lösungshinweise können aus dem Tabellenbuch nicht vollständig entnommen werden

Niveaumodellierungen Schwierigkeitsbestimmende Merkmale (Schumann & Eberle im Druck; Gschwendtner, Geißel & Nickolaus 2011, Nickolaus 2011) Bloomsche Taxonomie Inhaltliche Komplexität Modellierungsleistungen Vertrautheit/ curriculare Gewichtung

Fachspezifische Problemlösefähigkeit: Zentrale Fragen Wie kann man fachspezifische Problemlösefähigkeit valide messen? Welches fachspezifische Problemlöseniveau erreichen Auszubildende am Ausbildungsende? Welchen Anforderungen werden die Auszubildenden dabei gerecht?

Computersimulation zur Erfassung der Diagnosekompetenz bei Kfz-Mechatronikern Computersimulation zur Erfassung der fachspezifischen PLF

Befunde einer Validierungsstudie Zusammenhänge zwischen Realität (Fehleranalyse am realen Kfz und mit realen Expertensystemen) und Simulation: Realitäts- und Simulationsitems korrelieren zu r~.94!! Das bedeutet, dass die Messung in der Simulation zu nahezu identischen Ergebnissen führt, wie am realen Kfz!!!

Ergebnisse: Niveaumodell fachspezifisches Problemlösen (KFZ- Ende der Ausbildung) Berufliche Handlungen oder Bildungsprozesse als Teil realer Anforderungen

Ergebnisse: Schwierigkeitsbestimmende Merkmale (Fehleranalyse) Komplexität (Anzahl zwingend nötiger eigenständiger Bearbeitungsschritte) Art des Prüfmittels (Multimeter/Sichtprüfung vs. Stromesszange/Oszilloskop) Informationsbeschaffung (keine vs. lineare, vs. kombinierte) Diagnoseart (routinisierte vs. regelbasierte vs. nicht geführte) Fehlerart (defekte Komponente vs. Kabelbruch) Modellierungsleistung (Aufgabeninformationen ausreichend vs. nicht ausreichend) Berufliche Handlungen oder Bildungsprozesse als Teil realer Anforderungen

Sind Reparaturfertigkeiten über Simulationen abschätzbar? Wie hängen das handlungsbezogene Wissen und die Reparaturfertigkeiten zusammen? Gibt es auch einen solch starken Zusammenhang wie zwischen dem Fachwissen und der Fehleranalysefähigkeit? Welches Leistungsniveau erreichen Auszubildende am Ausbildungsende? Welchen Anforderungen werden die Auszubildenden dabei gerecht? Wie wird das handlungsbezogene Wissen erhoben? Simulation

Computersimulation zur Erfassung der des handlungsbezogenen Wissens bei Kfz-Mechatronikern Computersimulation zur Erfassung des handlungsbezogenen Wissens bei Reparaturaufgaben

Validierung der Testversionen für Reparatur und Instandhaltung Abgleich mit realen Arbeitsleistungen in den Unternehmen Beurteilung der Arbeitsleistungen bezogen auf die in den Videos präsentierten Aufgaben Beurteilungskriterien Grad der Eigenständigkeit Ausführungsgüte Interne, externe Beanstandungen Ausführungszeit

5. Ansprüche an Kompetenzmessungen und Probleme ihrer Einlösung Validität Reliabilität Trennschärfe Objektivität Praktikabiltität Anzahl der notwendigen Aufgaben Notwendige Testzeiten Vergleichbarkeit der Aufgaben

5. Ausblick Entwicklungsstand simulationsbasierten Testens In welchen Bereichen sind simulationsbasierte Testformen besonders geeignet? Herausforderungen bei der Abschätzung manueller Fertigkeiten Zur Notwendigkeit, die Kompetenzabschätzungen zunächst auf Ausschnitte der beruflichen Handlungskompetenz zu beschränken Probleme, in den gängigen Prüfungsformen den Ansprüchen einer validen Abschätzung beruflicher Kompetenzen zu genügen Erprobung der neuen Testformen in Prüfungskontexten

Vielen Dank für Ihre Aufmerksamkeit!

Anhang

Prüfungsergebnisse in den neu geordneten Metallberufen (IHK Stuttgart, Sommer 2008)

Prüfungsergebnisse in den neu geordneten Metallberufen (IHK Stuttgart, Sommer 2008)

Projekte/ einbezogen Berufe: 2. Das ASCOT Programm Übergreifende Ziele Projekte/ einbezogen Berufe: Elektroniker für Automatisierungstechnik Kfz-Mechatroniker Pflege Medizinische Fachangestellte Industriekaufleute Übergreifend: Basiskompetenzen und Ausbildungsbedingungen

In ASCOT bearbeitete Fragestellungen Validität: Welche Teilkompetenzen müssen unterstellt und getestet werden? Welche Aufgabenformate sind zur Testung geeignet? Erweisen sich die Simulationen als valide? Reliabilität: Ist mit den entwickelten Tests eine reliable Messung möglich und wieviel Aufgaben sind dafür notwendig? Praktikabiltität: Ist mit den entwickelten Tests eine reliable Messung in einem akzeptablen Zeitraum möglich? Adaptives Testen als Option?

Ausblick: Erprobung entwickelter Testelemente in Prüfungskontexten? Fehleranalysen Videovignetten Fachwissenstests Geschlossene Aufgabenformate Adaptives Testen Offene Aufgabenformate

Kompetenzniveaumodelle Niveau 1: Routiniertes und computergestütztes Lösen einfacher Kfz-Probleme Personen dieser Niveaustufe können die Informationen des Arbeitsauftrags erfassen und für die Diagnosearbeit nutzen. Zudem sind sie in der Lage, vertraute Fehlzustände zu diagnostizieren (Routinediagnose) und bei Aufgaben geringer Komplexität eine computergestützte Diagnose erfolgreich durchzuführen. Es wird also der standardmäßige Umgang mit dem Expertensystem (lineares Vorgehen, typischerweise bestehend aus: Fehlerspeicher auslesen, Eigendiagnose, computergestütztes Aufsuchen von Fahrzeugkomponenten, regelbasierte Diagnose) und mit dem Multimeter (für Spannungs- und Widerstandsmessungen) beherrscht. Die von den Personen vorgeschlagenen Reparaturmaßnahmen beziehen sich in der Regel auf den Tausch einfacher Fahrzeugkomponenten.

Kompetenzniveaumodelle Niveau 2: Computergestütztes und nicht geführtes Lösen mittelkomplexer Kfz-Probleme Personen dieser Niveaustufe weisen zusätzlich zu den Fähigkeiten von Niveaustufe 1 die Fähigkeit auf, Fehlzustände mittlerer Komplexität entweder anhand einer computergestützten Diagnose oder einer nicht geführten Diagnose zu identifizieren. Außerdem sind sie in der Lage, Stromlaufpläne und auf Niveaustufe 1 nicht benötigte Funktionen des Expertensystems (z. B. Aufrufen von Stromlaufplänen) für die Diagnosearbeiten zu nutzen. Personen des Kompetenzniveaus 2 können eigenständig einfachere Diagnosestrategien entwickeln und einfachere technische Systeme mental modellieren. Die von den Personen vorgeschlagenen Reparaturmaßnahmen beziehen sich auch auf die Beseitigung von Kontakt- und Verbindungsprobleme (z.B. Ersetzen defekter Kabel).

Kompetenzniveaumodelle Niveau 3: Eigenständiges Lösen komplexer Kfz-Probleme Im Gegensatz zur Niveaustufe 1 und 2 können Personen des Niveaus 3 Aufgaben hoher Komplexität anhand einer nicht geführten Diagnose erfolgreich bearbeiten. Gegenüber Niveau 2 beherrschen sie außerdem den Umgang mit weniger häufig verwendeten elektronischen Messgeräten (Oszilloskop und Stromesszange). Zudem sind sie in der Lage, komplexere technische Systeme eigenständig kognitiv zu modellieren. Auf dieser Niveaustufe beziehen sich die vorgeschlagenen Reparaturmaßnahmen sowohl auf das Ersetzen defekter Kabel als auch auf den Tausch komplexer Fahrzeugkomponenten.