Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

1 Reinhold Nickolaus Kompetenzmessung in der Beruflichen Bildung Vortrag im Rahmen der Fachtagung für Personal in der Beruflichen Bildung der IGM am 7.6.13.

Ähnliche Präsentationen


Präsentation zum Thema: "1 Reinhold Nickolaus Kompetenzmessung in der Beruflichen Bildung Vortrag im Rahmen der Fachtagung für Personal in der Beruflichen Bildung der IGM am 7.6.13."—  Präsentation transkript:

1 1 Reinhold Nickolaus Kompetenzmessung in der Beruflichen Bildung Vortrag im Rahmen der Fachtagung für Personal in der Beruflichen Bildung der IGM am

2 2 Aufbau 1.Vorbemerkungen 2.Kompetenzen und ihre Messung 3.Beispiele für neue Testformen 4.Ansprüche an Kompetenzmessungen und Probleme ihrer Einlösung 5.In ASCOT bearbeitete Fragen, zugleich eine Zusammenfassung 6.Ausblick: Erprobung neuer Aufgabenformate in Prüfungskontexten?

3 3 1.Vorbemerkungen Konzentration auf gewerblich-technischen Bereich Ziel: Einblicke in neue Testformen und wissenschaftliche Erkenntnisse zur Kompetenzmessung geben Unterschiedliche Ziele der Kompetenzmessung und damit verbundene Implikationen Individualdiagnostik Vergleiche auf institutioneller Ebene Internationale Vergleichsstudien (Problem der Vergleichbarkeit) Besondere Anforderungen in Prüfungskontexten

4 4 2. Kompetenzen und ihre Messung Definition: Mit Kompetenzen bezeichnen wir erwerbbare Fähigkeiten/Fertigkeiten, die zur Leistungserbringung in spezifischen, auch problemhaltigen Anforderungen befähigen (sowie die Bereitschaft, diese Fähigkeiten/Fertigkeiten einzubringen)  Was verbirgt sich hinter diesen Fähigkeiten und Fertigkeiten und wie können wir diese erfassen?  Was haben diese Fähigkeiten und Fertigkeiten mit fachspezifischem und handlungsbezogenem explizitem und implzitem Wissen zu tun?  Wie ist die Bereitschaft/Motivation die eigenen Fähigkeiten in den Leistungserstellungsprozess einzubringen mit den Fähigkeiten und Fertigkeiten verknüpft?

5 5 Handlungsbezogenes Wissenssystem (HBS) Repräsentationen expliziter Handlungsregeln Repräsentationen impliziter Handlungsstrukturen MotivationMetakognitives System Evaluation/ Überwachung Handlung/ Leistung Umwelt Nicht handlungsbezogenes Wissenssystem (NHBS) Repräsentation expliziten statischen Wissens Repräsentation impliziten statischen Wissens explizit implizit Ziele CLARION – Modell (Abele 2013)

6 6 Ansprüche an valide Kompetenzmessungen: Konstrukt-, inhalts- und kriterienbezogene Validität Konstruktvalidität – Validitätsprobleme auf Konstruktebene Ist bzw. unter welchen Bedingungen ist das Gesamtkonstrukt beruflicher Handlungskompetenz (Fach-, Sozial- und Personalkompetenz) valide abbildbar? Wie kann gewährleistet werden, dass die Subdimensionen valide erfasst werden können? a)bei Beschränkung auf Fähigkeiten/Fertigkeiten/Dispositionen b)bei Einbezug von Bereitschaften Inhaltsvalidität - Welche Inhalte bzw. Anforderungstypen sind zu berücksichtigen? Kriterienbezogene Validität – Maßstab reale Arbeitsproben

7 7 Strukturmodelle berufsfachlicher Kompetenz im gewerblich - technischen Bereich Grundlegende Fragen: Welche Kompetenzstruktur kann begründet unterstellt werden? (1)IWissen/ Verständnis IIAnwendung des Wissens in problemhaltigen Situationen IIImanuelle Fertigkeiten (2)Methodenkompetenz ist bisher nicht als eigenständige Kompetenzdimension empirisch ausweisbar (3)Es lassen sich z.T. Subdimensionen des Fachwissens und seiner Anwendung bestätigen. (4)Es lassen sich im Verlauf der Ausbildung Ausdifferenzierungs- und Verschmelzungsprozesse der Subdimensionen beobachten

8 8 Beispiele empirisch bestätigter Kompetenzstrukturmodelle

9 9 Traditionelle Installationstechnik Elektrotechnische Grundlagen N = 337, Χ² = 160, df = 129, Χ²/df = 1.24, p =.03, CFI =.96, TLI =.97, RMSEA =.03 Fachwissen 0.37 Steuerungs-/moderne Installationstechnik (Bussysteme etc.) EAP/PV =.54EAP/PV =.74EAP/PV =.78 Reliabilität Strukturmodellierungen für Elektroniker a) Fachwissen

10 10 N = 382, Χ² = 217, df = 163, Χ²/df = 1.30, p =.01, CFI =.94, TLI =.96, RMSEA =.03 Traditionelle Installationstechnik Elektrotechnische Grundlagen Steuerungs-/ moderne Installationstechnik (Bussysteme etc.) Fachspezifische Problemlösefähigkeit Überschrift? Korrelationen zwischen den Subdimensionen der Fachkompetenz bei Elektronkern für Energie- und Gebäudetechnik

11 11 N = 382, Χ² = 226, df = 182, Χ²/df = 1.30, p =.01, CFI =.95, TLI =.96, RMSEA =.03 Traditionelle Installationstechnik Elektrotechnische Grundlagen Fachwissen Steuerungs-/ Moderne Installationstechnik (Bussysteme etc.) Fachspezifische Problemlösefähigkeit Zusammenhang zwischen dem Fachwissen und der fachspezifischen Problemlösefähigkeit

12 12 Niveaumodell des Fachwissens (Elektroniker Energie- und Gebäudetechnik)

13 13 NIVEAU 1 Rudimentäre elektrotechnische Grundkenntnisse NIVEAU 2 Basale elektrotechnische Grundkenntnisse  Analyse mit anschließendem regelbasierten Erarbeiten von Lösungen gelingt auch in weniger vertrauten Kontexten  Mehrere und mathematisch aufwändige Lösungsschritte  Lösungshinweise im Tabellenbuch implizit  Analyse mit anschließendem regelbasierten Erarbeiten von Lösungen gelingt in vertrauten Strukturen  Mehrere, jedoch mathematisch weniger aufwändige Lösungsschritte  Lösungsschritte im Tabellenbuch fast vollständig und explizit Elektroniker: Kompetenzniveaus NIVEAU 3 Bewältigung vertrauter Anforderungen NIVEAU 4 Bewältigung auch wenig vertrauter Anforderungen  Aufgaben, die eine Benennung / Beschreibung erfordern, werden bewältigt  Wissensanwendung gelingt bei wenigen Schritten und bezogen auf Einzelheiten  Lösungshinweise im Tabellenbuch fast vollständig und explizit  Aufgaben die Benennung / Beschreibung erfordern werden nicht mit hinreichender Sicherheit bewältigt  Auch Wissensanwendungen gelingen selbst bei Einzelheiten nicht sicher  Auch explizite Lösungshinweise können aus dem Tabellenbuch nicht vollständig entnommen werden

14 14 Niveaumodellierungen Schwierigkeitsbestimmende Merkmale (Schumann & Eberle im Druck; Gschwendtner, Geißel & Nickolaus 2011, Nickolaus 2011) Bloomsche Taxonomie Inhaltliche Komplexität Modellierungsleistungen Vertrautheit/ curriculare Gewichtung

15 15 Fachspezifische Problemlösefähigkeit: Zentrale Fragen 1.Wie kann man fachspezifische Problemlösefähigkeit valide messen? 2.Welches fachspezifische Problemlöseniveau erreichen Auszubildende am Ausbildungsende? 3.Welchen Anforderungen werden die Auszubildenden dabei gerecht?

16 16 Computersimulation zur Erfassung der fachspezifischen PLF Computersimulation zur Erfassung der Diagnosekompetenz bei Kfz-Mechatronikern

17 17 Befunde einer Validierungsstudie Zusammenhänge zwischen Realität (Fehleranalyse am realen Kfz und mit realen Expertensystemen) und Simulation: Realitäts- und Simulationsitems korrelieren zu r~.94!! Das bedeutet, dass die Messung in der Simulation zu nahezu identischen Ergebnissen führt, wie am realen Kfz!!!

18 18 Ergebnisse: Niveaumodell fachspezifisches Problemlösen (KFZ- Ende der Ausbildung)

19 19 Ergebnisse: Schwierigkeitsbestimmende Merkmale (Fehleranalyse) Komplexität (Anzahl zwingend nötiger eigenständiger Bearbeitungsschritte) Art des Prüfmittels (Multimeter/Sichtprüfung vs. Stromesszange/Oszilloskop) Informationsbeschaffung (keine vs. lineare, vs. kombinierte) Diagnoseart (routinisierte vs. regelbasierte vs. nicht geführte) Fehlerart (defekte Komponente vs. Kabelbruch) Modellierungsleistung (Aufgabeninformationen ausreichend vs. nicht ausreichend)

20 20 Sind Reparaturfertigkeiten über Simulationen abschätzbar? 1.Wie hängen das handlungsbezogene Wissen und die Reparaturfertigkeiten zusammen? Gibt es auch einen solch starken Zusammenhang wie zwischen dem Fachwissen und der Fehleranalysefähigkeit? 2.Welches Leistungsniveau erreichen Auszubildende am Ausbildungsende? 3.Welchen Anforderungen werden die Auszubildenden dabei gerecht? 4.Wie wird das handlungsbezogene Wissen erhoben? Simulation

21 21 Computersimulation zur Erfassung des handlungsbezogenen Wissens bei Reparaturaufgaben Computersimulation zur Erfassung der des handlungsbezogenen Wissens bei Kfz-Mechatronikern

22 22 Validierung der Testversionen für Reparatur und Instandhaltung  Abgleich mit realen Arbeitsleistungen in den Unternehmen  Beurteilung der Arbeitsleistungen bezogen auf die in den Videos präsentierten Aufgaben  Beurteilungskriterien Grad der Eigenständigkeit Ausführungsgüte Interne, externe Beanstandungen Ausführungszeit

23 23 5. Ansprüche an Kompetenzmessungen und Probleme ihrer Einlösung  Validität  Reliabilität  Trennschärfe  Objektivität  Praktikabiltität Anzahl der notwendigen Aufgaben Notwendige Testzeiten Vergleichbarkeit der Aufgaben

24 24 5. Ausblick  Entwicklungsstand simulationsbasierten Testens  In welchen Bereichen sind simulationsbasierte Testformen besonders geeignet?  Herausforderungen bei der Abschätzung manueller Fertigkeiten  Zur Notwendigkeit, die Kompetenzabschätzungen zunächst auf Ausschnitte der beruflichen Handlungskompetenz zu beschränken  Probleme, in den gängigen Prüfungsformen den Ansprüchen einer validen Abschätzung beruflicher Kompetenzen zu genügen  Erprobung der neuen Testformen in Prüfungskontexten

25 25 Vielen Dank für Ihre Aufmerksamkeit!

26 26 Anhang

27 27 Prüfungsergebnisse in den neu geordneten Metallberufen (IHK Stuttgart, Sommer 2008)

28 28 Prüfungsergebnisse in den neu geordneten Metallberufen (IHK Stuttgart, Sommer 2008)

29 29 2. Das ASCOT Programm  Übergreifende Ziele  Projekte/ einbezogen Berufe: Elektroniker für Automatisierungstechnik Kfz-Mechatroniker Pflege Medizinische Fachangestellte Industriekaufleute Übergreifend: Basiskompetenzen und Ausbildungsbedingungen

30 30 In ASCOT bearbeitete Fragestellungen  Validität: Welche Teilkompetenzen müssen unterstellt und getestet werden? Welche Aufgabenformate sind zur Testung geeignet? Erweisen sich die Simulationen als valide?  Reliabilität: Ist mit den entwickelten Tests eine reliable Messung möglich und wieviel Aufgaben sind dafür notwendig?  Praktikabiltität: Ist mit den entwickelten Tests eine reliable Messung in einem akzeptablen Zeitraum möglich? Adaptives Testen als Option?

31 31 Ausblick: Erprobung entwickelter Testelemente in Prüfungskontexten?  Fehleranalysen  Videovignetten  Fachwissenstests Geschlossene Aufgabenformate Adaptives Testen Offene Aufgabenformate

32 32 Niveau 1 : Routiniertes und computergestütztes Lösen einfacher Kfz-Probleme Personen dieser Niveaustufe können die Informationen des Arbeitsauftrags erfassen und für die Diagnosearbeit nutzen. Zudem sind sie in der Lage, vertraute Fehlzustände zu diagnostizieren (Routinediagnose) und bei Aufgaben geringer Komplexität eine computergestützte Diagnose erfolgreich durchzuführen. Es wird also der standardmäßige Umgang mit dem Expertensystem (lineares Vorgehen, typischerweise bestehend aus: Fehlerspeicher auslesen, Eigendiagnose, computergestütztes Aufsuchen von Fahrzeugkomponenten, regelbasierte Diagnose) und mit dem Multimeter (für Spannungs- und Widerstandsmessungen) beherrscht. Die von den Personen vorgeschlagenen Reparaturmaßnahmen beziehen sich in der Regel auf den Tausch einfacher Fahrzeugkomponenten. Kompetenzniveaumodelle

33 33 Kompetenzniveaumodelle Niveau 2: Computergestütztes und nicht geführtes Lösen mittelkomplexer Kfz- Probleme Personen dieser Niveaustufe weisen zusätzlich zu den Fähigkeiten von Niveaustufe 1 die Fähigkeit auf, Fehlzustände mittlerer Komplexität entweder anhand einer computergestützten Diagnose oder einer nicht geführten Diagnose zu identifizieren. Außerdem sind sie in der Lage, Stromlaufpläne und auf Niveaustufe 1 nicht benötigte Funktionen des Expertensystems (z. B. Aufrufen von Stromlaufplänen) für die Diagnosearbeiten zu nutzen. Personen des Kompetenzniveaus 2 können eigenständig einfachere Diagnosestrategien entwickeln und einfachere technische Systeme mental modellieren. Die von den Personen vorgeschlagenen Reparaturmaßnahmen beziehen sich auch auf die Beseitigung von Kontakt- und Verbindungsprobleme (z.B. Ersetzen defekter Kabel).

34 34 Kompetenzniveaumodelle Niveau 3: Eigenständiges Lösen komplexer Kfz-Probleme Im Gegensatz zur Niveaustufe 1 und 2 können Personen des Niveaus 3 Aufgaben hoher Komplexität anhand einer nicht geführten Diagnose erfolgreich bearbeiten. Gegenüber Niveau 2 beherrschen sie außerdem den Umgang mit weniger häufig verwendeten elektronischen Messgeräten (Oszilloskop und Stromesszange). Zudem sind sie in der Lage, komplexere technische Systeme eigenständig kognitiv zu modellieren. Auf dieser Niveaustufe beziehen sich die vorgeschlagenen Reparaturmaßnahmen sowohl auf das Ersetzen defekter Kabel als auch auf den Tausch komplexer Fahrzeugkomponenten.


Herunterladen ppt "1 Reinhold Nickolaus Kompetenzmessung in der Beruflichen Bildung Vortrag im Rahmen der Fachtagung für Personal in der Beruflichen Bildung der IGM am 7.6.13."

Ähnliche Präsentationen


Google-Anzeigen