Erfassung von Kompetenzen und deren Entwicklung in den schulbezogenen Projekten der DFG-Forschergruppe BiKS Cordula Artelt Universität Bamberg Vortrag im Rahmen der 4. Konferenz für Sozial- und Wirtschaftsdaten Wiesbaden, 20 Juni 2008

Gliederung Kompetenzmessungen im Schullängsschnitt von BiKS Überblick zu den Studien der Forschergruppe BiKS Anforderung an die Messung von Kompetenzen in BiKS Design & Instrumentierung Ausgewählte Ergebnisse Schwächen der ersten drei Erhebungswellen Herausforderung der Kompetenzmodellierung im Längsschnitt Ausblick: Nationales Bildungspanel

Übergang in Sekundarbereich Kindergarten-L ä n g s s c h n i t t DFG-Forschergruppe BiKS „Bildungsprozesse, Kompetenzentwicklung und Formation von Selektionsentscheidungen im Vor- und Grundschulalter“ Übergang in Sekundarbereich Einschulung Schul- L ä n g s s c h n i t t BiKS-8-12 Kindergarten-L ä n g s s c h n i t t BiKS-3-8 Elementarbereich Primarbereich Sekundarbereich 2. Kinder- garten-jahr 3. Kinder- 1. Kinder- 1. Schul- jahr 2. Schul- jahr 3. Schul- jahr 4. Schul- jahr 5. Schul- jahr 6. Schul- jahr 7. Schul- jahr Leitungsteam: Artelt, Blossfeld, Faust, Roßbach Weinert

Erhebungszeitpunkte im Schullängsschnitt Wechsel in den Sekundarbereich Pre-test I MZP1 MZP2 MZP3 Pre-test II MZP4 MZP5 MZP6 2005 2006 2007 2008 2009 2010 3. Kl 4. Kl 5. Kl 6. Kl 7. Kl Instrumente Kompetenzerhebungen Befragungen von Schüler/-innen, Lehrer/-innen und Eltern Verschiedene qualitative Interviewreihen N=2.600 Schüler aus Bayern und Hessen

Kompetenzmessung in BiKS Perspektiven - Anforderungen Soziologische Perspektive: Formation von Bildungsent-scheidungen – besonders beim Übergang in die Sekundarstufe Pädagogische Perspektive: Einfluss von Bildungsinstitution und Elternhaus auf die Kompetenzentwicklung Psychologische Perspektive: Analyse von Bedingungen und Veränderungsverläufen Besondere Berücksichtigung von sozialer Herkunft, Migrationsstatus

Kompetenzmessung in BiKS Einige grundlegende Unterscheidungen grundlegende, eher bildungsferne Fähigkeiten (eher culture fair) erworbene, bildungs- und kulturabhängige Fertigkeiten curriculumsnahe curriculumsferne Kompetenzen nonverbale Aufgaben sprachliche Aufgaben Teilfähigkeiten/Fertigkeiten Komplexe/integrative Fähigkeiten

Instrumente Deutsch bzw. verbaler Teilbereich Welle 1 Welle 2 Welle3 Wortschatz (CFT20) (CFT 20) Rechtschreiben (DRT3) Rechtschreiben (DRT 4) Textverstehen (ELFE 1-6) (ELFE 1-6 +E) Wortschatz: curriculumsfern, erworben, verbal, Teilfähigkeit Rechtschreiben: curriculumsnah, erworben, verbal, Teilfähigkeit Textverstehen: curriculumsnah, erworben, verbal, integr. Fähigkeit Zusätzlich, nur in der Hälfte der Testhefte in je einer Welle Hörverstehen (KNUSPEL) und Gammatik (TROG-D) bzw. Lesefertigkeit (SLS 1-4) und IGLU Aufgaben

Wortschatz (CFT 20,WS) Anforderung: Beispielaufgaben Anforderung: Wort finden, das gleiche oder ähnliche Bedeutung hat. Weiß, R.H. (1998) CFT 20 Grundintelligenztest Skala 2 (CFT 20) mit Wortschatztest (WS) und Zahlenfolgentest (ZF) (4. Auflage) Göttingen: Hogrefe

Rechtschreiben (DRT3) Karl ________ einen Brief. schreibt Beispielaufgaben Karl ________ einen Brief. schreibt Spielt nicht auf der ________. Straße Die Taube _______ auf den Baum. fliegt Manfred _______ die Tür zu. schlägt Mit Rauch kann man Mücken ___________. vertreiben Monika _________ ihren Lehrer. grüßt Martin _________ den Bleistift an. spitzt Horst _________ seinen Namen. nennt Müller, R. (2003) DRT Diagnostischer Rechtschreibtest für 3. Klassen DRT3 (ZF) (4. Auflage) Göttingen: Hogrefe.

Textverstehen (ELFE  Textverständnis) Beispielaufgabe Anforderungen beim Textverstehen: Auffinden von Informationen, satzübergreifendes Lesen, schlussfolgerndes Denken Lenhard, W. & Schneider, W. (2006). ELFE. Ein Leseverständnistest für Erst- bis Sechstklässler. Göttingen: Hogrefe

Instrumente Mathematik und allg. kogn. Fähigkeiten Welle 1 Welle 2 Welle 3 Mathe – Arithmetik (DEMAT 3+) Mathe – Arithmetik (DEMAT 4) Reasoning 1 (CFT 20-R) Mathematik: curriculumsnah, erworben, non-verbal, integr. Fähigkeit Reasoning: curriculumsfern, eher cultural-free, non-verbal, Teilfähigkeit Zusätzlich, nur in der Hälfte der Testheft zu Welle 1 bzw. 3 Reasoning 2 (CFT 20) bzw. Metagedächtnis (Würzburger Testbatterie)

Reasoning (CFT 20 R – Martizen) Weiß, R.H. (1998) CFT 20 Grundintelligenztest Skala 2 (CFT 20) (4. Auflage) Göttingen: Hogrefe

Ausgewählte Ergebnisse

Ausgewählte Ergebnisse Veränderungen im Wortschatz  Signifikante Zunahme über die Zeit  Signifikante Unterschiede zwischen Subgruppen pro Zeitpunkt Aber: Parallele Entwicklungen für unterschiedliche Subgruppen über die Zeit Gewählte Schulform Migrationshintergrund (a) Geburtsland Eltern (b) Sprache im Elternhaus Schulabschluss der Mutter Schulabschluss des Vaters

Wortschatzentwicklung in Abh. von der gewählten Schulform 300 319 813 274 33

Veränderungen in den kognitiven Grundfähigkeiten  Signifikante Zunahme über die Zeit  Signifikante Unterschiede zwischen Subgruppen pro Zeitpunkt Aber: Parallele Entwicklungen für unterschiedliche Subgruppen über die Zeit Gewählte Schulform Migrationshintergrund (a) Geburtsland Eltern (b) Sprache im Elternhaus Schulabschluss der Mutter Schulabschluss des Vaters

Veränderungen der Schulleistungen in Mathematik  Signifikante Zunahme über die Zeit  Signifikante Unterschiede zwischen Subgruppen pro Zeitpunkt Zudem: Differenzielle Entwicklungen für einige der Subgruppen über die Zeit Gewählte Schulform  sich öffnende Schere Migrationshintergrund (a) Geburtsland Eltern (b) Sprache im Elternhaus Schulabschluss der Mutter  sich öffnende Schere Schulabschluss des Vaters

Mathematikleistung in Abh. vom Schulabschluss der Mutter 36 495 670 567 HE Zeitpunkt: p=.00 HE Schulform: p= .00 Zeitpunkt x Schulform: p= .00

Mathematikleistung in Abh. von der gewählten Schulform (rekodiert) 567 957 HE Zeitpunkt: p=.00 HE Schulform: p= .00 Zeitpunkt x Schulform: p= .00

Veränderungen in der Lesekompetenz (Textverstehen)  Signifikante Zunahme über die Zeit  Signifikante Unterschiede zwischen Subgruppen pro Zeitpunkt Zudem: Differenzielle Entwicklungen für einige der Subgruppen über die Zeit Gewählte Schulform  sich öffnende Schere Migrationshintergrund (a) Geburtsland Eltern (b) Sprache im Elternhaus Schulabschluss der Mutter Schulabschluss des Vaters

Bilder zum Textverstehen Lesekompetenz in Abh. von der gewählten Schulform (rekodiert) Bilder zum Textverstehen N 567 957 HE Zeitpunkt: p=.00 HE Schulform: p= .00 Zeitpunkt x Schulform: p= .00

Schwächen der ersten drei Erhebungswellen von BiKS Veränderungsmessung Z.T. möglich über die wiederholte Vorgabe gleicher Testverfahren (Wortschatz, kognitive Grundfähigkeiten, Textverstehen) - Aber: Testwiederholungseffekte und Gefahr von Deckeneffekten Z.T. nicht möglich, da Verfahren mit gleicher Bezeichnung* weder gemeinsame Aufgaben (Ankeraufgaben) aufweisen noch nach anderen Equating- oder Linking- Verfahren aufeinander beziehbar sind.  keine intra-individuelleVeränderung, nur relative Positionsstabilität  keine zur Verfügung stehenden Instrumente für längsschnittliche Messungen im Bereich bildungsbezogener Kompetenzen  Notwendigkeit, Verfahren zu erweitern bzw. eigene Verfahren zu entwickeln * z.B. Rechtschreibtests: DRT3 u. DRT4 bzw. z.B. lehrplanvalider Mathematiktest DEMAT 3 u. DEMAT 4

Instrumente – Welle 4 (5. Klasse) Textverstehen (Eigenkonstruktion+ Ankeraufgaben.) Wortschatz (KFT 4-12+R) Mathematische Kompetenz (Eigenkonstruktion) Reasoning 1 (CFT 20-R) Englisch C-Test Englisch Stolperwörtertest Fortsetzung im Längsschnitt Neu ab der 5. Kl.

Generelle Herausforderungen bei der Modellierung von Kompetenzen Besonders bei längeren Zeitintervallen: Problem der inneren Differenzierung und strukturellen Veränderung einzelner Kompetenzen im Entwicklungsverlauf Kompetenzmodelle (z.B. Niveau- bzw. Strukturmodelle) sind primär querschnittlich angelegt bzw. umfassen – wenn überhaupt – nur vergleichsweise kurze Entwicklungsetappen Problem zunehmende größerer Kompetenzunterschiede  adaptive Testung Bereits bei kurzen Zeitintervallen: Für Interpretationen im Sinne intra-individueller Veränderungen ist es notwendig, Verfahren zu verlinken und somit eine gemeinsame Metrik zu erstellen (Alternativ: Testwiederholung)

Ausblick: Nationales Bildungspanel (NEPS) Messung von Kompetenzen Area A: Domain-general cognitive functions (e.g., indicators of fluid intelligence) Area B: Domain-specific cognitive competencies German Language competencies, specifically, Reading Literacy and listening comprehension Mathematical Literacy Scientific Literacy indicators of foreign language competencies. Area C: Metacompetencies and social competencies Indicators of procedural and declarative metacognition and self-regulation ICT literacy Social competencies Area D: Stage-specific (curriculum or job related) competencies and outcome measures

Multicohort Sequence Design

Vielen Dank für Ihre Aufmerksamkeit!