Technology Based Assessment Marc Rittberger DIPF Frankfurt am Main 60486 Frankfurt am Main DIPF Berlin 10243 Berlin

Inhalt DIPF Technology Based Assessment Programme for International Student Assessment – PISA Programme for the International Assessment of Adult Competencies – PIAAC Fazit

Selbstverständnis: Erkenntnisgetriebene Grundlagenforschung, innovative Entwicklungsarbeiten und Anwendungen zum Nutzen der Gesellschaft im Bildungsbereich Bildungswissenschaftliche Forschung und nationales Kompetenzzentrum für Bildungsinformation zum Gelingen von Bildung, indem das DIPF Wissen über Bildung generiert Wissen über Bildung geordnet und strukturiert Wissen über Bildung aus historischer Perspektive betrachtet Kompetenz- und Kommunikationszentrum im Bildungswesen Mitglied der Leibnizgemeinschaft mit 85 weiteren Instituten

DIPF 2010 260 Beschäftigte 18 Professuren (davon 5 Juniorprofessuren, 3 Emeritus) > 100 Semesterwochenstunden Lehre ~ 50 DoktorandInnen > 22 Millionen Gesamtbudget >11 Millionen Drittmittel

Bildungsforschung Bildung und Entwicklung Lehr-Lern-Prozesse und kognitive Funktionen im Alter Bildungsqualität und Evaluation Schul- und Unterrichtsqualität sowie Kompetenzdiagnostik Steuerung und Finanzierung Indikatorenforschung, Bildungsrecht und Steuerungskonzepte im Schulwesen PISA 09, PISA 12, PIAAC

Bildungsinformation Bibliothek für Bildungsgeschichtliche Forschung 1870 als Deutsches Schulmuseum gegründet Kommunikationszentrum für die historische Bildungsforschung Informationszentrum Bildung: ganzheitliche Unterstützung des wissenschaftlichen Forschungsprozesses durch Information, Technologie und Beratungsleistung und informationswissenschaftliche Forschung PISA 09, PISA 12, PIAAC Pedocs, LZA, SCA, Mauswiesel, Lesen Weltweit, Tagging, IWWB

Inhalt DIPF Technology Based Assessment Programme for International Student Assessment – PISA Programme for the International Assessment of Adult Competencies – PIAAC Fazit

Technology Based Assessment Messung von Kompetenzen im Kontext der pädagogisch-psychologischen Diagnostik  kontextspezifische kognitive Leistungsdispositionen Kompetenzmessung zur Steuerung von Bildungssystemen  stärkerer Outputorientierung Assessment: Beurteilung von Personen hinsichtlich bestimmter Merkmale oder bestimmter Eignungen

Schematische Darstellung einer Hierarchie von Test, Skala, Aufgabe und Item am Beispiel von Testinhalten in PISA 2003 Prenzel et.a. 2003, zitiert nach Hartig & Klieme 2007

Technologiebasiertes Testen Äquivalenzproblematik  Mode Effect Studies Geringe Probleme bei Fragebögen Leistungstests problematischer  Problem der flexiblen Handhabung Gleiche technische Voraussetzungen notwendig Testfairness: Vertrautheit mit Technologie Verbesserung der Testgütekriterien: Objektivität durch Standardisierung Reliabilität: Reduzierung der Mess- und Auswertungsfehler Validität: bspw. durch adaptive Verfahren Ökonomisierung der Erhebungen Vielfältigere Testinhalte und –formate Datensicherheit und Persönlichkeitsschutz

Assessmentprozess Datenmanagement Itemerstellung Datenverarbeitung Data-Warehouse Automatische Reports Itemerstellung Einfache Stimuli Komplexe Stimuli & Interaktion Datenverarbeitung Automatische Berechnungen von statistischen Kennwerten Itemweiterentwicklung Übersetzung, Kalibrierung Datenaufbereitung Automatische Codierung Item Banking Metadaten-Management Test Zusammenstellung Testung Testsicherheit, Integration von Tests, Verzweigung, Adaptation, Dataspeicherung, Feedback Personen Management Sampling Prozeduren

Inhalt DIPF Technology Based Assessment Programme for International Student Assessment – PISA Programme for the International Assessment of Adult Competencies – PIAAC Fazit

PISA 2009 ERA: Elektronisches Lesen: Konzeption und Logik Suche nach einer bestimmten Information: Wann findet der nächste Kinderbuch-Sonntag im Frankfurter Literaturhaus statt? Und um was genau wird es dann gehen? 14

Elektronisches Lesen: Konzeption und Logik Vom Print-Lesen differierende Anforderungen beim Lesen elektronischer Texte: Selbsttätige Textstrukturierung Informationsintegration Medium-spezifische Lesestrategien, z.B.: Identifikation der Textsorte Identifikation der Textstruktur Identifikation von Glauwürdigkeitsindikatoren 15

Elektronisches Lesen: Konzeption und Logik Vom Print-Lesen differierende Anforderungen beim Lesen elektronischer Texte bezogen auf das Reading Literacy Framework: Aspekt von Lesekompetenz ERA-Spezifische Anforderungen/Aufgaben Informationen ermitteln Auffinden einer Information innerhalb einer komplexen Website Textbezogenes Interpretieren Integration von Information von unterschiedlichen Webseiten Reflektieren und Bewerten Beurteilen der Glaubwürdigkeit von Internetseiten 16

Elektronisches Lesen: Konzeption und Logik Testkonzeption: Abdeckung eines breiten Spektrums von Aufgaben – Beispiele: Finden von Informationen auf Webseiten (Informationen ermitteln) Integrieren unterschiedlicher Informationen aus verschiedenen Quellen (z.B. einem Blogeintrag und einer Webseite) (Textbezogenes Interpretieren) Beurteilen der Glaubwürdigkeit von Treffern bei einer Suchanfragen oder der Glaubwürdigkeit von Websites (Reflektieren und Bewerten) 17

Elektronisches Lesen: Konzeption und Logik Testkonzeption: Abdeckung eines breiten Spektrums von Aufgaben hinsichtlich Anforderungen: Navigation Lesen 18

Beispiel: Testeinheit "Café der Philosophen" Aufgabe 1: "Du bist auf der Startseite des Cafés der Philosophen. Klicke auf den Link für Konfuzius. Was meinte Konfuzius mit 'Ren' "? Frieden und Wohlstand Leben in Chaos und Krieg Das Verhalten der Herrscher Menschlichkeit anderen gegenüber Leben in Harmonie Integrate and Interpret-Item, Navigationsanforderungen mittelmäßig, Leseanforderungen (relativ) hoch 19 DIPF PowerPoint-Präsentation

Beispiel: Testeinheit "Café der Philosophen" Aufgabe 2: "Welche der folgenden Vorstellungen fasst die Lehre von Zenon zusammen"? Ein langes Leben führt zum Glück Logische Vernunft führt zum Glück Deinen Gefühlen folgen führt zum Glück Glück führt zur Tugend Integrate and Interpret-Item, Navigationsanforderungen mittelmäßig, Leseanforderungen (relativ) hoch 20 DIPF PowerPoint-Präsentation

Beispiel: Testeinheit "Café der Philosophen" Aufgabe 3: "Was sehen sowohl Zenon Als auch Bentham den verfügbaren Informationen zufolge als ein zentrales Thema an?" Wählen zwischen widersprüchlichen Anforderungen Entwickeln von Gesetzen über Männer und Frauen Streben nach individuellem Glück Verstehen anderer Menschen Interpret and Integrate; Navigationsanforderungen mittelmäßig, Leseanforderungen hoch 21 DIPF PowerPoint-Präsentation

Technologische Herausforderungen der ERA-Implementierung Entwicklung der ERA-Skala: Ziel: ERA-Items sollen interaktive Hypertext-Umgebungen simulieren Autorenwerkzeug (HTB) mit graphischer Benutzeroberfläche zur Entwicklung von Items durch “Lese”-Experten Softwareunterstützung der Itemübersetzung Computerbasierte Testplattform (TAO) zur Testzusammenstellung und -auslieferung Lösungen: Generierung von Flash innerhalb eines ActionScript-Frameworks (AsWing) Model Driven Architecture - Ansatz in und mit Eclipse Nutzung von XLIFF (XML Localization Interchange File Format) und OpenSource-Tools Reine Web-Plattform (PHP und Flash), weltweit zugreifbar 22

Technologische Herausforderungen der ERA-Implementierung Auslieferung der ERA-Skala: In über 20 Länder mit unterschiedlichen Sprachversionen Entsprechend “Lokalisierung” von Text und Texteingabe Hohe Heterogenität der Hard-/Softwareumgebungen an Schulen (zwischen und innerhalb von Ländern) Lösungen: ERA-Boot-CD, baut auf Knoppix auf Datenspeicherung auf USB-Stick – wahlweise auch als Boot-Medium Einsatz mehrerer Eingabemethodeneditoren für Chinesisch, Japanisch, Koreanisch Boot-System umfasst Client und Server 23

Inhalt DIPF Technology Based Assessment Programme for International Student Assessment – PISA Programme for the International Assessment of Adult Competencies – PIAAC Fazit

PIAAC-Ziele – International vergleichendes, multizyklisches Assessment von Erwachsenen (16-64 Jahre) Erfassung kognitiver Kompetenzen, die wahrscheinlich persönlichem und gesellschaftlichem Erfolg zugrunde liegen Vergleich mit früheren Assessments (IALS, ALL) zur Lese- und Rechenfähigkeit von Erwachsenen Bestimmung des Einflusses dieser Kompetenzen auf gesellschaftliche und ökonomische Ergebnisse auf Individual- und Aggregatebene Hilfe zur Identifikation von politischen Maßnahmen, die zur Verbesserung dieser Kompetenzen beitragen 25 DIPF PowerPoint-Präsentation 25

PIAAC: 26 teilnehmende Länder Australia Austria Belgium Canada Czech Republic Chile Denmark Estonia Finland France Germany Hungary Ireland Italy Japan South Korea Netherlands Norway Poland Portugal Russian Fed. Slovak Republic Spain Sweden United Kingdom United States 26

PIAAC-Innovationen Erweiterte Erfassung von Erwachsenenkompetenzen, um für politische Entscheidungsträger relevante Informationen bereitzustellen (Erweiterte Konstrukte, z.B. Literacy inkl. ERA; neue Konstrukte, z.B. Problems Solving in Technology-rich Environment) Assessment-Design, das computer-basiertes adaptives Testen wie auch papierbasiertes Testen beinhaltet Open-source Testplattform zur Item- und Testentwicklung sowie zur Testauslieferung 27

Erfasste Kompetenzen Problemlösen unter Verwendung von Informations- und Kommunikations-technologie (ICT) Hintergrundvariablen, wie z.B. Bildungsbiographie, Persönlichkeit Non-cognitive ICT/PS in TRE Lesefähigkeiten (Literacy) einschließlich ERA, Rechenfähigkeiten (Numeracy) Core cognitive Basale Lesefähigkeiten, wie z.B. Wortverständnis Components 28

Vergleichbarkeit von Messungen Computerbasiert Testen: - Adaptives Testen - New Literacy (www) - Problemlösen (ICT) PIAAC Vorgängerstudien (Papier-basiert) Computer-basiert IALS Vergleichbarkeit über die Zeit Vergleichbarkeit über Administrierungsmodi hinweg Zur Ermittlung von Trends Papier-basiert ALL Für Personen erforderlich, die nicht ICT-literal sind 29 DIPF PowerPoint-Präsentation 29

Vergleichbarkeit PBA-CBA PIAAC Computer-basiert Für den querschnittlichen Vergleich Vergleichbarkeit muss erreicht werden in den Bereichen: Layout Antwortmodus - Antwortbewertung über nationale Anpassungen hinweg Vergleichbarkeit über Administrierungsmodi hinweg Paper-basiert 30 DIPF PowerPoint-Präsentation 30

Vergleichbarkeit PBA-CBA: Layout Layout von Literacy-Aufgaben: Hoch- vs. Querformat, d.h. für CBA in der Höhe geringerer Platz Autorentool CBA Item Builder ist keine Desktop Publishing Software (Text-/Bildlayout) PBA CBA Layout-anpassungen Erforderlich, z.B. breitere Spalten 31 DIPF PowerPoint-Präsentation 31

Vergleichbarkeit PBA-CBA: Antwortmodus Antwortmodus von Literacy-Aufgaben: PBA: freie Antwort, Einkreisung von Textteilen (z.B. richtige Antwort: Nudeln, Klassik) CBA: Markieren des Textes durch Klicken und Ziehen per Maus PBA CBA Antwortmarkierung 32 DIPF PowerPoint-Präsentation 32

Vergleichbarkeit PBA-CBA: Antwortbewertung Antwortbewertung von Literacy-Aufgaben: PBA: Beurteilung der Antwort durch geschulte menschliche Beurteiler CBA: Automatische Beurteilung durch Vergleich der Antwortmarkierung mit dem nutzerdefinierten Minimal- und Maximalbereich für eine richtige Antwort PBA CBA Textbereich für richtige Antwort Textbereich für falsche Antwort 33 DIPF PowerPoint-Präsentation 33

Vergleichbarkeit PBA-CBA: Nationale Anpassung Nationale Anpassung der Antwortbewertung: PBA: Schulung nationaler Beurteilerteams mit Hilfe zentral geschulter Beurteiler CBA: Anpassung der Textbereiche für eine richtige Antwort im Laufe Itementwicklung durch nationale Experten mithilfe eines speziellen graph. Editors PBA CBA Textbereich für richtige Antwort Textbereich für falsche Antwort 34 DIPF PowerPoint-Präsentation 34

PIAAC – Technische Herausforderungen Auslieferung als Haushaltsstudie (Laptops) Parallel laufende Studien, vorhandene Hardware Maximale Abschottung erforderlich Lösungen: Virtuelle Maschine (VM) VM bootet Linux (Client und Server) Volle Bildschirmkontrolle durch VM Einfache externe API zur Anbindung von nationaler Studiensoftware 35

Inhalt DIPF Technology Based Assessment Programme for International Student Assessment – PISA Programme for the International Assessment of Adult Competencies – PIAAC Fazit

Technology Based Assessment Erste Schritte zur Ablösung von Papierbasierten Tests Übergangszeit mit verschiedenen Modi 21st century initiative (Cisco, Intel, Microsoft) Motoren International: OECD National: BMBF

Ende – Finito – Einde - Fin – End rittberger@dipf.de