Technology Based Assessment Marc Rittberger

Präsentation zum Thema: "Technology Based Assessment Marc Rittberger"—  Präsentation transkript:

1 Technology Based Assessment Marc Rittberger
DIPF Frankfurt am Main Frankfurt am Main DIPF Berlin Berlin

2 Inhalt DIPF Technology Based Assessment
Programme for International Student Assessment – PISA Programme for the International Assessment of Adult Competencies – PIAAC Fazit

3 Selbstverständnis: Erkenntnisgetriebene Grundlagenforschung, innovative Entwicklungsarbeiten und Anwendungen zum Nutzen der Gesellschaft im Bildungsbereich Bildungswissenschaftliche Forschung und nationales Kompetenzzentrum für Bildungsinformation zum Gelingen von Bildung, indem das DIPF Wissen über Bildung generiert Wissen über Bildung geordnet und strukturiert Wissen über Bildung aus historischer Perspektive betrachtet Kompetenz- und Kommunikationszentrum im Bildungswesen Mitglied der Leibnizgemeinschaft mit 85 weiteren Instituten

4 DIPF 2010 260 Beschäftigte 18 Professuren (davon 5 Juniorprofessuren, 3 Emeritus) > 100 Semesterwochenstunden Lehre ~ 50 DoktorandInnen > 22 Millionen Gesamtbudget >11 Millionen Drittmittel

5 Bildungsforschung Bildung und Entwicklung
Lehr-Lern-Prozesse und kognitive Funktionen im Alter Bildungsqualität und Evaluation Schul- und Unterrichtsqualität sowie Kompetenzdiagnostik Steuerung und Finanzierung Indikatorenforschung, Bildungsrecht und Steuerungskonzepte im Schulwesen PISA 09, PISA 12, PIAAC

6 Bildungsinformation Bibliothek für Bildungsgeschichtliche Forschung
1870 als Deutsches Schulmuseum gegründet Kommunikationszentrum für die historische Bildungsforschung Informationszentrum Bildung: ganzheitliche Unterstützung des wissenschaftlichen Forschungsprozesses durch Information, Technologie und Beratungsleistung und informationswissenschaftliche Forschung PISA 09, PISA 12, PIAAC Pedocs, LZA, SCA, Mauswiesel, Lesen Weltweit, Tagging, IWWB

7 Inhalt DIPF Technology Based Assessment
Programme for International Student Assessment – PISA Programme for the International Assessment of Adult Competencies – PIAAC Fazit

8 Technology Based Assessment
Messung von Kompetenzen im Kontext der pädagogisch-psychologischen Diagnostik  kontextspezifische kognitive Leistungsdispositionen Kompetenzmessung zur Steuerung von Bildungssystemen  stärkerer Outputorientierung Assessment: Beurteilung von Personen hinsichtlich bestimmter Merkmale oder bestimmter Eignungen

9 Schematische Darstellung einer Hierarchie von Test, Skala, Aufgabe und Item am Beispiel von Testinhalten in PISA 2003 Prenzel et.a. 2003, zitiert nach Hartig & Klieme 2007

10

11 Technologiebasiertes Testen
Äquivalenzproblematik  Mode Effect Studies Geringe Probleme bei Fragebögen Leistungstests problematischer  Problem der flexiblen Handhabung Gleiche technische Voraussetzungen notwendig Testfairness: Vertrautheit mit Technologie Verbesserung der Testgütekriterien: Objektivität durch Standardisierung Reliabilität: Reduzierung der Mess- und Auswertungsfehler Validität: bspw. durch adaptive Verfahren Ökonomisierung der Erhebungen Vielfältigere Testinhalte und –formate Datensicherheit und Persönlichkeitsschutz

12 Assessmentprozess Datenmanagement Itemerstellung Datenverarbeitung
Data-Warehouse Automatische Reports Itemerstellung Einfache Stimuli Komplexe Stimuli & Interaktion Datenverarbeitung Automatische Berechnungen von statistischen Kennwerten Itemweiterentwicklung Übersetzung, Kalibrierung Datenaufbereitung Automatische Codierung Item Banking Metadaten-Management Test Zusammenstellung Testung Testsicherheit, Integration von Tests, Verzweigung, Adaptation, Dataspeicherung, Feedback Personen Management Sampling Prozeduren

13 Inhalt DIPF Technology Based Assessment
Programme for International Student Assessment – PISA Programme for the International Assessment of Adult Competencies – PIAAC Fazit

14 PISA 2009 ERA: Elektronisches Lesen: Konzeption und Logik
Suche nach einer bestimmten Information: Wann findet der nächste Kinderbuch-Sonntag im Frankfurter Literaturhaus statt? Und um was genau wird es dann gehen? 14

15 Elektronisches Lesen: Konzeption und Logik
Vom Print-Lesen differierende Anforderungen beim Lesen elektronischer Texte: Selbsttätige Textstrukturierung Informationsintegration Medium-spezifische Lesestrategien, z.B.: Identifikation der Textsorte Identifikation der Textstruktur Identifikation von Glauwürdigkeitsindikatoren 15

16 Elektronisches Lesen: Konzeption und Logik
Vom Print-Lesen differierende Anforderungen beim Lesen elektronischer Texte bezogen auf das Reading Literacy Framework: Aspekt von Lesekompetenz ERA-Spezifische Anforderungen/Aufgaben Informationen ermitteln Auffinden einer Information innerhalb einer komplexen Website Textbezogenes Interpretieren Integration von Information von unterschiedlichen Webseiten Reflektieren und Bewerten Beurteilen der Glaubwürdigkeit von Internetseiten 16

17 Elektronisches Lesen: Konzeption und Logik
Testkonzeption: Abdeckung eines breiten Spektrums von Aufgaben – Beispiele: Finden von Informationen auf Webseiten (Informationen ermitteln) Integrieren unterschiedlicher Informationen aus verschiedenen Quellen (z.B. einem Blogeintrag und einer Webseite) (Textbezogenes Interpretieren) Beurteilen der Glaubwürdigkeit von Treffern bei einer Suchanfragen oder der Glaubwürdigkeit von Websites (Reflektieren und Bewerten) 17

18 Elektronisches Lesen: Konzeption und Logik
Testkonzeption: Abdeckung eines breiten Spektrums von Aufgaben hinsichtlich Anforderungen: Navigation Lesen 18

19 Beispiel: Testeinheit "Café der Philosophen"
Aufgabe 1: "Du bist auf der Startseite des Cafés der Philosophen. Klicke auf den Link für Konfuzius. Was meinte Konfuzius mit 'Ren' "? Frieden und Wohlstand Leben in Chaos und Krieg Das Verhalten der Herrscher Menschlichkeit anderen gegenüber Leben in Harmonie Integrate and Interpret-Item, Navigationsanforderungen mittelmäßig, Leseanforderungen (relativ) hoch 19 DIPF PowerPoint-Präsentation

20 Beispiel: Testeinheit "Café der Philosophen"
Aufgabe 2: "Welche der folgenden Vorstellungen fasst die Lehre von Zenon zusammen"? Ein langes Leben führt zum Glück Logische Vernunft führt zum Glück Deinen Gefühlen folgen führt zum Glück Glück führt zur Tugend Integrate and Interpret-Item, Navigationsanforderungen mittelmäßig, Leseanforderungen (relativ) hoch 20 DIPF PowerPoint-Präsentation

21 Beispiel: Testeinheit "Café der Philosophen"
Aufgabe 3: "Was sehen sowohl Zenon Als auch Bentham den verfügbaren Informationen zufolge als ein zentrales Thema an?" Wählen zwischen widersprüchlichen Anforderungen Entwickeln von Gesetzen über Männer und Frauen Streben nach individuellem Glück Verstehen anderer Menschen Interpret and Integrate; Navigationsanforderungen mittelmäßig, Leseanforderungen hoch 21 DIPF PowerPoint-Präsentation

22 Technologische Herausforderungen der ERA-Implementierung
Entwicklung der ERA-Skala: Ziel: ERA-Items sollen interaktive Hypertext-Umgebungen simulieren Autorenwerkzeug (HTB) mit graphischer Benutzeroberfläche zur Entwicklung von Items durch “Lese”-Experten Softwareunterstützung der Itemübersetzung Computerbasierte Testplattform (TAO) zur Testzusammenstellung und -auslieferung Lösungen: Generierung von Flash innerhalb eines ActionScript-Frameworks (AsWing) Model Driven Architecture - Ansatz in und mit Eclipse Nutzung von XLIFF (XML Localization Interchange File Format) und OpenSource-Tools Reine Web-Plattform (PHP und Flash), weltweit zugreifbar 22

23 Technologische Herausforderungen der ERA-Implementierung
Auslieferung der ERA-Skala: In über 20 Länder mit unterschiedlichen Sprachversionen Entsprechend “Lokalisierung” von Text und Texteingabe Hohe Heterogenität der Hard-/Softwareumgebungen an Schulen (zwischen und innerhalb von Ländern) Lösungen: ERA-Boot-CD, baut auf Knoppix auf Datenspeicherung auf USB-Stick – wahlweise auch als Boot-Medium Einsatz mehrerer Eingabemethodeneditoren für Chinesisch, Japanisch, Koreanisch Boot-System umfasst Client und Server 23

24 Inhalt DIPF Technology Based Assessment
Programme for International Student Assessment – PISA Programme for the International Assessment of Adult Competencies – PIAAC Fazit

25 PIAAC-Ziele – International
vergleichendes, multizyklisches Assessment von Erwachsenen (16-64 Jahre) Erfassung kognitiver Kompetenzen, die wahrscheinlich persönlichem und gesellschaftlichem Erfolg zugrunde liegen Vergleich mit früheren Assessments (IALS, ALL) zur Lese- und Rechenfähigkeit von Erwachsenen Bestimmung des Einflusses dieser Kompetenzen auf gesellschaftliche und ökonomische Ergebnisse auf Individual- und Aggregatebene Hilfe zur Identifikation von politischen Maßnahmen, die zur Verbesserung dieser Kompetenzen beitragen 25 DIPF PowerPoint-Präsentation 25

26 PIAAC: 26 teilnehmende Länder
Australia Austria Belgium Canada Czech Republic Chile Denmark Estonia Finland France Germany Hungary Ireland Italy Japan South Korea Netherlands Norway Poland Portugal Russian Fed. Slovak Republic Spain Sweden United Kingdom United States 26

27 PIAAC-Innovationen Erweiterte Erfassung von Erwachsenenkompetenzen, um für politische Entscheidungsträger relevante Informationen bereitzustellen (Erweiterte Konstrukte, z.B. Literacy inkl. ERA; neue Konstrukte, z.B. Problems Solving in Technology-rich Environment) Assessment-Design, das computer-basiertes adaptives Testen wie auch papierbasiertes Testen beinhaltet Open-source Testplattform zur Item- und Testentwicklung sowie zur Testauslieferung 27

28 Erfasste Kompetenzen Problemlösen unter Verwendung von Informations- und Kommunikations-technologie (ICT) Hintergrundvariablen, wie z.B. Bildungsbiographie, Persönlichkeit Non-cognitive ICT/PS in TRE Lesefähigkeiten (Literacy) einschließlich ERA, Rechenfähigkeiten (Numeracy) Core cognitive Basale Lesefähigkeiten, wie z.B. Wortverständnis Components 28

29 Vergleichbarkeit von Messungen
Computerbasiert Testen: - Adaptives Testen - New Literacy (www) - Problemlösen (ICT) PIAAC Vorgängerstudien (Papier-basiert) Computer-basiert IALS Vergleichbarkeit über die Zeit Vergleichbarkeit über Administrierungsmodi hinweg Zur Ermittlung von Trends Papier-basiert ALL Für Personen erforderlich, die nicht ICT-literal sind 29 DIPF PowerPoint-Präsentation 29

30 Vergleichbarkeit PBA-CBA
PIAAC Computer-basiert Für den querschnittlichen Vergleich Vergleichbarkeit muss erreicht werden in den Bereichen: Layout Antwortmodus - Antwortbewertung über nationale Anpassungen hinweg Vergleichbarkeit über Administrierungsmodi hinweg Paper-basiert 30 DIPF PowerPoint-Präsentation 30

31 Vergleichbarkeit PBA-CBA: Layout
Layout von Literacy-Aufgaben: Hoch- vs. Querformat, d.h. für CBA in der Höhe geringerer Platz Autorentool CBA Item Builder ist keine Desktop Publishing Software (Text-/Bildlayout) PBA CBA Layout-anpassungen Erforderlich, z.B. breitere Spalten 31 DIPF PowerPoint-Präsentation 31

32 Vergleichbarkeit PBA-CBA: Antwortmodus
Antwortmodus von Literacy-Aufgaben: PBA: freie Antwort, Einkreisung von Textteilen (z.B. richtige Antwort: Nudeln, Klassik) CBA: Markieren des Textes durch Klicken und Ziehen per Maus PBA CBA Antwortmarkierung 32 DIPF PowerPoint-Präsentation 32

33 Vergleichbarkeit PBA-CBA: Antwortbewertung
Antwortbewertung von Literacy-Aufgaben: PBA: Beurteilung der Antwort durch geschulte menschliche Beurteiler CBA: Automatische Beurteilung durch Vergleich der Antwortmarkierung mit dem nutzerdefinierten Minimal- und Maximalbereich für eine richtige Antwort PBA CBA Textbereich für richtige Antwort Textbereich für falsche Antwort 33 DIPF PowerPoint-Präsentation 33

34 Vergleichbarkeit PBA-CBA: Nationale Anpassung
Nationale Anpassung der Antwortbewertung: PBA: Schulung nationaler Beurteilerteams mit Hilfe zentral geschulter Beurteiler CBA: Anpassung der Textbereiche für eine richtige Antwort im Laufe Itementwicklung durch nationale Experten mithilfe eines speziellen graph. Editors PBA CBA Textbereich für richtige Antwort Textbereich für falsche Antwort 34 DIPF PowerPoint-Präsentation 34

35 PIAAC – Technische Herausforderungen
Auslieferung als Haushaltsstudie (Laptops) Parallel laufende Studien, vorhandene Hardware Maximale Abschottung erforderlich Lösungen: Virtuelle Maschine (VM) VM bootet Linux (Client und Server) Volle Bildschirmkontrolle durch VM Einfache externe API zur Anbindung von nationaler Studiensoftware 35

36 Inhalt DIPF Technology Based Assessment
Programme for International Student Assessment – PISA Programme for the International Assessment of Adult Competencies – PIAAC Fazit

37 Technology Based Assessment
Erste Schritte zur Ablösung von Papierbasierten Tests Übergangszeit mit verschiedenen Modi 21st century initiative (Cisco, Intel, Microsoft) Motoren International: OECD National: BMBF

38 Ende – Finito – Einde - Fin – End rittberger@dipf.de