Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Technology Based Assessment Marc Rittberger DIPF Frankfurt am Main 60486 Frankfurt am Main DIPF Berlin 10243 Berlin.

Ähnliche Präsentationen


Präsentation zum Thema: "Technology Based Assessment Marc Rittberger DIPF Frankfurt am Main 60486 Frankfurt am Main DIPF Berlin 10243 Berlin."—  Präsentation transkript:

1 Technology Based Assessment Marc Rittberger DIPF Frankfurt am Main Frankfurt am Main DIPF Berlin Berlin

2 Inhalt DIPF Technology Based Assessment Programme for International Student Assessment – PISA Programme for the International Assessment of Adult Competencies – PIAAC Fazit

3 Selbstverständnis: Erkenntnisgetriebene Grundlagenforschung, innovative Entwicklungsarbeiten und Anwendungen zum Nutzen der Gesellschaft im Bildungsbereich Bildungswissenschaftliche Forschung und nationales Kompetenzzentrum für Bildungsinformation zum Gelingen von Bildung, indem das DIPF Wissen über Bildung generiert Wissen über Bildung geordnet und strukturiert Wissen über Bildung aus historischer Perspektive betrachtet Kompetenz- und Kommunikationszentrum im Bildungswesen Mitglied der Leibnizgemeinschaft mit 85 weiteren Instituten

4 260 Beschäftigte 18 Professuren (davon 5 Juniorprofessuren, 3 Emeritus) > 100 Semesterwochenstunden Lehre ~ 50 DoktorandInnen > 22 Millionen Gesamtbudget >11 Millionen Drittmittel DIPF 2010

5 Bildungsforschung Bildung und Entwicklung Lehr-Lern-Prozesse und kognitive Funktionen im Alter Bildungsqualität und Evaluation Schul- und Unterrichtsqualität sowie Kompetenzdiagnostik Steuerung und Finanzierung Indikatorenforschung, Bildungsrecht und Steuerungskonzepte im Schulwesen PISA 09, PISA 12, PIAAC

6 Bildungsinformation Bibliothek für Bildungsgeschichtliche Forschung 1870 als Deutsches Schulmuseum gegründet Kommunikationszentrum für die historische Bildungsforschung Informationszentrum Bildung: ganzheitliche Unterstützung des wissenschaftlichen Forschungsprozesses durch Information, Technologie und Beratungsleistung und informationswissenschaftliche Forschung PISA 09, PISA 12, PIAAC Pedocs, LZA, SCA, Mauswiesel, Lesen Weltweit, Tagging, IWWB

7 Inhalt DIPF Technology Based Assessment Programme for International Student Assessment – PISA Programme for the International Assessment of Adult Competencies – PIAAC Fazit

8 Technology Based Assessment Messung von Kompetenzen im Kontext der pädagogisch-psychologischen Diagnostik  kontextspezifische kognitive Leistungsdispositionen Kompetenzmessung zur Steuerung von Bildungssystemen  stärkerer Outputorientierung Assessment: Beurteilung von Personen hinsichtlich bestimmter Merkmale oder bestimmter Eignungen

9 Schematische Darstellung einer Hierarchie von Test, Skala, Aufgabe und Item am Beispiel von Testinhalten in PISA 2003 Prenzel et.a. 2003, zitiert nach Hartig & Klieme 2007

10

11 Technologiebasiertes Testen Äquivalenzproblematik  Mode Effect Studies Geringe Probleme bei Fragebögen Leistungstests problematischer  Problem der flexiblen Handhabung Gleiche technische Voraussetzungen notwendig Testfairness: Vertrautheit mit Technologie Verbesserung der Testgütekriterien: Objektivität durch Standardisierung Reliabilität: Reduzierung der Mess- und Auswertungsfehler Validität: bspw. durch adaptive Verfahren Ökonomisierung der Erhebungen Vielfältigere Testinhalte und –formate Datensicherheit und Persönlichkeitsschutz

12 Datenverarbeitung Automatische Berechnungen von statistischen Kennwerten Itemerstellung Einfache Stimuli Komplexe Stimuli & Interaktion Personen Management Sampling Prozeduren Datenaufbereitung Automatische Codierung Itemweiterentwicklung Übersetzung, Kalibrierung Item Banking Metadaten-Management Test Zusammenstellung Testung Testsicherheit, Integration von Tests, Verzweigung, Adaptation, Dataspeicherung, Feedback Datenmanagement Data-Warehouse Automatische Reports Assessmentprozess

13 Inhalt DIPF Technology Based Assessment Programme for International Student Assessment – PISA Programme for the International Assessment of Adult Competencies – PIAAC Fazit

14 Seite14 PISA 2009 ERA : Elektronisches Lesen: Konzeption und Logik Suche nach einer bestimmten Information: Wann findet der nächste Kinderbuch-Sonntag im Frankfurter Literaturhaus statt? Und um was genau wird es dann gehen?

15 Seite15 Elektronisches Lesen: Konzeption und Logik Vom Print-Lesen differierende Anforderungen beim Lesen elektronischer Texte: Selbsttätige Textstrukturierung Informationsintegration Medium-spezifische Lesestrategien, z.B.: Identifikation der Textsorte Identifikation der Textstruktur Identifikation von Glauwürdigkeitsindikatoren

16 Seite16 Elektronisches Lesen: Konzeption und Logik Vom Print-Lesen differierende Anforderungen beim Lesen elektronischer Texte bezogen auf das Reading Literacy Framework: Aspekt von LesekompetenzERA-Spezifische Anforderungen/Aufgaben Informationen ermittelnAuffinden einer Information innerhalb einer komplexen Website Textbezogenes InterpretierenIntegration von Information von unterschiedlichen Webseiten Reflektieren und BewertenBeurteilen der Glaubwürdigkeit von Internetseiten

17 Seite17 Elektronisches Lesen: Konzeption und Logik Testkonzeption: Abdeckung eines breiten Spektrums von Aufgaben – Beispiele: Finden von Informationen auf Webseiten (Informationen ermitteln) Integrieren unterschiedlicher Informationen aus verschiedenen Quellen (z.B. einem Blogeintrag und einer Webseite) (Textbezogenes Interpretieren) Beurteilen der Glaubwürdigkeit von Treffern bei einer Suchanfragen oder der Glaubwürdigkeit von Websites (Reflektieren und Bewerten)

18 Seite18 Elektronisches Lesen: Konzeption und Logik Testkonzeption: Abdeckung eines breiten Spektrums von Aufgaben hinsichtlich Anforderungen: Lesen Navigation

19 Seite19 Beispiel: Testeinheit "Café der Philosophen" Aufgabe 1: "Du bist auf der Startseite des Cafés der Philosophen. Klicke auf den Link für Konfuzius. Was meinte Konfuzius mit 'Ren' "?  Frieden und Wohlstand  Leben in Chaos und Krieg  Das Verhalten der Herrscher  Menschlichkeit anderen gegenüber  Leben in Harmonie

20 Seite20 Beispiel: Testeinheit "Café der Philosophen" Aufgabe 2: "Welche der folgenden Vorstellungen fasst die Lehre von Zenon zusammen"?  Ein langes Leben führt zum Glück  Logische Vernunft führt zum Glück  Deinen Gefühlen folgen führt zum Glück  Glück führt zur Tugend

21 Seite21 Beispiel: Testeinheit "Café der Philosophen" Aufgabe 3: "Was sehen sowohl Zenon Als auch Bentham den verfügbaren Informationen zufolge als ein zentrales Thema an?"  Wählen zwischen widersprüchlichen Anforderungen  Entwickeln von Gesetzen über Männer und Frauen  Streben nach individuellem Glück  Verstehen anderer Menschen

22 Seite22 Technologische Herausforderungen der ERA-Implementierung Entwicklung der ERA-Skala: Ziel: ERA-Items sollen interaktive Hypertext-Umgebungen simulieren Autorenwerkzeug (HTB) mit graphischer Benutzeroberfläche zur Entwicklung von Items durch “Lese”-Experten Softwareunterstützung der Itemübersetzung Computerbasierte Testplattform (TAO) zur Testzusammenstellung und -auslieferung Lösungen: Generierung von Flash innerhalb eines ActionScript-Frameworks (AsWing) Model Driven Architecture - Ansatz in und mit Eclipse Nutzung von XLIFF (XML Localization Interchange File Format) und OpenSource- Tools Reine Web-Plattform (PHP und Flash), weltweit zugreifbar

23 Seite23 Technologische Herausforderungen der ERA-Implementierung Auslieferung der ERA-Skala: In über 20 Länder mit unterschiedlichen Sprachversionen Entsprechend “Lokalisierung” von Text und Texteingabe Hohe Heterogenität der Hard-/Softwareumgebungen an Schulen (zwischen und innerhalb von Ländern) Lösungen: ERA-Boot-CD, baut auf Knoppix auf Datenspeicherung auf USB-Stick – wahlweise auch als Boot-Medium Einsatz mehrerer Eingabemethodeneditoren für Chinesisch, Japanisch, Koreanisch Boot-System umfasst Client und Server

24 Inhalt DIPF Technology Based Assessment Programme for International Student Assessment – PISA Programme for the International Assessment of Adult Competencies – PIAAC Fazit

25 Seite25 Erfassung kognitiver Kompetenzen, die wahrscheinlich persönlichem und gesellschaftlichem Erfolg zugrunde liegen Vergleich mit früheren Assessments (IALS, ALL) zur Lese- und Rechenfähigkeit von Erwachsenen Bestimmung des Einflusses dieser Kompetenzen auf gesellschaftliche und ökonomische Ergebnisse auf Individual- und Aggregatebene Hilfe zur Identifikation von politischen Maßnahmen, die zur Verbesserung dieser Kompetenzen beitragen PIAAC-Ziele – International vergleichendes, multizyklisches Assessment von Erwachsenen (16-64 Jahre)

26 Seite26 Australia Austria Belgium Canada Czech Republic Chile Denmark Estonia Finland France Germany Hungary Ireland Italy Japan South Korea Netherlands Norway Poland Portugal Russian Fed. Slovak Republic Spain Sweden United Kingdom United States PIAAC: 26 teilnehmende Länder

27 Seite27 Erweiterte Erfassung von Erwachsenenkompetenzen, um für politische Entscheidungsträger relevante Informationen bereitzustellen (Erweiterte Konstrukte, z.B. Literacy inkl. ERA; neue Konstrukte, z.B. Problems Solving in Technology-rich Environment) Assessment-Design, das computer-basiertes adaptives Testen wie auch papierbasiertes Testen beinhaltet Open-source Testplattform zur Item- und Testentwicklung sowie zur Testauslieferung PIAAC-Innovationen

28 Seite28 Erfasste Kompetenzen Components Core cognitive Non-cognitive ICT/PS in TRE Hintergrundvariablen, wie z.B. Bildungsbiographie, Persönlichkeit Lesefähigkeiten (Literacy) einschließlich ERA, Rechenfähigkeiten (Numeracy) Problemlösen unter Verwendung von Informations- und Kommunikations- technologie (ICT) Basale Lesefähigkeiten, wie z.B. Wortverständnis

29 Seite29 Vorgängerstudien (Papier-basiert) PIAAC Vergleichbarkeit von Messungen Computer-basiert Papier-basiert Vergleichbarkeit über Administrierungsmodi hinweg IALS ALL Vergleichbarkeit über die Zeit Computerbasiert Testen: - Adaptives Testen - New Literacy (www) - Problemlösen (ICT) Zur Ermittlung von Trends Für Personen erforderlich, die nicht ICT-literal sind

30 Seite30 PIAAC Vergleichbarkeit PBA-CBA Computer-basiert Paper-basiert Vergleichbarkeit über Administrierungsmodi hinweg Für den querschnittlichen Vergleich Vergleichbarkeit muss erreicht werden in den Bereichen: - Layout - Antwortmodus - Antwortbewertung - über nationale Anpassungen hinweg

31 Seite31 Vergleichbarkeit PBA-CBA: Layout Layout von Literacy-Aufgaben: Hoch- vs. Querformat, d.h. für CBA in der Höhe geringerer Platz Autorentool CBA Item Builder ist keine Desktop Publishing Software (Text-/Bildlayout) PBACBA Layout- anpassungen Erforderlich, z.B. breitere Spalten

32 Seite32 Vergleichbarkeit PBA-CBA: Antwortmodus Antwortmodus von Literacy-Aufgaben: PBA: freie Antwort, Einkreisung von Textteilen (z.B. richtige Antwort: Nudeln, Klassik) CBA: Markieren des Textes durch Klicken und Ziehen per Maus PBACBA Antwortmarkierung

33 Seite33 Vergleichbarkeit PBA-CBA: Antwortbewertung Antwortbewertung von Literacy-Aufgaben: PBA: Beurteilung der Antwort durch geschulte menschliche Beurteiler CBA: Automatische Beurteilung durch Vergleich der Antwortmarkierung mit dem nutzerdefinierten Minimal- und Maximalbereich für eine richtige Antwort PBACBA Textbereich für richtige Antwort Textbereich für falsche Antwort

34 Seite34 Vergleichbarkeit PBA-CBA: Nationale Anpassung Nationale Anpassung der Antwortbewertung: PBA: Schulung nationaler Beurteilerteams mit Hilfe zentral geschulter Beurteiler CBA: Anpassung der Textbereiche für eine richtige Antwort im Laufe Itementwicklung durch nationale Experten mithilfe eines speziellen graph. Editors PBACBA Textbereich für richtige Antwort Textbereich für falsche Antwort

35 Seite35 Auslieferung als Haushaltsstudie (Laptops) Parallel laufende Studien, vorhandene Hardware Maximale Abschottung erforderlich Lösungen: Virtuelle Maschine (VM) VM bootet Linux (Client und Server) Volle Bildschirmkontrolle durch VM Einfache externe API zur Anbindung von nationaler Studiensoftware PIAAC – Technische Herausforderungen

36 Seite36 Inhalt DIPF Technology Based Assessment Programme for International Student Assessment – PISA Programme for the International Assessment of Adult Competencies – PIAAC Fazit

37 Seite37 Technology Based Assessment Erste Schritte zur Ablösung von Papierbasierten Tests Übergangszeit mit verschiedenen Modi 21st century initiative (Cisco, Intel, Microsoft) Motoren International: OECD National: BMBF

38 Seite38 Ende – Finito – Einde - Fin – End


Herunterladen ppt "Technology Based Assessment Marc Rittberger DIPF Frankfurt am Main 60486 Frankfurt am Main DIPF Berlin 10243 Berlin."

Ähnliche Präsentationen


Google-Anzeigen