VL Leistungsbeurteilung & Diagnostik, 3 KP Herzlich Willkommen!

VL Leistungsbeurteilung & Diagnostik, 3 KP Das Modul ist angelegt für TeilnehmerInnen mit Interesse an der Thematik, Bereitschaft zu eigenständigem Arbeiten im Umfang von ca. 90 Std. (3 KPs * 30) und Offenheit über unklare, unglücklich verlaufende Dinge. Sie können sich auf eine gute Vorbereitung der Veranstaltung verlassen, DozentInnen mit Interesse und Freude an der Thematik. Bspw. könnte ich Ihnen bei speziellen Fragen, Unklarheiten etc. gerne auch in der Sprechstunde (Mi 11-12, Raum A6 5-501) weiter helfen.

Das hier vertretene Credo: Erkenne die Schwächen und Stärken jedes Schülers, und finde die Unterrichtsform, die ihm gerecht wird. Kurz: Sei nicht ‚nur‘ Lehrer, sondern auch Diagnostiker.

Lernen erfordert Rückmeldungen

Etwa 93% aller deutscher AutofahrerInnen geben an, oder: Etwa 93% aller deutscher AutofahrerInnen geben an, überdurchschnittlich gute FahrerInnen zu sein

Ein Beispiel: Cholera Epidemie, London, September 1854 John Snow: Visualisierung, Erkrankte, Brunnen

Ein Beispiel: Cholera Epidemie in London, September 1854 John Snow: Visualisierung, Erkrankte, Brunnen Broad Street Winson Street

„The greatest value of a picture is when it forces us to notice what we never expected to see.“ John W. Tukey

Name Punkte Note Lft_Nr Geschlecht 1 Albert 98 Jungen 2 Bärbel 43 4 Mädchen 3 Claudia 26 Dieter 76 5 Emil 22 6 Fritz 8 7 Gisela 89 Horst 72 9 Ilse 46 10 Jürgen 61 11 Klaus 44 12 Marion 94 13 Nena 21 14 Olga 15 Peter 16 Renate 38 17 Siegrid 49 18 Thorsten 71 19 Uwe 35 20 Volker 27 Wilfried 51 Zara 87

VL: Diagnostik + Leistungsbeurteilung 3 KP Eine alternative Form des Moduls MM2a/b/c: 1 Seminar Mehl/N.N./N.N. 3 KP VL: Diagnostik + Leistungsbeurteilung 3 KP 1 Seminar Mehl/N.N./N.N. 3 KP 1 Seminar Mehl: Block 6 KP 6 KP GHR 9 KP GYM Ende Vorlesungszeit Mehl Mi 8-10

Kleiner Exkurs I Ein möglicher Weg zu einer Masterarbeit: VL: Diagnostik 3 KP 2 SE: Komplexe Daten 6 KP Eigenen Lernverlauf bei einer einfachen Lernaufgabe dokumentieren Fragestellung formulieren Mit Hilfe der eigenen Daten und denen von anderen Studierenden Frage beantworten

Kleiner Exkurs II Ein möglicher Weg zu einer Masterarbeit: Oder 2 SE nach Wahl 6 KP VL: Diagnostik 3 KP 2 SE: Komplexe Daten 6 KP d² - Test Erhebung begleiten (Hilfskraftverträge möglich) Fragestellung formulieren Mit Hilfe der eigenen Daten und denen von anderen Studierenden Frage beantworten

Was soll, was ist, was kann eine Vorlesung? oder Was machen wir hier eigentlich?

„Vorlesungen schlagen Schneisen in das endlose Dickicht des Wiss- und Diskutierbaren und zeigen, wo denn bei den vielen Bäumen der Wald ist. Sie wählen aus und gewichten aus der Warte desjenigen, der es wissen sollte; sie dampfen den Stoff auf lernbare Brocken ein; sie veranschaulichen generelle Sachverhalte an leicht nachvollziehbaren Beispielen. All das in der Hoffnung, dass zum Schluss doch so etwas wie ein Überblick herauskommt – wenn nicht bei den Studenten, dann wenigstens beim Professor, der bei der Übung natürlich am meisten lernt.“ Aus: Milos Vec et al. (Hrsg.): Der Campus Knigge. Vom Abschreiben bis Zweitgutachten. Verlag C. H. Beck: München (2006)

Vorlesungen dienen somit keineswegs dazu, den Stoff zu vermitteln: Sie müssen lesen, forschen, studieren … sind eher mit einer bestätigenden Wiederholung bekannter Dinge und Inhalte zu vergleichen, um sich der Richtigkeit des eigenen Blickes und Bildes zu vergewissern, geben folglich am ehesten Lernberatung.

Basis- und Ausgangsliteratur: Ingenkamp, K. & Lissmann, U. (2005). Lehrbuch der Pädagogischen Diagnostik. Weinheim und Basel: Beltz. Pae 250 s BE 1280,5 HA Weinert, F. E. (2002). Leistungsmessungen in Schulen. Weinheim und Basel: Beltz. Es gibt einen Handapparat. Es gibt Informationen (ab Ende der Woche) auf meiner Homepage.

Planung TERMIN THEMA/INHALT REFERENTIN 1 27.10.2010 Do WS 2006/2007 Vl: Diagnostik 14 Termine TERMIN THEMA/INHALT REFERENTIN 1 27.10.2010 Einführung in das Thema: Was ist, was soll Diagnostik? Mehl 2 03.11.2010 Skalen 3 10.11.2010 Ingenkamp/Lissmann: Kapitel 1 4 17.11.2010 Kapitel 2 5 24.11.2010 6 01.12.2010 Kapitel 3 7 08.12.2010 Kapitel 4 8 15.12.2010 Kapitel 5 9 Kapitel 6 + 7 10 11 12 13 14 Planung

Ferdinand Kemsies 1898: „Fragen und Aufgaben der Pädagogischen Psychologie: Pädagogisch-didaktische Probleme mit den empirischen Methoden der Psychologie zu lösen“ Johann Friedrich Herbart (1776-1841) (sinngemäß): Pädagogik beschäftigt sich mit den Zielen, Psychologie mit den Hindernissen.

Was ist Leistung? Leistung = Menge/Zeit Leistung = 10 Aufgaben/45 Min. Leistung = 10 Kinder/2 Std. bespaßen Leistung = 1 Std. Fehler suchen/finden

Die diagnostische Perspektive fragt: Ist das viel; ist das wenig? Ist das normal? Warum wurde diese Leistung erreicht, warum nicht erreicht?

(noch) nicht, ist etwas anderes als Leistungsbeurteilung!! Achtung! Leistungsmessung ist (noch) nicht, ist etwas anderes als Leistungsbeurteilung!!

Bewertungen: Egal Nicht-Egal Nutzen Orientierung Information

Die Leuphana Universität Lüneburg setzt bspw Die Leuphana Universität Lüneburg setzt bspw. den „Scholastic Aptitude Test“ (SAT) ein, um den wenig validen Abiturnoten ein weiteres Auswahlkriterium an die Seite zu stellen.

Bewertungen: Lada Mercedes Bentley 8.000 80.000 200.000 Restaurant * Hotel ** Hotel *** Hotel **** Hotel ***** Hotel Lada Mercedes Bentley 8.000 80.000 200.000

Bewertungen: „Zum Hirschen“ in Sulzbach hält seit über 20 Jahren Spitzenposition Traube Tonbach in Baiersbronn existiert seit 200 Jahren und ist Deutschlands bestes Ferienhotel

Es wird unterschieden zwischen: Der Zugehörigkeit zu einer Kategorie Der Entwicklung im Laufe der Zeit Der Stellung innerhalb eines Gesamt

kriteriumsorientierte soziale Norm kriteriumsorientierte Norm individuelle Norm

Sind das ‚Spitzenwerte‘? Ist das ‚Mittel‘? Sind das ‚Spitzenwerte‘? Sind das ‚Schwache‘?

Erster Schritt Reihenfolge feststellen

Wann verbietet sich die Verfeinerung einer Reihenfolgefeststellung? Wenn die Reihenfolge keinen Zusammenhang mit dem betrachteten Nutzen aufweist – es egal ist Wenn die Feststellung der Reihenfolge reliabel nicht (mehr) möglich ist – der Zufall über die Reihenfolge entscheidet

Methode des Paarvergleichs Klaus Melitta Peter Sabine X N² - N Minimale Anzahl der Vergleiche: 2

N Klaus - Melitta 3 Peter 1 Sabine 2 Klaus Melitta Peter Sabine X M P

kriteriumsorientierte soziale Norm kriteriumsorientierte Norm individuelle Norm

Untere 50% Obere 50%

Note 2 Note 1

Note 2 Note 1

Gleichverteilung, Normalverteilung oder? Noten von 1 bis 6

„Faustformel“ für die Verteilung der Prozentanteile auf die Zensuren/Schulnoten: 1 2 3 4 5 6 Prozentanteil 9 16 25 siehe Ingenkamp/Lissmann 2008 p. 70

3 = befriedigend Eine Leistung, die in jeder Hinsicht durchschnittlichen Anforderungen entspricht ECTS-Noten: A die besten 10% B die nächsten 25% C die nächsten 30% D die nächsten 25% E die letzten 10%

Kompetenz- stufen

Kompetenz- stufen

Kompetenz- stufen

Kompetenzstufen lassen sich theoretisch aber auch empirisch bestimmen Kompetenzstufen lassen sich theoretisch aber auch empirisch bestimmen! Die auf rechnerischem Wege beantwortbare Frage lautet: Wie hoch ist die Wahrscheinlichkeit, bei einer vorhandenen Kompetenz x die Anforderung y erfolgreich zu bewältigen? Wie muss die Anforderung gestellt werden, damit x % der Bezugsgruppe diese Anforderung erfolgreich bewältigen können?

Was ist Leistung? Leistung = Menge/Zeit Leistung = 10 Aufgaben/45 Min. Leistung = 10 Kinder/2 Std. bespaßen Leistung = 1 Std. Fehler suchen/finden

Was ist Leistung? Bewältigung einer spezifischen Anforderung Bewältigung einer Anforderung bis zur Schwierigkeitsstufe x

Was ist das Ziel Ihrer pädagogischen Bemühungen?

Quelle der Daten: Deutsches Studentenwerk/OECD

Quelle der Daten: Deutsches Studentenwerk/OECD

Perspektive/Frage des sog Perspektive/Frage des sog. Dynamischen Testens: Welcher Aufwand in Form von Zeiteinsatz, Zusatzinstruktionen oder Lerndurchgängen wird benötigt, um die Stufe der nächsten Kompetenz, Zone der nächsten Entwicklungsstufe zu erreichen?

Die entscheidende politische Frage: Wie viel Aufwand will die Gesellschaft für Lernprozesse bereitstellen? Wie viel Aufwand wollen und können Sie an individueller Zuwendung aufbringen?

Die OECD Studie kommt zu dem Schluss: „ … neben einem Migrantionshintergrund ist einer der wichtigsten Gründe für die neue deutsche Ungleichheit die wachsende Zahl Alleinerziehender.“

Nochmal das hier vertretene Credo: Erkenne die Schwächen und Stärken jedes Schülers, und finde die die Unterrichtsform, die ihm gerecht wird. Kurz: Sei nicht ‚nur‘ Lehrer, sondern auch Diagnostiker.

Beispiel: Laufen Deskriptiv kraftvoll spritzig athletisch geschmeidig explosiv dynamisch …

Bewegung, Bewegungsabläufe Beispiel: Laufen Bewegung, Bewegungsabläufe Ziel Start

Standardisierung 100 – Meter Lauf Beispiel: Laufen Standardisierung 100 – Meter Lauf Rückenwindkomponente Technik der Zeitnahme Homogenität, Heterogenität der Bezugsgruppe Ziel Start Distanz

Auflösung

Auflösung

Auflösung

Auflösung

Sind das ‚Spitzenwerte‘? Die Ebene der Bewertung Ist das ‚Mittel‘? Sind das ‚Spitzenwerte‘? Sind das ‚Schwache‘?

Werden Defizite minimiert? Die Ebene der Analyse, Diagnostik Wo liegen Verbesserungsmöglichkeiten? Könnten die noch schneller? Was machen die falsch? Werden Defizite minimiert?

Vertiefte Analyse, Diagnose Beispiel: 100 – Meter Lauf Vertiefte Analyse, Diagnose Ziel 25 - Meter 25 - Meter 25 - Meter 25 - Meter Start

Gesamtzeit 25-Meter Zeit 50-Meter Zeit Läufer 75-Meter Zeit 1 10,01 2,1 5,3 Karl 8 2 10,21 1,9 5,4 Melitta 7,9 3 10,2978 5,5 Petra 8,1 4 10,2918 2,4 Silke 8,15 5 10,8 2,6 6 Susanne 8,2 11,2 2,9 5,9 Gudrun 8,5 7 11,4 2,7 6,1 Karin 9 11,6 2,5 6,2 Peter 9,1 11,8 6,3 Theo 9,2 10 12,21 Kurt 11 12,58 6,7 Sabine 9,8 12 12,67 3,3 Sepp 10,1

Ist diese Art der Darstellung, die Nutzung von Regressionsgraden zulässig? A Eine Regressionsgrade sucht die Gerade, die in der Mitte einer Punktewolke verläuft

B In der Abbildung wird die Reihenfolge der Werte durch die Reihenfolge der Gesamtlaufzeiten gebildet

C Die Regressionsgraden dienen damit zur Klärung der Frage, wie sich die Teilzeiten zur Gesamtzeit verhalten. Denkbar wäre: Gesamt- Teil- Startzeit 1 2

D Zugleich wird durch die Regressionsgraden das ‚Mittel‘ der Proportionen der Teil-, resp. Zwischenzeiten erkennbar

E Hier zum Vergleich eine Darstellung, bei der berechnet wurde: Gesamtzeit = 100 % Teilzeit = X %

Der Vergleich:

Welcher Leistungsbereich steht im Zusammenhang mit der problemlosen/kritischen Bewältigung welcher Handlungsanforderungen? VI III II I

Beispiel aus dem Projekt Simulatortraining²

Ziel- position Ausgangsposition

Vorhafen Schleuse Jadefahrwasser

„schlecht“ „gut“

Generieren zusätzlicher, spezifischer Variablen Beispiel: Kurs Gefahrener/geflogener Kurs, von/bis Abweichungen vom vorgegebenen Kurs, Min./Max. Zeitpunkt bis Korrektur bei Abweichung eingeleitet wird Länge/Zeitpunkte richtiger, falscher Korrekturen Synchrone Korrekturen, sukzessive Korrekturen Dynamik der Korrekturen … Beispiele:

Min./Max., Bereich für 50% der Werte, Median oder Mean Sog. Boxplott: Min./Max., Bereich für 50% der Werte, Median oder Mean

Summe aller Abweichungen/Anzahl der Messzeitpunkte

Zeit bis zu einer Korrektur Maximalwert der Abweichung

Steilheit der Anstiege und Abstige

Synchrone, asynchrone Inputs

Nach einer Trennung der Aufgabenerfüllungen in ‚gut‘ und ‚schlecht‘, im einfachsten Fall in diese zwei Gruppen, wird nach den Handhabungsmerkmalen gesucht, in denen sich diese beiden Gruppen am deutlichsten unterscheiden. Die nach- folgenden Graphiken sollen dies veranschaulichen: Die hier unterschiedenen beiden Gruppen ‚Novizen‘ und ‚Experten‘ trennen am deutlichsten, bei dem gezeigten Vergleich von drei Handhabungsmerkmalen, die ganz rechts aufgetragenen Geschwindigkeitsbereiche: Die Experten fahren erkennbar langsamer.

Warum mache ich immer so viele Feler? Problem: Das deutsche Wort ‚Fehler‘ ist mehrdeutig! Wir sprechen sowohl von Fehlern, die man hat, als auch von solchen, die man macht. Wir sagen bspw. auch, der Kauf von xyz war ein Fehler.

Handlungen, die nicht so sind, wie sie sein sollten Irrtum Fehler

Error Mistake Slip

Täuschung

Beispiel: Radfahren Praktisches Handeln unter Alltagsbedingungen: Erfahrung mit Teilen aus dem Spektrum gegebener Situationen & Anforderungen Zufällige Begegnung mit Problempunkten Unklarheit über Stärken, Schwächen, Leistungsstand

Üben: Herauslösen spezifischer Problempunkte Try & Error bei der Suche nach Leistungs- steigerung Unsystematische Wahl der Lern-, Übungsbedingungen Unscharfe Grenzen über das Ende sinnvollen Übens

Training, fundiertes Erlernen: Analyse, systematische Diagnose der Problempunkte (quantitativ/qualitativ repräsentative Leistungsspektren) Ursachenanalyse der Problempunkte Analyse, Überwachung, Bewertung der Optimierung

Systematische Analyse des Zusammenhangs Anforderung ↔ Leistung Leistungsmessung Systematische Analyse des Zusammenhangs Anforderung ↔ Leistung Gezielte Veränderung der Anforderungen

(einige) Diagnostische Perspektiven Was kann ich? Kriteriums- orientiert Wo steh ich? Soziale Norm Wie lerne, lerne ich? Individuelle Norm Wie lehre, lehre ich? Länder-vergleichs-studien (LAU) Wo sind die Hürden? ‚Gut‘ ‚Schlecht‘ Vergleich Was sind die Hürden? Analyse der Abweichungen (Fehler/Irrtum)

Die Phasen im Analyse - Prozess Transformation Interpretation Selektion Vorverarbeitung Data Mining Selektierte Daten Vorbereitete Daten Transformierte Daten Wissen/ Modelle Daten Muster

Zugehörigkeit zu a, b oder c Relationen Mehr ↔ Weniger Schlechter ↔ Besser Abstände der Relationen Soviel mehr ↔ Soviel weniger Vier Niveau-/Skalenebenen: Nominalskala Ordinal- oder Rangskala Intervallskala Verhältnis- oder Proportionalskala

Skalenniveau Voraussetzungen Maß der zentralen Tendenz Beispiele Nominalskala Merkmale müssen nach Gleichheit oder Verschieden- heit bestimmbar sein Modalwert (häufigster Wert) Klassenstufen männlich weiblich Autokennzeichen Ordinal- oder Rangskala Einstufbarkeit nach dem dem Ausprägungsgrad eines Merkmals (mehr – weniger) Median (mittlerer Wert) Zensuren Ranglisten Intervallskala Bestimmbarkeit gleicher Skalenabstände. Festsetzung eines (relativen) Nullpunktes Arithmetischer Mittelwert Temperaturskala IQ T-Wert bei Schultests Verhältnis- oder Proportionalskala Bestimmbarkeit vom Proportionen und eines absoluten Nullpunktes Arithmetischer und geometrischer Mittelwert Längenmaße Gewichtsmaße

Daten anschauen, anschaulich machen!! Kategoriale Daten Balkendiagramm Kreuztabelle Kontingenztafel Numerische Daten Streudiagramm Scatterplot Korrelationsanalyse Ggf. neue Variablen oder Werte generieren Ggf. Teilmengen bilden und vergleichen

Beispiel: Balkendiagramm

Beispiel: Streudiagramm/Scatterplot Beachten Sie den Korrelationsquotienten!