VL Leistungsbeurteilung & Diagnostik, 3 KP

Präsentation zum Thema: "VL Leistungsbeurteilung & Diagnostik, 3 KP"—  Präsentation transkript:

1 VL Leistungsbeurteilung & Diagnostik, 3 KP
Herzlich Willkommen!

2 VL Leistungsbeurteilung & Diagnostik, 3 KP
Das Modul ist angelegt für TeilnehmerInnen mit Interesse an der Thematik, Bereitschaft zu eigenständigem Arbeiten im Umfang von ca. 90 Std. (3 KPs * 30) und Offenheit über unklare, unglücklich verlaufende Dinge. Sie können sich auf eine gute Vorbereitung der Veranstaltung verlassen, DozentInnen mit Interesse und Freude an der Thematik. Bspw. könnte ich Ihnen bei speziellen Fragen, Unklarheiten etc. gerne auch in der Sprechstunde (Mi 11-12, Raum A ) weiter helfen.

3 Das hier vertretene Credo:
Erkenne die Schwächen und Stärken jedes Schülers, und finde die Unterrichtsform, die ihm gerecht wird. Kurz: Sei nicht ‚nur‘ Lehrer, sondern auch Diagnostiker.

4 Lernen erfordert Rückmeldungen

5 Etwa 93% aller deutscher AutofahrerInnen geben an,
oder: Etwa 93% aller deutscher AutofahrerInnen geben an, überdurchschnittlich gute FahrerInnen zu sein

6 Ein Beispiel: Cholera Epidemie, London, September 1854
John Snow: Visualisierung, Erkrankte, Brunnen

7

8 Ein Beispiel: Cholera Epidemie in London, September 1854
John Snow: Visualisierung, Erkrankte, Brunnen Broad Street Winson Street

9 „The greatest value of a picture is when it forces us to notice
what we never expected to see.“ John W. Tukey

10 Name Punkte Note Lft_Nr Geschlecht 1 Albert 98 Jungen 2 Bärbel 43 4 Mädchen 3 Claudia 26 Dieter 76 5 Emil 22 6 Fritz 8 7 Gisela 89 Horst 72 9 Ilse 46 10 Jürgen 61 11 Klaus 44 12 Marion 94 13 Nena 21 14 Olga 15 Peter 16 Renate 38 17 Siegrid 49 18 Thorsten 71 19 Uwe 35 20 Volker 27 Wilfried 51 Zara 87

11

12

13

14

15

16

17

18

19

20

21 VL: Diagnostik + Leistungsbeurteilung 3 KP
Eine alternative Form des Moduls MM2a/b/c: 1 Seminar Mehl/N.N./N.N. 3 KP VL: Diagnostik + Leistungsbeurteilung 3 KP 1 Seminar Mehl/N.N./N.N. 3 KP 1 Seminar Mehl: Block 6 KP 6 KP GHR 9 KP GYM Ende Vorlesungszeit Mehl Mi 8-10

22 Kleiner Exkurs I Ein möglicher Weg zu einer Masterarbeit:
VL: Diagnostik 3 KP 2 SE: Komplexe Daten 6 KP Eigenen Lernverlauf bei einer einfachen Lernaufgabe dokumentieren Fragestellung formulieren Mit Hilfe der eigenen Daten und denen von anderen Studierenden Frage beantworten

23 Kleiner Exkurs II Ein möglicher Weg zu einer Masterarbeit:
Oder 2 SE nach Wahl 6 KP VL: Diagnostik 3 KP 2 SE: Komplexe Daten 6 KP d² - Test Erhebung begleiten (Hilfskraftverträge möglich) Fragestellung formulieren Mit Hilfe der eigenen Daten und denen von anderen Studierenden Frage beantworten

24 Was soll, was ist, was kann eine Vorlesung?
oder Was machen wir hier eigentlich?

25

26

27

28

29 „Vorlesungen schlagen Schneisen in das
endlose Dickicht des Wiss- und Diskutierbaren und zeigen, wo denn bei den vielen Bäumen der Wald ist. Sie wählen aus und gewichten aus der Warte desjenigen, der es wissen sollte; sie dampfen den Stoff auf lernbare Brocken ein; sie veranschaulichen generelle Sachverhalte an leicht nachvollziehbaren Beispielen. All das in der Hoffnung, dass zum Schluss doch so etwas wie ein Überblick herauskommt – wenn nicht bei den Studenten, dann wenigstens beim Professor, der bei der Übung natürlich am meisten lernt.“ Aus: Milos Vec et al. (Hrsg.): Der Campus Knigge. Vom Abschreiben bis Zweitgutachten. Verlag C. H. Beck: München (2006)

30 Vorlesungen dienen somit keineswegs dazu, den Stoff zu vermitteln: Sie müssen lesen, forschen, studieren … sind eher mit einer bestätigenden Wiederholung bekannter Dinge und Inhalte zu vergleichen, um sich der Richtigkeit des eigenen Blickes und Bildes zu vergewissern, geben folglich am ehesten Lernberatung.

31 Basis- und Ausgangsliteratur:
Ingenkamp, K. & Lissmann, U. (2005). Lehrbuch der Pädagogischen Diagnostik. Weinheim und Basel: Beltz. Pae 250 s BE 1280,5 HA Weinert, F. E. (2002). Leistungsmessungen in Schulen. Weinheim und Basel: Beltz. Es gibt einen Handapparat. Es gibt Informationen (ab Ende der Woche) auf meiner Homepage.

32

33

34 Planung TERMIN THEMA/INHALT REFERENTIN 1 27.10.2010
Do WS 2006/2007 Vl: Diagnostik 14 Termine TERMIN THEMA/INHALT REFERENTIN Einführung in das Thema: Was ist, was soll Diagnostik? Mehl Skalen Ingenkamp/Lissmann: Kapitel 1 Kapitel 2 Kapitel 3 Kapitel 4 Kapitel 5 9 Kapitel 6 + 7 10 11 12 13 14 Planung

35 Ferdinand Kemsies 1898: „Fragen und Aufgaben der Pädagogischen Psychologie: Pädagogisch-didaktische Probleme mit den empirischen Methoden der Psychologie zu lösen“ Johann Friedrich Herbart ( ) (sinngemäß): Pädagogik beschäftigt sich mit den Zielen, Psychologie mit den Hindernissen.

36

37

38

39

40 Was ist Leistung? Leistung = Menge/Zeit Leistung = 10 Aufgaben/45 Min.
Leistung = 10 Kinder/2 Std. bespaßen Leistung = 1 Std. Fehler suchen/finden

41 Die diagnostische Perspektive fragt:
Ist das viel; ist das wenig? Ist das normal? Warum wurde diese Leistung erreicht, warum nicht erreicht?

42 (noch) nicht, ist etwas anderes als Leistungsbeurteilung!!
Achtung! Leistungsmessung ist (noch) nicht, ist etwas anderes als Leistungsbeurteilung!!

43 Bewertungen: Egal Nicht-Egal Nutzen Orientierung Information

44 Die Leuphana Universität Lüneburg setzt bspw
Die Leuphana Universität Lüneburg setzt bspw. den „Scholastic Aptitude Test“ (SAT) ein, um den wenig validen Abiturnoten ein weiteres Auswahlkriterium an die Seite zu stellen.

45 Bewertungen: Lada Mercedes Bentley 8.000 80.000 200.000 Restaurant
* Hotel ** Hotel *** Hotel **** Hotel ***** Hotel Lada Mercedes Bentley 8.000 80.000

46 Bewertungen: „Zum Hirschen“ in Sulzbach hält seit über 20 Jahren Spitzenposition Traube Tonbach in Baiersbronn existiert seit 200 Jahren und ist Deutschlands bestes Ferienhotel

47 Es wird unterschieden zwischen:
Der Zugehörigkeit zu einer Kategorie Der Entwicklung im Laufe der Zeit Der Stellung innerhalb eines Gesamt

48 kriteriumsorientierte
soziale Norm kriteriumsorientierte Norm individuelle Norm

49 Sind das ‚Spitzenwerte‘?
Ist das ‚Mittel‘? Sind das ‚Spitzenwerte‘? Sind das ‚Schwache‘?

50 Erster Schritt Reihenfolge feststellen

51 Wann verbietet sich die Verfeinerung einer Reihenfolgefeststellung?
Wenn die Reihenfolge keinen Zusammenhang mit dem betrachteten Nutzen aufweist – es egal ist Wenn die Feststellung der Reihenfolge reliabel nicht (mehr) möglich ist – der Zufall über die Reihenfolge entscheidet

52 Methode des Paarvergleichs
Klaus Melitta Peter Sabine X N² - N Minimale Anzahl der Vergleiche: 2

53 N Klaus - Melitta 3 Peter 1 Sabine 2 Klaus Melitta Peter Sabine X M P

54 kriteriumsorientierte
soziale Norm kriteriumsorientierte Norm individuelle Norm

55 Untere 50% Obere 50%

56 Note 2 Note 1

57 Note 2 Note 1

58 Gleichverteilung, Normalverteilung oder? Noten von 1 bis 6

59

60

61 „Faustformel“ für die Verteilung der Prozentanteile auf die Zensuren/Schulnoten:
1 2 3 4 5 6 Prozentanteil 9 16 25 siehe Ingenkamp/Lissmann 2008 p. 70

62 3 = befriedigend Eine Leistung, die in jeder Hinsicht durchschnittlichen Anforderungen entspricht ECTS-Noten: A die besten 10% B die nächsten 25% C die nächsten 30% D die nächsten 25% E die letzten 10%

63 Kompetenz- stufen

64 Kompetenz- stufen

65 Kompetenz- stufen

66 Kompetenzstufen lassen sich theoretisch aber auch empirisch bestimmen
Kompetenzstufen lassen sich theoretisch aber auch empirisch bestimmen! Die auf rechnerischem Wege beantwortbare Frage lautet: Wie hoch ist die Wahrscheinlichkeit, bei einer vorhandenen Kompetenz x die Anforderung y erfolgreich zu bewältigen? Wie muss die Anforderung gestellt werden, damit x % der Bezugsgruppe diese Anforderung erfolgreich bewältigen können?

67 Was ist Leistung? Leistung = Menge/Zeit Leistung = 10 Aufgaben/45 Min.
Leistung = 10 Kinder/2 Std. bespaßen Leistung = 1 Std. Fehler suchen/finden

68 Was ist Leistung? Bewältigung einer spezifischen Anforderung Bewältigung einer Anforderung bis zur Schwierigkeitsstufe x

69 Was ist das Ziel Ihrer pädagogischen Bemühungen?

70

71

72

73

74 Quelle der Daten: Deutsches Studentenwerk/OECD

75 Quelle der Daten: Deutsches Studentenwerk/OECD

76 Perspektive/Frage des sog
Perspektive/Frage des sog. Dynamischen Testens: Welcher Aufwand in Form von Zeiteinsatz, Zusatzinstruktionen oder Lerndurchgängen wird benötigt, um die Stufe der nächsten Kompetenz, Zone der nächsten Entwicklungsstufe zu erreichen?

77 Die entscheidende politische Frage:
Wie viel Aufwand will die Gesellschaft für Lernprozesse bereitstellen? Wie viel Aufwand wollen und können Sie an individueller Zuwendung aufbringen?

78 Die OECD Studie kommt zu dem Schluss:
„ … neben einem Migrantionshintergrund ist einer der wichtigsten Gründe für die neue deutsche Ungleichheit die wachsende Zahl Alleinerziehender.“

79 Nochmal das hier vertretene Credo:
Erkenne die Schwächen und Stärken jedes Schülers, und finde die die Unterrichtsform, die ihm gerecht wird. Kurz: Sei nicht ‚nur‘ Lehrer, sondern auch Diagnostiker.

80 Beispiel: Laufen Deskriptiv
kraftvoll spritzig athletisch geschmeidig explosiv dynamisch …

81 Bewegung, Bewegungsabläufe
Beispiel: Laufen Bewegung, Bewegungsabläufe Ziel Start

82 Standardisierung 100 – Meter Lauf
Beispiel: Laufen Standardisierung 100 – Meter Lauf Rückenwindkomponente Technik der Zeitnahme Homogenität, Heterogenität der Bezugsgruppe Ziel Start Distanz

83

84 Auflösung

85 Auflösung

86 Auflösung

87 Auflösung

88 Sind das ‚Spitzenwerte‘?
Die Ebene der Bewertung Ist das ‚Mittel‘? Sind das ‚Spitzenwerte‘? Sind das ‚Schwache‘?

89 Werden Defizite minimiert?
Die Ebene der Analyse, Diagnostik Wo liegen Verbesserungsmöglichkeiten? Könnten die noch schneller? Was machen die falsch? Werden Defizite minimiert?

90 Vertiefte Analyse, Diagnose
Beispiel: 100 – Meter Lauf Vertiefte Analyse, Diagnose Ziel 25 - Meter 25 - Meter 25 - Meter 25 - Meter Start

91 Gesamtzeit 25-Meter Zeit 50-Meter Zeit Läufer 75-Meter Zeit 1 10,01 2,1 5,3 Karl 8 2 10,21 1,9 5,4 Melitta 7,9 3 10,2978 5,5 Petra 8,1 4 10,2918 2,4 Silke 8,15 5 10,8 2,6 6 Susanne 8,2 11,2 2,9 5,9 Gudrun 8,5 7 11,4 2,7 6,1 Karin 9 11,6 2,5 6,2 Peter 9,1 11,8 6,3 Theo 9,2 10 12,21 Kurt 11 12,58 6,7 Sabine 9,8 12 12,67 3,3 Sepp 10,1

92

93

94

95 Ist diese Art der Darstellung, die Nutzung von
Regressionsgraden zulässig? A Eine Regressionsgrade sucht die Gerade, die in der Mitte einer Punktewolke verläuft

96 B In der Abbildung wird die Reihenfolge der Werte durch die Reihenfolge der Gesamtlaufzeiten gebildet

97 C Die Regressionsgraden dienen damit zur Klärung der Frage, wie sich die Teilzeiten zur Gesamtzeit verhalten. Denkbar wäre: Gesamt- Teil- Startzeit 1 2

98 D Zugleich wird durch die Regressionsgraden das ‚Mittel‘ der Proportionen der Teil-, resp. Zwischenzeiten erkennbar

99 E Hier zum Vergleich eine Darstellung, bei der berechnet wurde: Gesamtzeit = 100 % Teilzeit = X %

100 Der Vergleich:

101

102 Welcher Leistungsbereich steht im Zusammenhang mit der problemlosen/kritischen Bewältigung welcher Handlungsanforderungen? VI III II I

103 Beispiel aus dem Projekt Simulatortraining²

104 Ziel- position Ausgangsposition

105 Vorhafen Schleuse Jadefahrwasser

106 „schlecht“ „gut“

107 Generieren zusätzlicher, spezifischer Variablen
Beispiel: Kurs Gefahrener/geflogener Kurs, von/bis Abweichungen vom vorgegebenen Kurs, Min./Max. Zeitpunkt bis Korrektur bei Abweichung eingeleitet wird Länge/Zeitpunkte richtiger, falscher Korrekturen Synchrone Korrekturen, sukzessive Korrekturen Dynamik der Korrekturen … Beispiele:

108

109 Min./Max., Bereich für 50% der Werte, Median oder Mean
Sog. Boxplott: Min./Max., Bereich für 50% der Werte, Median oder Mean

110 Summe aller Abweichungen/Anzahl der Messzeitpunkte

111 Zeit bis zu einer Korrektur
Maximalwert der Abweichung

112 Steilheit der Anstiege und Abstige

113 Synchrone, asynchrone Inputs

114

115

116

117

118 Nach einer Trennung der Aufgabenerfüllungen in ‚gut‘ und ‚schlecht‘, im einfachsten Fall in diese zwei Gruppen, wird nach den Handhabungsmerkmalen gesucht, in denen sich diese beiden Gruppen am deutlichsten unterscheiden. Die nach- folgenden Graphiken sollen dies veranschaulichen: Die hier unterschiedenen beiden Gruppen ‚Novizen‘ und ‚Experten‘ trennen am deutlichsten, bei dem gezeigten Vergleich von drei Handhabungsmerkmalen, die ganz rechts aufgetragenen Geschwindigkeitsbereiche: Die Experten fahren erkennbar langsamer.

119 Warum mache ich immer so viele Feler?
Problem: Das deutsche Wort ‚Fehler‘ ist mehrdeutig! Wir sprechen sowohl von Fehlern, die man hat, als auch von solchen, die man macht. Wir sagen bspw. auch, der Kauf von xyz war ein Fehler.

120 Handlungen, die nicht so sind, wie sie sein sollten
Irrtum Fehler

121 Error Mistake Slip

122 Täuschung

123 Beispiel: Radfahren Praktisches Handeln unter Alltagsbedingungen:
Erfahrung mit Teilen aus dem Spektrum gegebener Situationen & Anforderungen Zufällige Begegnung mit Problempunkten Unklarheit über Stärken, Schwächen, Leistungsstand

124 Üben: Herauslösen spezifischer Problempunkte Try & Error bei der Suche nach Leistungs- steigerung Unsystematische Wahl der Lern-, Übungsbedingungen Unscharfe Grenzen über das Ende sinnvollen Übens

125 Training, fundiertes Erlernen:
Analyse, systematische Diagnose der Problempunkte (quantitativ/qualitativ repräsentative Leistungsspektren) Ursachenanalyse der Problempunkte Analyse, Überwachung, Bewertung der Optimierung

126 Systematische Analyse des Zusammenhangs Anforderung ↔ Leistung
Leistungsmessung Systematische Analyse des Zusammenhangs Anforderung ↔ Leistung Gezielte Veränderung der Anforderungen

127 (einige) Diagnostische Perspektiven
Was kann ich? Kriteriums- orientiert Wo steh ich? Soziale Norm Wie lerne, lerne ich? Individuelle Norm Wie lehre, lehre ich? Länder-vergleichs-studien (LAU) Wo sind die Hürden? ‚Gut‘ ‚Schlecht‘ Vergleich Was sind die Hürden? Analyse der Abweichungen (Fehler/Irrtum)

128 Die Phasen im Analyse - Prozess
Transformation Interpretation Selektion Vorverarbeitung Data Mining Selektierte Daten Vorbereitete Daten Transformierte Daten Wissen/ Modelle Daten Muster

129 Zugehörigkeit zu a, b oder c
Relationen Mehr ↔ Weniger Schlechter ↔ Besser Abstände der Relationen Soviel mehr ↔ Soviel weniger Vier Niveau-/Skalenebenen: Nominalskala Ordinal- oder Rangskala Intervallskala Verhältnis- oder Proportionalskala

130 Skalenniveau Voraussetzungen Maß der zentralen Tendenz Beispiele Nominalskala Merkmale müssen nach Gleichheit oder Verschieden- heit bestimmbar sein Modalwert (häufigster Wert) Klassenstufen männlich weiblich Autokennzeichen Ordinal- oder Rangskala Einstufbarkeit nach dem dem Ausprägungsgrad eines Merkmals (mehr – weniger) Median (mittlerer Wert) Zensuren Ranglisten Intervallskala Bestimmbarkeit gleicher Skalenabstände. Festsetzung eines (relativen) Nullpunktes Arithmetischer Mittelwert Temperaturskala IQ T-Wert bei Schultests Verhältnis- oder Proportionalskala Bestimmbarkeit vom Proportionen und eines absoluten Nullpunktes Arithmetischer und geometrischer Mittelwert Längenmaße Gewichtsmaße

131 Daten anschauen, anschaulich machen!!
Kategoriale Daten Balkendiagramm Kreuztabelle Kontingenztafel Numerische Daten Streudiagramm Scatterplot Korrelationsanalyse Ggf. neue Variablen oder Werte generieren Ggf. Teilmengen bilden und vergleichen

132 Beispiel: Balkendiagramm

133 Beispiel: Streudiagramm/Scatterplot
Beachten Sie den Korrelationsquotienten!