Definition Ein Test ist ein wissenschaftliches Routineverfahren zur Untersuchung eines oder mehrerer empirisch abgrenzbarer Persönlichkeits-merkmale mit.

Präsentation zum Thema: "Definition Ein Test ist ein wissenschaftliches Routineverfahren zur Untersuchung eines oder mehrerer empirisch abgrenzbarer Persönlichkeits-merkmale mit."—  Präsentation transkript:

1 Definition Ein Test ist ein wissenschaftliches Routineverfahren zur Untersuchung eines oder mehrerer empirisch abgrenzbarer Persönlichkeits-merkmale mit dem Ziel einer möglichst quantitativen Aussage über den relativen Grad der individuellen Merkmalsausprägung (G.A.Lienert) WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

2 Wissenschaftlich: Es existiert eine Theorie, unter welchen Bedingungen aus den Testergebnissen welche Aussagen über die getesteten Personen abgeleitet werden können Routineverfahren: Der Test wurde an einer größeren Stichprobe bereits erprobt und ist so beschrieben, dass er von anderen Personen mit anderen Testleitern durchgeführt werden kann WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

3 Persönlichkeitsmerkmale: Bei einer Testung geht es stets um die Erfassung eines relativ stabilen und konsistenten Merkmals (das für die im Test gezeigten „Reaktionen“ verantwortlich ist) von Personen WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

4 Quantitative Aussagen: Dies ist etwas zu eng gefasst, denn es können auch qualitative (kategoriale) Aussagen eines nominal skalierten Merkmals erfasst werden WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

5 Warum eine Theorie über Tests?
Eigentlich: Theorie über verschiedene Arten von Tests, ihren Aufbau und ihre Konstruktionsprinzipien, weil: Testauswertung = Antwortverhalten  Merkmal Dies bedarf einer Theorie! Die Testtheorie beschäftigt sich mit dem Zusammenhang von Testverhalten und dem zu erfassenden Merkmal WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

6 Axiome der klassischen Testtheorie
Messfehlertheorie X = T + e Axiome der klassischen Testtheorie (e) = 0, d.h. bei wiederholter Messung an der gleichen Vp heben sich die Messfehler gegenseitig auf (T,e) = 0, d.h. die Höhe des Messfehlers ist unabhängig vom getesteten Merkmal (ex,Ty) = 0, d.h. die Höhe des Messfehlers ist unabhängig vom Ausprägungsgrad anderer Persönlichkeitsmerkmale (ex, ey) = 0, d.h. die Messfehler verschiedener Testanwendungen sind unabhängig voneinander WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

7 Gütekriterien WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

8 Objektivität oder wie unabhängig ist der Test?
Durchführungsobjektivität Auswertungsobjektivität Interpretationsobjektivität WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

9 Reliabilität oder wie genau misst der Test?
Retest-Reliabilität Paralleltest-Reliabilität Innere Konsistenz, gemessen durch Testhalbierung oder Konsistenzanalyse (Itemanalysen) WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

10 Validität oder was misst der Test?
Inhaltliche Validität: z.B. Schulleistungstest Konstruktvalidität: direkte Ableitung aus Theorie (z.B. Angst, Aggression) Kriteriumsvalidität: Außenkriterium „Augenscheinvalidität“: Expertenrating WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

11 Interpretation / Auswertung / Durchführung
Wechselbeziehungen Die Parallel- oder Retestreliabilität kann nicht höher sein als die Konsistenz oder die Objektivität Ein Test kann nicht valider sein als er reliabel ist Hohe Validität bedeutet zwangsläufig auch hohe Objektivität, Konsistent und Reliabilität Objektivität Interpretation / Auswertung / Durchführung Reliabilität Innere Konsistenz Parallel- und Retest Validität kriteriumsbezogen WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

12 Ende des 1. Teils WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

13 WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

14 Testaufgabentypen Gebundene Aufgabenbeantwortung
Dichotomer Antworttyp Essen Sie gerne Spaghetti?  ja  nein Das Jahr 2000 ist ein Schaltjahr stimmt stimmt nicht Einfache Auswertung Kurze Lösungszeit Frageformulierung nicht immer leicht (Negativfragen!!) hohe Ratewahrscheinlichkeit  Verringerung der Reliabilität Entscheidung für den Pb manchmal schwierig WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

15 Testaufgabentypen dichotome Antwortmöglichkeit
Geeignet wenn ... ein Test schnell konstruiert bzw. improvisiert werden soll die Testdurchführung wenig Zeit beanspruchen soll Auswertung durch Hilfspersonal geschieht Aufgabeninhalt leicht verständlich ist Informationen über ein Persönlichkeitsmerkmal auf möglichst breiter Basis durch möglichst viele Fragen und Aufgaben erzielt werden soll gedankliche Verarbeitung und Gedächtnisleistung keine Rolle spielt Zufallslösungen irrelevant sind oder berücksichtigt werden (Zufallskorrektur) WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

16 Mehrfach-Wahl-Aufgabe (multiple choice)
Testaufgabentypen Gebundene Aufgabenbeantwortung Mehrfach-Wahl-Aufgabe (multiple choice) Deutschland war Fußballweltmeister ... 1968 b) c) d) 1984 Ich komme gerne in dieses Seminar: Immer oft manchmal selten nie ökonomische Durchführung und Auswertung geringe Ratewahrschein-lichkeit, wenn Distraktoren gut sind Erfahrung zur Formulierung von Items nötig Spontaneität bei Vpn behindert WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

17 Testaufgabentypen multiple choice
Gut geeignet weil ... beste Anwendungsmöglichkeit für geeichte Tests Weniger gut geeignet wenn ... die Lösungsfindung selbstständig erfolgen soll die Erstellung von Antwortalternativen (Distraktoren) schwierig ist, wie das folgende Beispiel verdeutlicht: WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

18 Testaufgabentypen multiple choice
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken Bild der Frau vom

19 Testaufgabentypen offene Antwortmöglichkeit
Offene Antworten Woher kommt der Wind? ____________________________________ Wie beurteilen Sie dieses Seminar? ___________________________ wichtige Form zur Erfassung bestimmter Eigenschaften wie z.B. Ausdrucksfähigkeit, Wortschatz etc. Auswertungsobjektivität problematisch zu erreichen Auswertung zeitaufwendig WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

20 Testaufgabenbeispiele halboffene Antwortmöglichkeit
An welchen Flüssen liegen die folgenden Städte? Nürnberg:____________ Frankfurt:_____________ Hamburg:____________ Berlin:________________ Bremen:_____________ Saarlouis:_____________ WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

21 Testaufgabenbeispiele
Zuordnungsaufgaben Welches Verb gehört zu welchem Substantiv? 1) ein Vortrag a) erzählen 2) eine Geschichte b) machen 3) eine Erklärung c) halten 4) ein Gespräch d) abgeben 5) einen Vorschlag e) führen eignen sich gut zur Feststellung erworbenen Wissens Informiert schnell über elementares Tatsachenwissen große Anzahl von Aufgaben auf kleiner Fläche möglich Freiheitsgrad = 1 Lösungsfindung erfolgt nicht selbstständig, da Antworten vorgegeben WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

22 Testaufgabenbeispiele
Ergänzungsaufgaben Blitz : Donner = Hören : ? Gewitter / Sehen / Regen / Fühlen / Wolken Umordnungsaufgaben Sortiere die folgenden Brüche der Größe nach, beginne mit dem Größten 4/ / / / /6 WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

23 Testaufgabenbeispiele
Lückentext Die menschliche Persönlichkeit und deren ___________ ist eine sehr _______________ Angelegenheit. Unstrittig ist, dass es sich bei den Entwicklungs_________ um eine Interaktion, also ein Zusammenspiel zwischen _________-________ Veranlagungen und _________ handelt. Jeder Teil für sich genommen führt nicht zwingend und unmittelbar zu bestimmten __________; sondern die Reaktion des einen Teils (_______) auf entsprechende Veranlagungen steuert die _________ einer menschlichen Persönlichkeit. frei von Zufallseinflüssen Antwortformulierung nach freiem Ermessen -> Gefahr von Suggestivwirkung Antwortformulierung nach freiem Ermessen zeitaufwendig nicht immer eindeutig (Objektivität!) WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

24 Formale Kriterien einer guten Testaufgabe
Objektivität: Sie muss von verschiedenen Auswertern gleichermaßen als „richtig“ oder „falsch“ bewertet werden Reliabilität: Gleiche Antworten bei kurzzeitiger Testwiederholung muss erwartet werden Validität: Eine Aufgabe ist dann valide, wenn sie von Pbn mit starker Merkmalsaufprägung häufiger richtig beantwortet wird als von Pbn mit geringer Merkmalsausprägung („Trennschärfe“) WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

25 Inhaltliche Kriterien einer guten Testaufgabe
Die Aufgabe als inhaltliche Ganzheit soll einen wesentlichen Aspekt des untersuchten Merkmals betreffen Jede Aufgabe soll von jeder anderen inhaltlich unabhängig sein. Die Lösung einer Aufgabe darf keinen Hinweis auf die Lösung einer anderen Aufgabe enthalten und schon gar nicht von deren Lösung abhängig sein Jede Aufgabe soll, soweit dies mit dem Testziel vereinbar ist, speziell, konkret und wirklichkeitsnah gestaltet sein und nicht allgemein, abstrakt und wirklichkeitsfern WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

26 Regeln für den sprachlichen Aufbau einer Testaufgabe
Vermeide mehrdeutige Begriffe (u.a. „oft“) Vermeide Begriffe, die nur einem Teil der Pbn geläufig sind Jede Aufgabe soll nur einen Aspekt oder Gedanken enthalten, d.h. keine durch „und“ verbundenen Aussagen Möglichst positive Aussagen, Fragen oder Formulierungen ( doppelte Verneinung) Vermeide Verallgemeinerungen jeder Art, besonders solche, die nur zeitweise Gültigkeit haben Vermeide umständliche Länge oder telegrafische Kürze im Aufgabentext Prüfe die Eindeutigkeit der Frage an einer kleinen Teststichprobe („Fragentext ist eindeutig / nicht ganz / unklar“) Gleiches gilt für die Testanweisung WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

27 Ende des 2. Teils WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

28 Kriteriumsorientierte Leistungsmessung
Abgrenzung Konstruktion Analyse Praxis

29 Abgrenzung Frage: Kann ein Schüler Aufgaben lösen, die ein Kriterium um- oder beschreibt? WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

30 Kriteriumsorientierte Test zielen ...
Abgrenzung Kriteriumsorientierte Test zielen ... ... nicht auf Erfassung individueller Differenzen (wie klassische Persönlichkeitstests), also auf die Ermittlung eines Rangplatzes in einer Normgruppe, ab ... sondern auf Feststellung der Leistung eines Schülers bzgl. eines vorgegebenen spezifischen Aufgabenbereichs WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

31 Definitionen Ein Test zur Erfassung eines Persönlichkeitsmerkmals, sofern dieses durch die ´Bewältigung´ einer wohldefinierten Aufgabe gekennzeichnet ist (nach Klauer, 1987) Kriteriumsorientiert ist ein Test, der die Gesamtheit einer wohldefinierten Menge von Aufgaben enthält oder repräsentiert und der zu dem Zweck konstruiert ist, die Fähigkeit des Schülers zur Lösung der definierten Aufgabe zu schätzen und/oder ihn gemäß dieser Fähigkeit einer Klasse von Schülern zuzuordnen (dto.) Informelle Schulleistungstests sind Verfahren der Pädagogischen Diagnostik, die durch Lehrer konstruiert werden, um die Ergebnisse der von ihnen geplanten Lernvorgänge in ihrer Klasse möglichst objektiv zu erfassen und für ihr pädagogisches Handeln nutzbar zu machen. WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

32 Definitionen Kurz: wir messen, ob ein Schüler das vorher festgesetzte Kriterium oder Leistungsniveau erreicht hat oder nicht Dies setzt einen absoluten Gütemaßstab voraus Dieser ist nicht von der Leistung der anderen Schüler abhängig, die den gleichen Unterricht und gleichen Test erhalten haben WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

33 Das bedeutet im Prinzip ...
Es geht nur um die Entscheidung: „bestanden“ oder „nicht bestanden“ Trotzdem sind Vergleiche zwischen Schülerleistungen möglich WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

34 Definitionen „Kriterium“ kann dabei bedeuten:
ein Lernziel (das erreicht oder nicht erreicht worden sein kann) ein Leistungskontinuum, in dem unterschiedlich gute Schüler unterschiedliche Positionen einnehmen können ein Leistungsstandard, an dem sich Vorhersagen bestätigen oder nicht WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

35 Alltags-Beispiele WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

36 Alltags-Beispiele WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

37 Alltags-Beispiele WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

38 Einsatzmöglichkeiten
Beurteilung individualisierter Lernprogramme Diagnose individueller Schwierigkeiten einzelner Schüler Einschätzung der Fähigkeit eines Schülers in einem bestimmten Bereich Messung dessen, was ein Schüler gelernt hat Nachweis von Kompetenz Eingangskontrolle zu Beginn einer neuen Lerneinheit WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

39 Merkmale Die materiale Basis für die Erstellung und Durchführung ist die Unterrichtseinheit oder Teile davon. Die Tests orientieren sich an den vorher aufgestellten Lernzielen. Die Tests erwachsen in Inhalt und Methode dem vorhergehenden Unterricht. In einer Aufgabe wird nur ein Lernziel getestet. Art der Durchführung, Lösungsschlüssel und Auswertungsschemata sind nach verbindlichen Kriterien vorher festgelegt. WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

40 Vorgehensweise: Konstruktion
Die Konstruktion geschieht durch den Lehrer („teacher made tests“). Der methodische Konstruktionsaufwand richtet sich nach Ausbildung, Verfügbarkeit technischer Hilfsmittel und Arbeitszeit des Lehrers. Das bedeutet z. B. Abstriche beim Umfang (Aufgabenniveaus, Ableitung der Testaufgaben, Genauigkeit...) Der Test orientiert sich an den pädagogischen Bedürfnissen einer oder weniger Schulklassen. Diese Tests sind nicht auf überregionale Anwendbarkeit angelegt. Die Objektivität wird weitgehend durch die Standardisierung der Prüfungssituation, der Aufgabenstellung und Rohpunktauswertung erreicht. WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

41 Vorgehensweise: Konstruktion
Bei sorgfältiger Testkonstruktion können auch für informelle Tests Zuverlässigkeit und Gültigkeit angenommen werden, werden aber nicht durch statistische Verfahren nachgewiesen. Diese Tests sollen dazu beitragen, dass viele traditionellen Kurzarbeiten und mündlichen Prüfungen durch objektivere Methoden ersetzt werden. Es werden dieselben Aufgabentypen wie für formelle Tests benutzt, wobei Alternativformen und Kurzantworten überwiegen. WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

42 Vorgehensweise: Konstruktionsphasen
Curriculare Phase: Der Lehrer orientiert sich nur an den Lehrzielen, die er für seine Klasse ausgewählt hat. Meist untersucht er kleinere Unterrichtseinheiten. Die Lehrziele werden häufig operationalisiert und in Testaufgaben umgesetzt. Spezifikationstabellen sollen helfen, sich über inhaltliche und kognitive Anforderungen klar zu werden und diese angemessen zu berücksichtigen. Die Aufgabenkonstruktion unterscheidet sich nicht wesentlich von den formellen Tests. Auch Karten, Demonstrationen von Versuchen usw. können in die Aufgabenstellung mit einbezogen werden. Die Lehrer sollten ihre Entwürfe mit Kollegen diskutieren WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

43 Vorgehensweise: Analyse
Eine Aufgabenanalyse wird nach vereinfachten Verfahren durchgeführt. Diese Verfahren der Aufgabenanalyse sind überwiegend an Prinzipien bezugsgruppenorientierter Tests orientiert. Oft fehlt die Zeit und Möglichkeit, die Versuchsform des Tests an einer anderen Klasse zu erproben. Eine Eichung und eine Überprüfung der Testgütekriterien finden bei informellen Tests nicht statt. Von den geeigneten Aufgaben zählt der Lehrer die Punkte zusammen und kann seine Schüler in eine Rangordnung bringen. Nach der Verteilung der Lösungen auf die einzelnen Testaufgaben kann er für die Klasse oder den einzelnen Schüler eine Art Profil der Stärken und Schwächen erstellen und an diesen Informationen seine didaktischen Bemühungen ausrichten. WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

44 Praxis Außer in Versuchsschulen spielen informelle Tests in unserem Schulwesen bisher eine unbedeutende Rolle. Der Aufwand wird von den Lehrern gescheut. Der informelle Test könnte viele schriftliche Arbeiten und mündliche Wiederholungsaufgaben durch mess-methodisch und curricular überlegenes Verfahren ersetzen. Das System des Itembanking oder der Testaufgabensammlung sollte die Vorteile des informellen Testens mit Reduzierung des Arbeits-aufwands bei gleichzeitiger Steigerung der Testgüte verbinden. Zu diesem Zweck werden aus operationalisierten Lernzielen Test-aufgaben entwickelt, in formellen Verfahren empirische erprobt und mit den wichtigsten Kenndaten gespeichert. Sie können von Lehrern abgerufen werden. WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

45 Ende des 6. Teils

46 Lernziel-Operationalisierung
Folien: Andrea Kloß / C. Paulus

47 Überblick Verfahren der Leistungsbeurteilung (subjektiv, objektiv: formell, informell) Lernziel-Niveaus nach Bloom (präzisiert, Bsp.) Lernziel-Analyse Orientierung an Bildungsstandards WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

48 Leistungsbeurteilung
Objektive Verfahren alle formellen, standardisierten Verfahren alle informellen, kriterienbezogene Verfahren Subjektive Verfahren alle Formen von Lehrerurteilen (traditioneller Art): Verhaltensbeobachtung Aufsatzbeurteilung WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

49 Formelle Schulleistungstests
Formale Testkonstruktion wurde aus der Psychologie auf den schulischen Bereich übertragen:  mangelnder Zusammenhang von Leistungsfeststellung und Unterricht Problem der Validität: Gütekriterien also weniger verwirklicht WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

50 Formale Gütekriterien:
Objektivität Unabhängigkeit von subjektiven Beobachtereinflüssen Reliabilität Reproduzierbarkeit bei gleichgebliebenen Bedingungen Validität Grad, in dem ein Test das misst, was der Beobachter zu erfassen wünscht WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

51 Formale Tests von Interesse, wenn überregional die Leistungen von Schülern gemessen werden sollen jedoch ist die Bindung von standardisierten Tests an den Unterricht gering WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

52 Informelle Schulleistungstests
Messinstrument zur gerechten Beurteilung von Schülerleistungen wodurch wird Gerechtigkeit erreicht? Informelle Tests werden auf der Basis von Lernzielen konstruiert Die Notengebung orientiert sich an der konkreten Unterrichtssituation WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

53 Voraussetzungen der Leistungsmessung
Exakte Planung von Unterrichtseinheiten Operationalisierte Lernziele WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

54 Vorteile operationalisierter Lernziele
Es wird gemessen, was unterrichtet wurde. Gemessene Schülerleistung liefert Ansatzpunkte für Förderungsmaßnahmen. WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

55 Operationalisieren von Lernzielen
Festlegen der Fertigkeiten und Verhaltens-weisen, die der Schüler am Ende der Unterrichtseinheit an den Tag legen soll. Die Verhaltensweisen müssen beobachtbar sein: nennen, aufschreiben, lösen ... WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

56 Beispiele für Lernziele
Im Naturkundeunterricht die Pflanzenteile Stengel, Blatt, Blüte richtig benennen können. Im Biologieunterricht die prokaryontischen Zellorganellen richtig benennen können. Im Deutschunterricht die Kommasetzung richtig anwenden können. WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

57 Lernziel-Niveaus nach Bloom
Wissen Verstehen Anwendung Analyse Synthese Evaluation WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

58 Klassifikation der geistigen Fähigkeiten nach Bloom, aber präzisiert
Wissen als Reproduktion Der Schüler soll anhand einer Zeichnung die Leitungsbahnen einer Pflanze ankreuzen können. WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

59 Klassifikation der geistigen Fähigkeiten nach Bloom, aber präzisiert
Verstehen als Übertragung von einer Kommunikationsform in eine andere, als richtige Interpretation des Wissens Wie wirkt sich die unterschiedliche Wasserspeicherkapazität in verschiedenen Böden auf das Wachstum von Pflanzen aus, die mehr oder weniger Wasser vertragen? WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

60 Klassifikation der geistigen Fähigkeiten nach Bloom, aber präzisiert
Anwendung als Übertragung gelernter Regeln auf Situationen, die für den Schüler neu sind, als Voraussage von Effekten von Veränderungen verschiedener Faktoren Welche Folge hat die Anwendung entlaubend wirkender Stoffe für die Pflanzen? WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

61 Klassifikation der geistigen Fähigkeiten nach Bloom, aber präzisiert
Analyse als Beurteilung von Situationen anhand von Richtlinien als Überprüfen der Richtigkeit von Schlussfolgerungen an gegebenen Annahmen Wenn eine Pflanze wenig H2O verdunsten kann... a) wächst sie langsamer b) erzeugt sie mehr Nährstoffe c) bildet sich die Wurzel besser aus d) werden die Blätter größer WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

62 Klassifikation der geistigen Fähigkeiten nach Bloom, aber präzisiert
Synthese als Herstellen von mehreren Lösungen, die zumindest für die Testperson neu sind als Finden von Wegen, die eine Überprüfung von Hypothesen ermöglichen Wie lässt sich nachprüfen, ob die Pflanze nachts in den Blättern Stoffe bildet, die nicht weitergeleitet werden? WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

63 Klassifikation der geistigen Fähigkeiten nach Bloom, aber präzisiert
Evaluation als Beurteilung von Situationen an internalisierten Wertsystemen Zuordnung evtl. zur Klasse der Analyse??? Schlecht operationalisierbar!!! da Lernziel-Erarbeitung nicht in kleine UE passt. da dieses Lernziel nur sehr schwierig zu überprüfen ist. WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

64 Operationalisieren komplexer Lernziele
Aufgliedern komplexer Lernziele in ein kognitives Grundmuster in den konkreten fachspezifischen Inhalt WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

65 Orientierung an Bildungsstandards
Deutsch (MBA): WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

66 Orientierung an Bildungsstandards
Operationalisierung (Deutsch (MBA)): WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

67 Orientierung an Bildungsstandards
Mathematik (MBA): WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

68 Orientierung an Bildungsstandards
Operationalisierung (Mathematik (MBA)): WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

69 Orientierung an Bildungsstandards
Folgende Bildungsstandards existieren bereits: WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

70 Beispiel WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

71 Effiziente Unterrichtsgestaltung
durch Lernziel-Analyse des Lehrplans durch Analyse der Komplexitätsstufe eines in einer UE umzusetzenden Lernziels durch Planung einer UE so, dass der Ablauf der Lernzielkomplexität angemessen ist durch Konstruktion der Prüfungsaufgaben parallel zur Unterrichtsplanung durch Bekanntgabe operation. Lernziele an die SchülerInnen (schnellerer Lernerfolg) [Umsetzung der Unterrichtsplanung] WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

72 Lernzielanalyseschema
Kann zwischen Inhalt und Grundmuster unterschieden werden? ja nein Wissen Sind alle Informationen für die Lösung vorhanden? nein ja Verständnis Müssen vom Schüler Informationen zur Lösung des Problems beigesteuert werden? nein ja Anwendung Wird vom Schüler eine Untersuchung vom Sachverhalt nach vorgegebenen Kriterien erwartet? nein ja Analyse Ist es möglich, mehr als eine Lösung für das Problem zu finden? ja Synthese WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

73 Ende des 6. Teils

74 Itemanalyse Rohwerteverteilung Schwierigkeitsgrad
Richtig/Falsch (0 P., 1 P.): Mehr-Punkte-Aufgaben: WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

75 Itemanalyse: Schwierigkeit
Vpn Frage 1 Frage 2 Frage 3 Summe Max. Punktzahl 5 3 1 9 2 7 4 8 12 6 20 P = 12 : (5*3) = 0,80 6 : (3*3) = 0,66 2 : 3 = 0,66 20 : (9*3) = 0,74 schwer mittel leicht 0,35 0,70 1 WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

76 Itemanalyse Trennschärfe: Mehr-Punkte-Skala
Dichotome Antworten (ja-nein; richtig-falsch) Mr = Mittelwert des Gesamtscores derjenigen Pbn, die Items X richtig gelöst haben Mx = Mittelwert des Gesamtscores Sx = Standardabweichung des Gesamtscores p = Schwierigkeitsindex des Items X WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

77 Itemanalyse Die Trennschärfe ist die Korrelation der Itemwerte, dessen Trennschärfe bestimmt werden soll, mit dem Summenscore Korrelation Korrelation WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

78 Itemselektion Inhaltliche Kriterien Statistische Kriterien
Sonstige Kriterien WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

79 Itemselektion: Inhaltskriterien
Sind bestimmte Items als Eisbrecher notwendig? Kann man auf bestimmte Items verzichten, weil genügend ähnliche vorhanden sind? Repräsentieren bestimmte Items ein Testmerkmal besonders prägnant trotz ungünstiger Itemkennwerte? Lassen sich bestimmte Items trotz guter Kennwerte nicht theoretisch-inhaltlich korrekt einordnen? Sind die Items (besonders bei ja/nein-Antworten) ausbalanciert, d.h. gibt es etwa gleich viele „Ja“-Antworten wie „Nein“-Antworten? WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

80 Itemselektion: Statistik
Bestimmung des Selektionskennwertes: rit=Trennschärfe p = Schwierigkeit Beispiel: Item rit p 3 0,60 0,30 WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

81 Itemselektion: Statistik
Trennschärfe Schwierigkeit WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

82 Itemselektion: Weitere Kriterien
Häufen sich Items in unerwünschten Bereichen (z.B. 0,60<p<0,80)? Sind schwierige und leichte Antworten in etwa gleichem Umfang vertreten (bei power-Tests)? Sind die Übergänge in der Schwierigkeit zwischen den Items nicht zu groß? WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

83 Ende des 7. Teils

84 Reliabilitätsbestimmung
Reliabilität ist umso höher, je geringer der zu einem Messwert X gehörende Messfehler ist Möglichkeiten der Reliabilitätbestimmung: Retest (niedrige Fehlervarianz = hohe Rel. = hohe Korr.) Paralleltest (Vorgehen: Itempool  2 Testversionen kurz hintereinander dargeboten  Itemanalyse  Itemzwillinge Paralleltests) Testhalbierung (split-half; Sonderform der Paralleltestmethode, da die Rel. mit der Zahl der Items zunimmt, unterschätzt diese Methode die Rel. wegen der halbierten Testlänge  Spearman-Brown-Korrektur: interne Konsistenz (Cronbach´s ) WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

85 Validität Korrelation mit Außenkriterien,
Inhaltsvalidität (Augenschein, Logische Validität, Face validity, content validity) kann nicht berechnet werden, meist geprüft, wenn das Testverhalten das Merkmal direkt darstellt (Rechts-Linkshändigkeit, Farbenblindheit, Wissenstests, ...) Kriteriumsvalidität Liegt vor, wenn das Testergebnis mit einem Außenkriterium übereinstimmt (z.B. Studienerfolg) Meist in Form von prognostischer Validität, da Kriterium erst später eintritt Übereinstimmungsvalidität ist bei direkter Kriteriumsmessung bestimmbar Expertenrating Konstruktvalidität Bestimmungsmöglichkeiten: Korrelation mit Außenkriterien, Korrelation mit vergleichbaren Tests Faktorenanalyse WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

86 Ende des 5. Teils

87 Normierung Definition
Unter Norm versteht man einen Vergleichswert, an dem man sich bei der Beurteilung einer Leistung orientiert. WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

88 Normierung Äquivalentnorm - Variabilitätsnorm
geben die Stellung eines Probanden innerhalb einer Häufigkeitsverteilung an man ermittelt einen Standardwert, der angibt wie weit der Testwert entfernt ist vom mittleren Standardwert des Tests man unterscheidet zwischen Standardnorm und Prozentrangnorm Äquivalentnorm orientieren sich an den Mittelwerten von Gruppen der Testwert eines Probanden wird als äquivalent zu einem bestimmten mittleren Testwert einer Gruppe angesehen der Rohwert wird einem Zeitäquivalent zugeordnet Bsp.: IQ = IA / LA ( IA – Intelligenzalter ; LA – Lebensalter ) Diese Normierungsmethode wird zunehmend abgelöst von der Variabilitätsnorm WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

89 Standardnormen Es gibt verschiedene Standardnormen, die sich nur in der Skalierung voneinander unterscheiden Alle Standardnormen werden von der Standardnormalverteilung ( m = 0 ; s = 1 ) abgeleitet (durch lineare Transformation) Jede Standardnorm lässt sich nach folgender Formel berechnen : Dabei bedeuten : X´ transformierte Standardnorm s vorgegebene Standardabweichung m vorgegebener Mittelwert M im Test berechneter Mittelwert s im Test berechnete Standardabweichung X beobachteter Testwert WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

90 typische Standardnormen
z – Norm (s = 1 ; m = 0) z = (x - M) / s WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

91 typische Standardnormen
Z – Norm (s = 10 ; m = 100) Z = (x - M) / s WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

92 typische Standardnormen
T – Werte (s = 10 ; m = 50) T = (x - M) / s WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

93 Berechnung von Standardnormen Ein Test mit 5 Aufgaben sei an 40 Pbn geeicht worden. Die Rohwerte sind normal verteilt (N = 40 ; M = 2,95 ; s = 1,06) X X – M (X – M) / s = z Z T -2,95 -2,78 72,2 22,2 1 -1,95 -1,84 81,6 31,6 2 -0,95 -0,90 91,0 41,0 3 0,05 100,2 50,5 4 1,05 1,00 110,1 59,9 5 2,05 1,93 119,3 69,3 WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

94 Transformation von Testwerten
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

95 Prozentrangnormen Prozentrangnormen können unabhängig von der Häufigkeitsverteilung aufgestellt werden WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

96 Berechnung von Prozentrangnormen
Durchführung eines Tests 40 Teilnehmer Rohwerte, die erreichbar waren liegen zwischen 0 und 15 WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

97 Berechnung von Prozentrangnormen die Prozentränge werden berechnet nach der Formel fcum% = fcum / N *100 N (Anzahl der Probanten) = 40 Rohwerte Häufigkeit f summierte Häufigkeit fcum fcum % 14 – 15 2 40 100 12 – 13,5 9 38 95 10 – 11,5 19 29 73 8 – 9,5 6 10 25 5 – 7,5 3 4 0 – 4,5 1 WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

98 Prozentrangnormen Prozentrangnormen können unabhängig von der Häufigkeitsverteilung aufgestellt werden die Auswertung kann mittels Summenprozentkurve erfolgen x-Achse : Rohwerte y-Achse : Prozentwerte WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

99 Auswertung von Prozentrangnormen
Die Summenprozent-kurven liefern zweierlei Informationen Zu jedem beliebigen Rohwert kann der entsprechende Prozentrang abgelesen werden Umgekehrt kann zu jedem Prozentrang die zugehörige Maßzahl aufgesucht werden WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

100 Prozentrangnormen Prozentrangnormen können unabhängig von der Häufigkeitsverteilung aufgestellt werden die Auswertung kann mittels Summenprozentkurve erfolgen x-Achse : Rohwerte y-Achse : Prozentwerte dabei bedeutet der Prozentrang 40, dass die Leistung dieses Schülers die Leistungen von 40 % der Schüler der Vergleichsgruppe übertrifft, während seine Leistung von 60 % der Gruppe überboten wird Vorsicht : die Prozentränge dürfen nicht verwechselt werden mit dem Prozentsatz richtiger Lösungen in einem Test Eigenart : die Prozentrangnorm lassen Unterschiede zum Mittelbereich der Skala stärker erscheinen; am Rand werden die Unterschiede nivelliert WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

101 Transformation von Prozenträngen (PR) in T-Werte
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

102 Ende des 7. Teils WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

103 Konstruktion eines informellen Tests
Operationalisierung der Lernziele Erstellung der Spezifikationstabelle Aufgabenkonstruktion Entwicklung der Testvorform Erste praktische Durchführung des Tests Itemanalyse Überprüfung der Reliabilität Überprüfung der Validität Normierung Testendform WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

104 Operationalisierung der Lernziele
Festlegen der Fertigkeiten und Verhaltens-weisen, die der Schüler am Ende der Unterrichtseinheit an den Tag legen soll. Die Verhaltensweisen müssen beobachtbar sein: nennen, aufschreiben, lösen ... Was will ich lehren? Welche Verhaltensänderungen will ich beim Schüler bewirken? WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

105 Erstellen der Spezifikationstabelle
Untersuchung, ob der Unterrichtsstoff in der Form von operational definierten Lernzielen vorliegt (evtl. Umschreibung in operational. Lernziele) Entscheidung, welche Lernziele Gegenstand des Tests sein sollen (Ermittlung der Komplexität) Festlegung der Zahl der Items ( Komplexität) WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

106 Spezifikationstabelle
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

107 Inhalte einer Spezifikationstabelle
Inhalte könnten im Geschichtsunterricht z.B. folgende sein: Grundherr und Bauer Mittelalterliche Stadt, Bauten Bürger, Bauern und Mönche im Osten Die Hanse in Europa In die Zellen der Matrix wird die festgelegte Itemzahl eingetragen (Bedeutung des Lernziels  Itemzahl). Die Spalte „total“ gibt Aufschluss über die Gewichtung der einzelnen Lernzielkomponenten, Verhaltenskomponenten. WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken