Entwicklungstestung & Beobachtung

Präsentation zum Thema: "Entwicklungstestung & Beobachtung"—  Präsentation transkript:

1 Entwicklungstestung & Beobachtung
Aufgaben und Voraussetzungen D.1 Theorien über Entwicklungs- und Lernprozesse und ihre Beeinträchtigungen SoSe 2008

2 Anliegen der Entwicklungsdiagnostik
Frage nach dem Entwicklungsstand Was ist? Genese von Entwicklungsproblemen Wie ist es geworden? Prognose Was wird? Festlegung von Entwicklungszielen Was sollte werden? Methoden und Mittel zur Zielerreichung (Montada, 1985)

3 Praxis der Entwicklungsdiagnostik heute
Anspruch: Testverfahren sollten theoretisch fundiert sein, ökonomisch sein und den Qualitätsstandards psychologischer Testdiagnostik entsprechen. Realität: Testanwender monieren... schlechte Standardisierung veraltete Normen „neue Tests“ werden aus Aufgaben anderer Tests gebildet Fehlen von geeigneten Verfahren für die Frühdiagnostik

4 Praxis der Entwicklungsdiagnostik heute
Ökonomische Engpässe  Kostendruck Einsparung von Fachkräften Entwicklungsdiagnostik im „Schnellverfahren“ Screenings = vollwertige Leistungsdiagnostik ?? Aber: Komplexe Entwicklungsstörungen erfordern vielschichtige Diagnostik Tests führen zu Wahrscheinlichkeitsaussagen, nicht zu Gewissheiten!! Verbesserung psychologischer Diagnostik = Verbesserung der metrischen Qualitäten (Gütekriterien) von Testverfahren Krause (2001)

5 Theoretische Grundlagen Der Entwicklungsbegriff
enger Entwicklungsbegriff: biologische Entwicklungsmodelle Entwicklung ist sequentiell, irreversibel, unidirektional, universell, qualitativ-strukturell weiter Entwicklungsbegriff: Entwicklungspsychologie der Lebensspanne nicht linear mit universalen Sequenzen, Veränderungen verlaufen multidimensional („Veränderungsmuster“), ungerichtet oder „multidirektional“, nicht einfaktoriell erklärbar, sondern multikausal.

6 Theoretische Grundlagen
Zentrale theoretische Fragen an ein Testverfahren: Auf welchem Niveau sind die diagnostischen Merkmale angesiedelt? direkt beobachtbares Verhalten vs. Konstrukte Wie wird der Bezug zwischen Merkmalen und Testaufgaben theoretisch begründet? Inhaltsvalidität vs. konvergente und diskriminante Validität (=> empirisch) Welches sind die zugrundeliegenden Annahmen im Hinblick auf die Transformation von Entwicklungskonstrukten über die Zeit?

7 Theoretische Grundlagen
Problem allgemeiner Entwicklungstests: Es gibt keine allgemeingültige Theorie der allgemeinen Entwicklung. Lösung: Inhaltliche Präzisierung durch die Auswahl spezifischer Merkmalsbereiche (Subtests) und deren Erfassung mittels spezifischer Testaufgaben. Aber: Es gibt auch keine allgemein akzeptierte, umfassende Theorie der Sprachentwicklung, der motorischen Entwicklung, der kognitiven Entwicklung etc. ...

8 Fazit „Die theoretische Fundierung vieler entwicklungs-diagnostischer Verfahren ist äußerst unzureichend.“ Insbesondere im Hinblick auf a) den zugrunde gelegten Entwicklungsbegriff b) den angenommenen Entwicklungsverlauf der erfassten Merkmale. Filipp & Doenges, 1983

9 Normative Grundlagen: Der Normalitätsbegriff
„normal“ = altersadäquat verfrühte/verspätete Verhaltensformen gelten als abweichend aber: Es gibt beträchtliche Varianzen zwischen und innerhalb der Altersgruppen!! Annahme eines komplexeren Wirkgefüges: Standardisierungsstichproben müssen sehr groß gewählt werden Entwicklungsnormen für einzelne Standardisierungs-gruppen, die sich in entwicklungsrelevanten Umweltmerkmalen in entwicklungsrelevanten Eigenschaften unterscheiden.

10 Psychometrischer Ansatz
Hochbegabung Intelligenztests  Selektion, Diagnose, Evaluation Gesamttestwert und verschiedene Subtestwerte (M = 100, SD = 15) 95% der Population erreicht einen Testwert zwischen 70 und 130 (+/- 2 SD) Ein Intelligenztest kann kein Kriterium für die tatsächliche Leistungsfähigkeit des Menschen sein. Diese hängt von vielen Faktoren ab! Rund 50% der deutschen Bevölkerung hat einen IQ von 100. 10

11 Normative Grundlagen Problem: Lösungen:
Altersnormen wurden aufgrund querschnittlicher Altersvergleiche gewonnen Altersdifferenzen = Entwicklungs- oder Kohortenunterschiede? Lösungen: kriterienorientierte Diagnostik Definition des „Kriteriums“ durch eine zugrundeliegende hypothetische Entwicklungssequenz aber: Wie gesichert sind die Beziehungen zwischen diagnostiziertem Entwicklungsniveau und gewähltem Kriterium? individuelle Bezugsnorm „Fortschritt“, „Retardierung“, „Stillstand“ als Merkmale des individuellen Entwicklungsprozesses

12 Normative Grundlagen Ökologische Ausweitung der Entwicklungsdiagnostik
Betrachtung und Bewertung der Entwicklungsumwelt Aufhebung der Konfundierung von Merkmals- und Umweltstabilität z.B. Veränderungen im sprachlichen Leistungsniveau => Variationen im emotionalen Klima der Familie prognostischer Wert von Testergebnissen wird durch die Berücksichtigung von Umweltparametern erhöht Voraussetzungen: Kenntnis der entwicklungsrelevanten Umweltfaktoren Kenntnis der Veränderungen ihres Einflusses im Laufe der Entwicklung

13 Fazit Dominanz der Altersnormierung von Entwicklungstests
geringer Aufwand an konzeptueller Vorarbeit entwicklungstheoretisch eher voraussetzungsfrei eher weniger exakte und gesicherte individualdiagnostische Aussagen, als numerische Kennwerte suggerieren... Entwicklungsalter Entwicklungsquotient etc. umweltdiagnostische Verfahren stehen eher beziehungslos zu entwicklungsdiagnostischen Fragen Forderung nach einer Explizierung des Entwicklungsbegriffs!!

14 Grundlagen der Testkonstruktion: Gütekriterien
Objektivität = Vergleichbarkeit als Voraussetzung für Unterscheidbarkeit Untersuchungssituation Untersuchungsmaterial Aufgabenstellung Bewertung und Interpretation der erhobenen Daten Wie kann festgestellt werden, ob ein Test diesem Gütekriterium genügt? Durchführungsobjektivität Auswertungsobjektivität Interpretationsobjektivität (r >= .90)

15 Grundlagen der Testkonstruktion: Gütekriterien
Reliabilität = Zuverlässigkeit des ermittelten Testergebnisses Wachheit des Kindes Motivation etc. wirken als Störvariablen maximal so hoch wie die Objektivität... Wie kann festgestellt werden, ob ein Test diesem Gütekriterium genügt? Test-Retest-Reliabilität r = o.k. Paralleltest-Reliabilität r >= .90 hoch Split-Half-Reliabilität Innere Konsistenz (Cronbach´s Alpha)

16 Grundlagen der Testkonstruktion: Gütekriterien
Validität = Wie gut bewältigt der Test die Aufgabe, für die er konstruiert wurde? Wie kann festgestellt werden, ob ein Test diesem Gütekriterium genügt? Inhaltsvalidität (Augenscheinvalidität, logische Validität) Kritieriumsvalidität prognostische Validität r = o.k. Übereinstimmungsvalidität r >= .60 hoch Konstruktvalidität konvergente Validität diskriminante Validität

17 Fazit Ein Entwicklungstest kann nur so gut sein, wie seine entwicklungstheoretischen Grundlagen... Es wäre illusionär, Tests zu fordern, die perfekte oder nahezu perfekte Entscheidungen gewährleisten. Der Wert eines Testes bemisst sich letztlich an seinem Beitrag zur Optimierung von Entscheidungen.

18 Beobachtung „Ich sehe was, was Du nicht siehst!“

19 Was ist Beobachtung? Absicht Selektion Auswertung
Beobachtung setzt einen Zweck/ein Ziel voraus... Selektion Bestimmte Aspekte werden genauer betrachtet, andere vernachlässigt... Auswertung Ausrichtung auf die Auswertbarkeit der Ergebnisse... Zeichensystem Sprachliche Beschreibung

20 Was ist Beobachtung? Alltägliche Beobachtung vs. einfache Wahrnehmung
Absicht systematische Selektion Wissenschaftliche Beobachtung vs. alltägliche Beobachtung Beabsichtigte Auswertung der erhobenen „Daten“ Kriterien der Replizierbarkeit und Objektivität

21 Beobachtung als Haltung
Der Beobachter lässt sich auf den Gegenstand seiner Beobachtung (in diesem Fall das Kind bzw. sein Verhalten ein), hat keine konkreten Vermutungen oder Theorien, beteiligt sich nicht aktiv, mischt sich nicht in das Geschehen ein, kontrolliert / manipuliert nicht. Ziele: systematische Erfassung und Ordnung bestimmter Ausschnitte des Geschehens Generieren von Vermutungen/Hypothesen

22 Beobachtung als Methode
Beobachtung ist ein Datenerhebungsinstrument, wie Gesprächsmethoden (z.B. Interviews), Fragebogen (z.B. zur Persönlichkeit), standardisierte Tests (z.B. Intelligenztests), apparative Verfahren (z.B. EEG oder Reaktionszeitmessung). Ziel: Untersuchung von Hypothesen oder Vermutungen. Systematische Kontrolle von Störeinflüssen, Systematische Variation relevanter unabhängiger Variablen.

23 Beobachtung als Methode
Bedeutung für die praktische Tätigkeit Beobachtung des Spiel- und Interaktionsverhaltens eines verhaltensgestörten Kindes, um sich einen Überblick zu verschaffen. Es geht nicht darum, eine der beiden Haltungen zu kritisieren bzw. zu bevorzugen. Beide haben ihre Vorzüge... und Nachteile!

24 Menschliche Beobachtung Grundlage aller Forschung
Beobachtung liegt jeder Untersuchung zu Grunde. Beobachter = „Messinstrument“ mit menschlichen Interessen, Eigenschaften und Vorgehensweisen. Grundsätzliches Problem: Jedes Instrument muss vor seinem ersten Einsatz überprüft worden sein. Es muss sichergestellt werden, dass es das misst, was es messen soll. Wie aber können wir das sicherstellen?

25 Klassifikationsmöglichkeiten
Verwendung von Hilfsmitteln (Videokamera / Tonbandgerät) Welche Vorteile/Nachteile hat das? Labor- vs. Feldbeobachtung/naturalistische Beobachtung Offene vs. verdeckte Beobachtung Teilnehmende vs. nicht-teilnehmende Beobachtung Grad der Reduktion isomorphe Beschreibung (= vollständige Replikation) reduktive Beschreibung (Zeichen-/Kategoriensysteme) reduktive Einschätzung (= totale Reduktion)

26 Das Problem der „Handlungsbegriffe“
Aus ein und derselben Bewegungsfolge kann ich i.d.R. mit gleicher Berechtigung auf mehrere verschiedene Handlungsebenen schließen. z.B. „Willi grüßt Otto“ Sehen kann man nur die Muskelbewegung von Arm und Gesicht; „grüßt“ enthält aber eine bestimmte Absichtsunterstellung. War die Handbewegung wirklich ein Gruß, das Verscheuchen einer Fliege, ein willkürlicher Muskelreflex? z.B. „Herr Schmitt mäht den Rasen“ In gewissem Sinne können wir mehrere Handlungen zugleich ausführen....

27 Dilemma Für die Beschreibung auf der Ebene der Handlungsbegriffe ist eine Interpretationsleistung des Beobachters gefordert! Diese Interpretation lässt sich aber nicht unter Rekurs auf das, was er beobachtet hat, absichern!! Dieser Problematik entgeht man nicht durch die Wahl eines Beobachtungssystems mit höherem Reduktionsniveau!

28 Gütekriterien: Reliabilität, Validität und Generalisierbarkeit
Reliabilität = Verlässlichkeit der Beobachtung Reproduzierbarkeit von Beobachtungen unter theoretisch für das Auftreten des Beobachteten gleichen Bedingungen bei Unterschieden in theoretisch irrelevanten Bedingungen. irrelevant sind z.B. verschiedene Beobachter oder verschiedene Beobachtungszeitpunkte relevant sind u.U. verschiedene Situationen bzw. Umstände Beispiel: Das Verhalten derselben Kinder in derselben Klasse bei demselben Lehrer in demselben Fach wird von zwei Beobachtern völlig unterschiedlich wahrgenommen geringe Reliabilität mindestens einer dieser Beobachtungen...

29 Gütekriterien: Reliabilität, Validität, Generalisierbarkeit
Innere Konsistenz = Beobachterkonsistenz (r > . 90) Derselbe Beobachter beobachtet eine Videoaufzeichnung des Verhaltens mehrfach (Aussagen über Beobachterkonsistenz, nicht aber seine Fehlerbelastetheit möglich). Test-Retest-Reliabilität Ein und derselbe Beobachter beobachtet zu verschiedenen Zeitpunkten das Verhalten. Validierung Verschiedene Beobachter beobachten dasselbe Verhalten in derselben Situation Normorientierung Vergleich der Beobachtung durch einen Beobachter mit einem objektiven Standard („Eich-Beobachter“).

30 Gütekriterien: Reliabilität, Validität und Generalisierbarkeit
Generalisierbarkeit = weitreichender Anspruch der Übertragbarkeit der Beobachtung auf eine Personengruppe Sonderpädagogische Beobachtungen verfolgen gerade diese Absicht zumeist nicht, denn es geht ihnen um die Beschreibung der Besonderheiten einzelner Schüler!

31 Konkrete Beobachtungsfehler Eine Systematik
Störende Randbedingungen Übermittlungs-probleme Beobachtungsgegenstand (2b) Interagierende Bedingungen: Beobachtungs- und Untersuchungs- Bedingungen (1a) Wahrnehmung (3) (1b) Interpretation Reaktivität Erinnerung (1c) Wiedergabe (1d) (2a) Probleme des Beobachtungssystems Beobachtungsprotokoll

32 Fazit Jede Beobachtung ist nur so gut, wie der Beobachter.
Jede Beobachtung ist nur so gut, wie ihre (entwicklungs-) theoretischen Grundlagen... Es wäre illusionär, von Beobachtungen zu fordern, perfekte oder nahezu perfekte Entscheidungen gewährleisten. Der Wert jeder Beobachtung bemisst sich letztlich an ihrem Beitrag zur Optimierung von Entscheidungen.