Grundlagen und Bewertungskriterien für unterschiedliche Assessments

Präsentation zum Thema: "Grundlagen und Bewertungskriterien für unterschiedliche Assessments"—  Präsentation transkript:

1 Grundlagen und Bewertungskriterien für unterschiedliche Assessments

2 Instrumente Fremderhebungs-instrumente Selbsterhebungs-instrumente
Bil-Dung zu einseitig landwirtschaftlich geprägtes Weltbild Auch Kinder: WauWau Auch später: Was ist die Hauptstadt von Paris? Ist ein XP-Computer schneller als ein Windows 2000 Computer? Auch in der Arbeitsdiagnostik gibts Wau-Wau-Weltbild: Arbeitet nach Melba? Fremdbeurteilungsinstrumente gib es viele Beispiele wie z.B. das Ergotherapeutische Assessment, Ergo-Ass (Voigt-Radloff et. al. 2003) oder das Osnabrücker Arbeitsfähigkeitenprofil, O-AFP (Wiedl & Uhlhorn 2006), oder das MELBA-Verfahren (Kleffmann et. al 1997). Der Übergang zu den Fremdbeobachtungsinstrumenten keine 100% objektive Beobachtung . Dennoch: so weit wie möglich beobachtetes Verhalten und so wenig wie möglich dessen Bewertung und Beurteilung Assessments, ist das Assessment of Communication / Interaction Skills, ACIS, (Forsyth et. al. 1998); ein Assessment im Rahmen des Model of Human Occupation, MOHO (Kielhofner 2002).Mit diesem Instrument soll das beobachtete Interaktions- und Kommunikationsverhalten eines Klienten erfasst werden. Interview-Instrument wäre z.B. das Canadian Occupational Performance Measure, COPM (Law et. al. 1999), bei dem im Rahmen eines Interviews für Klienten relevante Alltagstätigkeiten in den Bereichen „Selbstversorgung“, „Produktivität“ und „Freizeit“ erhoben und bewertet werden. Durch den Untersuchungsleiter selbst bedingten Erhebungsfehler: der damit zu tun hat, dass die Informationen „durch die Brille“ Selbsterhebungsinstrument selbst ausfüllen zu lassen. Auch hier kann wieder zwischen beurteilen und beobachten unterschieden werden. Ein typisches Selbstbeurteilungsinstrument in der Ergotherapie wäre z.B. das Occupational Self Assessment, OSA (Baron et. al. 2006) bei dem Klienten einschätzen wie gut sie ihrer Meinung nach bestimmte Tätigkeiten durchführen, wie zufrieden sie damit sind und an welchen Tätigkeitsbereichen sie in der Therapie arbeiten möchten. Selbstbeobachtungsinstrument zurückgreifen wie z. B. auf den Occupational Questionnaire, OQ (Smith et. Al. 1986).Bei Selbsterhebungsinstrumenten kann in der Regel nur das erhoben werden, was Klienten selber schon gut bekannt ist. Bislang nicht bekannte Informationen:t „Test-Instrumente“ Als Tests im Rahmen vorliegenden Systematik sollen „Tests“ im engeren Sinn gelten (s.o. Tabelle 1), also Instrumente, die versuchen, im Sinne einer „Probe“ über das rein beschreibende hinauszugehen. Beispiel: Drahtbiegprobe Dies ist ein Beispiel für ein„Power-Test-Instrument“, da ein besonderer Zeitdruck nicht besteht – anderenfalls würde man von einem „Speed-Test-Instrument“  Steckbrett Etwas seltener in der Ergotherapie sind Test-Verfahren zur Erhebung anderer, nicht leistungsbezogener Eigenschaften oder Merkmale. Ein Beispiel hierfür wäre das Pediatric Interest Profile (Henry 2000). Dieses Instrument kann als Weiterentwicklung der Interest-Checklist (Matsutsuyu 1969) verstanden werden. Pediatric Interest Profile deutlich darüber hinaus: Hier gibt es eine numerische Auswertung der Interessen mit entsprechenden Vergleichsdaten, mit Hilfe derer u. a. auch Normabweichungen und Problembereiche im Bereich „Spiel und Freizeit“ identifiziert werden sollen. Dies wäre ein Beispiel für eine über die reine Beschreibung hinausgehende Erhebung eines nicht leistungsbezogenen Merkmales. Fremderhebungs-instrumente Selbsterhebungs-instrumente Test-Instrumente Speed Beurteilungs-instrumente Beurteilungs-instrumente Leistung Power/ Niveau Beobachtungs-instrumente Beobachtungs-instrumente Persönlichkeit Interview-instrumente

3 Raster zur Feststellung des Qualitätsniveaus eines Assessments
6. Untersuchungen zu den Testgütekriterien wurden durch Meta-Analysen bestätigt 5. Untersuchungen zu allen Haupt-Testgütekriterien und Normtabellen für alle relevanten Vergleichsgruppen 4. Es wurden bereits Untersuchungen zu einem Teil der Haupt-Testgütekriterien durchgeführt und es liegen Daten aus einer ersten Eichstichprobe vor, innerhalb derer die Position eines individuellen Ergebnisses bestimmt werden kann (Normtabelle) 3. Es existieren zusätzlich Auswertungsvorschriften, und ein Konzept zum Nachweis der wichtigsten Testgütekriterien. Wenn Sie ein neues Auto brauchen, würden Sie sich selber eins basteln? o.k. – kann man nicht – einfacheres Produkt: Bügeleisen? Zahbürste? Zahnpasta? Preiswertere Herstellung bei gleichzeitiger Sicherstellung wichtiger Qualitätsmerkmalen. 2. Es ist zusätzlich ein Manual mit allen wichtigen Informationen zum Einsatz des Assessments vorhanden. 1. Das Assessment besteht nur aus einem Bogen zum ausfüllen und/oder Testmaterial mit Hinweisen, was mit dem Material getan werden soll

4 Weitere Qualitätsmerkmale von Erhebungsinstrumenten
Veröffentlichung einschl. einer Fachdiskussion hierüber Möglichkeit bei Bedarf Schulungen zu dem Assessment zu erhalten Vorhandensein eines Entwicklerteams, das Rückmeldungen annimmt und die Weiter-entwicklung des Assessments sicherstellt.

5 Probleme selbst erstellter
Assessments Keine Gütekriterien Keine Fachdiskussion Keine öffentliche Anerkennung Keine Weiterentwicklung (..gilt auch für die Abwandlung vorhandener Assessments) Da nun die Vorteile gute Assessments bekannt sind, liegen die Argumente auf der Hand, die gegen ein “schnell selbst erstelltes” Assessments sprechen  Eigene Entwicklungen meist nur dann sinnvoll, wenn es keine vorhandenen Assessments gibt

6 Überprüfung der Einsatzkriterien
Ziel(e) / Zielgröße(n) / Grundkonzept: Hier finden sich Informationen, was mit dem Assessment erhoben werden soll. Dies muss mit der Fragestellung, zu der ich Informationen erheben möchte, übereinstimmen. Zielgruppe / Alter: Hier wird die Zielgruppe beschrieben. Das Assessment muß für eine Zielgruppe geschaffen sein, die zgl. Alter, Geschlecht oder anderer Merkmale der Gruppe meiner Klienten entspricht, wo ich das Instrument einsetzen will. Handhabung / Formen (Einzel-/Gruppe) / Durchführungsdauer: Auch diese Merkmale müssen zu den Rahmenbedingungen, innerhalb derer ich das Assessment einsetzen will, kompatibel sein Voraussetzungen für die Anwendung / Erforderliche personelle Qualifikation / notwendige Zusatzmaterialien / räumliche Voraussetzung: Wenn besondere Voraussetzungen für die Anwendung erfüllt sein müssen, ist es notwenig dass diese zu den Rahmenbedingungen passen, innerhalb derer ich das Assessment einsetzen möchte Zurück zu den Qualitätsmerkmalen: Würde man beim Diesel-Fahrzeug Bezin tanken? Würde man mit der Zahnbürste seine Schuhe putzen? Könnte man sein Bügeleisen gut als Heizkissen verwenden? Nein, denn gute Produkte sind für einen bestimmten Zweck geschaffen, -dieser ist in der Gebrauchsanweisung genau beschrieben -und es gibt auch “Gegenanzeigen”….”…bitte niemals…unterwasser föhnen” Bei Assessments ist das genau so. Viele Einrchtungen etwas undifferenziert. Ausschlusskriterien und Kontraindikation

7 Festlegung von Fragestellung und Rahmenbedingungen
1. Welche Informationen möchte ich bei welchen Klienten erheben? 2. Welche Störungen und Problembereiche liegen bei den Klienten vor? 3. Welcher Altergruppe gehören die Klienten an? 4. Wie oft und wie lange sehe ich die Klienten? 5. Wie arbeite ich mit meinen Klienten? Wir hatten es vorhin bei den Gebarauchsanweiseungen …bzw. Einsatzkriterien… Wenn man ein Assessments sucht: Sich verschiendene Fragen überlegen, um dann das richtige Produkt zu finden

8 Nachschlagewerke Erhebungsinstrumente (in Buchform):
Brähler, E., Holling, H., Leutner, D., Petermann, F. (2002) Brickenkamp Handbuch psychologischer und pädagogischer Tests, 3. Auflage, 2 Bde. Göttingen: Hogrefe Biefang, S. Potthoff, P. und Schliehe F. (1999)Assessmentverfahren für die Rehabilitation Göttingen: Hogrefe Westhoff G. (1993) Handbuch psychosozialer Meßinstrumente Göttingen: Hogrefe Jezt geht es darum, wie man ein Assessment bekommt… Wo kaufen Sie ihr Auto? Geschäfte, Vergleichstests, Internet?

9 Online-Suche Erhebungsinstrumente:
Zentrum für Psychologische Information und Dokumentation (ZPID) in der Datenbank „PSYNDEX“, ( Hogrefe Verlag „Testzentrale“ „Datenbank Assessmentinstrumente“ des Kölner Instituts für Qualitätssicherung in Prävention und Rehabilitation GmbH (IQPR), aufrufbar unter Online-Test-Portal: (Dr. Stephan Bulheller, Referent im RIPS zum Thema “Tests”) Vorgehensweise bei der Suche: Höhl, W. : Auswahl und gezielter Einsatz ergotherapeutischer Assessments. Ergotherapie und Rehabilitation 2006; 12: 6-12 Jezt geht es darum, wie man ein Assessment bekommt… Wo kaufen Sie ihr Auto? Geschäfte, Vergleichstests, Internet?

10