Analyse und Gestaltung

Slides:



Advertisements
Ähnliche Präsentationen
Leistungsmotivationstest L-M-T
Advertisements

Einführung in die Organisationspsychologie
Wissensanalyse von Aufgaben mit TKS Eine Methode zur Problemlösung
Was ist Testtheorie?.
Präsentation bei der PAL
Online-Forschung zur Internationalisierung der deutschen Psychologie
Tests zur Messung von Arbeitszufriedenheit
Bewegungswissenschaft
Verfahren zur Skalierung der Nutzbarkeit von Freizeit Oder: wie messe ich, dass Mittwoch nicht Samstag ist?
Rating-Skalen: Definition
Forschungsprogramm Subjektive Theorien (FST)
Untersuchungsarten im quantitativen Paradigma
Evaluation – Grundlagen im Rahmen des Moduls zur Qualifizierung der SLK in Niedersachsen.
Theorie psychometrischer Tests, III
Lautbildungstest für Vorschulkinder
Einführung in die Arbeitspsychologie
Diagnostik beruflicher Eignung
Veränderung Organisationen:
Bewertung von Leistung
Verwendung vorhandener Arbeitsplatz- beschreibungen
Einführung in das Thema Testgütekriterien
Fachgymnasium Gesundheit und Soziales Schwerpunkt Ökotrophologie
Klassische Testtheorie
Computerkurs: Quantitative Auswertung biochemischer Experimente
Patrick Rössler Methoden der Datenerhebung und -auswertung Vorlesung BA Kommunikationswissenschaft (G21) 1.
Quantitative Methoden I
Quantitative Methoden I
Forschungsmethoden und Diagnostik
Das Multimodale Einstellungsinterview
Reliabilitätsanalysen
Grundlagen der klassischen Testtheorie
Methoden der empirischen Sozialforschung II
Forschungsprozess Car
Über den Einsatz normierter diagnostischer Verfahren in der Arbeitstherapie Von der Anwendung bestehender psychometrischer Tests zur Normierung der eigenen.
Emotionale Intelligenz
Meta-Analyse Forschungsmethoden und Evaluation
Sportwissenschaftliche Forschungsmethoden Altenberger / Lames SS 2003 Motorische Tests, Gütekriterien.
VL Diagnostische Kompetenz (Bewegungslehre 2) 3
Diagnostische Statistik
VL Diagnostische Kompetenz (Bewegungslehre 2) 3. Korrelation und Gütekriterien.
Analyse der Beschwerden am Muskel-Skelett-System
Einführung in das Methodeninventar
Analyse des Beanspruchungsempfindens
Objektivität, Reliabilität, Validität
© Forschungsgruppe Metrik – Damm Deringer & Zinn GbR Streifzug durch die Testtheorie Winfried Zinn.
Delphi – Befragung – Walter Geiger
einem ausgewählten Beispiel
Theorie psychometrischer Tests, IV
Theorie psychometrischer Tests, II
Statistik Statistik I Seminar + Blockveranstaltung Statistik I
Testgütekriterien Tamara Katschnig.
Methodische Grundlagen zu standardisierten Erhebungsinstrumenten
FM III Prof. Dietrich Albert
Kompetenzzentrum für Befragungen Trigon Entwicklungberatung
Empirische Sozialforschung am Beispiel der Limburger Nordstadt
Gegenstand der Psychologie
REGIERUNGSPRÄSIDIUM KARLSRUHE
Methoden der Sozialwissenschaften
Messen und Testen.
Das dichotome Rasch-Modell
Reliabilität.
Einstellungsforschung mittels Umfragen: Reliabilität der in der Umfrageforschung üblicherweise eingesetzten Instrumente Siegfried Schumann.
Testtheorie (Vorlesung 13: ) Wiederholung: Richtigstellung
Testtheorie (Vorlesung 12: ) Wiederholung: Reliabilität
Katharina Hafner, Sina Pasutti, Mareike Thiel 1 Beurteilungsverfahren für Beschäftigte.
Operatoren Ein Operator zeigt an, welchen Teilbereich und in welcher Tiefe der Sachverhalt dargestellt werden soll. Je nachdem, welcher Operator verwendet.
 Gegenstandsbereich der Testtheorie: Analyse der Charakteristika von Tests:  Güte von Tests.  Struktur von Tests.  Schwierigkeit von Tests.  Gruppenunterschiede.
Testtheorie (Vorlesung 14: ) Testtheorie allgemein:  Ziele und Inhalte der Testtheorie:  Beurteilung der Eigenschaften von Tests  Speziell: Güte.
Reliabilität.
Leistungsbewertung in der Schule
 Präsentation transkript:

Analyse und Gestaltung Einführung (28.10.2011) 1 Themen Verfahren und Methoden Gütekriterien 1

Themen Arbeitsanalyse und –gestaltung (1) 2 Arbeitsanalyse in der Produktion Arbeitsanalyse in Büro und Verwaltung Arbeitsanalyse in der Dienstleistung („Lehrerarbeit“) Arbeitsanalyse im Krankenhaus Arbeitsanalyse im Haushalt Gefährdungsanalyse und -beurteilung Arbeits- und Zeitstudien nach REFA Analyse von Gruppenaufgaben Analyse der Mensch-Maschine-/Rechner-Schnittstelle ...

Themen Arbeitsanalyse und –gestaltung (2) 3 Gestaltung der Arbeitsumgebung (Räume, Gebäude etc.) Arbeitsplatz- und Arbeitsmittelgestaltung Aufgabengestaltung (Aufbau- und ablauforg. Gestaltung) Gestaltung der zeitlichen und organisatorischen Bedingungen Gestaltung von Mensch-Rechner-Dialogen Teilautonome Arbeitsgruppen Telearbeit Arbeit im Callcenter ...

Themen Organisationsanalyse und -gestaltung 4 Altersstrukturanalyse Analyse der Organisations-/Unternehmenskultur Analyse der Organisationsstruktur Analyse des Führungsverhaltens Analyse von Gruppenprozessen/Gruppenleistung Analyse von Qualität (TQM) Anforderungsanalyse Mitarbeiter(innen)befragung PPM (Beteiligungsorientierte Leistungsbewertung) ... Evaluation von OE-Maßnahmen Gesundheitsschutz/Gesundheitsförderung Gruppenarbeit/Teamentwicklung Organisationsberatung Qualitätszirkel

Verfahren und Erhebungsmethoden 5 Das Verfahren umfasst das im einzelnen festgelegte Vorgehen, mit dem Merkmale von Arbeitstätigkeiten in standardisierter Weise protokolliert werden. Die Erhebungsmethode betrifft die Art und Weise, wie Informationen erhoben werden, z.B. durch Fragebögen, Interviews, Beobachtungen, Arbeitstagebücher, Fehleranalysen.

Bedingungsbezogene und personenbezogene Verfahren 6 Bedingungsbezogene Verfahren richten sich auf eine allgemeine Kennzeichnung der Arbeitsbedingungen. Von den Besonderheiten der aktuell unter den Bedingungen arbeitenden Person wird abstrahiert. Personenbezogene Verfahren richten sich auf die individuelle Besonderheiten der arbeitenden Personen, etwa unterschiedliche Vorgehens-weisen, subjektive Bewertungen usw.)

Erhebungsmethoden: unstandardisiert (Frieling, 1975, verändert) Vorhandene Arbeitsplatzbeschreibungen Freie Berichte der Beschäftigten Ausbildungsberichte Dokumentanalyse Formulare, Akten, Ordnungssysteme, „persönliche“ Dokumente der Arbeitenden, „literarische“ Berichte Arbeitsausführung durch ArbeitsanalytikerIn

Erhebungsmethoden: halbstandardisiert (1) (Frieling, 1975, verändert) 8 Critical Incident Technique Arbeitstagebuch (Selbstaufschreibung) Beobachtung (globale Vorgaben) Multimomentaufnahme, Dauerbeobachtung Interviews der Arbeitenden Einzelbefragung, Gruppenbefragung, Konferenz

Erhebungsmethoden: halbstandardisiert (2) (Frieling, 1975, verändert) 9 Interviews betrieblicher ExpertInnen Vorgesetzte, BetriebsärztInnen, AusbilderInnen usw. Analyse betrieblicher Daten Leistungsdaten, Krankenstandsdaten, Unfallstatistiken, Fluktuationsanalyse usw. Fehleranalyse Prototyping

Erhebungsmethoden: standardisiert (Frieling, 1975, verändert) 10 Fragebogen Beobachtungsinterviews (exakte Vorgaben) Checklisten Psychophysiologische Messmethoden

Beobachtungsinterview 11 Das Beobachtungsinterview beruht auf einer strukturierten Beobachtung des Arbeitsablaufes und eines darauf bezogenen Interviews mit der arbeitenden Person am Arbeitsplatz. Vor der Anwendung eines entsprechenden Verfahrens muss sich ein(e) Untersucher(in) mit den theoretischen Grundlagen und den Erläuterungen vertraut machen. Die in Fachsprache formulierten Fragen sind ausschließlich an den oder die Untersucher(in) gerichtet. Der oder die Untersucher(in) beschafft sich die nötigen Informationen zur Beantwortung durch Beobachtung und (freier) Befragung des oder der Arbeitenden.

Anforderungen an Verfahren 12 Theoretische Fundierung Objektivität und Zuverlässigkeit („Reliabilität“) Konsistenzanalyse, Retest-Rel., Paralleltest-Rel., Untersucher-Übereinstimmung Gültigkeit („Validität“) Inhaltsval., Konstruktval, Kriteriumsval. Ökonomie Robustheit Zugänglichkeit Hier wirklich nur vorlesen – und verweisen, dass arbeit schon früh mit tiefen Asopekten der Psyche in Verbindung gebrahct wurde

Axiome der klassischen Testtheorie 13 Das Testergebnis setzt sich additiv aus dem „wahren Wert“ und dem Messfehler zusammen. Bei wiederholten Testanwendungen kommt es zu einem Fehlerausgleich, d.h. der Mittelwert der Messfehler ist Null. Wahrer Wert und Fehlerwert sind unkorreliert. Höhe des Messfehlers ist unabhängig vom Ausprägungsgrad anderer (Persönlichkeits-)Merkmale. Die Messfehler verschiedener Testanwendungen (bei verschiedenen Personen oder Testwiederholungen) sind voneinander unkorreliert. Hier wirklich nur vorlesen – und verweisen, dass arbeit schon früh mit tiefen Asopekten der Psyche in Verbindung gebrahct wurde

Gütekriterien (Bortz & Döring, 2005, 193ff.) 14 Objektivität Ausmaß, indem Testergebnisse vom Testanwender unabhängig sind (Durchführungs-, Auswertungs-, Interpretationsobjektivität) Reliabilität Grad der Genauigkeit, mit dem ein Merkmal gemessen wird bzw. Grad der Genauigkeit, mit dem zwei Anwender eines Tests zu einem gleichen Ergebnis kommen. Validität Ausmaß, wie gut ein Test in der Lage ist, genau das zu messen, was er zu messen vorgibt.

Methoden der Reliabilitätsschätzung 15 Test-retest Der gleiche Test wird der gleichen Gruppe von Personen zu verschiedenen Zeitpunkten gegeben. Parallel-Test Zwei parallele (vergleichbare) Tests werden der gleichen Gruppe von Personen gegeben. Inter-rater Prozentsatz der Beurteilungs-Übereinstimmung des gleichen Gegenstandes (z.B. Arbeitsplatz) durch zwei oder mehr Untersucher/Rater. Split-half und Konsistenz Teilung eines Tests in zwei Hälften und Vergleich (Korrelation) der beiden Hälften. Cronbach‘s alpha (häufig verwendete Statistik zur Bestimmung der Reliabilität): Durchschnittliche Korrelation aller denkbaren Testhälften.

Methoden der Reliabilitätsschätzung bei bedingungsbezogenen Verfahren 16 Unabhängige Doppelanalyse (Mindestens) zwei Untersucher(innen) beobachten und befragen unabhängig voneinander verschiedene Arbeitende, die die gleiche Arbeitstätigkeit ausführen. Unabhängige Wiederholungsanalyse Die Arbeitstätigkeit derselben Person wird durch verschiedene Untersucher(innen) wiederholt analysiert.

Unabhängige Doppelanalyse 17 Untersucher I Arbeitende(r) A Gleiche Arbeitsaufgabe/ Arbeitstätigkeit Beobachten und befragen unabhängig voneinander Untersucher II Arbeitende(r) B

Abhängige Doppelanalyse Methoden der Reliabilitätsschätzung bei bedingungsbezogenen Verfahren (mit beschränkter Gültigkeit) 18 Abhängige Doppelanalyse Die Arbeitstätigkeit derselben Arbeitenden wird durch verschiedene Untersucher(innen) gleichzeitig analysiert. Abhängige Wiederholungsanalyse Die Arbeitstätigkeit derselben Person wird durch denselben Untersucher wiederholt analysiert. Simulierte Doppelanalyse Verschiedene Untersucher(innen) analysieren Darstellungen von Fallbeispielen. Simulierte Wiederholungsanalyse („Konsistenzanalysen“) Mehrere Personen (Untersucher) beantworten eine Reihe von Fragen, die alle dasselbe Merkmal betreffen (z.B. Entscheidungsspielraum).

Reliabilitätsanforderungen 19 Test, der nicht nur zu explorativen Zwecken verwendet wird: Reliabilität mindestens 0,80 Mittelmäßige Reliabilität: 0,80 bis 0,90 Hohe Reliabilität: über 0,90

Methoden der Validitätsschätzung 20 Inhaltsvalidität (Augenscheinvalidität, Face Validity) Test ist augenscheinlich valide (z.B. Arbeitsprobe) Kriteriumsvalidität Test korreliert mit einem anderen Merkmal (Kriterium; z.B. beruflicher Erfolg) Konstruktvalidität Aus Zielkonstrukt werden Hypothesen abgeleitet, die anhand der Testwerte bestätigt werden können.

Methoden der Validitätsschätzung bei bedingungsbezogenen Verfahren 21 Experimentelle oder Längsschnittuntersuchungen, in denen der Nachweis erzielt wird, dass Merkmale der Arbeit Auswirkungen auf andere Merkmale (z.B. Gesundheitsindikatoren) haben. Querschnittsuntersuchungen zum Nachweis des Zusammenhanges von Merkmalen der Arbeit mit anderen Merkmalen Korrelation eines Verfahrens mit ähnlichen Verfahren Validität über Expertenurteile

Validitätsanforderungen 22 Mittelmäßige Validität: 0,40 bis 0,60 Hohe Validität: über 0,60 Maximale Validität: Wert des geometrischen Mittels der Reliabilitäten von Test und Kriterium

Multitrait-Multimethod-Methode (MTMM) (Bortz & Döring, 2005, S. 202) 23 MTMM überprüft, mit welcher Überein–stimmung verschiedene Methoden das–selbe Konstrukt erfassen (konvergente Validität) und wie gut verschiedene Kon–strukte durch eine Methode differenziert werden (diskriminante Validität).

Grundstruktur einer MTMM-Matrix (Bortz & Döring, 2005, S. 204) 24 Kollege Chef Koop Kreat 0,44 0,63 0,19 0,14 0,83 0,41