Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Prof. Dr. Helmut Kromrey – FU Berlin – - 20.10.2007Prof. Dr. Helmut Kromrey - Berlin1.

Ähnliche Präsentationen


Präsentation zum Thema: "Prof. Dr. Helmut Kromrey – FU Berlin – - 20.10.2007Prof. Dr. Helmut Kromrey - Berlin1."—  Präsentation transkript:

1 Prof. Dr. Helmut Kromrey – FU Berlin – Prof. Dr. Helmut Kromrey - Berlin1 Disziplinorientierte versus praxisorientierte Sozialforschung

2 Prof. Dr. Helmut Kromrey – FU Berlin – Prof. Dr. Helmut Kromrey - Berlin2 Grundlegende VOKABELN: Erkenntnistheorie: Grundlegende Annahmen (Axiome) über die Möglichkeit menschlicher Erkenntnis (z.B. Konstruktivismus, Realismus, Idealismus) Wissenschaftstheorie: Die Erkenntnislogik einer spezifischen Wissenschaftsschule und deren Argumentationsstrategie, mit der die wissenschaftliche Geltung ihrer Aussagen geprüft und begründet wird (z.B. Positivismus, Kritischer Rationalismus, Phänomenologie, Symbolischer Interaktionismus) Substanztheorie (z.B. soziologische Theorie): System von Hypothesen über einen empirischen (hier: sozialen) Gegenstands-bereich (z.B. soziologische Handlungstheorie, Systemtheorie, Theorien der Stadtentwicklung) Methodologie: Lehre von den (wissenschaftlichen) Methoden der Erkenntnisgewinnung und ihrer Anwendung (z.B. qualit. / quantit. Sozialforschung, Hermeneutik) Methoden / Techniken: Spezifische Methoden / Verfahren / Vorgehensweisen der Informationssammlung und Auswertung (z.B. Befragung, Inhaltsanalyse, Tests, Korrelationsrechnung)

3 Prof. Dr. Helmut Kromrey – Prof. Dr. Helmut Kromrey - Berlin3 Zum Begriff anwendungsorientierte oder praxisorientierte versus disziplinorientierte Sozialforschung Zentrale Funktion: disziplinorientierte Sozialforschung: Aufklärung (enlightenment) durch Veröffentlichung Wissensorientierung / Erklärung / Verallgemeinerung praxisorientierte Sozialforschung: Wissensübertragung (Transfer) durch Beratung Handlungsorientierung / Beeinflussung / Situationsbezogenheit

4 Prof. Dr. Helmut Kromrey – Prof. Dr. Helmut Kromrey - Berlin4 Zum Begriff anwendungsorientierte oder praxisorientierte versus disziplinorientierte Sozialforschung Einfluß auf Praxis und Politik: disziplinorientierte Sozialforschung (indirekt): Revision veralteter Auffassungen Neuformulierung von Zielen und Prioritäten praxisorientierte Sozialforschung (direkt): Erweiterung und Konkretisierung der Informationsbasis über Beteiligte und Betroffene (stakeholder) maßnahmenbezogene Zielformulierung Maßnahmenentwicklung und –implementation Erfolgskontrolle

5 Prof. Dr. Helmut Kromrey – Prof. Dr. Helmut Kromrey - Berlin5 Zum Begriff anwendungsorientierte oder praxisorientierte versus disziplinorientierte Sozialforschung Feedback(aus der Praxis / aus der Öffentlichkeit): disziplinorientierte Sozialwissenschaft: kein direktes Feedback (außer bei Rezensionen von Veröffentlichungen) verwertungsneutrale Erweiterung des Wissensbestandes praxisorientierte Sozialforschung: direktes Feedback durch Nutzer bedarfsorientierte Bereitstellung und Aufbereitung von Informationen

6 Prof. Dr. Helmut Kromrey – Prof. Dr. Helmut Kromrey - Berlin6 Politik und Planung

7 Prof. Dr. Helmut Kromrey – Prof. Dr. Helmut Kromrey - Berlin7 Politik und Planung Versagen der Wissenschaft den in sich stimmigen, widerspruchsfreien Zielsystemen fehlte die Entsprechung in der Realität Zielkataloge können nicht so flexibel sein, dass sie Wertewandel antizipieren zu große Komplexität der sozialen Realität, um in gesamtgesellschaftlichen Indikatorensystemen abgebildet zu werden Status-quo-Rechnungen erwiesen sich als fehleranfällig; bei sich ändernden Randbedingungen wurden sie wertlos; erst recht gilt dies für die tiefer gehenden Wirkungsanalysen oder Folgeabschätzungen Modellrechnungen müssen notwendigerweise Komplexität so stark reduzieren, dass sie realitätsfern werden Fehler des Planungsmodells Probleme in der Implementationsphase wurden übersehen

8 Prof. Dr. Helmut Kromrey – Prof. Dr. Helmut Kromrey - Berlin8 Politik und Planung Alternative: experimentelle Politik statt fehlerbehaftete formalisierte Planungs- und Entscheidungs- modelle anzuwenden, macht sich die Politik den Königsweg der Grundlagenforschung zunutze: das kontrollierte Experiment indikatorengestützte Politik wird auf die Routinefragen reduziert bei innovativen Vorhaben sollen Pilotprojekte und rückholbare Feldversuche die für Entscheidungen notwendigen Erfahrungen liefern die Feldexperimente werden jeweils wissenschaftlich begleitet (Monitoring der Implementation, Messung der bewirkten Veränderungen des Programms, Zurechnung der Wirkungen zu den Maßnahmen, Identifikation ungeplanter Auswirkungen) und analysiert Wissenschaft wird so wieder angewandten Sozialforschung und zum Lieferanten empirisch abgesicherter Informationen, ist aber nicht mehr direkt eingebunden in den politischen Planungs- und Entscheidungsprozess

9 Prof. Dr. Helmut Kromrey – Prof. Dr. Helmut Kromrey - Berlin9

10 Prof. Dr. Helmut Kromrey – Prof. Dr. Helmut Kromrey - Berlin10

11 Prof. Dr. Helmut Kromrey – FU Berlin – Prof. Dr. Helmut Kromrey - Berlin11 Evaluation: ein Begriff – verschiedene Konzepte

12 Prof. Dr. Helmut Kromrey – Prof. Dr. Helmut Kromrey - Berlin12 Evaluation

13 Prof. Dr. Helmut Kromrey – Prof. Dr. Helmut Kromrey - Berlin13 Der Begriff Evaluation (1)

14 Prof. Dr. Helmut Kromrey – Prof. Dr. Helmut Kromrey - Berlin14 Der Begriff Evaluation (2)

15 Prof. Dr. Helmut Kromrey – Prof. Dr. Helmut Kromrey - Berlin15 Der Begriff Evaluation (3)

16 Prof. Dr. Helmut Kromrey – Prof. Dr. Helmut Kromrey - Berlin16 Erkenntnisziele Evaluation zu welchem Zweck?

17 Prof. Dr. Helmut Kromrey – Prof. Dr. Helmut Kromrey - Berlin17 Die Dualität von Politik und Evaluation

18 Prof. Dr. Helmut Kromrey – Prof. Dr. Helmut Kromrey - Berlin18 Das komplette Evaluationsdesign: Das dreistufige Verfahren des peer review Lieferung der evaluations-relevanten Informationen durch das Programm und die empirische Forschung (Daten zur Programmdurchführung, Selbstbeschreibung und Selbstbewertung durch die Programmverantwortlichen, Stakeholder-Befragungen mit Bewertungscharakter) Bewertung durch externe Experten (peers), die die Funktion von Evaluatoren übernehmen (=subjektive Bewertungen, Geltungsbegründung durch Datenbezug und Ansehen der Experten) Festlegung des follow up (also der Konsequenzen aus akzeptierten Evaluationsurteilen) durch übergeordnete Instanz oder als Resultat eines Aushandlungsprozesses zwischen den Beteiligten Lösungsstrategie für die Evaluationsprobleme: Objektivierung durch Verfahren. Schwierigkeiten des Verfahrens: Projektmanagement, Konsensfindung über Zuständigkeiten und Verantwortliche

19 Prof. Dr. Helmut Kromrey – FU Berlin – Prof. Dr. Helmut Kromrey - Berlin19 Evaluation durch Forschung - das Leitmodell

20 Prof. Dr. Helmut Kromrey – Prof. Dr. Helmut Kromrey - Berlin20 Das idealtypische Design und methodologische Leitmodell: Evaluation als Programmwirkungsforschung

21 Prof. Dr. Helmut Kromrey – Prof. Dr. Helmut Kromrey - Berlin21 Methodisches (1): Aufgabenen der Programmforschung

22 Prof. Dr. Helmut Kromrey – Prof. Dr. Helmut Kromrey - Berlin22 Ins Detail übersetzt: Variablenmodell einer Evaluationsstudie

23 Prof. Dr. Helmut Kromrey – Prof. Dr. Helmut Kromrey - Berlin23 Methodisches (2): Wirkungszurechnung erfordert eigentlich ein Experimentaldesign

24 Prof. Dr. Helmut Kromrey – Prof. Dr. Helmut Kromrey - Berlin24 Methodisches (3): Anforderungen an den Gegenstand und an das theoretische Wissen

25 Prof. Dr. Helmut Kromrey – Prof. Dr. Helmut Kromrey - Berlin25 Zentrale Voraussetzung für Evaluation durch Forschung: eindeutig definierte Ziele

26 Prof. Dr. Helmut Kromrey – Prof. Dr. Helmut Kromrey - Berlin26 Zentrale Voraussetzung für die Durchführbarkeit und Akzeptanz: klare Kompetenzregelzungenen und gutes Projektmanagement

27 Prof. Dr. Helmut Kromrey – Prof. Dr. Helmut Kromrey - Berlin27 Dilemma der Programmforschung Evaluation im methodologischen Sinne = Wirkungsforschung Messung der feststellbaren Veränderungen im (potentiellen) Wirkungsfeld und Zurechnung zu den Maßnahmen als Wirkungen (= gegenwärtige beabsichtigte und nicht beabsichtigte Effekte) Prognose der (noch nicht eingetretenen, aber zu erwartenden) künftigen Veränderungen und Zurechnung zu den Maßnahmen als Wirkungen (= technologische Wirkungsprognose und Status-quo-Prognose) Bewertung der eingetretenen und noch zu erwartenden Wirkungen im Lichte der Ziele des Programms sowie der Betroffenen Das Dilemma: Jede der drei Aufgabendimensionen wirft unlösbare methodologische Probleme auf: Evaluation in diesem Sinne ist aus methodologischer Sicht unmöglich. Forschungspragmatische Lösung 1: partizipative Programmwirkungsforschung der Einbezug von Beteiligten und Betroffenen sowohl bei den Prognoseaufgaben wie bei den Evaluationsaufgaben (stellvertretendes Aushandeln von Forschungsresultaten und Evaluation; Mediationsmodell). Forschungspragmatische Lösung 2: partizipative Programmentwicklung und –evaluation unter Einbezug von Beteiligten und Betroffenen (sozialkonstruktivistisches Modell) Forschungspragmatische Lösung 3: Verlagerung der Evaluation auf Beteiligte und Betroffene (Rückzug der Forschung auf Umfrageforschung; = die vorherrschende Praxis)

28 Prof. Dr. Helmut Kromrey – Prof. Dr. Helmut Kromrey - Berlin28 Evaluation durch Forschung - die vorherrschende Praxis

29 Prof. Dr. Helmut Kromrey – Prof. Dr. Helmut Kromrey - Berlin29 Evaluation per Befragung mit einfachen Fragebögen? Nur kein voreiliger Optimismus! Ein Beispiel: In einem Dozentenkurs des HDZ Essen von 1980 hieß es optimistisch: "Urteile (Schätzungen) von Studenten über die Lehre... sind - wenn man etwa Studenten urteilen lässt - zuverlässig wie professionelle Testverfahren". Und: "Sie sind von anderen Merkmalen der Studenten selbst und der Dozenten wenig beeinflusst." (Schmidt, J.: Evaluation. I. Evaluation als Diagnose, Essen 1980, 51 f.) Leider – jedenfalls bei Verwendung einfacher Fragebögen – alles falsch! Standardisiertes Befragen ist – entgegen gängigen Vorurteilen – schon ein sehr problematisches Instrument der Informationsgewinnung; es müssen hinsichtlich des Erhebungsgegenstandes und der Forschungskontaktsituation sehr anspruchsvolle Voraussetzungen erfüllt sein, die selten voll erfüllt sind. Noch problematischer wird es, wenn Befragung als Instrument des Messens eingesetzt werden soll (hier: Qualitätsmessung). Und da subjektive Werturteile nicht dadurch intersubjektiv werden, dass man einen Durchschnitt daraus bildet, wird es am schwierigsten, wenn Befragung als Methode des Evaluierens dienen soll.

30 Prof. Dr. Helmut Kromrey – FU Berlin – Prof. Dr. Helmut Kromrey - Berlin30 Messen - Vorüberlegungen Konzeptualisierung der Mess-Aufgabe: Präzisierung der Problemstellung dimensionale und semantische Analyse präzise Definition der Begriffe ggf. Auswahl und Begründung von Indikatoren Absicherung der Korrespondenz- hypothesen für die Indikatoren Auswahl der Untersuchungsobjekte (Merkmalsträger) Überlegungen zur Messbarkeit der Indikatoren (= Möglichkeit der Abbildung der empirischen Ausprägungen in Symbole): Dimensionalität (nur eindimensionale Indikatoren können eindeutig abgebildet werden) Bedeutungsniveau der Begriffe notwendiger Differenzierungsgrad der Mess-Informationen (= Variablen - Definition)Variablen Überlegungen zur Standardisierung der Mess-Situation (Sicherung der Identität der Messoperationen und der Kontextbedingungen für jede einzelne Messung)

31 Prof. Dr. Helmut Kromrey – FU Berlin – Prof. Dr. Helmut Kromrey - Berlin31 Standardisierung MESSEN = standardisierte Erhebung standardisierter Informationen (Daten) STANDARDISIERUNG = die Kontextbedingungen des Datenabrufs sind für jeden einzelnen Fall identisch die Messvorschriften sind für jeden einzelnen Fall identisch und werden von allen Beteiligten in identischer Weise angewandt Beispiel standardisierte Befragung:standardisierte Befragung identisches Instrument (Fragebogen), identische Interviewsituation, identisches Interviewerverhalten für jede/n Befragte/n jede Frage ist für jede befragte Person identisch (d.h. wird semantisch identisch verstanden) jede gewählte Antwortvorgabe wird von jeder antwortenden Person in identischer Weise zugeordnet

32 Prof. Dr. Helmut Kromrey – FU Berlin – Prof. Dr. Helmut Kromrey - Berlin32 Mess-Modelle Messen als strukturtreue Abbildung empirische Struktur Symbolsystem (Zuordnungsregeln) Willkürliche Messung (Messen durch Festsetzung, measurement by fiat) theoretischer Begriff Symbolsystem (Zuordnungsregeln) Messung durch Befragung theoret. BegriffFrage(n) Symbolsystem (Operationalisierung)(??Zuordnungsregeln??)

33 Prof. Dr. Helmut Kromrey – FU Berlin – Prof. Dr. Helmut Kromrey - Berlin33 Messen als strukturtreue Abbildung

34 Prof. Dr. Helmut Kromrey – FU Berlin – Prof. Dr. Helmut Kromrey - Berlin34 Messung durch Befragung entweder: Befragte Person ist Informant; d.h. sie gibt unter standardisierten Bedingungen Auskunft über Sachverhalte und Merkmale = sie ist die messende Person, Antworten sind Messwerte Voraussetzungen für das Messen durch Befragung Voraussetzungen oder: Befragte Person ist Versuchsperson; d.h. sie wird mit dem Stimulus standardisierte Frage konfrontiert, ihre Antwort ist eine Reaktion auf den Stimulus (ein Indikator für den gesuchten Messwert), Interviewer/in beobachtet und protokolliert die Reaktion auf den Fragestimulus = Interviewer/in ist die messende Person

35 Prof. Dr. Helmut Kromrey – Prof. Dr. Helmut Kromrey - Berlin35 Problem: quantifizierendes Messen durch Befragung formale Voraussetzungen, die für eine Messung erfüllt sein müssen: der Gegenstand (das Objekt) der Beurteilung ist eindeutig definiert das zu messende Merkmal (Variable) ist eindeutig definiert und operationalisiert eine Mess-Skala (Vergleichsmaßstab) existiert und ist eindeutig definiert (incl. eindeutiger Skalen-Endpunkte sowie unterscheidbarer Abstufungen zwischen den Skalen-Endpunkten) Befragte sind in der Lage, den Gegenstand intersubjektiv überein- stimmend zu identifizieren, das zu messende Merkmal intersubjektiv übereinstimmend zu erkennen (identische Semantik + identische Perspektive) und die Mess-Skala in intersubjektiv übereinstimmender Weise darauf anzuwenden (= Messung durch Vergleich der Merkmals- ausprägung eines Objekts mit einem Vergleichsmaßstab, Übersetzung dieses Vergleichs in Skalenpunkte)

36 Prof. Dr. Helmut Kromrey – Prof. Dr. Helmut Kromrey - Berlin36 Problem 2 : evaluierendes Messen durch Befragung Erfüllt sein müssen zunächst die formalen Voraussetzungen für eine Messung; hinzu kommen als weitere Anforderungen: Neben dem Kriterium der Beurteilung (Qualitäts-Merkmal) ist ein Standard der Beurteilung zu definieren: Wann ist etwas gut, wann schlecht, wann mittelmäßig? etc. Dieser Standard ist von allen Evaluierenden in intersubjektiv übereinstimmender Weise anzuwenden. Und auch das noch... Erforderlich ist die grundlegende Entscheidung: Soll die befragte Person Auskunft über sich selbst und ihren Bezug zum Gegenstand der Bewertung geben? (Akzeptanzaussage) Oder soll sie eine quasi-objektive Beurteilung des zu bewertenden Gegenstands vornehmen? (Evaluationsaussage)

37 Prof. Dr. Helmut Kromrey – Prof. Dr. Helmut Kromrey - Berlin37 Trotzdem Befragung auch zum Zwecke der Evaluation? Natürlich! Eine bessere Alternative (im Sinne von universell anwendbar) kann die empirische Sozialforschung nicht anbieten. Aber... Jede Antwort auf eine in der Situation Forschungskontakt gestellte Frage ist eine subjektiv gefärbte, interpretationsbedürftige Information. Nur unter besonderen (selten erfüllten) Bedingungen ist sie auch ein Messwert. Und nur unter weiteren (und noch seltener erfüllten) Bedingungen kann sie auch eine intersubjektiv geltende Evaluation sein (z.B. bei einem Programmziel: Akzeptanz). Für den Normalfall gilt: Das Erheben und Aufbereiten bewertender (=evaluierender) Aussagen liefert wichtige Informationen für die Evaluation, ist aber für sich genommen noch nicht die Evaluation! Zur Evaluation gehört ein Gesamtprojekt, in dem Befragungen ein wichtiges Instrument der Gewinnung evaluationsrelevanter Informationen sind.

38 Prof. Dr. Helmut Kromrey – Prof. Dr. Helmut Kromrey - Berlin38 Es gibt keine 'objektiven' Methoden zur Geltungsbegründung von Subjektivem

39 Prof. Dr. Helmut Kromrey – Prof. Dr. Helmut Kromrey - Berlin39 Bewertung durch Forschung? Ziel von Evaluation: empirisch gestützte Bewertungen mit intersubjektivem Geltungsanspruch Evaluationsforschung: (durch das Ziel Bewertung geprägte) spezifische Form anwendungsorientierter Forschung; methodisch kontrollierte, verwertungs- und bewertungsorientierte Form des Sammelns und Auswertens von Informationen

40 Prof. Dr. Helmut Kromrey – Prof. Dr. Helmut Kromrey - Berlin40 Aber Forschung kann nicht: Werturteile wissenschaftlich begründen ihr methodologisches Problem: Legitimation des Anspruchs empirisch gestützte Bewertungen mit intersubjektivem Geltungsanspruch zu formulieren; denn: Nach gängiger wissenschaftstheoretischer Überzeugung geht eines nicht: empirische Begründung von Bewertungen durch Forschung (auch aus korrekten Beschreibungen und Analysen sind keine normativen Aussagen ableitbar); Möglich ist lediglich, Forschung zum Zwecke von Bewertungen (s. den Stellenwert empirischer Daten im mehrstufigen Modell des peer review) die Geltungsbegründung empirischer Analysen folgt einer anderen Logik als die Geltungsbegründung normativer Aussagen; für die ersteren gibt es in der vorherrschenden Wissenschaftstheorie klare Regeln, für die letzteren nicht Zwei Lösungsmöglichkeiten: (1) Evaluation auf Tatsachenaussagen reduzieren oder: (2) Evaluation externalisieren

41 Prof. Dr. Helmut Kromrey – Prof. Dr. Helmut Kromrey - Berlin41 Fall 1a: Evaluation als Programm(wirkungs)forschung

42 Prof. Dr. Helmut Kromrey – Prof. Dr. Helmut Kromrey - Berlin42 Fall 1b: Evaluation als Qualitätsmessung durch Indikatoren Ziel: Die Bewertung objektivieren (d.h. am zu bewertenden Objekt festmachen) dadurch, dass qualitätsrelevante Merkmale gemessen werden. Voraussetzung: Das Konstrukt Qualität ist so zu definieren, dass seine Dimensionen als Merkmale des Gegenstands erscheinen. Methodologisch ist dann nur noch die Aufgabe zu lösen, diese Qualitätsdimensionen so durch Indikatoren zu operationalisieren, dass sie als situationsunabhängige Qualitäts-Messwerte gelten können.

43 Prof. Dr. Helmut Kromrey – Prof. Dr. Helmut Kromrey - Berlin43 Fall 2: Evaluation durch Befragung Siehe Zitat aus dem Dozentenkurs des HDZ Essen von 1980 zum Thema Lehrevaluation: "Urteile (Schätzungen) von Studenten über die Lehre... sind wenn man etwa Studenten urteilen lässt zuverlässig wie professionelle Testverfahren". Und: "Sie sind von anderen Merkmalen der Studenten selbst und der Dozenten wenig beeinflusst." (Schmidt, J.: Evaluation. I. Evaluation als Diagnose, Essen 1980, 51 f.) Sofern dies zuträfe, wäre die Evaluation per Befragung der Königsweg zur Lösung aller Probleme der Evaluationsforschung, insbesondere auch der Werturteilsproblematik. Als Modell zur (intersubjektiven) Messung von Qualität ist es allerdings eher ein Holzweg. Die Stärke von Evaluationsbefragungen liegt in ihrer Funktion der Lieferung evaluationsrelevanter Daten über und aus der Perspektive von stakeholdern.

44 Prof. Dr. Helmut Kromrey – Prof. Dr. Helmut Kromrey - Berlin44 Grundlegendes Problem für alle Modelle: Qualität Qualität (also der abzubildende Gegenstand) kann nicht als Merkmal des zu bewertenden Objekts selbst gesehen werden, sondern als relationales Merkmal: als Eignung, Brauchbarkeit, Güte in Bezug auf bestimmte Ziele und Zwecke sowie auf bestimmte Nutzer- und Klientengruppen. Beim Modell der Programmevaluation wird konsequenterweise Qualität = Erfolg (also Eignung, Brauchbarkeit, Güte in Bezug auf bestimmte Ziele und Zwecke) gesetzt. Beim Indikatorenmodell ist Qualität = Eigenschaft des Objekts. Anders als beim Modell der Programmevaluation existiert aber nicht dessen methodologische Problemlösung (nämlich vom Programm vordefinierte Ziele und Maßnahmen). Beim Befragungsmodell schließlich gilt: Qualität = Qualitätswahrnehmung der urteilenden Person (an die Stelle objektiver Qualität tritt statistisch ermittelte intersubjektive Qualität)

45 Prof. Dr. Helmut Kromrey – Prof. Dr. Helmut Kromrey - Berlin45 Gedankenexperiment Qualität von Autoreifen ?: Stadtverkehr, Landstraßen, Autobahn; Normalfahrer, LKW-Fahrer, Rennsportler; Rallye Paris-Dakar, Formel I


Herunterladen ppt "Prof. Dr. Helmut Kromrey – FU Berlin – - 20.10.2007Prof. Dr. Helmut Kromrey - Berlin1."

Ähnliche Präsentationen


Google-Anzeigen