Disziplinorientierte versus praxisorientierte Sozialforschung

Präsentation zum Thema: "Disziplinorientierte versus praxisorientierte Sozialforschung"—  Präsentation transkript:

1 Disziplinorientierte versus praxisorientierte Sozialforschung
Prof. Dr. Helmut Kromrey - Berlin

2 Grundlegende „VOKABELN“:
Erkenntnistheorie: Grundlegende Annahmen (Axiome) über die Möglichkeit menschlicher Erkenntnis (z.B. Konstruktivismus, Realismus, Idealismus) Wissenschaftstheorie: Die Erkenntnislogik einer spezifischen Wissenschafts“schule“ und deren Argumentationsstrategie, mit der die wissenschaftliche Geltung ihrer Aussagen geprüft und begründet wird (z.B. Positivismus, Kritischer Rationalismus, Phänomenologie, Symbolischer Interaktionismus) Substanztheorie (z.B. „soziologische Theorie“): System von Hypothesen über einen empirischen (hier: sozialen) Gegenstands-bereich (z.B. soziologische Handlungstheorie, Systemtheorie, Theorien der Stadtentwicklung) Methodologie: Lehre von den (wissenschaftlichen) Methoden der Erkenntnisgewinnung und ihrer Anwendung (z.B. „qualit.“ / „quantit.“ Sozialforschung, Hermeneutik) Methoden / Techniken: Spezifische Methoden / Verfahren / Vorgehensweisen der Informationssammlung und Auswertung (z.B. Befragung, Inhaltsanalyse, Tests, Korrelationsrechnung) Prof. Dr. Helmut Kromrey - Berlin

3 Prof. Dr. Helmut Kromrey - Berlin
Zum Begriff anwendungsorientierte oder praxisorientierte versus disziplinorientierte Sozialforschung Zentrale Funktion: disziplinorientierte Sozialforschung: „Aufklärung“ (enlightenment) durch Veröffentlichung Wissensorientierung / Erklärung / Verallgemeinerung praxisorientierte Sozialforschung: Wissensübertragung (Transfer) durch Beratung Handlungsorientierung / Beeinflussung / Situationsbezogenheit Prof. Dr. Helmut Kromrey - Berlin

4 Prof. Dr. Helmut Kromrey - Berlin
Zum Begriff anwendungsorientierte oder praxisorientierte versus disziplinorientierte Sozialforschung Einfluß auf „Praxis“ und „Politik“: disziplinorientierte Sozialforschung (indirekt): Revision veralteter Auffassungen Neuformulierung von Zielen und Prioritäten praxisorientierte Sozialforschung (direkt): Erweiterung und Konkretisierung der Informationsbasis über Beteiligte und Betroffene („stakeholder“) maßnahmenbezogene Zielformulierung Maßnahmenentwicklung und –implementation Erfolgskontrolle Prof. Dr. Helmut Kromrey - Berlin

5 Prof. Dr. Helmut Kromrey - Berlin
Zum Begriff anwendungsorientierte oder praxisorientierte versus disziplinorientierte Sozialforschung Feedback(aus der Praxis / aus der Öffentlichkeit): disziplinorientierte Sozialwissenschaft: kein direktes Feedback (außer bei Rezensionen von Veröffentlichungen) verwertungsneutrale Erweiterung des Wissensbestandes praxisorientierte Sozialforschung: direktes Feedback durch Nutzer bedarfsorientierte Bereitstellung und Aufbereitung von Informationen Prof. Dr. Helmut Kromrey - Berlin

6 Prof. Dr. Helmut Kromrey - Berlin
Politik und Planung Erfolgskontrolle als Teil des Planungsprozesses Um den Stellenwert der Erfolgskontrolle innerhalb des Planungsprozesses beurteilen zu können, müssen klare Vorstellungen über den Ablauf des Planungsprozesses bestehen. ... In einer Vielzahl von Städten können im Augenblick mehr oder weniger gelungene Versuche beobachtet werden, die Fachplanungen stärker zu integrieren, die Stadtentwicklungsplanung als kontinuierlichen Prozeß zu organisieren und Systeme von Zielkriterien aufzustellen. (Eekhoff u.a. 1977, 17) Prof. Dr. Helmut Kromrey - Berlin

7 Prof. Dr. Helmut Kromrey - Berlin
Politik und Planung „Versagen“ der Wissenschaft den in sich stimmigen, widerspruchsfreien Zielsystemen fehlte die Entsprechung in der Realität Zielkataloge können nicht so flexibel sein, dass sie Wertewandel antizipieren zu große Komplexität der sozialen Realität, um in gesamtgesellschaftlichen Indikatorensystemen abgebildet zu werden Status-quo-Rechnungen erwiesen sich als fehleranfällig; bei sich ändernden Randbedingungen wurden sie wertlos; erst recht gilt dies für die tiefer gehenden Wirkungsanalysen oder Folgeabschätzungen Modellrechnungen müssen notwendigerweise Komplexität so stark reduzieren, dass sie realitätsfern werden Fehler des Planungsmodells Probleme in der Implementationsphase wurden übersehen Erfolgskontrolle als Teil des Planungsprozesses Um den Stellenwert der Erfolgskontrolle innerhalb des Planungsprozesses beurteilen zu können, müssen klare Vorstellungen über den Ablauf des Planungsprozesses bestehen. ... In einer Vielzahl von Städten können im Augenblick mehr oder weniger gelungene Versuche beobachtet werden, die Fachplanungen stärker zu integrieren, die Stadtentwicklungsplanung als kontinuierlichen Prozeß zu organisieren und Systeme von Zielkriterien aufzustellen. (Eekhoff u.a. 1977, 17) Prof. Dr. Helmut Kromrey - Berlin

8 Prof. Dr. Helmut Kromrey - Berlin
Politik und Planung Alternative: „experimentelle Politik“ statt fehlerbehaftete formalisierte Planungs- und Entscheidungs-modelle anzuwenden, macht sich die Politik den Königsweg der Grundlagenforschung zunutze: das kontrollierte Experiment indikatorengestützte Politik wird auf die Routinefragen reduziert bei innovativen Vorhaben sollen Pilotprojekte und „rückholbare“ Feldversuche die für Entscheidungen notwendigen Erfahrungen liefern die Feldexperimente werden jeweils wissenschaftlich begleitet (Monitoring der Implementation, Messung der bewirkten Veränderungen des Programms, Zurechnung der Wirkungen zu den Maßnahmen, Identifikation ungeplanter Auswirkungen) und analysiert Wissenschaft wird so wieder angewandten Sozialforschung und zum Lieferanten empirisch abgesicherter Informationen, ist aber nicht mehr direkt eingebunden in den politischen Planungs- und Entscheidungsprozess Erfolgskontrolle als Teil des Planungsprozesses Um den Stellenwert der Erfolgskontrolle innerhalb des Planungsprozesses beurteilen zu können, müssen klare Vorstellungen über den Ablauf des Planungsprozesses bestehen. ... In einer Vielzahl von Städten können im Augenblick mehr oder weniger gelungene Versuche beobachtet werden, die Fachplanungen stärker zu integrieren, die Stadtentwicklungsplanung als kontinuierlichen Prozeß zu organisieren und Systeme von Zielkriterien aufzustellen. (Eekhoff u.a. 1977, 17) Prof. Dr. Helmut Kromrey - Berlin

9 Prof. Dr. Helmut Kromrey - Berlin
Prof. Dr. Helmut Kromrey - Berlin

10 Prof. Dr. Helmut Kromrey - Berlin
Interaktion Evaluation - Politik/Wiss./Öffentlichkeit Schaubild: Interaktionstheoretisches Modell (Widmer 2000, 82) Prof. Dr. Helmut Kromrey - Berlin

11 Evaluation: ein Begriff – verschiedene Konzepte
Prof. Dr. Helmut Kromrey - Berlin

12 Prof. Dr. Helmut Kromrey - Berlin
„Evaluation“ Prof. Dr. Helmut Kromrey - Berlin

13 Der Begriff „Evaluation“ (1)
Prof. Dr. Helmut Kromrey - Berlin

14 Der Begriff „Evaluation“ (2)
Prof. Dr. Helmut Kromrey - Berlin

15 Der Begriff „Evaluation“ (3)
Prof. Dr. Helmut Kromrey - Berlin

16 Erkenntnisziele → Evaluation zu welchem Zweck?
Prof. Dr. Helmut Kromrey - Berlin

17 Die Dualität von Politik und Evaluation
Prof. Dr. Helmut Kromrey - Berlin

18 Das „komplette“ Evaluationsdesign:
Das dreistufige Verfahren des „peer review“ Lieferung der „evaluations-relevanten“ Informationen durch „das Programm“ und die empirische Forschung (Daten zur Programmdurchführung, Selbstbeschreibung und Selbstbewertung durch die Programmverantwortlichen, „Stakeholder“-Befragungen mit Bewertungscharakter) Bewertung durch externe Experten (peers), die die Funktion von Evaluatoren übernehmen (=subjektive Bewertungen, Geltungsbegründung durch Datenbezug und „Ansehen“ der Experten) Festlegung des „follow up“ (also der Konsequenzen aus akzeptierten Evaluationsurteilen) durch übergeordnete Instanz oder als Resultat eines Aushandlungsprozesses zwischen den Beteiligten Lösungsstrategie für die Evaluationsprobleme: „Objektivierung durch Verfahren“. Schwierigkeiten des Verfahrens: Projektmanagement, Konsensfindung über Zuständigkeiten und Verantwortliche Prof. Dr. Helmut Kromrey - Berlin

19 Evaluation durch Forschung - das Leitmodell
Prof. Dr. Helmut Kromrey - Berlin

20 Prof. Dr. Helmut Kromrey - Berlin
Das idealtypische Design und methodologische „Leitmodell“: Evaluation als Programmwirkungsforschung Prof. Dr. Helmut Kromrey - Berlin

21 Methodisches (1): Aufgabenen der Programmforschung
Prof. Dr. Helmut Kromrey - Berlin

22 Ins Detail übersetzt: Variablenmodell einer Evaluationsstudie
Prof. Dr. Helmut Kromrey - Berlin

23 Prof. Dr. Helmut Kromrey - Berlin
Methodisches (2): Wirkungszurechnung erfordert „eigentlich“ ein Experimentaldesign Prof. Dr. Helmut Kromrey - Berlin

24 Prof. Dr. Helmut Kromrey - Berlin
Methodisches (3): Anforderungen an den Gegenstand und an das theoretische Wissen Prof. Dr. Helmut Kromrey - Berlin

25 Prof. Dr. Helmut Kromrey - Berlin
Zentrale Voraussetzung für „Evaluation durch Forschung“: eindeutig definierte Ziele Prof. Dr. Helmut Kromrey - Berlin

26 Prof. Dr. Helmut Kromrey - Berlin
Zentrale Voraussetzung für die Durchführbarkeit und Akzeptanz: klare Kompetenzregelzungenen und gutes Projektmanagement Prof. Dr. Helmut Kromrey - Berlin

27 Dilemma der Programmforschung
Evaluation im methodologischen Sinne = Wirkungsforschung Messung der feststellbaren Veränderungen im (potentiellen) Wirkungsfeld und Zurechnung zu den Maßnahmen als Wirkungen (= gegenwärtige beabsichtigte und nicht beabsichtigte Effekte) Prognose der (noch nicht eingetretenen, aber zu erwartenden) künftigen Veränderungen und Zurechnung zu den Maßnahmen als Wirkungen (= technologische Wirkungsprognose und Status-quo-Prognose) Bewertung der eingetretenen und noch zu erwartenden Wirkungen im Lichte der Ziele des Programms sowie der Betroffenen Das Dilemma: Jede der drei Aufgabendimensionen wirft unlösbare methodologische Probleme auf: Evaluation in diesem Sinne ist aus methodologischer Sicht unmöglich. Forschungspragmatische Lösung 1: partizipative Programmwirkungsforschung der Einbezug von Beteiligten und Betroffenen sowohl bei den Prognoseaufgaben wie bei den Evaluationsaufgaben (stellvertretendes Aushandeln von Forschungsresultaten und Evaluation; Mediationsmodell). Forschungspragmatische Lösung 2: partizipative Programmentwicklung und –evaluation unter Einbezug von Beteiligten und Betroffenen (sozialkonstruktivistisches Modell) Forschungspragmatische Lösung 3: Verlagerung der Evaluation auf Beteiligte und Betroffene (Rückzug der Forschung auf Umfrageforschung; = die vorherrschende Praxis) Prof. Dr. Helmut Kromrey - Berlin

28 Evaluation durch Forschung - die vorherrschende Praxis
Prof. Dr. Helmut Kromrey - Berlin

29 Prof. Dr. Helmut Kromrey - Berlin
Evaluation per Befragung mit „einfachen“ Fragebögen? Nur kein voreiliger Optimismus! Ein Beispiel: In einem Dozentenkurs des HDZ Essen von 1980 hieß es optimistisch: "Urteile (Schätzungen) von Studenten über die Lehre ... sind - wenn man etwa Studenten urteilen lässt - zuverlässig wie professionelle Testverfahren". Und: "Sie sind von anderen Merkmalen der Studenten selbst und der Dozenten wenig beeinflusst." (Schmidt, J.: Evaluation. I. Evaluation als Diagnose, Essen 1980, 51 f.) Leider – jedenfalls bei Verwendung „einfacher“ Fragebögen – alles falsch! Standardisiertes Befragen ist – entgegen gängigen Vorurteilen – schon ein sehr problematisches Instrument der Informationsgewinnung; es müssen hinsichtlich des Erhebungsgegenstandes und der Forschungskontaktsituation sehr anspruchsvolle Voraussetzungen erfüllt sein, die selten voll erfüllt sind. Noch problematischer wird es, wenn Befragung als Instrument des „Messens“ eingesetzt werden soll (hier: Qualitätsmessung). Und da subjektive Werturteile nicht dadurch intersubjektiv werden, dass man einen Durchschnitt daraus bildet, wird es am schwierigsten, wenn Befragung als Methode des Evaluierens dienen soll. Prof. Dr. Helmut Kromrey - Berlin

30 „Messen“ - Vorüberlegungen
Konzeptualisierung der Mess-Aufgabe: Präzisierung der Problemstellung  dimensionale und semantische Analyse  präzise Definition der Begriffe  ggf. Auswahl und Begründung von Indikatoren  Absicherung der Korrespondenz-hypothesen für die Indikatoren  Auswahl der Untersuchungsobjekte („Merkmalsträger“) Überlegungen zur „Messbarkeit“ der Indikatoren (= Möglichkeit der „Abbildung“ der empirischen Ausprägungen in Symbole): „Dimensionalität“ (nur „eindimensionale“ Indikatoren können eindeutig abgebildet werden) Bedeutungs“niveau“ der Begriffe notwendiger Differenzierungsgrad der Mess-Informationen (= „Variablen“-Definition) Überlegungen zur „Standardisierung“ der Mess-Situation (Sicherung der Identität der Messoperationen und der Kontextbedingungen für jede einzelne Messung) Prof. Dr. Helmut Kromrey - Berlin

31 Prof. Dr. Helmut Kromrey - Berlin
Standardisierung MESSEN = standardisierte Erhebung standardisierter Informationen („Daten“) STANDARDISIERUNG = die Kontextbedingungen des Datenabrufs sind für jeden einzelnen „Fall“ identisch die Messvorschriften sind für jeden einzelnen „Fall“ identisch und werden von allen Beteiligten in identischer Weise angewandt Beispiel standardisierte Befragung: identisches Instrument (Fragebogen), identische Interviewsituation, identisches Interviewerverhalten für jede/n Befragte/n jede Frage ist für jede befragte Person identisch (d.h. wird semantisch identisch verstanden) jede gewählte Antwortvorgabe wird von jeder antwortenden Person in identischer Weise zugeordnet Prof. Dr. Helmut Kromrey - Berlin

32 Prof. Dr. Helmut Kromrey - Berlin
Mess-Modelle Messen als strukturtreue Abbildung empirische Struktur Symbolsystem (Zuordnungsregeln) Willkürliche Messung (Messen durch Festsetzung, measurement by fiat) theoretischer Begriff Symbolsystem (Zuordnungsregeln) Messung durch Befragung theoret. Begriff Frage(n) Symbolsystem (Operationalisierung) (??Zuordnungsregeln??) Prof. Dr. Helmut Kromrey - Berlin

33 Messen als strukturtreue Abbildung
Prof. Dr. Helmut Kromrey - Berlin

34 Messung durch Befragung
entweder: Befragte Person ist „Informant“; d.h. sie gibt unter standardisierten Bedingungen Auskunft über Sachverhalte und Merkmale = sie ist die „messende Person“, Antworten sind „Messwerte“ Voraussetzungen für das „Messen durch Befragung“ oder: Befragte Person ist „Versuchsperson“; d.h. sie wird mit dem Stimulus „standardisierte Frage“ konfrontiert, ihre Antwort ist eine „Reaktion auf den Stimulus“ (ein Indikator für den gesuchten Messwert), Interviewer/in beobachtet und protokolliert die Reaktion auf den Fragestimulus = Interviewer/in ist die „messende Person“ Prof. Dr. Helmut Kromrey - Berlin

35 Problem: „quantifizierendes“ Messen durch Befragung
formale Voraussetzungen, die für eine „Messung“ erfüllt sein müssen: der „Gegenstand“ (das Objekt) der Beurteilung ist eindeutig definiert das zu messende „Merkmal“ (Variable) ist eindeutig definiert und operationalisiert eine „Mess-Skala“ (Vergleichsmaßstab) existiert und ist eindeutig definiert (incl. eindeutiger Skalen-Endpunkte sowie unterscheidbarer Abstufungen zwischen den Skalen-Endpunkten) Befragte sind in der Lage, den „Gegenstand“ intersubjektiv überein-stimmend zu identifizieren, das zu messende „Merkmal“ intersubjektiv übereinstimmend zu erkennen (identische Semantik + identische Perspektive) und die „Mess-Skala“ in intersubjektiv übereinstimmender Weise darauf anzuwenden (= Messung durch Vergleich der Merkmals-ausprägung eines Objekts mit einem Vergleichsmaßstab, Übersetzung dieses Vergleichs in Skalenpunkte) Prof. Dr. Helmut Kromrey - Berlin

36 Problem2: „evaluierendes“ Messen durch Befragung
Erfüllt sein müssen zunächst die formalen Voraussetzungen für eine „Messung“; hinzu kommen als weitere Anforderungen: Neben dem „Kriterium” der Beurteilung („Qualitäts-Merkmal”) ist ein „Standard” der Beurteilung zu definieren: Wann ist etwas „gut”, wann „schlecht”, wann „mittelmäßig”? etc. Dieser „Standard” ist von allen Evaluierenden in intersubjektiv übereinstimmender Weise anzuwenden. Und auch das noch... Erforderlich ist die grundlegende Entscheidung: Soll die befragte Person Auskunft über sich selbst und ihren Bezug zum Gegenstand der Bewertung geben? (“Akzeptanzaussage”) Oder soll sie eine “quasi-objektive” Beurteilung des zu bewertenden Gegenstands vornehmen? (“Evaluationsaussage”) Prof. Dr. Helmut Kromrey - Berlin

37 Trotzdem Befragung auch zum Zwecke der Evaluation?
Natürlich! Eine bessere Alternative (im Sinne von „universell anwendbar“) kann die empirische Sozialforschung nicht anbieten. Aber... Jede Antwort auf eine in der Situation „Forschungskontakt“ gestellte Frage ist eine subjektiv gefärbte, interpretationsbedürftige „Information“. Nur unter besonderen (selten erfüllten) Bedingungen ist sie auch ein „Messwert“. Und nur unter weiteren (und noch seltener erfüllten) Bedingungen kann sie auch eine „intersubjektiv geltende“ Evaluation sein (z.B. bei einem Programmziel: Akzeptanz). Für den Normalfall gilt: Das Erheben und Aufbereiten bewertender (=evaluierender) Aussagen liefert wichtige Informationen für die Evaluation, ist aber für sich genommen noch nicht die „Evaluation“! Zur „Evaluation“ gehört ein Gesamtprojekt, in dem Befragungen ein wichtiges Instrument der Gewinnung evaluationsrelevanter Informationen sind. Prof. Dr. Helmut Kromrey - Berlin

38 Prof. Dr. Helmut Kromrey - Berlin
Es gibt keine 'objektiven' Methoden zur Geltungsbegründung von Subjektivem Prof. Dr. Helmut Kromrey - Berlin

39 Bewertung durch Forschung?
Ziel von Evaluation: empirisch gestützte Bewertungen mit intersubjektivem Geltungsanspruch Evaluationsforschung: (durch das Ziel „Bewertung“ geprägte) spezifische Form anwendungsorientierter Forschung; methodisch kontrollierte, verwertungs- und bewertungsorientierte Form des Sammelns und Auswertens von Informationen Prof. Dr. Helmut Kromrey - Berlin

40 Aber Forschung kann nicht: Werturteile wissenschaftlich begründen
ihr methodologisches Problem: Legitimation des Anspruchs „empirisch gestützte Bewertungen mit intersubjektivem Geltungsanspruch“ zu formulieren; denn: Nach gängiger wissenschaftstheoretischer Überzeugung geht eines nicht: empirische Begründung von Bewertungen durch Forschung (auch aus korrekten Beschreibungen und Analysen sind keine normativen Aussagen ableitbar); Möglich ist lediglich, Forschung zum Zwecke von Bewertungen (s. den Stellenwert empirischer Daten im mehrstufigen Modell des peer review) die Geltungsbegründung empirischer Analysen folgt einer anderen Logik als die Geltungsbegründung normativer Aussagen; für die ersteren gibt es in der vorherrschenden Wissenschaftstheorie klare Regeln, für die letzteren nicht Zwei Lösungsmöglichkeiten: (1) Evaluation auf Tatsachenaussagen reduzieren oder: (2) Evaluation ‚externalisieren‘ Prof. Dr. Helmut Kromrey - Berlin

41 Fall 1a: Evaluation als Programm(wirkungs)forschung
Prof. Dr. Helmut Kromrey - Berlin

42 Fall 1b: Evaluation als Qualitätsmessung durch Indikatoren
Ziel: Die Bewertung „objektivieren“ (d.h. am zu bewertenden „Objekt“ festmachen) dadurch, dass „qualitätsrelevante“ Merkmale gemessen werden. Voraussetzung: Das Konstrukt „Qualität“ ist so zu definieren, dass seine Dimensionen als Merkmale des Gegenstands erscheinen. Methodologisch ist dann „nur“ noch die Aufgabe zu lösen, diese Qualitätsdimensionen so durch Indikatoren zu operationalisieren, dass sie als situationsunabhängige „Qualitäts-Messwerte“ gelten können. Prof. Dr. Helmut Kromrey - Berlin

43 Fall 2: Evaluation durch Befragung
Siehe Zitat aus dem Dozentenkurs des HDZ Essen von 1980 zum Thema Lehrevaluation: "Urteile (Schätzungen) von Studenten über die Lehre ... sind − wenn man etwa Studenten urteilen lässt − zuverlässig wie professionelle Testverfahren". Und: "Sie sind von anderen Merkmalen der Studenten selbst und der Dozenten wenig beeinflusst." (Schmidt, J.: Evaluation. I. Evaluation als Diagnose, Essen 1980, 51 f.) Sofern dies zuträfe, wäre die Evaluation per Befragung der Königsweg zur Lösung aller Probleme der Evaluationsforschung, insbesondere auch der Werturteilsproblematik. Als Modell zur (intersubjektiven) ‚Messung‘ von Qualität ist es allerdings eher ein ‚Holzweg‘. Die Stärke von Evaluationsbefragungen liegt in ihrer Funktion der Lieferung ‚evaluationsrelevanter‘ Daten über und aus der Perspektive von stakeholdern. Prof. Dr. Helmut Kromrey - Berlin

44 Grundlegendes Problem für alle Modelle: „Qualität“
„Qualität“ (also der abzubildende Gegenstand) kann nicht als Merkmal des zu bewertenden Objekts selbst gesehen werden, sondern als relationales Merkmal: als Eignung, Brauchbarkeit, Güte in Bezug auf bestimmte Ziele und Zwecke sowie auf bestimmte Nutzer- und Klientengruppen. Beim Modell der Programmevaluation wird konsequenterweise Qualität = Erfolg (also Eignung, Brauchbarkeit, Güte in Bezug auf bestimmte Ziele und Zwecke) gesetzt. Beim Indikatorenmodell ist Qualität = Eigenschaft des Objekts. Anders als beim Modell der Programmevaluation existiert aber nicht dessen methodologische Problemlösung (nämlich vom Programm vordefinierte Ziele und Maßnahmen). Beim Befragungsmodell schließlich gilt: Qualität = Qualitätswahrnehmung der urteilenden Person (an die Stelle ‚objektiver‘ Qualität tritt statistisch ermittelte ‚intersubjektive‘ Qualität) Prof. Dr. Helmut Kromrey - Berlin

45 Prof. Dr. Helmut Kromrey - Berlin
Gedankenexperiment Qualität von Autoreifen ?: Stadtverkehr, Landstraßen, Autobahn; „Normalfahrer“, LKW-Fahrer, Rennsportler; Rallye Paris-Dakar, Formel I Prof. Dr. Helmut Kromrey - Berlin