Regressionsanalyse in der Ökosystemmodellierung und Paläoumweltrekonstruktion – Ausgewählte Probleme aus der Praxis Seminar für fortgeschrittene Studenten und Graduierte Dr. Lars Kutzbach und Barnim Thees WS 2007/08

Beispiel: Der Hockey-Stick - Prominenz Mann, M.E., R.S. Bradley, and M.K. Hughes, 1999: Northern Hemisphere Temperatures During the Past Millennium: Inferences, Uncertainties, and Limitations. Geophys. Res. Lett., 26,

Beispiel: Der Hockey-Stick - Kritik Storch et al., 2004

Beispiel: Der Hockey-Stick - Kritik McIntyre and McKitrick, 2005

Beispiel: Der Hockey-Stick - Prüfung 2006 Report for the US Congress by the Committee on Surface Temperature Reconstructions for the Last 2,000 Years Board on Atmospheric Sciences and Climate Division on Earth and Life Studies National Research Council of the US National Academy of Science 2006 Hearing of the Committee of Energy and Commerce of the U.S. House of Representatives Questions Surrounding the Hockey Stick Temperature Studies: Implications for Climate Change Assessments Wegmann-Report: Ad Hoc Committee Report on the Hockey Stick Global Climate Reconstruction

Der Hockey-Stick: Schlussfolgerungen Eine wissenschaftlich und politisch wichtige Fragestellung wurde mit einer komplizierten statistischen Reressionsmethode bearbeitet. Diese Methode wurde nicht vollkommen richtig durchdacht und leider FALSCH angewendet. Es wurden unhaltbare Aussagen über das Paläoklima der letzten 1000 Jahre gemacht und an prominenter Stelle veröffentlicht (Nature, 1998; IPCC, 2001). Die Studie hat die Arbeit der betreffenden Wissenschaftlter aber auch der Klimawissenschaft insgesamt sowie die des IPCC in Misskredit gebracht.

Der Hockey-Stick: Schlussfolgerungen Seminartermin Di, : Zum Problem verrauschter Daten in Regressions- modellen (Überschätzung der Amplituden bei der Methode der kleinsten Quadrate der Residuen)

Seminarthemen Themen: 1. Di, : Motivation: Brisanz von falsch angewendeten / nicht vollständig verstandenen Regressionsmethoden für die Ökosystemmodellierung und Paläoumweltrekonstruktion 2. Fr, : Was ist überhaupt ein Model? Modelltypen und Modellfehler aus Sicht der statistischen Lerntheorie 3. Di, : Zum Problem verrauschter Daten in Regressions- Modellen (Unterschätzung der Amplituden bei der Methode der kleinsten Quadrate der Residuen) 4. Di, : Über die falsche Anwendung von r 2 bei Kalibrierung und Modellabsicherung (Beispiel Haubenmessungen von CH 4 - und CO 2 -Flüssen)

Seminarthemen Themen: 5. Di, : Abbildende Modelle versus erklärende Modelle – Ein schrittweises Verfahren zur Reduktion eines multiplen linearen Regressionsmodells zu Bestimmung von signifikanten unabhängigen Modellparametern 6. Di, : Zum Problem einer möglichen Zeitverschiebung zwischen Regressoren und Regressanden für Regressionsmodelle insbesondere für die Paläoumweltrekonstruktion 7. Di, : Zeit für Vertiefungen nach Bedarf ________________________________________________ Zu Termin 4. und 5. Übungen

2. Was sind überhaupt Modelle ? Klassische deterministische Modelle - analytische Modelle - numerische Modelle Statistische Modelle - rein abbildende Modelle - erklärende Modelle Kombinierte deterministisch-statistische Modelle - statistisch-optimierte deterministische Modelle (Grey Box) - Inverse Modelle - Model-Output-Statistics

Modellers and field researchers: …different ways of working and thinking - simple-minded, - ignorant of mathematics - out of touch with reality 11 Empirische Daten –> Statistische Modelle Deterministische Modelle Kombinierte statistisch- deterministische Modelle

2. Was sind überhaupt Modelle ? Abbildungsgüte von Modellen Fehlermaße und statistische Tests Vorhersagekraft von Modellen Möglichkeit der Abschätzung über die statistische Lerntheorie

3. Verrauschte Daten und Amplitudenunterschätzung von Regressionsmodellen Simulation zum Rauscheffekt auf die Amplitude des Regressionsmodels: Rein deterministische Sinus-Kurve plus künstliches weißes Rauschen (B. Thees)

3. Verrauschte Daten und Amplitudenunterschätzung von Regressionsmodellen Unkorrigierte Steigung: Korrigierte Steigung: Seminar: mathematische Herleitung dieser Korrekturformel Die korrekte Steigung kann nur bei vollkommen rauschfreien x- und y- Werten mit der Methode der kleinsten Quadrate der Residuen bestimmt werden !

4. Die flache Anwendung von r 2

4. Die falsche Anwendung von R 2 R 2 lin = R 2 exp = P F (V exp <V lin ) < flux exp /flux lin = 1.26 R 2 lin = R 2 exp = P F (V exp <V lin ) < flux exp /flux lin = 1.54 R 2 lin = R 2 exp = P F (V exp <V lin ) < flux exp /flux lin = 1.34

4. Die falsche Anwendung von R 2 R 2 als Screening-Kriterium entfernt fälschlicherweise die niedrigen Flüsse, nicht die gestörten

4. Die falsche Anwendung von R 2 Effekt der ungeeigneten Anwendung linearer Regression auf die diurnale CO 2 -Bilanzierung: Flux exp /Flux lin = 1.5 !

4. Die falsche Anwendung von R 2 R 2 ist ein Maß für die durch ein Modell erklärte Streuung von Daten. R 2 allein ist jedoch kein geeignetes Maß um die Gültigkeit eines Modells zu beurteilen ! R 2 ist auch kein gutes Screening-Kriterium für Experimente hinsichtlich ihres Rauschens oder groben Störungen. Besser: RSME, Standardabweichung der Residuen, Reduktion der Varianz, Chi 2 -Tests, Akaike Information Criterion, F-Test zum Vergleich der Varianz der Residuen zweier Modelle, VC- Dimension Anwendung von als abgesichert gedachter linearer Regression kann zu starken Verzerrungen von C-Fluss- Bilanzierungen führen!

4. Die falsche Anwendung von R 2 Verschiedene Methoden: 1970er: Mikrometeorologische und Erntemethoden: Tundra C-Senke (keine lineare Regression involviert) 1980er: Haubemethode: Tundra C-Quelle (lineare Regression involviert) Wie aussagekräftig ist eine solche Studie ???

5. Abbildende versus erklärende Modelle – Ein schrittweises Verfahren zur Reduktion eines multiplen linearen Regressionsmodells zur Bestimmung von signifikanten unabhängigen Modellparametern Dimension des Modells: R adj, VC-Dimension Multicollinearitäts-Test t-Test ob Parameter signifikant <> 0 F-Test ob R 2 > 0 Statistik der Residuen: Autokorrelation, Homoskedastizität, Normalverteilung? Zeitverschiebungseffekte? Nichtlineare Effekte?

5. Abbildende versus erklärende Modelle – Ein schrittweises Verfahren zur Reduktion eines multiplen linearen Regressionsmodells zur Bestimmung von signifikanten unabhängigen Modellparametern

6. Zum Problem einer möglichen Zeitverschiebung zwischen Regressoren und Regressanden für Regressionsmodelle insbesondere für die Paläoumweltrekonstruktion 7. Zeit für Vertiefungen nach Bedarf

Grundsätzliche Gedanken zum Schluss: Am Anfang jeder Modellbildung sollten die Daten stehen, erst später sollten vorgefertigte deterministische Ideen einbezogen werden. Von Kochbuch-Statistik ist abzuraten. Die theoretischen Grundvorraussetzungen der Regressionsanalyse sind nicht nebensächlich ! Falsch angewendete Statistik kann zu stark verzerrten Ergebnissen führen. Die Einarbeitung in die mathematischen Grundlagen der Regressionsmethoden erlaubt eine bessere Beurteilung eigener und fremder Forschungsergebnisse.

Literaturtipp: C. Wunsch Extremes, Patterns, and Other Structures in Oceanographic and Climate Records. Aha Hulika'a Hawaiin Winter Workshop on Extreme Events. In press. My eye is better than any statistical test. Well-known paleoceanographer, circa pdf here:

S. McIntyre 2007: IPCC, 2007: Box 6.4