Entwicklung von Simulationsmodellen WS 2007/08 Dr. Falk-Juri Knauft Mittwoch 9.15 Uhr – 10.00 Uhr S25 Praktikum zur Entwicklung von Simulationsmodellen:

Präsentation zum Thema: "Entwicklung von Simulationsmodellen WS 2007/08 Dr. Falk-Juri Knauft Mittwoch 9.15 Uhr – 10.00 Uhr S25 Praktikum zur Entwicklung von Simulationsmodellen:"—  Präsentation transkript:

1 Entwicklung von Simulationsmodellen WS 2007/08 Dr. Falk-Juri Knauft Mittwoch 9.15 Uhr – 10.00 Uhr S25 Praktikum zur Entwicklung von Simulationsmodellen: Mittwoch 14.00 Uhr – 17.00 Uhr GEO CIP-Pool Modul: 22a http://www.bayceer.uni-bayreuth.de/mod/html/ws0708/geooekologie/simulationsmodelle

2 Entwicklung von Simulationsmodellen WS 2007/2008 – Überblick I 17.10.2007 Einführung, Ziele, Definition System, Model 24.10.2007Systemanalyse vs. –simulation, Zustandsbeschreibung 31.10.2007Diskretisierung, Auswertung der Excel-Simulation 07.11.2007Programmierparadigmen 14.11.2007 Klassische Wachstumsmodelle 21.11.2007 Stabilität 28.11.2007 Delay, Delay-Modellanwendung Klee-Weidelgras 05.12.2007 Weltmodell nach Forrester 12.12.2007 Modell-Validierung http://www.bitoek.uni-bayreuth.de/mod/html/ws0708/geooekologie/simulationsmodelle http://www.bayceer.uni-bayreuth.de/mod/html/ws0708/geooekologie/simulationsmodelle

3 Darzustellendes System (Mathematisches) physikalisches Modell (numerisches) diskretisiertes Modell Approximative Lösungen Bewertung Abstraktion/Modellierung Diskretisierung Simulationen Messungen am Zielsystem Auswertung, "Postprocessing" Validierung (Konsistenz?)

4 Modellvalidierung -> wird manchmal mit Wahrheit verwechselt Empiriker fordern, dass M. validiert werden müssen. Modellierer geben an, dass ihre M. validiert werden, falls sie mit Felddaten verglichen werden. E.J. Rykiel (1996): Testing ecological models: the meaning of validation. Ecological Modelling 90(1996) 229-244 notwendig oder unmöglich V. oder Falsifizierung Bestandteil der M.bildung oder Test nach Abschluss Als statistische Analyse oder als Test einer Hypothese Auch als Übung in formaler Logik Die Ausgangslage

5 Modellvalidierung Ist eine V. möglich? Gibt es universelle Kriterien für eine M.-V.? Zu welchen Anteilen liegen die unterschiedlichen Meinungen an wissenschaftlichen und zu welchen an philosophischen Differenzen? Können diese Differenzen objektiv gelöst werden? E.J. Rykiel (1996): Testing ecological models: the meaning of validation. Ecological Modelling 90(1996) 229-244 Ist das M. für den Zweck zu dem es geschaffen wurde geeignet? Wie gut sind Ergebnisse des M. auf die reale Welt übertragbar? Validierung Wissenschaftlicher Test von Hypothesen Die Problemstellung

6 Modellvalidierung Operationale V. z.B. statist. Tests zum Vergleich von simuliertem und realem Verhalten, ohne Bewertung der wissenschaftlich oder technisch korrekten Wiedergabe der Ursache-Wirkung Beziehungen Konzept-V. Test, ob Theorien und Annahmen korrekt oder zumindest zu rechfertigen und Struktur, Logik, mathematische oder kausale Beziehungen für den M.zweck sinnvoll sind Erfordert eine wissensch. akzeptable Begründung der modellierten Ursache-Wirkungs-Beziehungen sowie Rechfertigungen für Vereinfachungen bekannter oder vermutete Prozesse K.-V., als akzeptable Rechtfertigung des wissensch. Gehalts eines Modells garantiert noch keine Prognosefähigkeit! E.J. Rykiel (1996): Testing ecological models: the meaning of validation. Ecological Modelling 90(1996) 229-244 Validierungskonzepte I:

7 Modellvalidierung Daten-Validierung Daten sind kein perfekter Test für die Bewertung eines M.! Es kann nicht angenommen werden, dass Daten das reale System genau repräsentieren! Von Computer-Simulationen kann nicht erwartet werden, dass sie genauere Ergebnisse liefern, als Messwerte verfügbar sind. Oder Computer-Simulationen sind bessere Repräsentationen der Realität als ungenaue Messdaten. E.J. Rykiel (1996): Testing ecological models: the meaning of validation. Ecological Modelling 90(1996) 229-244 Validierungskonzepte II:

8 Modellvalidierung -Angesichts-V. Experten begutachten das M. angesichts des Modellzwecks. Indikatoren für eine hohe A.-V. sind lange Existenz und große Verbreitung eines M. -Turing-Test Experten werden befragt, ob sie Daten des M. und des realen Systems unterscheiden können; oft auch in Kombination mit Visualisierungstechniken. -Visualisierungstechniken Zeitreihengraphen, Phasendiagramme und andere Darstellungen dienen dem Vergleich von realem und simulierten System. Bewertung meist subjektiv. -Vergleich mit anderen M. Vergleich des Outputs mit dem anderer M. (z.B. Standard bei Klima-M.) E.J. Rykiel (1996): Testing ecological models: the meaning of validation. Ecological Modelling 90(1996) 229-244 Validierungsverfahren I:

9 Modellvalidierung -Interne V. Ein Input-Datensatz (Anfangsbedingungen, Parameter, etc.) erzeugt immer wieder konsistente Ergebnisse (meist bei stochastischen M.) -Ereignis-V. Vergleich von Auftreten, Zeitpunkt und Stärke von Ereignissen als qualitative Bewertung der M.-Dynamik -Validierung an historische Daten Während ein Teil der Daten als Kalibrierungs-Datensatz dient, fungiert der andere zum Test (Datasplitting) -Test an Extrem-Bedingungen Struktur und Ergebnisse des M. sollen auch für unwahrscheinliche Kombinationen sinnvoll, unmögliches Verhalten soll abgefangen sein. E.J. Rykiel (1996): Testing ecological models: the meaning of validation. Ecological Modelling 90(1996) 229-244 Validierungsverfahren II:

10 Modellvalidierung -Tracing Spezifische Variablen werden durch die Simulation verfolgt, um das Verhalten und die Präzision zu beobachten. -Sensitivitäts-Analyse Das Verhalten sollte wie im realen System sein, Parameter mit dem größten Einfluss müssen am genauesten bestimmt werden. -Multiphasen-Validierung V. während der Entwicklung des M.: Design auf Basis von Theorien, Beobachtung, Wissen oder Eingebung; Empirische Tests während der Implementation; Vergleich der M.-Ergebnisse mit realen Daten E.J. Rykiel (1996): Testing ecological models: the meaning of validation. Ecological Modelling 90(1996) 229-244 Validierungsverfahren III:

11 Modellvalidierung -Vorhersage-Validierung Vorhersagen dienen als Bewertungsgrundlage. Die Daten können aus nichtverwendeten Quellen oder neu gemessen sein. Oft als Hypothesen-Test angesehen. -Statistische Validierung Test auf: statistische Eigenschaften der M.-Ergebnisse Fehler der Ergebnisse innerhalb akzeptabler Grenzen besten statistischen Fit von verschiedenen Modellen E.J. Rykiel (1996): Testing ecological models: the meaning of validation. Ecological Modelling 90(1996) 229-244 Validierungsverfahren IV:

12 Modellvalidierung Skalenabhängigkeit Validierung in der Regel für spezifische zeitliche oder räumliche Skala! E.J. Rykiel (1996): Testing ecological models: the meaning of validation. Ecological Modelling 90(1996) 229-244 Wenn ein V.-Test fehl schlägt? Rekalibrierung Modifizierung von Struktur oder Konzept Begrenzung der Anwendung auf engeres Gebiet Modell wird als invalid erklärt Muss nicht falsch sein, evt. nur unvollständig

13 Modellvalidierung M. können für pragmatische Zwecke validiert werden, während theoretische V. immer vorläufig ist. V. kann, unabhängig vom Ausgang, eine nützliche M.bewertung sein. Es existieren zu wenig V.kriterien oder –standards. Die Angst ein M. zu falsifizieren bremst die Entwicklung. V. ist kein notwendiger Bestandteil der M.entwicklung, ist aber wichtig für die Glaubwürdigkeit des M. bei den Nutzern. E.J. Rykiel (1996): Testing ecological models: the meaning of validation. Ecological Modelling 90(1996) 229-244 Das Fazit