Zeitreihenanalyse WS 2004/2005

Präsentation zum Thema: "Zeitreihenanalyse WS 2004/2005"—  Präsentation transkript:

1 Zeitreihenanalyse WS 2004/2005
Michael Hauhs / Gunnar Lischeid Definition einer Zeitreihe, Eigenschafte Tests und Trenderkennung bei Zeitreihen Beispiele (ACF, Tests), Fouriertransformationen, Powerspektrum Zeitreihenmodellierung der ARMA-Klasse Modellierung von Zeitreihen mit langem Gedächtnis Nicht-lineare Methoden: Wiederkehrdiagramme Komplexität und Information von Zeitreihen Singuläre Systemanalyse (SSA) (?) Wavelets (?)

2 Informationsgehalt und Komplexität von Zeitreihen
Fragen: Ökosystem (Modell) Was sind überhaupt Information und Komplexität einer Zeitreihe? Wieviel Information steckt in Zeitreihen? Gibt es “chaotischere” und weniger chaotische Systeme? Sind chaotische Attraktoren komplex? als geometrische Objekte ? Im Verhalten ? Was ist der Zusammenhang zwischen Chaos, Information, Zufälligkeit und Komplexität? Quantifizierung der Information einer Zeitreihe? In welchem Verhältnis stehen die Modell-Komplexität und die Daten-Komplexität? komplexe Struktur: Komplexität der Input-Zeitreihe: Komplexität der Output-Zeitreihe:

3 Information und Komplexität von Zeitreihen
„Komplexitäts“-Maße Informationsmaße Komplexitätsmaße (Zufälligkeit, Unordnung, Maß erster Ordnung) (Maß für Struktur, Maß zweiter Ordnung) Komplexität Information Information Komplexität

4 Information und Diskretisierung
Eine beliebig präzise Beschreibung einer einzelnen Trajektorie (unendlich viele unendlich genaue reelle Zahlen) verlangt unendlich viel Information / Speicher ist uninteressant (charakterisiert den Attraktor nicht). Information ist immer mit einer Diskretisierung verknüpft (abzählbare Zeitpunkte, endliche Genauigkeit) Wie systematisiert man das ungenaue Hinsehen? Wie wird man experimentellen Situationen gerecht?

5 Wertediskretisierung: Grundzüge der Symbolischen Dynamik
M = { }, i=1,...,N sei eine gegebene Datenreihe mit (quasi-) kontinuierlichem Wertespektrum aus einem Zustandsraum X. Definition : Eine Partitionierung P einer Menge X ist eine endliche Familie von Teilmengen mit folgenden Eigenschaften: Disjunktheit: Vollständigkeit:

6 Statische & Dynamische Partitionierung
statische Partitionierung (Transformation basiert auf Originalwerten) dynamische Partitionierung (Transformation anhand der 1. Ableitungen)

7 Diskretisierung - Partitionierung
Eine Zeitreihe (unendlich viele unendlich genaue reelle Zahlen) verlangt unendlich viel Information (Speicher) ist uninteressant (charakterisiert die Struktur nicht) Information ist immer mit einer Diskretisierung verbunden ! (quasi-)kontinu- ierliche Zeitreihe statische Partitionierung (z.B. Median) z.B. binäres Alphabet Symbol  (0,1) Symbolfolge S ( )

8 Spezielle Partitionierungen
Markov-Partitionierungen: Partitionierungsgrenzen werden auf sich selbst abgebildet generierende Partitionierungen: für unendlich lange Symbolsequenzen lässt sich der Anfangswert eindeutig (punktförmig) rekonstruieren. Die Partitionierung ist mit keinerlei Informationsverlust verbunden!

9 Abbildungen, für die eine generierende Partitionierung bekannt ist
1. Bernoulli-Abbildung ist generierend 2. Logistische Abbildung ist generierend 3. Dach-Abbildung ist generierend

10 Wörter und Verfeinerungen
Zusammenfassungen von genau Symbolen hintereinander heissen l-Wörter: Mit Wörtern kann man Partitionierungen verfeinern: Verfeinerungen führen zu einer genaueren Rekonstruktion des Anfangswertes als die ursprüngliche Partitionierung

11 L-Wörter und Verfeinerungen
Wort i Wort j Wortlänge L = 5 Symbol- folge S Verfeinerung der Partitionierung durch Vergrößerung der Wortlänge L Relative Häufigkeit eines L-Wortes (Programm SYMDYN)

12 Grundlagen aus der Informationstheorie
Welche Information bietet ein neues Symbol? Ermittle Häufigkeit/Wahrscheinlichkeit der einzelnen Symbole: Information soll erfüllen: 1. Maximal bei Gleichverteilung 2. Unmögliches zählt nicht: 3. Subadditiv:

13 Shannon-Entropie Funktional bis auf Konstante eindeutig:
I in Bits

14 Informationsgewinn Gij
L = 5 Wort i Wort j Veranschaulichung aus der Nachrichtenübermittelung: kleiner Informationsgewinn (da „e“ sehr wahrscheinlich) „... so gestatten wir uns zum Abschluss dieser Erläuterung die spekulative Frage, ob das Kontinuum möglicherweise nur das Resultat eines Abstraktionsprozesses durch das menschliche Bewusstsein ist.“ großer Informationsgewinn (da nach „das_“ jeder mögliche Buchstabe kommen kann)

15 Wortübergangs-Wahrscheinlichkeiten
Gij L = 5 Wort i Wort j N NL,i L 1 NL+1,j L+1 Übergangs-wahrscheinlichkeit NL+1, j NL, i Informationsgewinn

16 Information und Komplexität des Bernoulli-Prozesses
Bernoulli-Prozess: gewichteter Münzwurf p : Wahrscheinlichkeit einer „0“ 1-p : Wahrscheinlichkeit einer „1“ als Maß für Zufälligkeit unabhängig von

17 MIG für den binären Bernoulli-Prozess
Informationsmaß MIG Wort i Wort j Informationsgewinn Gij Information = Maß für Zufälligkeit MIG p(1) = p(0) = 1/2 p(1) = 0, p(0) = 1 MIG für den binären Bernoulli-Prozess mittlerer Informationsgewinn

18 Methoden zur Fehlerschätzung der Maße
FC1 FC FCn-1 FCn MIG1 MIG MIGn-1 MIGn Bernoullikurve Standardabweichung (FCi) Standardabweichung (MIGi)

19 Blockentropien Verallgemeinerung: Entropie von l-Wörtern
1. Alle Zeichen sind unabhängig voneinander: 2. Die Sequenz ist p-periodisch: 3. Markov-Quelle k-ter Ordnung: Automatisches Anwachsen bei größeren Wörtern verhindern: metrische Entropie Quellentropie

20 Quantifizierung von Information
Neuigkeitsgehalt Länge der kürzesten Beschreibung (Kolmogorow-“Komplexität“) (Nicht-) Komprimierbarkeit von Daten Beispiele für Informationsmaße: metrische Entropie mittlerer Informationsgewinn Die alternativen Konzepte haben sehr unterschiedlichen Status. Z.B. ist die Kolmogorow-“Komplexität“ (die ein Informationsmaß darstellt) eine prinzipiell unberechenbare Größe. Allerdings kann man obere Schranken angeben, am bekanntesten ist hier die Lempel-Ziv Komplexität. Renyí-Entropie speziell:

21 Zusammenhang zwischen Informationsmaßen
Satz (Kolmogorov): wird maximal genau für generierende Partitionierungen Anzahl der vorkommenden Wörter: n ist hier der Alphabetumfang Anzahl der möglichen Wörter: McMillan Theorem:

22 Quantifizierung von Komplexität
Komplexität: Schwierigkeit einer kompakten (einfachen, kurzen) Beschreibung Kaum veränderliche Symbolfolgen sind wenig komplex Ganz zufällige Datensätze lassen sich einfach beschreiben (Art des Rauschens, Mittelwert, Standardabweichung) und sind auch wenig komplex Stark strukturierte Signale mit zufälligen und nicht-zufälligen Anteilen sind komplex

23 Komplexitätsmaße Effektive Maßkomplexität:
Geschwindigkeit des Informationszuwachses Fluktuationskomplexität: Schwankungen um den mittleren Netto-Informationsgewinn Renyí-Komplexität: 2.-Ordnung Verhalten durch Differenzen

24 FC für den binären Bernoulli-Prozess
Komplexitätsmaß FC Wort i Wort j Informations verlust Lij Informations- gewinn Gij FC p(1) = p(0) = 1/2 p(1) = 0, p(0) = 1 FC für den binären Bernoulli-Prozess Information = Maß für Struktur Schwierigkeit einer kompakten (einfachen, kurzen) Beschreibung Fluktuationskomplexität

25 FC und Renyí-Komplexität
Informations verlust Lij Informations- gewinn Gij Netto- Informations- gewinn = Gij - Lij Wort i Wort j p(1) = p(0) = 1/2 p(1) = 0, p(0) = 1 Binärer Bernoulli-Prozess: RC(2) = RC(1) RC(4) FC Fluktuationskomplexität Rényi-Komplexität

26 Analytische Ergebnisse für Bernoulli Reihen
2 Information 1.8 Komplexität 1.6 1.4 1.2 Information/Komplexität 1 0.8 0.6 0.4 0.2 20 40 60 80 100 Zufälligkeit (%)

27 Der „MIG-FC Plot“ für Bernoulli

28 Renyi-Entropie für den Bernoulli-Prozess

29 Der Einfluss der Wortlänge auf MIG

30 Der Einfluss der Wortlänge auf FC

31 Logistische Abbildung: Mittlerer Informationsgewinn

32 Logistische Abbildung: Renyí-Komplexität

33 Wie universell ist das Abflussverhalten?

34 Complexity Yaneer Bar-Yam (1997) in Dynamics of Complex Systems: „Complex System“ is a new approach to science, which studies how relationships between parts give rise to collective behaviours of a system and how the system interacts and forms relationships with its environment.”