Zeitreihenanalyse WS 2004/2005 Michael Hauhs / Gunnar Lischeid Definition einer Zeitreihe, Eigenschafte Tests und Trenderkennung bei Zeitreihen Beispiele (ACF, Tests), Fouriertransformationen, Powerspektrum Zeitreihenmodellierung der ARMA-Klasse Modellierung von Zeitreihen mit langem Gedächtnis Nicht-lineare Methoden: Wiederkehrdiagramme Komplexität und Information von Zeitreihen Singuläre Systemanalyse (SSA) (?) Wavelets (?)

Informationsgehalt und Komplexität von Zeitreihen Fragen: Ökosystem (Modell) Was sind überhaupt Information und Komplexität einer Zeitreihe? Wieviel Information steckt in Zeitreihen? Gibt es “chaotischere” und weniger chaotische Systeme? Sind chaotische Attraktoren komplex? als geometrische Objekte ? Im Verhalten ? Was ist der Zusammenhang zwischen Chaos, Information, Zufälligkeit und Komplexität? Quantifizierung der Information einer Zeitreihe? In welchem Verhältnis stehen die Modell-Komplexität und die Daten-Komplexität? komplexe Struktur: Komplexität der Input-Zeitreihe: Komplexität der Output-Zeitreihe:

Information und Komplexität von Zeitreihen „Komplexitäts“-Maße Informationsmaße Komplexitätsmaße (Zufälligkeit, Unordnung, Maß erster Ordnung) (Maß für Struktur, Maß zweiter Ordnung) Komplexität Information Information Komplexität

Information und Diskretisierung Eine beliebig präzise Beschreibung einer einzelnen Trajektorie (unendlich viele unendlich genaue reelle Zahlen) verlangt unendlich viel Information / Speicher ist uninteressant (charakterisiert den Attraktor nicht). Information ist immer mit einer Diskretisierung verknüpft (abzählbare Zeitpunkte, endliche Genauigkeit) Wie systematisiert man das ungenaue Hinsehen? Wie wird man experimentellen Situationen gerecht?

Wertediskretisierung: Grundzüge der Symbolischen Dynamik M = { }, i=1,...,N sei eine gegebene Datenreihe mit (quasi-) kontinuierlichem Wertespektrum aus einem Zustandsraum X. Definition : Eine Partitionierung P einer Menge X ist eine endliche Familie von Teilmengen mit folgenden Eigenschaften: Disjunktheit: Vollständigkeit:

Statische & Dynamische Partitionierung statische Partitionierung (Transformation basiert auf Originalwerten) dynamische Partitionierung (Transformation anhand der 1. Ableitungen)

Diskretisierung - Partitionierung Eine Zeitreihe (unendlich viele unendlich genaue reelle Zahlen) verlangt unendlich viel Information (Speicher) ist uninteressant (charakterisiert die Struktur nicht) Information ist immer mit einer Diskretisierung verbunden ! (quasi-)kontinu- ierliche Zeitreihe statische Partitionierung (z.B. Median) z.B. binäres Alphabet Symbol  (0,1) Symbolfolge S (00000011100... )

Spezielle Partitionierungen Markov-Partitionierungen: Partitionierungsgrenzen werden auf sich selbst abgebildet generierende Partitionierungen: für unendlich lange Symbolsequenzen lässt sich der Anfangswert eindeutig (punktförmig) rekonstruieren. Die Partitionierung ist mit keinerlei Informationsverlust verbunden!

Abbildungen, für die eine generierende Partitionierung bekannt ist 1. Bernoulli-Abbildung ist generierend 2. Logistische Abbildung ist generierend 3. Dach-Abbildung ist generierend

Wörter und Verfeinerungen Zusammenfassungen von genau Symbolen hintereinander heissen l-Wörter: Mit Wörtern kann man Partitionierungen verfeinern: Verfeinerungen führen zu einer genaueren Rekonstruktion des Anfangswertes als die ursprüngliche Partitionierung

L-Wörter und Verfeinerungen Wort i Wort j Wortlänge L = 5 Symbol- folge S Verfeinerung der Partitionierung durch Vergrößerung der Wortlänge L Relative Häufigkeit eines L-Wortes (Programm SYMDYN)

Grundlagen aus der Informationstheorie Welche Information bietet ein neues Symbol? Ermittle Häufigkeit/Wahrscheinlichkeit der einzelnen Symbole: Information soll erfüllen: 1. Maximal bei Gleichverteilung 2. Unmögliches zählt nicht: 3. Subadditiv:

Shannon-Entropie Funktional bis auf Konstante eindeutig: I in Bits

Informationsgewinn Gij 000010101000 L = 5 Wort i Wort j Veranschaulichung aus der Nachrichtenübermittelung: kleiner Informationsgewinn (da „e“ sehr wahrscheinlich) „... so gestatten wir uns zum Abschluss dieser Erläuterung die spekulative Frage, ob das Kontinuum möglicherweise nur das Resultat eines Abstraktionsprozesses durch das menschliche Bewusstsein ist.“ großer Informationsgewinn (da nach „das_“ jeder mögliche Buchstabe kommen kann)

Wortübergangs-Wahrscheinlichkeiten Gij 000010101000 L = 5 Wort i Wort j N NL,i L 1 NL+1,j L+1 Übergangs-wahrscheinlichkeit NL+1, j NL, i Informationsgewinn

Information und Komplexität des Bernoulli-Prozesses Bernoulli-Prozess: gewichteter Münzwurf p : Wahrscheinlichkeit einer „0“ 1-p : Wahrscheinlichkeit einer „1“ als Maß für Zufälligkeit unabhängig von

MIG für den binären Bernoulli-Prozess Informationsmaß MIG 000010101000 Wort i Wort j Informationsgewinn Gij Information = Maß für Zufälligkeit MIG p(1) = p(0) = 1/2 p(1) = 0, p(0) = 1 MIG für den binären Bernoulli-Prozess mittlerer Informationsgewinn

Methoden zur Fehlerschätzung der Maße FC1 FC2 . . . FCn-1 FCn MIG1 MIG2 . . . MIGn-1 MIGn Bernoullikurve Standardabweichung (FCi) Standardabweichung (MIGi)

Blockentropien Verallgemeinerung: Entropie von l-Wörtern 1. Alle Zeichen sind unabhängig voneinander: 2. Die Sequenz ist p-periodisch: 3. Markov-Quelle k-ter Ordnung: Automatisches Anwachsen bei größeren Wörtern verhindern: metrische Entropie Quellentropie

Quantifizierung von Information Neuigkeitsgehalt Länge der kürzesten Beschreibung (Kolmogorow-“Komplexität“) (Nicht-) Komprimierbarkeit von Daten Beispiele für Informationsmaße: metrische Entropie mittlerer Informationsgewinn Die alternativen Konzepte haben sehr unterschiedlichen Status. Z.B. ist die Kolmogorow-“Komplexität“ (die ein Informationsmaß darstellt) eine prinzipiell unberechenbare Größe. Allerdings kann man obere Schranken angeben, am bekanntesten ist hier die Lempel-Ziv Komplexität. Renyí-Entropie speziell:

Zusammenhang zwischen Informationsmaßen Satz (Kolmogorov): wird maximal genau für generierende Partitionierungen Anzahl der vorkommenden Wörter: n ist hier der Alphabetumfang Anzahl der möglichen Wörter: McMillan Theorem:

Quantifizierung von Komplexität Komplexität: Schwierigkeit einer kompakten (einfachen, kurzen) Beschreibung Kaum veränderliche Symbolfolgen sind wenig komplex Ganz zufällige Datensätze lassen sich einfach beschreiben (Art des Rauschens, Mittelwert, Standardabweichung) und sind auch wenig komplex Stark strukturierte Signale mit zufälligen und nicht-zufälligen Anteilen sind komplex

Komplexitätsmaße Effektive Maßkomplexität: Geschwindigkeit des Informationszuwachses Fluktuationskomplexität: Schwankungen um den mittleren Netto-Informationsgewinn Renyí-Komplexität: 2.-Ordnung Verhalten durch Differenzen

FC für den binären Bernoulli-Prozess Komplexitätsmaß FC 000010101000 Wort i Wort j Informations verlust Lij Informations- gewinn Gij FC p(1) = p(0) = 1/2 p(1) = 0, p(0) = 1 FC für den binären Bernoulli-Prozess Information = Maß für Struktur Schwierigkeit einer kompakten (einfachen, kurzen) Beschreibung Fluktuationskomplexität

FC und Renyí-Komplexität Informations verlust Lij Informations- gewinn Gij Netto- Informations- gewinn = Gij - Lij Wort i 000010101000 Wort j p(1) = p(0) = 1/2 p(1) = 0, p(0) = 1 Binärer Bernoulli-Prozess: 01000110100100... RC(2) = RC(1) RC(4) FC Fluktuationskomplexität Rényi-Komplexität

Analytische Ergebnisse für Bernoulli Reihen 2 Information 1.8 Komplexität 1.6 1.4 1.2 Information/Komplexität 1 0.8 0.6 0.4 0.2 20 40 60 80 100 Zufälligkeit (%)

Der „MIG-FC Plot“ für Bernoulli

Renyi-Entropie für den Bernoulli-Prozess

Der Einfluss der Wortlänge auf MIG

Der Einfluss der Wortlänge auf FC

Logistische Abbildung: Mittlerer Informationsgewinn

Logistische Abbildung: Renyí-Komplexität

Wie universell ist das Abflussverhalten?

Complexity Yaneer Bar-Yam (1997) in Dynamics of Complex Systems: „Complex System“ is a new approach to science, which studies how relationships between parts give rise to collective behaviours of a system and how the system interacts and forms relationships with its environment.”