Zeitreihenanalyse WS 2004/2005 Michael Hauhs / Gunnar Lischeid Definition einer Zeitreihe, Eigenschafte Tests und Trenderkennung bei Zeitreihen Beispiele (ACF, Tests), Fouriertransformationen, Powerspektrum Zeitreihenmodellierung der ARMA-Klasse Modellierung von Zeitreihen mit langem Gedächtnis Nicht-lineare Methoden: Wiederkehrdiagramme Komplexität und Information von Zeitreihen Singuläre Systemanalyse (SSA) (?) Wavelets (?)

Modellklassen in der S-NL Ebene Nichtlinearität 1/f Chaos ? Edge of chaos Hidden Markov ? ? ? ? ? ? NLARMA ? Stabilitätsanalyse ? Schwingungen ARMA Stochastizität

Zeitreihen als Ergebnis von Messungen an dynamischen Systemen Skalare (univariate) Zeitreihe als 1-d Projektion aus multidimensionaler Dynamik Nicht einzelne Trajektorien, sondern topologische Eigenschaften von Trajektorienensembles werden untersucht („Anfangsbedingungen sind irrelevant“) Stabilitätsanalyse liefert mögliches Verhalten: - instabil/explodierend ("runaway solutions") - Fixpunkt - periodisches Verhalten - Grenzzyklus - Kompakte Mengen: Attraktoren - (falls nicht kompakt: ergodische Systeme)

Kurze Einführung in dynamische Systeme Untersucht wird das typische Langzeitverhalten (unabhängig von den Details der Anfangsbedingungen) Dynamische Systeme werden im Zustandsraum beschrieben Ausgangspunkt sind i.d.R. deterministische Systeme Zwei Klassen: - Kontinuierliche Systeme: DGL 1. Ordnung - Diskrete Systeme : Iterationsgleichungen Stochastisches Chaos ist ein nicht wirklich verstandenes Phänomen. Die inzwischen „klassischen“ Verfahren zur Charakterisierung chaotischer Systeme beziehen sich alle auf das deterministische Chaos.

Diskrete dynamische Systeme, Attraktoren, Einbettung Autonomes dynamisches System im Zustandsraum: Die Menge der asymptotischen Trajektorien ist der Attraktor des Systems (Dimension D) Takens Theorem (1983): Beobachtung einer Zustandsvariablen und Bildung von Einbettungsvektoren liefert eine treue Abbildung des Attraktors, falls

Stabilität von dynamischen Systemen Ein n-dimensionales dynamisches System sei gegeben: Eine Menge von stationären Punkten sei gefunden: Wohin führen kleine Abweichungen? Linearisierung : d.h. Lineare DGL 1. Ordnung!

Lösung der Stabilitätsgleichung Wohin geht die Reise? Satz (Lyapunov): Haben die Eigenwerte der Matrix alle negativen Realteil, ist das System bei stabil. Gibt es einen Eigenwert mit positivem Realteil, ist das System instabil. Ist der größte Realteil = 0, liegt ein Zentrum vor.

Quantifizierung von Chaos: der kontinuierliche Fall Man betrachtet -Kugeln um einen Punkt zum Zeitpunkt 0: Die Kugeln verformen sich zu späteren Zeiten zu Ellipsoiden mit Hauptachsen . Dann lassen sich die Lyapunov-Exponenten des Systems so ermitteln: (Zeitmittel) (für ergodische Systeme nicht vom Ort abhängig)

Definition des Lyapunov-Exponenten Mittlere Divergenzrate Lyapunov-Exponent Ergodische Systeme: hängt nicht vom Ort ab kontrahierend/expandierend: Def.: Ein System ist chaotisch Verallgemeinerung auf k Dimensionen: k Lyapunov-Exponenten aus den Eigenwerten der Jakobi-Matrix Chaos! Falls mindestens einer

(A) Segment of the phase space trajectory of the Lorenz system (for standard parameters r=28, σ=10, b=8/3; Lorenz 1963) by using its three components and (B) its corresponding recurrence plot. A point of the trajectory at j which falls into the neighbourhood (gray circle in (A)) of a given point at i is considered as a recurrence point (black point on the trajectory in (A)). This is marked with a black point in the RP at the location (i, j). A point outside the neighbourhood (small circle in (A)) causes a white point in the RP. The radius of the neighbourhood for the RP is ε=5. http://www.agnld.uni-potsdam.de/~marwan/rp/glance.php (A) Segment of the phase space trajectory of the Lorenz system (for standard parameters r=28, σ=10, b=8/3; Lorenz 1963) by using its three components and (B) its corresponding recurrence plot. A point of the trajectory at j which falls into the neighbourhood (gray circle in (A)) of a given point at i is considered as a recurrence point (black point on the trajectory in (A)). This is marked with a black point in the RP at the location (i, j). A point outside the neighbourhood (small circle in (A)) causes a white point in the RP. The radius of the neighbourhood for the RP is ε=5.

Fraktale und Selbstähnlichkeit Kennzeichen eines Fraktals ist immer die nicht-ganzzahlige Dimension Es gibt nicht-selbstähnliche Fraktale Nicht jede selbstähnliche Struktur ist ein Fraktal (Gegenbeispiele: Strecke, Quadrat, Würfel) Selbstähnliche Strukturen, bei der die Anzahl der Teile nicht skaliert wie ihre topologische (ganzzahlige!) Dimension, sind Fraktale

Die Technik der Wiederkehrdiagramme Zeitreihe {x(ti)} der Länge N liegt vor Konstruktion von Einbettungsvektoren Abstandsberechnung (für eine geeignete Norm p) Die Matrix R heisst Wiederkehrmatrix von {x(ti)} Der Punkt (i,j) heisst wiederkehrend, falls Parameter: Einbettungsdimension m , Verzögerung , Schwellenwertradius r Wiederkehrdiagramme (RPs): farbkodierte Visualisierungen von R

Anzahl der Nachbarn abhängig von der Dimension Aus D. Haug (2001) Diplomarbeit In Räume geringer Dimension muss projeziert werden, da liegen Punkte nebeneinander (wie die Gürtelsterne des Orion), die in Wirklichkeit sehr weit entfernt sind, das merkt man, wenn man die vorher fehlenden Dimensionen berücksichtigt. Diesen Test macht man mit möglichst vielen Punkten auf dem Attraktor. Bei deterministischen (oder nicht zu stark verrauschten experimentellen) Zeitreihen geht die Anzahl der falschen Nachbarn mit steigender Dimension gegen Null. Grundsätzlich gilt, dass der Fehler, m zu groß zu wählen, ist kleiner ist als der, m zu klein zu wählen

Versuch zur Ermittlung optimaler Parameter Teil 1: Ermittlung des optimalen Schwellenwertes r Bestimmung der Wiederkehrpunkte RP als Funktion des Radius Berechnung des Zuwachses Maximum beim Überschreiten des „noise floors“ danach Plateau? Wähle Beginn des Plateaus kein Plateau? dann halber Wert des Maximums Faustregel: RP ca. 30-50%

Kriterium zur Ermittlung des optimalen Schwellwert-Radius Das Maximum bei kleinen Radien ist das Erreichen des „noise floors“. Die Empfehlung ist, den Radius rechts vom Maximum zu nehmen, bei dem der halbe Wert des maximalen dRP/dr erreicht wird. Das ist oft gleichbedeutend mit einem RP von 30-50%, sodass man auch diesen Wert als groben Anhaltspunkt nehmen kann, das ist einfacher.

Versuch zur Ermittlung optimaler Parameter II Teil 2: Ermittlung des Delays Der Attraktor sollte nicht zu dicht „abgetastet“ werden Aufeinanderfolgende Einbettungsvektoren sollten nicht zu stark autokorreliert sein Ermittlung der ersten Nullstelle der Autokorrelation (linear) oder des ersten Minimums der wechselseitigen Information (nichtlinear) Wahl des Delays dort in der Nähe

Versuch zur Ermittlung optimaler Parameter III Teil 3: Ermittlung der Einbettungsdimension Bestimme zu jedem Vektor seinen nächsten Nachbarn Bestimme den Abstand der Werte zum nächsten Zeitpunkt: Bestimme den Abstand im Originaldatensatz: („trivialer Prädiktor“) Ist , zählt als „falscher“ (zufälliger) Nachbar Wähle die Einbettungsdimension mit der geringsten Zahl von falschen Nachbarn

Beispiel für falsche Nachbarn Aus M. Seger (2002) Diplomarbeit

Wiederkehrdiagramme und ihre Quantifizierung (RQA) „Optische Eindrücke objektivieren“ relative Anzahl der Wiederkehrpunkte (in Fenstern) Deterministische Anteile sind an Linien unterschiedlicher Länge parallel zur Hauptdiagonalen erkennbar: In (AR(1)-Modell) ist mit der Linienlänge korreliert Kurze Linien werden als zufällig angesehen (Festlegung einer minimalen Linienlänge) Verteilung der Linienlängen über Shannon-Entropie quantifiziert Recurrence Quantification Analysis

Wiederkehrdiagramme und ihre Quantifizierung (Fortsetzung) Die jeweils längste Linie ist mit dem höchsten Lyapunov-Exponenten invers korreliert Abnahme der Wiederkehrpunkte nach aussen ( Trend ) Verallgemeinerung: Kreuzwiederkehrdiagramme zwei unterschiedliche Datenreihen auf einheitlichen Wertebereich skalieren (z.B. [0,1]) Quantifizierung so wie vorher

Typische Muster in Wiederkehr-diagrammen: A: Zufällig B: Periodisch C: Trend D: Unterbrochen http://www.agnld.uni-potsdam.de/~marwan/rp/index.php?a=glance Characteristic typology of recurrence plots: (A) homogeneous (uniformly distributed noise), (B) periodic (super-positioned harmonic oscillations), (C) drift (logistic map corrupted with a linearly increasing term) and (D) disrupted (Brownian motion). These examples illustrate how different RPs can be. The used data have the length 400 (A, B, D) and 150 (C), respectively; no embeddings are used; the thresholds are ε=0.2 (A, C, D) and ε=0.4 (B). http://www.agnld.uni-potsdam.de/~marwan/rp/index.php?a=glance

http://www.agnld.uni-potsdam.de/~marwan/rp/index.php?a=glance http://www.agnld.uni-potsdam.de/~marwan/rp/index.php?a=glance

Vergleich: lineare Methoden und Wiederkehrdiagramm Physics Letters A 302 (2002) 299–307 Fig. 2. Cross recurrence plot for two delayed sine functions (Fig. 1) with an embedding of m = 3, τ = π/2 and ε = 1.5. The diagonal lines in the CRP result from similar phase space behaviour of both functions. Signal to noise ratio = 0,5 und 100 Punkte pro Periode, pi/2 verschoben gegeneinander N. Marwan und Kurths (2002)

Vergleich: lineare Methoden und Wiederkehrdiagramm Physics Letters A 302 (2002) 299–307 Fig. 3. Cross-correlation (A), RR (B), DET (C) and L (D) for two delayed sine functions. L has the unit of time. The solid black lines show positive relation, the dashed lines show negative relation. The dash-dotted line in (A) marks the 5% confidence interval. All functions (A)–(D) detect the correlation after a lag of π/2. N. Marwan und Kurths (2002)

Vergleich mit komplexeren Modell: AR(1) gekoppelt mit dem Lorenz-System (n=8000) : yn = 0.86yn-1 + 0.500ξn + κxn2 Physics Letters A 302 (2002) 299–307 Das machen sie für die Koppelungskonstante kappa in (0,3) 500 mal (hier nur eine Realisation gezeigt. We consider linear correlated noise (autoregressive process), which is nonlinearly coupled with the x-component of the Lorenz system x(t) (solved with an ODE solver for the standard parameters σ = 10, r = 28, b = 8/3 and a time resolution of ∆t = 0.01, [17,18]).We use a first order autoregressive process yn and force it with the squared x-component (6) yn = 0.86yn−1 + 0.500ξn + κx2 n, where ξ is Gaussian white noise and xn (x(t)→xn, t = n∆t ) is normalized to standard deviation σ = 1 (Fig. 4). The data length is 8000 points. Fig. 4. (B) Time series of a nonlinear related system consisting of a driven first order autoregressive process, forced by the squared (A) x-component of the Lorenz system (κ = 0.2). The major periods (frequencies) are 2.9 (0.34) and 1.1 (0.94) for x (C) and 0.77 (1.30) and 0.96 (1.05) for y (D). N. Marwan und Kurths (2002)

Vergleich mit komplexeren Modell: AR(1) gekoppelt mit dem Lorenz-System (n=8000) : yn = 0.86yn-1 + 0.500ξn + κxn2 Die lineare Methode (Kreuzkorrelation) versagt Physics Letters A 302 (2002) 299–307 Das machen sie für die Koppelungskonstante kappa in (0,3) 500 mal (hier nur eine Realisation gezeigt. Determismus ist insgesamt hoch! Fig. 4. (B) Time series of a nonlinear related system consisting of a driven first order autoregressive process, forced by the squared (A) x-component of the Lorenz system (κ = 0.2). The major periods (frequencies) are 2.9 (0.34) and 1.1 (0.94) for x (C) and 0.77 (1.30) and 0.96 (1.05) for y (D). Fig. 7. RR (A), (B), DET (C), (D) and L (E), (F) for the forced autoregressive process and the forcing function (L has the unit of time). The solid lines show positive relation, the dashed lines show negative relation. The gray bands mark the 2σ margin of the distributions of the measures gained from the 500 realizations; only the 2σ margins for RR+, DET+ and L+ are shown. RR+/L+ and RR/L. have clear maxima for a lag about 0.05, RR and L. have additionally maxima at 0.4 and 0.3, which is the similar behaviour as the mutual information. The dependence from the coupling strength κ is slightly different. Whereas RR increases rather fast with growing κ (B), DET increases slower (D) and L increases much slower (F) with growing κ. Since the maxima occur for RR+, DET+ and L+. as well as for RR, DET and L., the found relation is of the kind of an even function. Wechselseitige Information („mutual information“): ( 2 ) Hierbei ist die bedingte Wahrscheinlichkeit dafür, den Wert nach einer Zeit  zu finden, wenn zum Zeitpunkt der Wert vorliegt. Es ist offensichtlich, dass Gleichung 2 eine Verallgemeinerung der Autokorrelation darstellt. N. Marwan und Kurths (2002)