Präsentation herunterladen
Die Präsentation wird geladen. Bitte warten
1
Fundamentalräume einer Matrix
/ SES.125 Parameterschätzung Fundamentalräume einer Matrix Torsten Mayer-Gürr
2
Übungsprogramm
3
Wissenschaftlicher Text
Formeln gehören zum Satz (mit Satzzeichen) Nummerierung der Formeln Variablen kursiv
4
Formeln: Multiplikation
Falsch: Richtig (aber nicht gut): Schön:
5
Lesbare Achsenbeschriftung
Diagramme Legende Kräftige Farben Einheiten Lesbare Achsenbeschriftung
6
Sehr leicht zu übersehen
Diagramme Sehr leicht zu übersehen Kaum sichtbare Linie Schrift zu klein
7
Choleskyzerlegung
8
Choleskyzerlegung Choleskyzerlegung: Algorithmus:
Zerlegung einer symmetrischen positiv definiten Matrix N: mit der oberen Dreiecksmatrix W Algorithmus: for i=1:n for k=1:i-1 Nii=Nii–Nki*Nki end Nii=sqrt(Nii) for j=i+1:n Nij=Nij–Nki*Nkj for k=i+1:n Nik=Nik/Nii Die Berechnung der Choleskyzerlegung benötigt ca. ca Multiplikationen und kann am Platz ausgeführt werden. Der Algorithmus ist numerisch stabil. Die Choleskyzerlegung ist ca. 3 mal schneller als die Inverse
9
Choleskyzerlegung Algorithmus: for i=1:n for k=1:i-1 Nii=Nii–Nki*Nki
end Nii=sqrt(Nii) for j=i+1:n Nij=Nij–Nki*Nkj for k=i+1:n Nik=Nik/Nii
10
Choleskyzerlegung Algorithmus: for i=1:n for k=1:i-1 Nii=Nii–Nki*Nki
end Nii=sqrt(Nii) for j=i+1:n Nij=Nij–Nki*Nkj for k=i+1:n Nik=Nik/Nii
11
Choleskyzerlegung Algorithmus: for i=1:n for k=1:i-1 Nii=Nii–Nki*Nki
end Nii=sqrt(Nii) for j=i+1:n Nij=Nij–Nki*Nkj for k=i+1:n Nik=Nik/Nii
12
Choleskyzerlegung Algorithmus: for i=1:n for k=1:i-1 Nii=Nii–Nki*Nki
end Nii=sqrt(Nii) for j=i+1:n Nij=Nij–Nki*Nkj for k=i+1:n Nik=Nik/Nii
13
Choleskyzerlegung Algorithmus: for i=1:n for k=1:i-1 Nii=Nii–Nki*Nki
end Nii=sqrt(Nii) for j=i+1:n Nij=Nij–Nki*Nkj for k=i+1:n Nik=Nik/Nii
14
Choleskyzerlegung Algorithmus: for i=1:n for k=1:i-1 Nii=Nii–Nki*Nki
end Nii=sqrt(Nii) for j=i+1:n Nij=Nij–Nki*Nkj for k=i+1:n Nik=Nik/Nii
15
Choleskyzerlegung Algorithmus: for i=1:n for k=1:i-1 Nii=Nii–Nki*Nki
end Nii=sqrt(Nii) for j=i+1:n Nij=Nij–Nki*Nkj for k=i+1:n Nik=Nik/Nii
16
Choleskyzerlegung Algorithmus: for i=1:n for k=1:i-1 Nii=Nii–Nki*Nki
end Nii=sqrt(Nii) for j=i+1:n Nij=Nij–Nki*Nkj for k=i+1:n Nik=Nik/Nii
17
Choleskyzerlegung Algorithmus: for i=1:n for k=1:i-1 Nii=Nii–Nki*Nki
end Nii=sqrt(Nii) for j=i+1:n Nij=Nij–Nki*Nkj for k=i+1:n Nik=Nik/Nii
18
Choleskyzerlegung Algorithmus: for i=1:n for k=1:i-1 Nii=Nii–Nki*Nki
end Nii=sqrt(Nii) for j=i+1:n Nij=Nij–Nki*Nkj for k=i+1:n Nik=Nik/Nii
19
Choleskyzerlegung Algorithmus: for i=1:n for k=1:i-1 Nii=Nii–Nki*Nki
end Nii=sqrt(Nii) for j=i+1:n Nij=Nij–Nki*Nkj for k=i+1:n Nik=Nik/Nii
20
Choleskyzerlegung Algorithmus: for i=1:n for k=1:i-1 Nii=Nii–Nki*Nki
end Nii=sqrt(Nii) for j=i+1:n Nij=Nij–Nki*Nkj for k=i+1:n Nik=Nik/Nii
21
Choleskyzerlegung Algorithmus: for i=1:n for k=1:i-1 Nii=Nii–Nki*Nki
end Nii=sqrt(Nii) for j=i+1:n Nij=Nij–Nki*Nkj for k=i+1:n Nik=Nik/Nii
22
Choleskyzerlegung Algorithmus: for i=1:n for k=1:i-1 Nii=Nii–Nki*Nki
end Nii=sqrt(Nii) for j=i+1:n Nij=Nij–Nki*Nkj for k=i+1:n Nik=Nik/Nii
23
Choleskyzerlegung Algorithmus: for i=1:n for k=1:i-1 Nii=Nii–Nki*Nki
end Nii=sqrt(Nii) for j=i+1:n Nij=Nij–Nki*Nkj for k=i+1:n Nik=Nik/Nii
24
Choleskyzerlegung Choleskyzerlegung: Algorithmus:
Zerlegung einer symmetrischen positiv definiten Matrix N: mit der oberen Dreiecksmatrix W Algorithmus: for i=1:n for k=1:i-1 Nii=Nii–Nki*Nki end Nii=sqrt(Nii) for j=i+1:n Nij=Nij–Nki*Nkj for k=i+1:n Nik=Nik/Nii Die Berechnung der Choleskyzerlegung benötigt ca. ca Multiplikationen und kann am Platz ausgeführt werden. Der Algorithmus ist numerisch stabil. Die Choleskyzerlegung ist 3mal schneller als die Inverse
25
Block Choleskyzerlegung
Zerlegung einer symmetrischen positiv definiten Matrix N: mit der oberen Dreiecksmatrix W Algorithmus: for i=1:n for k=1:i-1 end for j=i+1:n for k=i+1:n Der Algorithmus ist ähnlich für Blockmatrizen
26
Tafel: Vorwärts und Rückwärtseinsetzen
27
Approximation
28
Vektorraum In Matrix Schreibweise: Als Vektor Linearkombination:
Die m (n x 1) Spaltenvektoren von A spannen einen m-dimensionalen Unterraum im n-dimensionalen Raum auf. Beipiel: n=3, m=2 Die m=2 Vektoren spannen eine Ebene im n=3D Raum auf.
29
Approximation Linearkombination von Basisvektoren
Approximation eines Vektors Bedingung: Differenzvektor muss senkrecht (normal) auf allen Basisvektoren stehen für
30
Approximation Bedingung: Differenzvektor muss senkrecht (normal) auf allen Basisvektoren stehen für Nornalgleichungssystem: m Gleichungen mit m Unbekannten
31
Approximation Nornalgleichungssystem: m Gleichungen mit m Unbekannten
Normalgleichungssystem
32
Das gleiche nochmal…
33
Approximation Linearkombination von Basisvektoren:
Approximation eines Vektors: Bedingung: Differenzvektor muss senkrecht (normal) auf allen Basisvektoren stehen Normalgleichungssystem
34
Approximation Die Spaltenvektoren von
spannen den Spaltenraum von A auf Der geschätzte Residuenvektor steht senkrecht auf allen Spaltenvektoren Der Beobachtungsvektor l wird in den Spaltenraum von A projiziert Mit der orthogonalen Projektionsmatrix Die Projektion des Beobachtungsvektors l in den Komplementärraum von A ergibt den geschätzten Residuenvektor Projektionsmatrix in den orthogonalen Komplementärraum:
35
Gram-Schmidt Orthogonalisierung
36
Approximation Nornalgleichungssystem: m Gleichungen mit m Unbekannten
Was wäre, wenn die Basisvektoren a senkrecht aufeinander ständen? Die Lösung wäre einfach:
37
Gram-Schmidt Orthogonalisierung
Die Spaltenvektoren von spannen den Spaltenraum von A auf Finde eine orthonormale Basis für den Spaltenraum Soll senkrecht auf e1 stehen
38
Gram-Schmidt Orthogonalisierung
Die Spaltenvektoren von spannen den Spaltenraum von A auf Finde eine orthonormale Basis für den Spaltenraum
39
Gram-Schmidt Orthogonalisierung
Die Spaltenvektoren von spannen den Spaltenraum von A auf Finde eine orthonormale Basis für den Spaltenraum
40
Gram-Schmidt Orthogonalisierung
Die Spaltenvektoren von spannen den Spaltenraum von A auf Gram-Schmidt Orthogonalisierungsalgorithmus for mit QR-Zerlegung mit und der oberen Dreiecksmatrix end Rekonstruktion der Spaltenvektoren von A mit
41
QR Zerlegung QR-Zerlegung mit Gram-Schmidt Algorithmus: Nachteile:
Numerisch nicht stabil Orthogonale Basisvektoren nur für den Spaltenraum von A und nicht für den Komplementärraum => In der Praxis berechnet man die QR-Zerlegung mittels Householdertransformationen m r=n-m n
42
Tafel: Orthogonale Matrizen
43
QR Zerlegung QR-Zerlegung mit der orthogonalen Matrix
und der oberen Dreiecksmatrix R m m r=n-m m m n Orthogonale Basisvektoren des Spaltenraums von A Orthogonale Basisvektoren des Komplementärraums von A
44
QR Zerlegung Wenn A mit Q gedreht wird QR-Zerlegung m m r=n-m m m n
Orthogonale Basisvektoren des Spaltenraums von A Orthogonale Basisvektoren des Komplementärraums von A
45
Approximation Die Spaltenvektoren von
spannen den Spaltenraum von A auf Der geschätzte Residuenvektor steht senkrecht auf allen Spaltenvektoren Der Beobachtungsvektor l wird in den Spaltenraum von A projiziert Mit der orthogonalen Projektionsmatrix Die Projektion des Beobachtungsvektors l in den Komplementärraum von A ergibt den geschätzten Residuenvektor Projektionsmatrix in den orthogonalen Komplementärraum:
46
Orthogonale Projektoren
47
Projektoren Beispiel: Orthogonale Projektion eines Vektors in die xy-Ebene Satz: Die Eigenwerte einer Projektionsmatrix sind 0 oder 1 n m r=n-m Satz: Projektionsmatrizen sind idempotent
48
Projektoren Orthogonale Projektionsmatrix in den Spaltenraum der Matrix A: Projektionsmatrix in den orthogonalen Komplementärraum: Eigenschaften: m r=n-m n
49
QR Zerlegung QR-Zerlegung mit der orthogonalen Matrix
und der oberen Dreiecksmatrix R m m r=n-m m m n Orthogonale Basisvektoren des Spaltenraums von A Orthogonale Basisvektoren des Komplementärraums von A
50
QR Zerlegung QR-Zerlegung QR-Zerlegung r=n-m m n
Normalgleichungsmatrix Projektionsmatrix: Projektionsmatrix:
51
Gauß-Markoff mit QR Gauß-Markoff Modell QR-Zerlegung Transformation:
Gauß-Markoff Modell mit der Dreiecksmatrix R
52
Gauß-Markoff mit QR Gauß-Markoff Modell mit der Dreiecksmatrix R
Geschätzte Parameter Schätzung der Beobachtungen: Schätzung der Residuen: Schätzung des Varianzfaktors
53
Tafel: Akkumulation der Normalgleichungen
54
Was macht man, wenn die Designmatrix nicht in den Speicher passt?
Gauß-Markoff Modell Gauß-Markoff Modell 1 1 1 Die Designmatrix ist im allgemeinen ein vielfaches größer als die Normalgleichungsmatrix. Was macht man, wenn die Designmatrix nicht in den Speicher passt? n n Normalgleichungssystem 1 1
55
Gauß-Markoff Modell Gauß-Markoff Modell Gauß-Markoff Modell 1 1 1 n n
Normalgleichungen Normalgleichungssystem Algorithmus: for aufstellen von end 1 1
Ähnliche Präsentationen
