Fundamentalräume einer Matrix 521.202 / SES.125 Parameterschätzung Fundamentalräume einer Matrix Torsten Mayer-Gürr

Übungsprogramm 04.11.2015

Wissenschaftlicher Text Formeln gehören zum Satz (mit Satzzeichen) Nummerierung der Formeln Variablen kursiv 04.11.2015

Formeln: Multiplikation Falsch: Richtig (aber nicht gut): Schön: 04.11.2015

Lesbare Achsenbeschriftung Diagramme Legende Kräftige Farben Einheiten Lesbare Achsenbeschriftung 04.11.2015

Sehr leicht zu übersehen Diagramme Sehr leicht zu übersehen Kaum sichtbare Linie Schrift zu klein 04.11.2015

Choleskyzerlegung 04.11.2015

Choleskyzerlegung Choleskyzerlegung: Algorithmus: Zerlegung einer symmetrischen positiv definiten Matrix N: mit der oberen Dreiecksmatrix W Algorithmus: for i=1:n for k=1:i-1 Nii=Nii–Nki*Nki end Nii=sqrt(Nii) for j=i+1:n Nij=Nij–Nki*Nkj for k=i+1:n Nik=Nik/Nii Die Berechnung der Choleskyzerlegung benötigt ca. ca. Multiplikationen und kann am Platz ausgeführt werden. Der Algorithmus ist numerisch stabil. Die Choleskyzerlegung ist ca. 3 mal schneller als die Inverse 04.11.2015

Choleskyzerlegung Algorithmus: for i=1:n for k=1:i-1 Nii=Nii–Nki*Nki end Nii=sqrt(Nii) for j=i+1:n Nij=Nij–Nki*Nkj for k=i+1:n Nik=Nik/Nii 04.11.2015

Choleskyzerlegung Algorithmus: for i=1:n for k=1:i-1 Nii=Nii–Nki*Nki end Nii=sqrt(Nii) for j=i+1:n Nij=Nij–Nki*Nkj for k=i+1:n Nik=Nik/Nii 04.11.2015

Choleskyzerlegung Algorithmus: for i=1:n for k=1:i-1 Nii=Nii–Nki*Nki end Nii=sqrt(Nii) for j=i+1:n Nij=Nij–Nki*Nkj for k=i+1:n Nik=Nik/Nii 04.11.2015

Choleskyzerlegung Algorithmus: for i=1:n for k=1:i-1 Nii=Nii–Nki*Nki end Nii=sqrt(Nii) for j=i+1:n Nij=Nij–Nki*Nkj for k=i+1:n Nik=Nik/Nii 04.11.2015

Choleskyzerlegung Algorithmus: for i=1:n for k=1:i-1 Nii=Nii–Nki*Nki end Nii=sqrt(Nii) for j=i+1:n Nij=Nij–Nki*Nkj for k=i+1:n Nik=Nik/Nii 04.11.2015

Choleskyzerlegung Algorithmus: for i=1:n for k=1:i-1 Nii=Nii–Nki*Nki end Nii=sqrt(Nii) for j=i+1:n Nij=Nij–Nki*Nkj for k=i+1:n Nik=Nik/Nii 04.11.2015

Choleskyzerlegung Algorithmus: for i=1:n for k=1:i-1 Nii=Nii–Nki*Nki end Nii=sqrt(Nii) for j=i+1:n Nij=Nij–Nki*Nkj for k=i+1:n Nik=Nik/Nii 04.11.2015

Choleskyzerlegung Algorithmus: for i=1:n for k=1:i-1 Nii=Nii–Nki*Nki end Nii=sqrt(Nii) for j=i+1:n Nij=Nij–Nki*Nkj for k=i+1:n Nik=Nik/Nii 04.11.2015

Choleskyzerlegung Algorithmus: for i=1:n for k=1:i-1 Nii=Nii–Nki*Nki end Nii=sqrt(Nii) for j=i+1:n Nij=Nij–Nki*Nkj for k=i+1:n Nik=Nik/Nii 04.11.2015

Choleskyzerlegung Algorithmus: for i=1:n for k=1:i-1 Nii=Nii–Nki*Nki end Nii=sqrt(Nii) for j=i+1:n Nij=Nij–Nki*Nkj for k=i+1:n Nik=Nik/Nii 04.11.2015

Choleskyzerlegung Algorithmus: for i=1:n for k=1:i-1 Nii=Nii–Nki*Nki end Nii=sqrt(Nii) for j=i+1:n Nij=Nij–Nki*Nkj for k=i+1:n Nik=Nik/Nii 04.11.2015

Choleskyzerlegung Algorithmus: for i=1:n for k=1:i-1 Nii=Nii–Nki*Nki end Nii=sqrt(Nii) for j=i+1:n Nij=Nij–Nki*Nkj for k=i+1:n Nik=Nik/Nii 04.11.2015

Choleskyzerlegung Algorithmus: for i=1:n for k=1:i-1 Nii=Nii–Nki*Nki end Nii=sqrt(Nii) for j=i+1:n Nij=Nij–Nki*Nkj for k=i+1:n Nik=Nik/Nii 04.11.2015

Choleskyzerlegung Algorithmus: for i=1:n for k=1:i-1 Nii=Nii–Nki*Nki end Nii=sqrt(Nii) for j=i+1:n Nij=Nij–Nki*Nkj for k=i+1:n Nik=Nik/Nii 04.11.2015

Choleskyzerlegung Algorithmus: for i=1:n for k=1:i-1 Nii=Nii–Nki*Nki end Nii=sqrt(Nii) for j=i+1:n Nij=Nij–Nki*Nkj for k=i+1:n Nik=Nik/Nii 04.11.2015

Choleskyzerlegung Choleskyzerlegung: Algorithmus: Zerlegung einer symmetrischen positiv definiten Matrix N: mit der oberen Dreiecksmatrix W Algorithmus: for i=1:n for k=1:i-1 Nii=Nii–Nki*Nki end Nii=sqrt(Nii) for j=i+1:n Nij=Nij–Nki*Nkj for k=i+1:n Nik=Nik/Nii Die Berechnung der Choleskyzerlegung benötigt ca. ca. Multiplikationen und kann am Platz ausgeführt werden. Der Algorithmus ist numerisch stabil. Die Choleskyzerlegung ist 3mal schneller als die Inverse 04.11.2015

Block Choleskyzerlegung Zerlegung einer symmetrischen positiv definiten Matrix N: mit der oberen Dreiecksmatrix W Algorithmus: for i=1:n for k=1:i-1 end for j=i+1:n for k=i+1:n Der Algorithmus ist ähnlich für Blockmatrizen 04.11.2015

Tafel: Vorwärts und Rückwärtseinsetzen 04.11.2015

Approximation

Vektorraum In Matrix Schreibweise: Als Vektor Linearkombination: Die m (n x 1) Spaltenvektoren von A spannen einen m-dimensionalen Unterraum im n-dimensionalen Raum auf. Beipiel: n=3, m=2 Die m=2 Vektoren spannen eine Ebene im n=3D Raum auf. 04.11.2015

Approximation Linearkombination von Basisvektoren Approximation eines Vektors Bedingung: Differenzvektor muss senkrecht (normal) auf allen Basisvektoren stehen für 04.11.2015

Approximation Bedingung: Differenzvektor muss senkrecht (normal) auf allen Basisvektoren stehen für Nornalgleichungssystem: m Gleichungen mit m Unbekannten 04.11.2015

Approximation Nornalgleichungssystem: m Gleichungen mit m Unbekannten Normalgleichungssystem 04.11.2015

Das gleiche nochmal…

Approximation Linearkombination von Basisvektoren: Approximation eines Vektors: Bedingung: Differenzvektor muss senkrecht (normal) auf allen Basisvektoren stehen Normalgleichungssystem 04.11.2015

Approximation Die Spaltenvektoren von spannen den Spaltenraum von A auf Der geschätzte Residuenvektor steht senkrecht auf allen Spaltenvektoren Der Beobachtungsvektor l wird in den Spaltenraum von A projiziert Mit der orthogonalen Projektionsmatrix Die Projektion des Beobachtungsvektors l in den Komplementärraum von A ergibt den geschätzten Residuenvektor Projektionsmatrix in den orthogonalen Komplementärraum: 04.11.2015

Gram-Schmidt Orthogonalisierung

Approximation Nornalgleichungssystem: m Gleichungen mit m Unbekannten Was wäre, wenn die Basisvektoren a senkrecht aufeinander ständen? Die Lösung wäre einfach: 04.11.2015

Gram-Schmidt Orthogonalisierung Die Spaltenvektoren von spannen den Spaltenraum von A auf Finde eine orthonormale Basis für den Spaltenraum Soll senkrecht auf e1 stehen 04.11.2015

Gram-Schmidt Orthogonalisierung Die Spaltenvektoren von spannen den Spaltenraum von A auf Finde eine orthonormale Basis für den Spaltenraum 04.11.2015

Gram-Schmidt Orthogonalisierung Die Spaltenvektoren von spannen den Spaltenraum von A auf Finde eine orthonormale Basis für den Spaltenraum 04.11.2015

Gram-Schmidt Orthogonalisierung Die Spaltenvektoren von spannen den Spaltenraum von A auf Gram-Schmidt Orthogonalisierungsalgorithmus for mit QR-Zerlegung mit und der oberen Dreiecksmatrix end Rekonstruktion der Spaltenvektoren von A mit 04.11.2015

QR Zerlegung QR-Zerlegung mit Gram-Schmidt Algorithmus: Nachteile: Numerisch nicht stabil Orthogonale Basisvektoren nur für den Spaltenraum von A und nicht für den Komplementärraum => In der Praxis berechnet man die QR-Zerlegung mittels Householdertransformationen m r=n-m n 04.11.2015

Tafel: Orthogonale Matrizen 04.11.2015

QR Zerlegung QR-Zerlegung mit der orthogonalen Matrix und der oberen Dreiecksmatrix R m m r=n-m m m n Orthogonale Basisvektoren des Spaltenraums von A Orthogonale Basisvektoren des Komplementärraums von A 04.11.2015

QR Zerlegung Wenn A mit Q gedreht wird QR-Zerlegung m m r=n-m m m n Orthogonale Basisvektoren des Spaltenraums von A Orthogonale Basisvektoren des Komplementärraums von A 04.11.2015

Approximation Die Spaltenvektoren von spannen den Spaltenraum von A auf Der geschätzte Residuenvektor steht senkrecht auf allen Spaltenvektoren Der Beobachtungsvektor l wird in den Spaltenraum von A projiziert Mit der orthogonalen Projektionsmatrix Die Projektion des Beobachtungsvektors l in den Komplementärraum von A ergibt den geschätzten Residuenvektor Projektionsmatrix in den orthogonalen Komplementärraum: 04.11.2015

Orthogonale Projektoren 04.11.2015

Projektoren Beispiel: Orthogonale Projektion eines Vektors in die xy-Ebene Satz: Die Eigenwerte einer Projektionsmatrix sind 0 oder 1 n m r=n-m Satz: Projektionsmatrizen sind idempotent 04.11.2015

Projektoren Orthogonale Projektionsmatrix in den Spaltenraum der Matrix A: Projektionsmatrix in den orthogonalen Komplementärraum: Eigenschaften: m r=n-m n 04.11.2015

QR Zerlegung QR-Zerlegung mit der orthogonalen Matrix und der oberen Dreiecksmatrix R m m r=n-m m m n Orthogonale Basisvektoren des Spaltenraums von A Orthogonale Basisvektoren des Komplementärraums von A 04.11.2015

QR Zerlegung QR-Zerlegung QR-Zerlegung r=n-m m n Normalgleichungsmatrix Projektionsmatrix: Projektionsmatrix: 04.11.2015

Gauß-Markoff mit QR Gauß-Markoff Modell QR-Zerlegung Transformation: Gauß-Markoff Modell mit der Dreiecksmatrix R 04.11.2015

Gauß-Markoff mit QR Gauß-Markoff Modell mit der Dreiecksmatrix R Geschätzte Parameter Schätzung der Beobachtungen: Schätzung der Residuen: Schätzung des Varianzfaktors 04.11.2015

Tafel: Akkumulation der Normalgleichungen 04.11.2015

Was macht man, wenn die Designmatrix nicht in den Speicher passt? Gauß-Markoff Modell Gauß-Markoff Modell 1 1 1 Die Designmatrix ist im allgemeinen ein vielfaches größer als die Normalgleichungsmatrix. Was macht man, wenn die Designmatrix nicht in den Speicher passt? n n Normalgleichungssystem 1 1 04.11.2015

Gauß-Markoff Modell Gauß-Markoff Modell Gauß-Markoff Modell 1 1 1 n n Normalgleichungen Normalgleichungssystem Algorithmus: for aufstellen von end 1 1 04.11.2015