Numerische Methoden Teil V: Lösungen

Präsentation zum Thema: "Numerische Methoden Teil V: Lösungen"—  Präsentation transkript:

1 Numerische Methoden Teil V: Lösungen
Kap. 6: Lösung von linearen Gleichungssystemen Inhalt Direkte Verfahren: Leicht invertierbare Matrizen L-U Zerlegung nach Gauß und Cholesky Iterative Verfahren: Iterative Lösung von Gleichungssystemen Das Verfahren der konjugierten Gradienten Anhang: Eigenschaften grosser, dünn besetzter Matrizen Versuche: Lösung eines Gleichungssystems nach Cholesky Gauß-Seidel und Konjugierte Gradienten

2 6 Lösung von linearen Gleichungssystemen
Bei den Verfahren zur Lösung von Gleichungssystemen unterscheiden wir zunächst zwischen direkten und iterativen Verfahren. Direkte Verfahren lassen sich in der Regel in zwei Schritte unterteilen. Im ersten erfolgt eine Transformation der Systemmatrix derart, dass die neue Matrix leicht invertierbar wird. Leicht invertierbare Matrizen sind etwa Diagonalmatrizen oder Dreiecksmatrizen. Im zweiten Schritt erfolgt die eigentliche Inversion. Bei iterativen Verfahren wird die Systemmatrix aufgespalten in einen Teil, der leicht invertierbar ist und einen Rest, der im Gleichungssystem der rechten Seite zugeschlagen wird. Die rechte Seite kann daher nur näherungsweise bestimmt werden. Die Näherung ist in den verschiedenen Iterationsschritten zu verbessern. In diesem Kapitel werden direkte und iterative Verfahren vorgestellt. Ausserdem werden einige Hinweise auf modernere Verfahren (konjugierte Gradienten- und Mehrgitter-Verfahren) gegeben. Beispiele von Gleichungssystemen: A x = b 1.) A volle Matrix 3.) A tridiagonale Matrizen 4.) A untere Dreiecksmatrix L 2.) A Diagonalmatrix D

3 6.1 Leicht invertierbare Matrizen
Leicht invertierbare Matrizen sind a) Diagonalmatrizen, b) tridiagonale Matrizen, c) blockdiagonale Matrizen, d) Dreiecksmatrizen. Im Folgenden werden Verfahren zur Lösung von Gleichungssystemen, deren Systemmatrix eine dieser Formen hat, angegeben. A) Für Diagonalmatrizen gilt

4 B) Tridiagonale Matrizen
Die Lösung von Gleichungssystemen mit tridiagonalen Matrizen erfolgt in 2 Schritten. Im ersten Schritt wird aus jeder Gleichung eine Unbekannte eliminiert. Im 2. Schritt wurden die Gleichungen dann aufgelöst. Dazu berechnet man zuerst die Hilfsgröße h1 = -b1 / a1 rechte Seite p1 = d1 / a1 und x1 = p1 + h1 x2 Dann für i = 2 bis n: hi = -bi / (ai + hi-1 ci) pi = (di - pi-1 ci) / (ai + hi-1 ci) und xi = pi = hi xi+1 Für i = n kann dann xn berechnet werden: xn = pn = (dn - pn-1 cn) / (an + hn-1 cn) Aus der rückläufigen Sequenz i = n-1 bis 1 folgen die restlichen Lösungen: xi = pi + hi • xi+1

5 C) Bei blocktriagonalen Matrizen werden die Matrixelemente selber Matrizen und entsprechend die Vektorelemente Vektoren: Ai, Bi und Ci sind quadratische kxk-Matrizen und Xi, Di sind Vektoren der Länge k. Der Algorithmus für tridiagonale Matrizen kann auf blocktridiagonale Matrizen erweitert werden: Beachte: Statt der Rechnung mit Zahlen sind hier Matrizenoperationen und die Lösung von Gleichungssystemen erforderlich.

6 D) Dreiecksmatrizen Eine Matrix A lässt sich als Produkt einer unteren Dreiecksmatrix L und einer oberen Dreiecksmatrix U darstellen. Gilt A = L • U, so wird aus dem Gleichungssystem Ax = b ein System von 2 Gleichungssystemen mit Dreiecksmatrizen Ax = L • U • x = L • y = b und U • x = y Für die Berechnung der n (n+1)-Elemente von L und U stehen aus n2-Gleichungen zur Verfügung. n weitere Werte müssen festgelegt werden. Häufige Wahlen sind 1. lii = 1 Gauß‘scher Algorithmus 2. lii = uii Cholesky-Verfahren Die Aufgabe der Lösung eines allgemeinen Gleichungssystems ist damit, reduziert auf die Aufgabe zweier Gleichungssysteme, mit leicht invertierbaren Matrizen zu lösen.

7 Die beiden Gleichungssysteme
lassen sich mit folgenden Formeln lösen: Vorwärts-Substitution Rückwärts-Substitution Gelingt es also, die Matrix [A] in das Produkt zweier Dreiecksmatrizen aufzuspalten, so kann man mit den angegebenen Formeln das Gleichungssystem lösen. Die Algorithmen von Gauss und Cholesky leisten solche Aufspaltungen.

8 6.2 Der verkettete Gauß‘sche Algorithmus
Die Aufspaltung der Matrix erfolgt in folgenden Teilschritten: 1) Für die n freien Elemente wird festgelegt lii = 1 Damit sind alle Elemente der Zeile 1 von bekannt. 2) Man multipliziert Zeile 1 von Matrix mit allen Spalten von Matrix . Das Ergebnis ist a1i =u1i Damit sind alle Elemente von Zeile 1 und Spalte 1 von bekannt. 3) Man multipliziert jetzt die Zeilen 2 bis n der Matrix mit der Spalte 1 der Matrix , so ergibt sich ai1 = li1 • u11 oder 4) Im nächsten Schritt werden Zeile 2 der Martrix und alle Spalten der Matrix multipliziert. Daraus bestimmt man die Elemente u2i . 5) Entsprechend dem Vorgehen in 3 werden jetzt die Elemente li2 bestimmt. Das Ergebnis dieses Vorgehens läßt sich allgemein angeben:

9 Für i > j gilt: Aus diesem Vorgehen lassen sich leicht eine Reihe von Folgerungen ableiten: a) Sind in einer Zeile die Elemente ai1 bis aim je 0, so sind auch die Elemente li1 bis lim je 0 b) Sind in einer Spalte j die Elemente a1j bis amj je 0, so sind auch die Elemente u1j bis umj je 0. c) Ist ein Element aij ungleich 0, so sind auch die entsprechenden Elemente der triangularisierten Matrix ungleich 0 und es können zu allen folgenden Elementen von 1 bzw. u Beiträge erwartet werden. Durch die Triangularisierung wird die Form der von Null verschiedenen Matrixteile nicht verändert: Es werden aber Gebiete aufgefüllt. Für die Triangularisierung sind also nur solche Speichertechniken möglich, die dieses Auffüllen erlauben. Die Zahl der Operationen (Multiplikationen) läßt sich nach diesem Vorgehen abschätzen ~ Für große Matrizen ist das wesentlich kleiner als die Zahlen, die sich bei der Cramer‘schen Regel ergaben. Ein einfacher Trick erlaubt es, das Verfahren auch auf symmetrische Matrizen zu erweitern.

10 6.3 Das Cholesky-Verfahren
Für symmetrische Matrizen gilt AT = A und die Zerlegung nach Gauß (LI deutet an lii = 1) ergibt Wobei der Index I andeutet, dass die Hauptdiagonalelemente 1 sind. Da diese Zerlegung eindeutig ist, gilt: Das bedeutet für A: Für i = j gilt: a)

11 Für i < j gilt: b) Aus Gleichung (a) kann das Diagonalelement uii der Zeile i berechnet werden. Die übrigen Elemente der Zeile i ergeben sich aus (b). So wird [U] zeilenweise (i = 1, ..., n) berechnet. Notwendig ist, dass die Matrix [A] positiv definiert ist, andernfalls kann sich in a) ein negativer Radikand ergeben. Ein Beispiel soll das Vorgehen beim Cholesky-Verfahren veranschaulichen.

12 Gegeben sei das Gleichungssystem
Wir schreiben die Matrix als Produkt UTU, d.h. Und bestimmen die Elemente von U. Aus der ersten Zeile der Matrizengleichung erhalten wir die drei Gleichungen Wir bestimmen daraus die Unbekannten

13 Die zweite Zeile liefert die Gleichungen
u11 und u12 sind schon bekannt, so dass nur noch die restlichen beiden Gleichungen gelöst werden müssen. Die Lösung lautet Schließlich bestimmen wir aus der dritten Zeile die letzte Unbekannte Durch Vorwärtssubstitution bestimmen wir nun die Komponenten des Hilfsvektors y

14 Daraus ergeben sich die drei Gleichungen
Damit lassen sich durch Rückwärtssubstitution die Komponenten von x bestimmen: Durch „Rückwärtseinsetzen“ erhalten wir die Lösung

15 Anmerkung: Man vermeidet das Wurzelzeichen, wenn man auf folgende Darstellung zurückgreift: Dann wird für alle i  j

16 6.4 Iterative Verbesserung
Bei den direkten Lösungsverfahren treten Rundungsfehler hauptsächlich bei der Triangularisierung auf. Löst man über so erhält man eine Lösung Bildet man das Produkt der ursprünglichen Matrix und der Lösung so kann man ein Residuum berechnen: Den Beitrag von zur Lösung erhält man aus Damit kann man verbessern Wiederholt man diesen Vorgang, so werden die Auswirkungen der Triangularisierung immer kleiner. Der Aufwand pro Iterationsschritt beträgt weniger als der für zwei Auflösungen mit dem triangularisierten System.

17 6.5 Iterative Lösung von Gleichungssystemen
6.5.1 Algorithmus Die Matrix wird aufgespalten in einen Anteil , der leicht invertierbar ist, und einen Rest mit dem iteriert wird: Dann gilt mit Die zugehörige Iterationsvorschrift lautet heißt Iterationsmatrix, ist der Startvektor.

18 Einige Grundverfahren sind:
a) Jakobi-Iteration Zur Berechnung der rechten Seite müssen von { x } Werte bekannt sein. Sind sie nur näherungsweise zu { xo } bekannt, so muß { x } iterativ bestimmt werden. oder

19 b) Gauß-Seidel Schon bekannte Werte xi werden berücksichtigt: c) SOR - Iteration (Successive Overrelaxation) Der Wert (xi)k+1 wird verbessert unter Berücksichtigungen der Konvergenzeigenschaften des Verfahrens. wo der unter dem Gauß-Seidel-Verfahren berechnete Wert ist. Die Iterationsmatrizen für diese Verfahren sind:

20 6.5.2 Ein Beispiel Das schon im letzten Kapitel verwendete Beispiel soll das Vorgehen erläutern: Beispiel: Gegeben sei das Gleichungssystem Das Beispiel soll nach dem Gauß-Seidel-Verfahren gelöst werden. Als Startvektor wählen wir { x0 } = ( 0, 0, 0)+ Für den ersten Iterationsschritt erhalten wir:

21 Für den zweiten Iterationsschritt erhalten wir
Die Ergebnisse der nächsten Iterationen lauten: Die iterative Methode scheint zunächst aufwendiger als die direkten Verfahren zu sein, jedoch kann bei günstiger Wahl des Startvektors die Anzahl der Iterationsschritte wesentlich gesenkt werden. Ein weiterer Vorteil besteht darin, dass nur die Elemente wirklich benötigt werden, die ungleich Null sind. Das Verfahren kann also unabhängig von der Speicherung der Matrizen angewandt werden.

22 6.5.3 Konvergenz iterativer Verfahren
Die exakte Lösung des Gleichungssystems sei . Nach n Iterationen, die nach der Vorschrift durchgeführt wurden, wird ein Fehlervektor definiert. Durch Einsetzen in die Iterationsvorschrift erhält man Für die exakte Lösung gilt

23 Daraus bekommt man eine Beziehung für die Fehlerfortpflanzung:
e(o) sei der Fehler zu Beginn der Iteration. Durch wiederholte Anwendung bekommt man: Nun geht man zu den Normen über. Es gilt Soll für einen beliebigen Anfangsfehler nach n Iterationen unter eine vorgegebene Schranke sinken, muß gelten Man sagt dazu, das Iterationsverfahren konvergiert. Das Konvergenzverfahren wird durch die Iterationsmatrix und nur indirekt durch die Matrix des Gleichungssystems bestimmt.

24 6.6 Das Verfahren der konjugierten Gradienten
Das Verfahren der konjugierten Gradienten soll hier für eine Klasse von Verfahren stehen, bei denen versucht wird, durch zusätzliche Bedingungen eine optimale Iterationsstrategie zu finden. Eine solche Bedingung erhält man, wenn man den Lösungsvektor x nach Vektoren p entwickelt, die bezüglich der Systemmatrix A orthogonal sind. Der Ansatz für x lautet also Für nicht symmetrische Matrizen A : A  AT heißt das Verfahren biconjugiertes Gradienten (BICO)-Verfahren. Es gilt 1. Initialisierungsphase 2. Iterationsphase

25 Da die Konditionszahl der Systematrix wesentlich für deren Konvergenzgeschwindigkeit und für die Genauigkeit der Lösung verantwortlich ist, ist es sinnvoll, die Konditionszahl einer Matrix durch eine Vorkonditionierung herabzusetzen und somit das Lösungsverhalten der Gleichungslöser zu verbessern. Die Vorkonditionierung erfolgt durch die Multiplikation der Systemmatrix mit einer Konditionsmatrix derart, dass die Konditionszahl der neuen Matrix kleiner wird. Das vorkonditionierte lineare Gleichungssystem lautet dann: Dies ist gleichbedeutend mit: Für symmetrische Matrizen ist und das BICO-Verfahren geht in das konjugierte Gradienten-Verfahren über. ist dann gleich

26 Start Der Rechenaufwand pro Iterationsschrift ist etwa doppelt so groß wie beim SOR-Verfahren. Ist q die mittlere Zahl der Nichtnullelemente in einer Zeile von A, so müssen (5+q) • n Operationen/Iteration durchgeführt werden. STOP ja nein (Minimierung längs der Suchrichtung p( k ) ) (Berechnung der nächsten Suchrichtung: r( k ) läßt sich auch nach berechnen).

27 6.7 Beispielgleichung Die Differentialgleichung der Balkenbiegung ist von 4. Ordnung. Die Diskretisierung nach der Differenzenmethode ergibt folgende Matrix (Modellproblem 2) Der Lastvektor b wird nun so gewählt, dass seine Komponenten verschwinden, außer der ersten, die auf 1 normiert wird: Damit kann der exakte Lösungsvektor explizit angegeben werden. Seine Komponenten lauten:

28 Die Eigenwerte der Matrix A können aus dem Eigenwertproblem
explizit angegeben werden: Damit kann auch die Kondition der Matrix A bestimmt werden: Für große N gilt näherungsweise:

29 Lösen Sie die Gleichung für N = 40 nach dem Cholesky-Verfahren, dem konjugierten Gradienten-Verfahren oder dem SOR-Verfahren. Vergleichen Sie Ihre Ergebnisse mit der angegebenen Lösung und erklären Sie den Unterschied. Vergleichslösung nach Cholesky auf 32 bit Maschine.

30 Eigenschaften großer, dünnbesetzter Matrizen
Diskretisiert man Variablen, so erhält man Vektoren. Bestehen zwischen Variablen Beziehungen in Form von Gleichungen, so führt die Diskretisierung auf Gleichungssysteme. In Gleichungssystemen werden Variablen durch Vektoren und ihre Verbindung über Matrizen beschrieben. Matrizen sind Gebilde aus n•n Zahlen, Funktionen oder Operatoren. Bei der Diskretisierung von Differentialgleichungen entstehen große (n, m >> 106) und in der Regel dünnbesetzte Matrizen (nur etwa 10 n Elemente ungleich Null). Im Folgenden werden Eigenschaften dünnbesetzter Matrizen beschrieben, die im Kontext der numerischen Lösung partieller Differentialgleichungen Bedeutung haben. Charakterisierung von Matrizen Rechenregeln Bezeichnung: Identität: Zwei Matrizen sind dann und nur dann gleich, wenn ihre Elemente gleich sind

31 Spezielle Matrizen

32 Bidiagonalmatrix Bandmatrix mit m = 2
Tridiagonalmatrix Bandmatrix mit m = 3

33 Hesse-Matrix. Spezialfall der Jakob-Matrix, wenn
Hesse-Matrix Spezialfall der Jakob-Matrix, wenn nicht eine Transformation, sondern ein Gleichungssystem darstellt. Teilmatrix Untermatrix einer Matrix Blocktridiagonale } Tridiagonale Matrix mit Teilmatrizen als Elemente Matrix } Hypermatrix Indizierungsmatrix eines Systems von Teilmatrizen. Für Hypermatrizen gelten ähnliche Rechenregeln wie für Matrizen ! Einfache Kenngrößen Für viele Zwecke ist es nützlich, die Informationen einer Matrix in Kennzahlen zusammenzufassen. Dabei können nur bestimmte Aspekte berücksichtigt werden, entsprechend existieren eine Vielzahl von Kenngrößen.

34 Rechenregeln: Die Bedeutung der Determinante kann am Beispiel der Cramer‘schen Regel zur Gleichungsauflösung gezeigt werden. Definition: Eine Matrix ist vom Rang r, wenn alle Unterdeterminanten der Ordnung r + 1 verschwinden und mindestens eine Unterdeterminante der Ordnung r nicht verschwindet. Bedeutung:  ) Maß für Singularität auch nichtquadratischer Matrizen (dort r  min (m, n))  ) Definition von linearer Abhängigkeit: Der Rang r einer Matrix ist die Zahl ihrer linear unabhängigen Zeilen - oder Spaltenvektoren.

35 d) Quadratische Formen
Definition: Bedeutung: erlaubt Definition positiv definiter Matrizen e) Positiv definit Definition: eine Matrix ist positiv definit, wenn ihre quadratische Form für alle reellen {X} größer 0 ist. Bedeutung: Positiv definite Matirzen haben ein angenehmes numerisches Verfahren. Sie sind häufig diagonal dominant (dominante Diagonalelemente). Ihre Eigenwerte sind positiv. Sie entstehen häufig aus Energie- und Minimalisierungsprinzipien.

36

37

38

39

40

41

42

43

44

45