Lösung von linearen Gleichungssystemen - Grundlagen Zu Lösen ist ein Gleichungssystem: A x = b dabei sind A eine n*n Matrix, x der Vektor der Unbekannten und b der Vektor der rechten Seite. Lösung ist wo die Inverse von A ist Bei den Verfahren zur Lösung von Gleichungssystemen unterscheiden wir zunächst zwischen direkten und iterativen Verfahren. Direkte Verfahren lassen sich in der Regel in zwei Schritte unterteilen. Im ersten erfolgt eine Transformation der Systemmatrix derart, dass die neue Matrix leicht invertierbar wird. Leicht invertierbare Matrizen sind etwa Diagonalmatrizen oder Dreiecksmatrizen. Im zweiten Schritt erfolgt die eigentliche Inversion. Bei iterativen Verfahren wird die Systemmatrix aufgespalten in einen Teil, der leicht invertierbar ist und einen Rest, der im Gleichungssystem der rechten Seite zugeschlagen wird. Die rechte Seite kann daher nur näherungsweise bestimmt werden. Die Näherung ist in den verschiedenen Iterationsschritten zu verbessern. In diesem Kapitel werden direkte Verfahren vorgestellt.

Diese Fragen sollten Sie beantworten können Definieren sie den Begriff grosse dünnbesetzte Matrix Was sind Kennzahlen Was ist eine Norm und zu was braucht man sie Wie speichert man grosse Matrizen Wie hängen Speicherung und Effektivität von Rechenmethoden zusammen Geben Sie die Bedeutung der Kennzahl Norm an Noch offen: Geben Sie die Bedeutung der Kennzahl Kondition an

Kondition Die Kondition einer Matrix ist ein weiteres Maß für ihre Rechneranpassung. Konditionszahlen können - ähnlich den Normen - verschieden gebildet werden. Gebräuchlich ist das Verhältnis von Normen oder von größtem zu kleinstem Eigenwert.

V10: Gleichungslöser - Direkte Verfahren Teil V: Gleichungslöser Kap. 10: Lösung von linearen Gleichungssystemen - Direkte Verfahren Inhalt: Direkte Verfahren: Leicht invertierbare Matrizen LU-Zerlegung nach Gauß und Cholesky Experimente: Lösung eines Gleichungssystems nach Cholesky

Beispiele für Gleichungssysteme A volle Matrix

Beispielmatrix

Das sollten Sie heute lernen Was ist ein direktes Verfahren Umwandlung eines Gleichungssystemes in ein lösbares Problem Grundideen der Verfahren von Gauss und Cholesky

Leicht invertierbare Matrizen Leicht invertierbare Matrizen sind a) Diagonalmatrizen, b) tridiagonale Matrizen, c) blockdiagonale Matrizen, d) Dreiecksmatrizen. Im Folgenden werden Verfahren zur Lösung von Gleichungssystemen, deren Systemmatrix eine dieser Formen hat, angegeben.

Gleichungssysteme mit Diagonalmatrix D Für Diagonalmatrizen gilt

Gleichungssysteme mit tridiagonaler Matrix Die Lösung von Gleichungssystemen mit tridiagonalen Matrizen erfolgt in 2 Schritten: Im ersten Schritt wird aus jeder Gleichung eine Unbekannte eliminiert. Im 2. Schritt wurden die Gleichungen dann aufgelöst.

Leicht invertierbare Matrizen - Tridiagonale Matrizen Hilfsgrößen h1 = -b1 / a1 p1 = d1 / a1 und x1 = p1 + h1 x2 Dann für i = 2 bis n-1: hi = -bi / (ai + hi-1 ci) pi = (di - pi-1 ci) / (ai + hi-1 ci) und xi = pi + hi xi-1

Leicht invertierbare Matrizen - Tridiagonale Matrizen Für i = n kann dann xn berechnet werden: xn = pn = (dn - pn-1 cn) / (an + hn-1 cn) Aus der rückläufigen Sequenz i = n-1 bis 1 folgen die restlichen Lösungen: xi = pi + hi • xi+1

Leicht invertierbare Matrizen - Blocktridiagonale Matrizen Bei blocktriagonalen Matrizen werden die Matrixelemente selber Matrizen und entsprechend die Vektorelemente Vektoren: Ai, Bi und Ci sind quadratische kxk-Matrizen und Xi, Di sind Vektoren der Länge k.

Leicht invertierbare Matrizen - Blocktridiagonale Matrizen Der Algorithmus für tridiagonale Matrizen kann auf blocktridiagonale Matrizen erweitert werden: Beachte: Statt der Rechnung mit Zahlen sind hier Matrizenoperationen und die Lösung von Gleichungssystemen erforderlich.

Beispiele blocktridiagonaler Matrizen aus Diskretisierung partieller Dgl‘en O r t K Zeit explizit implizit

Gleichungssystem mit unterer Dreiecksmatrix L Vorwärts-Substitution

Leicht invertierbare Matrizen - Dreiecksmatrizen Die beiden Gleichungssysteme mit Dreiecksmatrizen lassen sich mit folgenden Formeln lösen: Vorwärts-Substitution Rückwärts-Substitution Gelingt es also, die Matrix [A] in das Produkt zweier Dreiecksmatrizen aufzuspalten, so kann man mit den angegebenen Formeln das Gleichungssystem lösen. Die Algorithmen von Gauss und Cholesky leisten solche Aufspaltungen.

Aufspaltung einer Matrizen A in Dreiecksmatrizen Eine Matrix A lässt sich als Produkt einer unteren Dreiecksmatrix L und einer oberen Dreiecksmatrix U darstellen. Wegen A = L • U gilt = *

Aufspaltung einer Matrizen A in Dreiecksmatrizen Damit wird aus dem Gleichungssystem Ax = b ein System von 2 Gleichungssystemen mit Dreiecksmatrizen Ax = L • U • x = L • y = b mit U • x = y Für die Berechnung der n (n+1)-Elemente von L und U stehen aus n2-Gleichungen zur Verfügung. n weitere Werte müssen festgelegt werden. Häufige Wahlen sind 1. lii = 1 Gauß‘scher Algorithmus 2. lii = uii Cholesky-Verfahren

Der verkettete Gauß‘sche Algorithmus Die Aufspaltung der Matrix erfolgt in folgenden Teilschritten: 1) Für die n-freien Elemente wird festgelegt: lii = 1 Damit sind alle Elemente der Zeile 1 von bekannt. = *

Der verkettete Gauß‘sche Algorithmus 2) Man multipliziert Zeile 1 von Matrix mit allen Spalten von Matrix . Das Ergebnis ist a1i = u1i. Damit sind alle Elemente von Zeile 1 und Spalte 1 von bekannt. = *

Der verkettete Gauß‘sche Algorithmus 3) Man multipliziert jetzt die Zeile 2 bis n der Matrix mit der Spalte 1 der Matrix , so ergibt sich 4) Im nächsten Schritt werden Zeile 2 der Matrix und alle Spalten der Matrix multipliziert. Daraus bestimmt man die Elemente u2i . 5) Entsprechend dem Vorgehen in 3 werden jetzt die Elemente li2 bestimmt.

Der verkettete Gauß‘sche Algorithmus Das Ergebnis dieses Vorgehens läßt sich allgemein angeben

Der verkettete Gauß‘sche Algorithmus Für i > j gilt: Der verkettete Gauß‘sche Algorithmus Für i > j gilt:

Der verkettete Gauß‘sche Algorithmus Aus diesem Vorgehen lassen sich leicht eine Reihe von Folgerungen ableiten: a) Sind in einer Zeile die Elemente ai1 bis aim je 0, so sind auch die Elemente li1 bis lim je 0 b) Sind in einer Spalte j die Elemente a1j bis amj je 0, so sind auch die Elemente u1j bis umj je 0. c) Ist ein Element aij ungleich 0, so sind auch die entsprechenden Elemente der triangularisierten Matrix ungleich 0 und es können zu allen folgenden Elementen von L bzw. U Beiträge erwartet werden. Durch die Triangularisierung wird die Form der von Null verschiedenen Matrixteile nicht verändert: Es werden aber Gebiete aufgefüllt. Für die Triangularisierung sind also nur solche Speichertechniken möglich, die dieses Auffüllen erlauben. Die Zahl der Operationen (Multiplikationen) läßt sich nach diesem Vorgehen abschätzen zu ~ Ein einfacher Trick erlaubt es, das Verfahren auch auf symmetrische Matrizen zu erweitern.

Das Cholesky-Verfahren -1 Für symmetrische Matrizen gilt AT = A und die Zerlegung nach Gauß ergibt Wobei der Index I andeutet, dass die Hauptdiagonalelemente 1 sind. Da diese Zerlegung eindeutig ist, gilt: Das bedeutet Für i = j gilt: a):

Das Cholesky-Verfahren -2 Für i < j gilt: b): Aus Gleichung (a) kann das Diagonalelement uii der Zeile i berechnet werden. Die übrigen Elemente der Zeile i ergeben sich aus (b). So wird [U] zeilenweise (i = 1, ..., n) berechnet. Notwendig ist, dass die Matrix [A] positiv definiert ist, andernfalls kann sich in a) ein negativer Radikand ergeben. Ein Beispiel soll das Vorgehen beim Cholesky-Verfahren veranschaulichen.

Beispiel Cholesky Verfahren 1 Gegeben sei das Gleichungssystem Wir schreiben die Matrix als Produkt UTU, d.h. Und bestimmen die Elemente von U. Aus der ersten Zeile der Matrizengleichung erhalten wir die drei Gleichungen Wir bestimmen daraus die Unbekannten

Beispiel Cholesky Verfahren 2 Die zweite Zeile liefert die Gleichungen u11 und u12 sind schon bekannt, so dass nur noch die restlichen beiden Gleichungen gelöst werden müssen. Die Lösung lautet Schließlich bestimmen wir aus der dritten Zeile die letzte Unbekannte Durch Vorwärtssubstitution bestimmen wir nun die Komponenten des Hilfsvektors y

Beispiel Cholesky Verfahren 3 Daraus ergeben sich die drei Gleichungen Damit lassen sich durch Rückwärtssubstitution die Komponenten von x bestimmen: Durch „Rückwärtseinsetzen“ erhalten wir die Lösung

Anmerkung zu Cholesky Verfahren Man vermeidet das Wurzelzeichen, wenn man auf folgende Darstellung zurückgreift: Dann wird für alle i  j

Iterative Verbesserung Bei den direkten Lösungsverfahren treten Rundungsfehler hauptsächlich bei der Triangularisierung auf. Löst man über so erhält man eine Lösung . Bildet man das Produkt der ursprünglichen Matrix und der Lösung so kann man ein Residuum berechnen: Den Beitrag von zur Lösung erhält man aus Damit kann man verbessern Wiederholt man diesen Vorgang, so werden die Auswirkungen der Triangularisierung immer kleiner. Der Aufwand pro Iterationsschritt beträgt weniger als der für zwei Auflösungen mit dem triangularisierten System.

Anwendung - Vergleich der Leistung von Rechnern Löse ein Matrixproblem mit einer allgemeinen Matrix n = 100 Optimierung der inneren Schleifen n = 1000 3stufige Optimierung n = beliebig skalierbares paralleles Problem Ergebnisse Vergleichsdaten für ca. 1500 Rechnersysteme verfügbar Bestimmung der TOP 500-Liste

Anwendung Vergleich der Leistung von Rechnern -2 Metriken Rmax Leistung in GF/s für das größtmögliche Problem Nmax Zahl der Spalten/Zeilen für größtmögliches Problem N 1/2 Zahl der Spalten/Zeilen, für die Rmax erreicht wurde Rpeak. Theoretische maximale Leistung in GF/s Juni 2002 Rmax = 35.61 TF/s für Earth Simulation Computer(NEC SX) Nmax = 1041 216 Laufzeit 5.8 h bei Standard-LU programmiert in FORTRAN Web site http://www.supercomp.de

Diese Fragen sollten Sie beantworten können Was ist ein direktes Verfahren zur Lösung von Gleichungssystemen Geben Sie die Grundideen der Verfahren von Gauss und Cholesky an Wie löst man Probleme mit tridiagonalen Matrizen Was bedeuten Vorwärts- und Rückwärts- Substitution