Methode der kleinsten Quadrate

Präsentation zum Thema: "Methode der kleinsten Quadrate"—  Präsentation transkript:

1 Methode der kleinsten Quadrate
Mathematik Semesterarbeit 2000 Dirk Frauendorf & Benno Fäh

2 Aufgabenstellung Ziel: 

3 Vorgehen Informationen suchen Beispiel mit Maple
C-Programm analysieren und dokumentieren Makefile erstellen Programm testen

4 Kleinst Quadrat Methode
Beispiel an der Gerade Jemand möchte wissen, ob die Schuhgrösse und die Körpergrösse eines Menschen voneinander abhängig sind. Er misst von allen Schülern und Schülerinnen der Klasse oder des Schulhauses die Schuhgrösse und die Körpergrösse.

5 Kleinst Quadrat Methode
Beispiel an der Gerade Gerade: y = ax+b Parameter a und b schätzen =Startwerte Mit etwas Phantasie liegen die Messwerte auf einer Geraden: y = ax+b Doch wie bestimmt man die Parameter a und b dieser Geradengleichung? Ihr habt es wahrscheinlich bereits erraten: Dazu braucht man natürlich die Kleinstquadrat-Methode.

6 Kleinst Quadrat Methode
Beispiel an der Gerade r =Residuen Wie bestimmen wir a und b ? Mit etwas Phantasie liegen die Messwerte auf einer Geraden: y = ax+b Doch wie bestimmt man die Parameter a und b dieser Geradengleichung? Ihr habt es wahrscheinlich bereits erraten: Dazu braucht man natürlich die Kleinstquadrat-Methode. Die vertikalen Linien nennt man Residuen r. Bei 10 Messwerten gibt es 10 Residuen r1 bis r10. Eine Approximation der Kurve durch die Messwert-Paare hat man dann, wenn der folgende Ausdruck M minimal wird: M(a,b) = (r1)2 + (r2)2 + (r3) (r10)2 M(a,b) bedeutet, dass M von den Parametern a und b der Kurve abhängig ist. r M(a,b) = (r1)2+(r2)2+(r3)2+...(r10)2 muss minimiert werden

7 Kleinst Quadrat Methode
Beispiel an der Gerade M(a,b) = (r1)2+(r2)2+(r3)2+...(r10)2 minimieren G(M(a,b)) oder mit: Partieller Ableitung von M nach a und b Wie wird der folgende Ausdruck M minimal ? Man kann die "Fehler-Landschaft" auch von oben als Höhenprofil betrachten. Ziel ist es nun, durch geeignete Wahl von a und b den tiefsten Punkt in dieser „Landschaft“ zu finden, d.h. den Punkt mit dem kleinsten Fehler. Der Algorithmus wird also so ablaufen, dass man zuerst zufällige Werte für a und b bestimmt (sog. Startwerte). Solange man das Optimum noch nicht gefunden hat, sucht man sich mit Hilfe eines iterativen Verfahrens einen neuen Punkt, der näher beim Optimum liegt. Bewegt man sich dabei stets nach unten, dann muss man irgendwann beim minimalen Fehler angelangt sein. An Bild Startwert zeigen (Hellraum Projektor) Dieses Verfahren birgt die Gefahr in sich, dass man nicht das absolute Minimum findet, sondern sich in einem sogenannten lokalen Minimum verfängt. Ein lokales Minimum kann man sich als kleine Grube vorstellen, in die der Algorithmus hineinläuft. Er findet dann zielsicher den tiefsten Punkt innerhalb der Grube, obwohl es wo anders vielleicht einen noch viel tieferen Punkt gegeben hätte. Das Ganze kann man auch numerisch ausrechne und zwar mit der partiellen Abl von F nach a und b Die beiden entstandenen nichtlinearen Gleichungen werden nun mit dem Newton-Verfahren aufgelöst. Somit bekommen wir die beiden Parameter a und b. Die Gerade mit diesen Parameter liegt nun optimal entlang der Punktewolke. Parameter a Parameter b

8 Kleinst Quadrat Methode
Beispiel am Kreis xm,ym R Punkte Residuen Summe Minimieren F Minimieren mit pariteller abl. / Graphisch nicht möglich da 3 Parameter 3 Geleichungen -> nummerisch Lösen (newton-raphson) Newton Raphson braucht startwert - wie Startwert? Kreis anhand 3 Punkten Berechnen Mittelpunkt und Radius = Startwert Numerisch lösen Residuen

9 Kleinst Quadrat Methode
Beispiel am Kreis Numerisch lösen Parameter x,y,R

10 Programm C Hauptprogramm Einlesen der Punkte Berechnung des Startwerts
Partielle Ableitung Lösung der Gleichung mittels Gauss-Newton Verfahren

11 Test Startwertproblem Beim Test tauchte Startwertproblem auf

12 Test Startwertproblem Erwartetes Ergebnis Erwartetes Erbgebnis

13 Test Startwertproblem 3 Punkte für Startwert Erwartetes Erbgebnis

14 Test Startwertproblem lokales Minimum Mit dem schlechten Startwert
Wird das absolute minimum nicht gefunden (vgl Fläche) Es wird ein lokales minimum gefunden! Falsches Ergebnis Startwert anders berechnen Haneingabe schätzen 3 weit auseinanderliegende punkte wählen Mehrere 3er Tupel -> mittlewert

15 Test 3D Fall Auch 3d Fall möglich Aber 1 Parameter mehr z-Achse 

16 Fazit Dokumentation erstellen Projektplan erstellen
Erfahrungen mit C gesammelt Erstellung eines Makefiles Umgang mit Cygwin32 Beta19