Institut für Angewandte Mikroelektronik und Datentechnik Fachbereich Elektrotechnik und Informationstechnik, Universität Rostock Programmierung eingebetteter Systeme Prüfungsvorbereitung Programmierung eingebetteter Systeme Backpropagation in NN
Institut für Angewandte Mikroelektronik und Datentechnik Fachbereich Elektrotechnik und Informationstechnik, Universität Rostock Programmierung eingebetteter Systeme Struktur eines Neuronalen Netzwerkes (feed forward)
Institut für Angewandte Mikroelektronik und Datentechnik Fachbereich Elektrotechnik und Informationstechnik, Universität Rostock Programmierung eingebetteter Systeme Eigenschaften des Neurons klassisches Modell
Institut für Angewandte Mikroelektronik und Datentechnik Fachbereich Elektrotechnik und Informationstechnik, Universität Rostock Programmierung eingebetteter Systeme Probleme beim klassischen Modell unflexibles Netzwerk (o j =1 oder nicht o j =0) zu viele Units um ein einfaches Problem zu beschreiben Problem unter Umständen nicht lösbar Modell kann nicht Lernen – Lernen mit BP nicht möglich da – evtl. mit ES
Institut für Angewandte Mikroelektronik und Datentechnik Fachbereich Elektrotechnik und Informationstechnik, Universität Rostock Programmierung eingebetteter Systeme verbessertes Modell
Institut für Angewandte Mikroelektronik und Datentechnik Fachbereich Elektrotechnik und Informationstechnik, Universität Rostock Programmierung eingebetteter Systeme Eigenschaften des verbesserten Modells nun Lernen mit BP möglich Backpropagation = Gradientenbildung von E (Fehlerfunktion) Ziel: Finden des optimalen w ij dazu folgende Vorschrift
Institut für Angewandte Mikroelektronik und Datentechnik Fachbereich Elektrotechnik und Informationstechnik, Universität Rostock Programmierung eingebetteter Systeme Gradientenbildung
Institut für Angewandte Mikroelektronik und Datentechnik Fachbereich Elektrotechnik und Informationstechnik, Universität Rostock Programmierung eingebetteter Systeme Frage nach dem E (Fehlerfunktion) erste Überlegung: - suboptimal: Ableitung nicht überall stetig/differenzierbar zweite Überlegung: - Quadrieren des Betrages E: Summe (pattern/outputs) c=0,5 (willkürlich zweckmäßig)
Institut für Angewandte Mikroelektronik und Datentechnik Fachbereich Elektrotechnik und Informationstechnik, Universität Rostock Programmierung eingebetteter Systeme kurze Zusammenfassung
Institut für Angewandte Mikroelektronik und Datentechnik Fachbereich Elektrotechnik und Informationstechnik, Universität Rostock Programmierung eingebetteter Systeme Es hilft alles nichts!!!
Institut für Angewandte Mikroelektronik und Datentechnik Fachbereich Elektrotechnik und Informationstechnik, Universität Rostock Programmierung eingebetteter Systeme Ergebnis
Institut für Angewandte Mikroelektronik und Datentechnik Fachbereich Elektrotechnik und Informationstechnik, Universität Rostock Programmierung eingebetteter Systeme für w ji prinzipiell die selbe Vorgehensweise aber: Änderung der w kj beeinflussen w ji Gradient wird komplizierter!!! hat trotzdem die selbe Struktur Fehlerwert*Ableitung*Output(vorige Stufe) Anpassung Wichtungen (w ij )