Anwendungsperspektiven Anwendungsfelder Netzauswahl, Anpassungen, Visualisierungen, Zeitrepräsentation REM I II III

künstliche Neuronale Netzwerke Neuronale Netzwerke als Computerprogramme, die die Arbeitsweise natürlicher Neuronen nachahmen. Zwecke dieser Programme können sein Modellierung tatsächlicher neuronaler Vorgänge in der Biologie Einsatz der Möglichkeiten neuronaler Systeme in größeren Computerprogrammen Die Arbeitsweise ist bestimmt durch massiv parallele Informationsverarbeitung in den Neuronen Propagierung der Informationen über die Synapsen (Neuronenverbindungen) Vorbereitung der Netze in der Aufbauphase (Netztopologie) ihre Trainingsphase (kein Programmieren!) und ihre Arbeitsphase (Propagierung) Version 04.1 Heinrich Werner

Besonders geeignet, wenn die Anzahl der Parameter sehr groß ist. die statistische Verteilung der Parameter unbekannt ist. Zusammenhänge zwischen den Parametern unterstellt werden müssen, aber quantitativ unbekannt sind. numerische Zusammenhänge bekannt, aber für eine effektive Berechnung zu komplex sind. Version 04.1 Heinrich Werner

Fluch der Dimension Eine hohe Parameterzahl verursacht ein ernstes Problem, weil dann eine große Anzahl von Eingabe-Vektoren (samples) benötigt wird, um den Eingaberaum einigermaßen dicht abzutasten. Wenn nicht ein deutliches Vielfaches der Dimension als Sample-Anzahl vorliegt, muß erwartet werden, daß ganze Bereiche des Eingaberaums nicht modelliert werden. Version 04.1 Heinrich Werner

Anwendungsgebiete Mustererkennung Handschrift-Erkennung / Spracherkennung / optische Musterkassifikation / EEG-Klassifikation.  Codierung / Visualisierung Bildkompression / Sprachsynthese / Rauschfilter / Mapping z.B. in der Medizin.  Kontrolle Qualitätskontrolle (optisch, akustisch) / Robotersteuerung / Navigation / Schadens-Diagnostik / EEG-Überwachung.  Optimierung Parametervariation in Fertigungsprozessen / TSP-Probleme / Scheduling-Probleme).  Version 04.1 Heinrich Werner

Mustererkennung Mustererkennung, ein Gebiet das klassischen Rechnern erhebliche Probleme bereitet. Betrachtet man z.B. das Parkettierungsproblem, mit den 12 Pentominos (zusammenhängende Spielsteine aus 5 Quadraten) eine Rechteckige Fläche von 5x12 bzw. 6x10 Quadraten zu überdecken, so sieht man eine deutliche Überlegenheit des menschlichen Gehirns gegenüber einem herkömmlichen Computerprogramm Version 04.1 Heinrich Werner

Das Problem der zwei Spiralen Aber auch bei ganz eindeutigen Mustererkennungs-problemen können natürliche Neuronale Netze ihre Probleme haben Version 04.1 Heinrich Werner

lange Trainingszeiten Eine große Anzahl von Trainingsdurchläufen ist notwendig. Da beim Training der Auswertungsfehler minimiert wird, bleiben viele Verfahren in lokalen (Fehler-) Minima stecken, ohne den minimalen Fehler zu erreichen. Wegen der lokalen Minima müssen eventuell viele Serien gestartet werden.  Bei hoher Anzahl von Verbindungen steigt die Anzahl der Trainingsdurchläufe unverhältnismäßig stark an. Version 04.1 Heinrich Werner

Lernerfolg bleibt aus, wenn Man einen zu ineffektiven Lernalgorithmus für das Problem hat. oder in einem lokalen Minimum eingefangen wird (schlechte Anfangsbedingung). oder ein zu groß gewordenes Verbindungsgewicht die nachfolgenden Neuronen paralysiert.  oder die Netztopologie prinzipiell für das Problem ungeeignet ist (globales Minimum zu groß).  oder die Aufgabe prinzipiell unlösbar ist (zu große Widersprüche). Version 04.1 Heinrich Werner

Overfitting wenn die Testdaten zu große Unterschiede zu den Trainingsdaten haben (garbage in, garbage out).  Bei zu langen Trainingsläufen sinkt die Generalisierungsfähigkeit.  Zu viele verborgene Neuronen führen zu bloßem Auswendiglernen ohne Generalisierungsfähigkeit. Version 04.1 Heinrich Werner

Black Box Verhalten Die Information über das Netzverhalten ist in den Synapsengewichten codiert und auf das gesamte Netzwerk verteilt.  Das Netzwerk gibt auf jede Eingabe eine Antwort, gleichgültig ob es auf ähnliche Eigaben trainiert wurde oder nicht.  Es gibt keine unmittelbare Möglichkeit, einem Neuronalen Netzwerk Gesetze, Regeln oder Rechenvorschriften einzugeben. Version 04.1 Heinrich Werner

Konsequenzen Neuronale Netze sind ungeeignet für deterministische Aufgaben (Regeln, Berechnungen, absolute Fehlerfreiheit).  Es ist besser kleine Neuronale Netze zu verwenden (kurze Trainingszeiten / geringe Gefahr des Auswendiglernens / gute Generalisierungsfähigkeit / gut analysierbar).  Redundanz in den Outputs verwenden (gute Unterscheidung von klaren und unsicheren Entscheidungen des Netzwerks / gute Überprüfung der Reaktion des Netzwerks auf untrainierte Inputs / gute Erkennung der für das Netzwerk neuen Situationen :Novelty-Filter).  Vorverarbeitung gut planen (Entwicklung geeigneter Trainings- und Test-Dateien aus den vorliegenden Daten / Umwandlung großer Input-Vektoren in (evtl. mehrere) kleine Input-Vektoren für kleine Netze / klassische Filtermethoden bei vorliegenden Hypothesen über Verteilungen und Rauschverhalten).  Modularisierung des Netzwerks (Aufbau des Gesamtsystems aus Teilen mit verschiedenen Einzelaufgaben wie etwa: Vorverarbeitungen, Regelverarbeitungen, Berechnungen / klassischer top-down-Entwurf eines hybriden Systems, in dem Netze und klassische Programmteile realisiert werden.). Version 04.1 Heinrich Werner

Vorverarbeitung In allen Anwendungssituationen ist eine mehr oder weniger aufwendige Aufarbeitung der vorhandenen Daten nötig. Verschiedene Eingabeparameter müssen auf etwa übereinstimmende Größenordnungen normiert werden, damit nicht ein Parameter alle übrigen dominiert. Korrelationen zwischen verschiedenen Parametern sollten eliminiert werden. wiederkehrende Datenkonstellationen (Features) sollten vorab erkannt und klassifiziert werden. Periodisches Zeitverhalten kann vorab durch Fourier-Analyse und Ähnliches bestimmt werden. Version 04.1 Heinrich Werner

unterwiesenes Training Training mit Lehrer modelliert ein bestimmtes Ein-Ausgabe-Verhalten. Der Erfolg hängt wesentlich von der Funktionalität der modellierten Daten ab. Im nicht funktionalen Fall kann eine Rückkopplung (interne Zustände) eine Verbesserung der Modellierung erreichen. Version 04.1 Heinrich Werner

Funktionales Verhalten Ein nicht rückgekoppeltes Netzwerk mit Ein- und Ausgabe stellt immer eine Funktion dar. Sind die Trainingsdaten nicht funktional (widersprüchlich, es gibt sehr ähnliche Inputs mit sehr unterschiedlichen Outputs) so muss entschieden werden, wie damit umgegangen werden soll: Soll zwischen den möglichen Outputs gemittelt werden? Soll eine Begrenzung der Abweichung von den trainierten Daten erzwungen werden? Soll nur eine Klassifikation der Eingaben erzeugt werden, ggf. mit einem Intervall möglicher Outputs? … Version 04.1 Heinrich Werner

nicht funktionales Verhalten Wir unterstellen meist, dass der Output durch den Input bestimmt ist, dies kann aber aus verschiedenen Gründen gestört sein Der Input erfaßt nicht alle für den Output relevanten Parameter (verborgene Parameter) Der Output hängt nicht eindeutig von den Eingaben ab (relationaler Zusammenhang) Es gibt innere Zustände des Systems, nach denen sich der Output richtet. Version 04.1 Heinrich Werner

Modellierung durch Klassifikation Nicht funktionales Verhalten kann man modellieren, indem man, statt ein Ein-Ausgabe-Verhalten zu untersuchen, die Eingaben in unterschiedliche Klassen einteilt, für die das Verhalten ungefähr gleich ist In diesem Fall kann ein Training nur selbstorganisiert sein, weil von einem Soll-Output oder „richtigen“ Output nicht die Rede sein kann. Version 04.1 Heinrich Werner

Das Black-Box Problem Ein NN gibt auf jeden Input eine Antwort, aber ohne Begründung. Es gibt also folgende Fälle. Ein Input-Response ist: richtig ungenau, weil ähnliche Trainingsdaten eine hohe Streuung bei den Ausgaben hatten Falsch/richtig, weil/obwohl das Netz nie etwas ähnliches trainiert hat falsch, weil im Training mehrere widersprüchliche Daten trainiert wurden Version 04.1 Heinrich Werner

öffnen der Black Box Es gibt Methoden, dem NN anzusehen, wie „sicher“ es sich seiner Antwort ist. Ausgaben haben stets eine feste Struktur, eine Abweichung deutet einen Fehler an Trennung von Input und Output mit einer Analyse der Dichte von Trainingsdaten um den Input und der Streuung von deren Outputs Version 04.1 Heinrich Werner

Output-Struktur Statt z.B. ein Antwortverhalten ja / unentschieden / nein mit einem Neuron und den Outputs 1 / 0,5 / 0 abzubilden, (Alle Ausgaben des Neurons sind sinnvoll interpretierbar) kann man drei Output-Neuronen wählen mit den möglichen Antworten 100 / 010 / 001. (Weicht ein Output stark von der Form „Einheitsvektor“ ab, kann angenommen werden, daß das Netz auf den aktuellen Input nicht genügend trainiert wurde.)        ? ? Version 04.1 Heinrich Werner

Trennung von Input und Output Die folgenden Argumente sprechen dafür, vor dem Training der Ausgabedaten eine Analyse der Eingabedaten getrennt vorzunehmen Eine getrennte Analyse der Eingaben kann wertvolle Hinweise auf die Struktur der Daten liefern Vorverarbeitungen und Dimensionsreduktionen können in diese Phase eingebracht werden. Oft können Eingabedaten in beliebig großer Zahl einfach beschafft werden, wogegen die zugehörigen Bewertungen (Target Outputs) nur schwer zu erzeugen sind und daher nur für einen Bruchteil der Inputs vorliegen. Version 04.1 Heinrich Werner

Gefahren der Trennung Nachteil: Ungleiche Dichte von Meßpunkten kann zu Missinterpretationen führen Dies kann zum Teil dadurch aufgefangen werden, daß Training nach Input und Output im Wechsel durchgeführt werden, anstatt sie völlig zu trennen. Bsp.: Die Häufigkeits- verteilung der Meßpunkte in x-Richtung suggeriert das Glockenzentrum zu weit rechts und liefert deshalb eine schlechte Approximation. Version 04.1 Heinrich Werner

Trainingserfolg ablesen Z.B. bei Kohonen netzen lässt sich aus der Reaktion des Netzes die Güte des Trainingserfolges ablesen, wenn man nicht nur die Aktivierung des Siegers darstellt. gute Aktivierung schlechte Aktivierung Version 04.1 Heinrich Werner

Problem der Zeitrepräsentation Insbesondere bei Prognose-Aufgaben spielt die zeitliche Abfolge der Eingaben oft eine wesentliche Rolle. Outputs hängen nicht allein vom Input, sondern auch von der Historie der bisherigen Inputs ab. Wie lassen sich Zeitreihen in neuronalen Netzwerken modellieren? Version 04.1 Heinrich Werner

Interne Zustände Durch Rückkopplungen lassen sich bisherige Netzaktivitäten (als Zustände) speichern und bei neuen Eingaben zur Propagierung verwerten. Beispiele: Jordan-/ Ellmann- Netzwerke mit nicht trainierbaren Rückkopplungen Hopfield Netze, BAM mit trainierbaren Rückkopplungen Version 04.1 Heinrich Werner

Zeitfenster Nimmt man nur einen kurzzeitigen Einfluß vergangener Inputs an, so kann man statt eines einzelnen Inputs eine feste Anzahl k von aufeinanderfolgenden Inputs trainieren. Nachteil: Die Dimension des Inputs vervielfacht sich um den Faktor k, während die Anzahl der Samples sich reduziert. (Fluch der Dimension) Version 04.1 Heinrich Werner

Fourier-Transformation Unterstellt man den Meßreihen periodisches Verhalten, so kann man die entsprechenden Perioden über eine Fourier-Transformation ermitteln. Trainiert man nun (auch) mit den Transformierten Zeitreihen, so werden diese periodischen Zeiteffekte gelernt. Version 04.1 Heinrich Werner