Uebung 03 Netzdateien.

Präsentation zum Thema: "Uebung 03 Netzdateien."—  Präsentation transkript:

1 Uebung 03 Netzdateien

2 Neuronale Netze Ein neuronales Netz besteht aus Neuronen und Verbindungen. Die Neuronen haben Aktivitäten und Outputs, die aus den Aktivitäten mit Outputfunktionen berechnet werden. Die Verbindungen haben zwei Neuronen als Start und Ziel, sowie ein Gewicht, das die Übertragung des Outputs vom Start in den Input vom Ziel regelt. SS 2011 H. Werner : Datenalyse

3 Netz-Daten Die Verbindungsgewichte eines Netzes können also in einer quadratischen nxn_Matrix angeordnet werden, wobei n die Anzahl der Neuronen ist. Für die Neuronen ist noch eine (oder zwei) weitere n_Zeile(n) notwendig um die Aktivitäten (und/oder Outputs) aller Neuronen aufzunehmen. SS 2011 H. Werner : Datenalyse

4 Zusatzinformationen Neben den Neuronenzuständen und Verbindungsgewichten gibt es noch weitere interessante Informationen die zu den Netzdaten gerechnet werden können. Für jedes Neuron ist festzuhalten, welche Outputfunktion es verwendet. Es sind die Neuronen zu markieren, über die der Input ins Netz eingespeist wird. Es sind die Neuronen zu markieren, über die der Netzoutput nach außen geleitet wird. Für eine bildliche Darstellung des Netzes könnten für jedes Neuron seine Position als kartesische Koordinaten angegeben werden. SS 2011 H. Werner : Datenalyse

5 Neuronengruppen Bei der Behandlung von hochdimensionalen Datensätzen entstehen Netzwerke mit z.T. riesigen Zahlen von Neuronen, die einzeln nicht mehr handhabbar sind. In solchen Fällen ist es sinnvoll, die Neuronen in Gruppen einzuteilen, deren Elemente eine gleichartige Rolle im Netzwerk spielen und dann den Netzaufbau gruppenweise zu konstruieren. Gruppen stellen ein Konstruktionsmittel dar und haben keinen Einfluss auf die Funktionalität des Netzwerks. Sie erlauben die Zerlegung der großen Gewichtsmatrix in kleinere handhabbare Teile. SS 2011 H. Werner : Datenalyse

6 Header einer Netzdatei
Im Header (Kommentar) unterzubringende Daten: Gruppengrößen : n1, n2, …, nk Neuronenzahl : n= n1+ n2+ …+ nk Outputfunktionen : θ1, θ2, …, θk Koordinaten : (x1, y1),(x1, y1),…, (xk, yk) Neuronenmerkmale: ψ1, ψ2, …, ψk (z.B. Input-, Output-, hidden, …) SS 2011 H. Werner : Datenalyse

7 Netzdatei Matrizen Neuronenbereich mindestens 1 Block:
Kommentar: # Aktivität (bzw. Output) K Zeilen der Längen n1, n2, …, nk Matrizenbereich mehrere Blöcke Kommentar # i->j nj Zeilen der Länge ni mit den Gewichten der Verbindungen von Neuronen aus Gruppe i zu Neuronen aus der Gruppe j Der Vorteil des Gruppenansatzes ist, daß statt einer großen Matrix mehrere kleine Matrizen betrachtet werden. SS 2011 H. Werner : Datenalyse

8 Rückkopplungen Unter einer Rückkopplung (feedback) verstehen wir eine Folge von Neuronen-Verbindungen, die von von einem Neuron zu ihm selbst zurückführen, d.h. wir haben Neuronen a1, a2, … am wobei für alle i<m ai mit ai+1 unmittelbar verbunden ist, sowie auch am mit a1 . Wir werden uns hauptsächlich mit Netzen befassen, die keine Rückkopplungen haben, man nennt solche Netze Feedforward-Netze. Diese Netze sind dadurch gekennzeichnet, daß man die Neuronen insgesamt so nummerieren kann, daß alle Verbindungen nur von Neuronen kleineren Indexes zu Neuronen größeren indexes verlaufen. SS 2011 H. Werner : Datenalyse

9 Feedforward Netze Wenn man an die Gruppen, die man zur Konstruktion heranzieht die Bedingung knüpft, daß es innerhalb der Gruppe überhaupt keine Verbindung gibt, kann man Rückkopplungsfreiheit dadurch erzwingen, daß man verlangt, daß es aus jeder Gruppe nur Verbindungen in Gruppen mit einem höheren Index gibt. Ein Weg, dies zu erzwingen, ist, bei der Konstruktion nach jeder Erzeugung einer Gruppe zuerst alle Verbindungen in diese Gruppe zu erzeugen, bevor die nächste Gruppe erzeugt wird. Dann kann es nämlich keine Verbindung aus einer später erzeugten Gruppe in diese Gruppe mehr geben. Dieses einfache Verfahren ist bei einer Neukonstruktion zwar sehr bequem, kann aber bei der Veränderung eines schon konstruierten Netzes scheitern. SS 2011 H. Werner : Datenalyse

10 Sortierverfahren Wenn man für ein Netz herausfinden will, ob sich darin Rückkopplungen befinden, kann man folgenden Schichtungsversuch starten: Beginne im Schritt 0 mit allen Neuronen (oder Gruppen), in die keine Verbindungen hineinführen und nenne diese „Schicht 1“. Bei jedem weiteren Schritt i nimm alle Neuronen (oder Gruppen), in die nur Verbindungen aus den bereits erzeugten Schichten hineinführen und nenne diese „Schicht i+1“ Das Verfahren endet, wenn es keine Neuronen (oder Gruppen) für einen weiteren Schritt mehr gibt. Wenn jetzt noch Neuronen (Gruppen) im Netz übrig bleiben, fassen wir sie in einer „Schicht 0“ zusammen. Dann gibt es innerhalb Schicht 0 Rückkopplungen und die übrigen Schichten stellen den rückkopplungsfreien Teil des Netzes dar. SS 2011 H. Werner : Datenalyse

11 Aufgabe Wir gehen davon aus, daß alle Neuronen (bzw. Gruppen) durchgehend nummeriert sind (1,…,n) und daß wir jede direkte Verbindung von i nach j als das Paar (i,j) notieren. Programmiere eine Funktion Schichtung(M), die eine beliebige Menge M von Paaren (i,j) mit i,j≤n entgegennimmt und als Ausgabe die Schichten notiert in der Form {k,l,…}, wobei Schicht 0 als letzte notiert wird. Die Verbindungen erlauben also keine Rückkopplung, wenn die letzte Schicht als {} ausgegeben wird. SS 2011 H. Werner : Datenalyse