Neuronale Netze (1) Isabel Schwende 16.5.2011
Neuronen Etwa 100 Milliarden Nervenzellen im Gehirn Jedes Neuron ist mit bis zu 10.000 weiteren Neuronen verbunden Neuronen sind in bis zu sechs Schichten hierarchisch angeordnet
Vereinfachte Struktur Dendriten Synapsen Axonhügel Zellkörper Zellkörper Axon
falls Schwellwert überschritten Signalübertragung falls Schwellwert überschritten Signal Dendriten Summation Axonhügel Elektrischer Impuls Axon
Mathematisches Modell x₁ w₁ ∑ w₂ σ(Σ) y x₂ w₃ x₃
Einschichtige Netzwerke Formel: S=∑ w *x y=σ(S) Gewichte n Signale i i i=1 Aktivierungsfunktion Ausgabe
Aktivierungsfunktion σ Sie definiert die Aktivität das Neurons Dabei gelte: σ(S)=1 bedeute, dass das Neuron aktiv sei σ(S)=0 bedeute, dass das Neuron nicht aktiv sei Idee: Treppenfunktion σ(S)=1, falls S ≥ Schwellwert σ(S)=0, falls S < Schwellwert Problem: Nicht differenzierbar!
Sigmoidfunktion Beschränkte und differenzierbare reelle Funktion Für x<0 sig(x)` ≤ 0 und für x>0 sig(x)` ≥ 0 Wendepunkt im Ursprung Beispiele: sig(x)=1/(1+exp(-x) ) tanh(x) x/√(1+x²)
Beispiel OR-Funktion x₁=0; x₂=0 S=0 y=0 x₁=1; x₂=0 S=1 y=1 Schwellwert 0,5 1 x₁ ∑ σ(∑) y 1 x₂ x₁=0; x₂=0 S=0 y=0 x₁=1; x₂=0 S=1 y=1 x₁=1; x₂=1 S=2 y=1
Mehrschichtige Netze: Modell Eingabe-Signal Ausgabe-Signal z x M y D K z₂ x₁ y₁ z₁ Versteckte Einheit
Mehrschichtige Netzwerke: Formel (1) a = ∑ w * x + w z = h(a ) Für j=1,…,M: Oberer Index: aktuelle Schicht D (1) (1) ji j i j0 i=1 Biases Aktivatoren Eingabe Gewichte Versteckte Einheit j j Aktivierungsfunktion
Mehrschichtige Netzwerke: Formel(2) Ausgabe-Aktivatoren: a = ∑ w * z + w k=1,…,K Anzahl an Ausgabe-Signalen y =σ(a ) M Aktuelle Schicht (2) (2) kj k0 k j j=1 Biases Gewichte Versteckte Einheiten k k Ausgabe
Mehrschichtige Netze: Formel(3) Formel zusammengefasst: y (x,w)=σ(∑ w h(∑ w * x + w ) + w ) M D (2) (1) (1) (2) kj i k ji j0 k0 j=1 i=1 a j z j
Modell für vereinfachte Formel x z D M y K x₁ z₁ y₁ x₀ z₀
Mehrschichtige Netzwerke: Formel(4) Vereinfachte Formel ohne Bias: y (x,w)=σ(∑ w h(∑ w * x ) ) wobei auf x₀=1 gesetzt wird. M D (2) (1) k kj ji i j=0 i=0 Zusätzliche Eingangs-Variable
Beispiel XOR-Funktion Schwellwerte: 1 2 x₂ z₁ 2 -2 y₁ -2 2 x₁ z₂ 2