Patrick Drude High Level Cognition 1. Einführung - Probleme mit neuronalen Netzen - Kombination von Informationen - Zielgerichtetes Handeln - Context Awareness 2. Ein neuronales Modell zur Kombination von Informationen - prinzipielle Funktionsweise und Begründung des Modells - Versuchsreihe mit Affen - Bestandteile des Modells: 1) Feedforward bzw. Feedback Netz - Verhalten der Feedforward / Feedback Netze 2) Local Microcircuits - Verhalten der Microcircuits - Binding problem Patrick Drude High Level Cognition

Probleme mit “herkömmlichen” neuronalen Netzen: Unmöglichkeit der Erweiterung Konstante (benötigte Lernzeit)/(Komplexität der Situation) Beides Widerspruch zur Natur => Wie speichern/verarbeiten Lebewesen Informationen ? Speicherkapazität des Gehirns < Gesamtheit visueller Informationen Speicherung in Form von Modulen Nur die Kombinationen müssen erlernt werden Patrick Drude High Level Cognition

Situationsbedingtes Handeln } wahrgenommene Kombination Berücksichtigung der Gesamtsituation Konkrete Handlung Präsentation eines neuronalen Netzes, das basierend auf Versuchsreihen mit Affen, die Identität eines Objekts erkennt, aus der Identität des Objekts auf seine Position und andere Eigenschaften schliessen lässt, auf diese Weise zielgerichtetes Handeln ermöglicht. Patrick Drude High Level Cognition

Patrick Drude High Level Cognition Vorgehensweise: Ausführung im Ventral Stream (VS) und im Dorsal Stream (DS). Sind beide Bestandteil des visuellen Cortex. Identifizierung: object - based attention im anterior inferotemporal cortex (AIT) des VS Positionsbestimmung: location - based attention bzw. spatial attention in den niedrigeren Schichten des VS Übermittlung der Positionsinformation an den DS Weiterverarbeitung im lateral intraparietal cortex (LIP) Patrick Drude High Level Cognition

Modell des Ventral Stream und des Dorsal Stream DS läuft von V1 bis zum parietal cortex (PG), zu dem auch LIP gehört. DS verarbei-tet Positions-information, ist also der “Wo-Strom”. VS läuft von V1 bis AIT und verarbeitet eingehende Informationen in Feedfor-ward Manier. VS ist der “Was-Strom”. Patrick Drude High Level Cognition

Eigenschaften und Verhalten des Modells RF-Grösse der Neuronen wächst in jeder Schicht x(2 - 2.5) Retinotopische Speicherung der Informationen in V2 - PIT Positionsinformationen gehen in AIT verloren Werden wiedergewonnen durch Zusammenwirken zwischen FeedForward (FF) und FeedBack (FB) Netzwerk Informationen über identifiziertes Objekt werden mit FB von AIT in niedrigere Schichten des VS zurückgesandt Können hier aufgrund der retinotopischen Anordnung der Neuronen einer bestimmten Position zugeordnet werden Kombinierte Informationen werden an DS weitergeleitet Patrick Drude High Level Cognition

Versuchsreihe mit Affen (1) Woher weiss man, daß VS und DS in beschriebener Weise zusammenarbeiten ? Experimente geben hierauf Hinweise: A B Patrick Drude High Level Cognition

Versuchsreihe mit Affen (2) Experiment A: Beobachtung einzelner AIT-Zellen AIT-Zellen wurden so gewählt, daß sie auf ein Objekt stark und auf die anderen Objekte kaum ansprachen Dieselben AIT-Zellen sprachen sowohl auf den Hinweis als auch das Zielobjekt an, unabhängig von der Position => Identifizierung des Zielobjekts unter Verlust der Positionsinformation Patrick Drude High Level Cognition

Versuchsreihe mit Affen (3) Experiment B: Beobachtung einzelner LIP-Zellen, die mind. eines der Objekte (nicht aber den Hinweis!) in ihrem RF hatten Reaktion hing vom Ort des Zielobjekts ab Keine Reaktion, falls Hinweis mit keinem Objekt im RF übereinstimmte Falls aber Zielobjekt im RF, dann Reaktion nach dem Hinweis, aber vor der Augenbewegung Reaktion spiegelte also Augenbewegung wieder Patrick Drude High Level Cognition

Versuchsreihe mit Affen (4) Vermutung aus Experimenten A und B: Identität eines Objekts wird zunächst im VS festgestellt VS teilt dann dem DS mit, “wohin” er gehen soll VS markiert also ein Objekt, auf dem DS dann eine Aktion ausführt Markieren erfordert Zusammenwirken von FF und FB im VS. Im Folgenden soll gezeigt werden, wie dieser Vorgang im Detail abläuft. Patrick Drude High Level Cognition

Bestandteile des Modells (1) Feedforward und Feedback Netz: Zusammenhang in der Aktivierung der V2-PIT Neuronen im FF bzw. FB Netz Wenn FF das Hinweisobjekt verarbeitet und FB im selben retinotopischen Bereich das Zielobjekt verarbeitet, sollte dort grosse Übereinstimmung in den neuronalen Aktivitätsmustern auftreten => Diese grosse Übereinstimmung ist die Grundlage der Positionsbestimmung Patrick Drude High Level Cognition

Implementierung des Modells (1) V1: 24x24 Matrix = 576 Receptive Fields. Jedes RF besteht aus 4 Neuronen (| _ / \) = 2304 Neuronen (N). V2 - AIT: Dargestellt mit Hilfe von RFs aus V1, ebenso die Übergänge zwischen V2 - AIT im FF bzw. FB Netzwerk. V2: 529N mit RF = 2x2 (V1-RF) => 16 V1-N. V4: 441N mit RF = 4x4 (V1-RF) => 9 V2-N. PIT: 289N mit RF = 8x8 (V1-RF) => 25 V4-N. AIT: 4N mit RF = 24x24 (V1-RF) => 289 PIT-N. Aktivität der N in V2 - AIT = Patrick Drude High Level Cognition

Implementierung des Modells (2) 576 V1 RF, besteht aus 4 Neuronen 441 529 V2 Neuron verbunden mit 16 V1 Neuronen V4 Neuron verbunden mit 9 V2 Neuronen Patrick Drude High Level Cognition

Eigenschaften des Feedforward Netzes Hohe Geschwindigkeit der Informationsverarbeitung lässt auf FF Netz schliessen Hierarchische Abfole der einzelnen Schichten V1-PIT Neuronen in höheren Schichten repräsentieren zunehmend komplexere Eigenschaften Das FF Netz wurde mit “back - propagation” trainiert, jedes Objekt aus dem Array an jedem Ort zu erkennen Als Folge dieses Trainings entwickelte das Netz eine verteilte Darstellung der Objekte Patrick Drude High Level Cognition

Eigenschaften des Feedback Netzes FB hat besteht aus denselben Schichten wie FF\{V1}, die Informationen werden aber top - down verarbeitet FB wurde mit der “Hebbian - learning rule” trainiert, jedes Objekt an jedem Ort zu erkennen Grundlage hierfür bildeten die neuronalen Aktivitäts- muster im FF Netz Patrick Drude High Level Cognition

Verhalten des Feedforward / Feedback Netzes (1) A B C D Patrick Drude High Level Cognition

Patrick Drude High Level Cognition Verhalten des Feedforward / Feedback Netzes (2) A: Neuronale Aktivität, wenn das FF Netz das Quadrat aus der Objektliste identifiziert B: Neuronale Aktivität, wenn das FF Netz alle Objekte C: Neuronale Aktivität im FB Netz, wenn ein identifizier- tes Objekt (das Quadrat) zur Positionsbestimmung in die niedrigeren Schichten “zurückgesendet” wird. D: Übereinstimmung (rot) bzw. Nichtübereinstimmung (grün) einander entsprechender Neuronen in FF und FB Patrick Drude High Level Cognition

Patrick Drude High Level Cognition Verhalten des Feedforward / Feedback Netzes (3) Warum werden im FB Netz auf allen retinotopischen Positionen Neuronen aktiviert? Resultiert aus der Art des Trainings sowie Divergenz der FB Aktivierung Warum gibt es eine partielle Übereinstimmung zwischen FB Zielobjekt und FF Ablenkungsobjekten? Ursache ist die verteilte Darstellung, die das FF Netz entwickelt hat, also die Fähigkeit eines Neurons, auf unterschiedliche Merkmale anzusprechen Patrick Drude High Level Cognition

Bestandteile des Modells (2) Wie interagieren FF und FB miteinander? Mit Hilfe eines Microcircuits (MC), der FF und FB in allen retinotopischen Bereichen des VS verbindet Patrick Drude High Level Cognition

Verhalten des Microcircuit (1) Kreislauf besteht aus interagierenden Neuronen Neuronen in A und B sind anregend, in I hemmend Der Kreislauf von I nach I hemmt also die hemmende Wirkung von I auf A und B (Disinhibition) A erhält FF Input und seine Neuronen werden entsprechend aktiviert I erhält FB Input mit ensprechender neuron. Aktivierung Die Aktivität der Neuronen in A, die mit dem FB Input NICHT übereinstimmen, wird unterdrückt (Inhibition) Patrick Drude High Level Cognition

Verhalten des Microcircuit (2) Die Aktivität der Neuronen in A, die mit dem FB Input ÜBEREINSTIMMEN, wird verstärkt (Disinhibition) Dies wird bewirkt, indem die normalerweise hemmen- den Neuronen in I nun ihrerseits unterdrückt werden (Kreislauf von I nach I) Dies verstärkt die Aktivität in A aber nur dann, falls die dortigen Neuronen zur selben Zeit FF Input erhalten Mit Disinhibition lässt sich also die Aktivierung von “target cells” in A steuern Patrick Drude High Level Cognition

Verhalten des Microcircuit (3) Aktivität von A, bei Wechsel von FB Übereinstimmung (M) zu FB Nichtübereinstimmung (NM). A erhält dabei die ganze Zeit denselben FF Input Patrick Drude High Level Cognition

Verhalten des Microcircuit (4) Starke Aktivität in A entspricht der Positionsselektion. Daraufhin wird B aktiviert, undzwar durch Kombination von verstärkter Aktivität aus A und reduzierter Unter- drückung aus I Prinzipiell liesse sich A auch durch direktes FB ansprechen, also ohne den “Umweg” über den MC. Was wäre das Ergebnis? Patrick Drude High Level Cognition

Verhalten des Microcircuit (5) a) entspricht Disinhibition FB von A und anschließender Aktivierung von B b) entspricht Direkt FB von A, kaum Aktivierung von B Ursache: Direkt FB verstärkt sowohl A als auch Unter- drückung durch I: Beides hebt sich gegenseitig auf Patrick Drude High Level Cognition

Verhalten des Microcircuit (6) In diesen beiden Fällen liegt KEIN FF Input bei A vor c) Disinhibition FB; da in A aber kein Vergleichsinput vorliegt, ergibt sich kaum Aktivität d) Direkt FB führt zu gewisser Aktivierung von A auch ohne FF, aber kaum Aktivierung von B Patrick Drude High Level Cognition

Verhalten des Microcircuit (7) Aktivität von B auf den einzelnen Schichten des VS, jeweils vor bzw. nach Anschalten des Zielobjekts (oben) bzw. eines Ablenkungsobjekts (unten) Hohe Aktivität von B entspricht der also Auswahl einer Position Aktivität von B kann im LIP des DS “location - selective” Neurone aktivieren Patrick Drude High Level Cognition

Implementierung des Modells (3) ΤS (dIA/dt) = -IA + JA toA F(IA) - JI toA F(II) + Iff + Ibg ΤS (dIB/dt) = -IB + JB toB F(IB) - JI toB F(II) + JA toB F(IA) + Ibg ΤS (dII/dt) = -II + JI toI F(II) - JA toI F(IA) + (-m + nm)Ifb + Ibg JA toA ; JA toB; JA toI = 1.0 ΤS = 5 msec JB toB = 0.3 Iff = 0.05 JI toI = 0.1 Ibg = 0.025 JI toA = 0.1 σ = 0.03 JI toB = 1.1 Ifb = 0.025 F(I,σ) = 1 / [Tr + Tsp (I,σ)] Patrick Drude High Level Cognition

Patrick Drude High Level Cognition Binding Problem (1) Im bisherigen Modell wurden nur Form und Position eines Objekts kombiniert. Es sollte aber möglich sein, noch mehr Eigenschaften, wie z.B. Farbe oder Bewegung zu kombinieren, denn diese Eigenschaften haben alle eines gemeinsam: die Position Aus der Position sollten sich also weitere Eigenschaften ableiten lassen Präsentation eines Modells, das aus der Position die Farbe eines Objekts ermitteln kann Patrick Drude High Level Cognition

Patrick Drude High Level Cognition Binding Problem (2) Dieses Netzwerk kombiniert Farbe und Form in einer verteilten Darstellung Das V1 RF besteht nun aus den vier 2-D sowie drei Farbneuronen. Das Netzwerk wurde trainiert, auf dem AIT Level Form und Farbe zu erkennen Patrick Drude High Level Cognition

Patrick Drude High Level Cognition Binding Problem (3) Ortsbestimmung erfolgt auf bekannte Weise Ist die Position bekannt, kann die Information im dortigen retinotopischen Berecich genutzt werden, um die Farb- information wiederzugewinnen Problem mit dieser Architektur: Farbe und Form lassen sich nicht separat trainieren. Trainiert man viele Kombinationen von Form und Farbe an derselben Stelle, verliert die FB Information ihre “Fähigkeit”, zu unterscheiden Patrick Drude High Level Cognition

Patrick Drude High Level Cognition Zusammenfassung Modell stellt eine gute Antwort auf die vorgestellten Testreihen dar Die Grundlage hierfür ist der Umstand, daß in den niedrigen Schichten des VS alle Informationen vorhanden sind Offene Fragen: Wie wird die Kombination mehrerer Eigenschaften desselben Objekts letztlich realisiert? Die “Wahrheit” liegt irgendwo zwischen vollkommen getrennter Verarbeitung und verteilter Darstellung Patrick Drude High Level Cognition