The Emergence of a Language in an Evolving Population of Neural Networks Angelo Cangelosi, Domenico Parisi

Überblick Pilzwelt Sprache Diskussion

Pilzwelt

Die Pilzwelt Essbare/Giftige Pilze: Fitness-Bonus/-Abzug Pro Zyklus: 1 Bewegung (inkl. Essen ggf) Nach 50 Zyklen: neue Pilze Nach 750 Zyklen: Reproduktion und Tod Nächste Generation: Gewichte der Vorfahren (gewichtet nach Fitness) + Mutation (10% der Gewichte zufällig geändert) Neuronale Netze navigieren durch eine quadratische Welt und essen dabei die Pilze, die sie finden.

+ Die Pilzwelt Essbarer/ Giftiger Pilz

Netzarchitektur

00: warten 01: rechts drehen 10: links drehen 11: geradeaus gehen Riechen(?) Hören Sehen GehenSprechen Denken Wenn Pilz auf Nachbarfeld: (essbar) oder (giftig) + Rauschen (1 bit verändert) Winkel zum nächsten Pilz (0..1 = Grad) Sprachoutput (010, 110,...) Sprachinput (010, 110,...) Netzarchitektur

Essbarer Pilz zur Linken Input: ? ? ? Evtl.Output: 1 0 ? ? ?

Giftiger Pilz im Rücken Input: ? ? ? Evtl.Output: 1 1 ? ? ?

Unbekannter Pilz im Rücken Input: ? ? ? Evtl.Output: ???

Sprache

Zusätzlicher Faktor: Sprache Wortschatz: (8 Worte/Laute) Keine Syntax Genetisch bestimmt, kein Lernen Eher Ähnlichkeit zu Tierlauten

Fragen Wie verändert sich die Leistung der Netze durch Sprache? Evolutionärer Druck für Sprachverstehen? Evolutionärer Druck für Spracherzeugung?

1. Versuch: keine Sprache Sprachinputs bleiben konstant auf.5 Sprachoutputs werden ignoriert ?

2. Versuch: gegebene Sprache Sprachoutput wird ignoriert Sprachinput durch Experimentatoren festgelegt: für essbare, für giftige Pilze unabhängig von der Entfernung Evolutionsvorteil, falls Signale verstanden werden !

3. Versuch: evolvierende Sprache Sprachinput = Sprachoutput eines anderen Mitglieds der Population, das den Pilz sehen kann Selektionsvorteil, falls - Inputs zu richtigem Verhalten führen - Outputs kohärent sind !

Fitness nach 1000 Generationen Ohne Sprache: ca. 150 Punkte Gegebene Sprache: ca. 250 Punkte Eigene Sprache: ca. 250 Punkte (mehr Schwankungen) ? ! !

Diskussion

Fragen Wie verändert sich die Leistung der Netze durch Sprache? Evolutionärer Druck für Sprachverstehen? Evolutionärer Druck für Spracherzeugung?

Fragen Wie verändert sich die Leistung der Netze durch Sprache? positiv Evolutionärer Druck für Sprachverstehen? Evolutionärer Druck für Spracherzeugung?

Fragen Wie verändert sich die Leistung der Netze durch Sprache? positiv Evolutionärer Druck für Sprachverstehen? Korrekte Interpretation erlaubt effizienteres Pilzesammeln. Evolutionärer Druck für Spracherzeugung?

Fragen Wie verändert sich die Leistung der Netze durch Sprache? positiv Evolutionärer Druck für Sprachverstehen? Korrekte Interpretation erlaubt effizienteres Pilzesammeln. Evolutionärer Druck für Spracherzeugung? Noch unklar! Trotzdem scheint eine sinnvolle Sprache zu entstehen.

Warum Spracherzeugung? Erzeugung korrekter Signale ist altruistisch, d.h. sie wird nicht direkt belohnt. Ein Individuum hat also keinen Selektionsvorteil, wenn es verständliche Signale emittiert. Trotzdem scheinen sich (siehe Fitness) sinnvolle Signale durchgesetzt zu haben. Warum?

Sinnvolle Sprache? Sprache ist effizient, falls: Unterschiedliche Kategorien unterschiedliche Signale erzeugen Instanzen derselben Kategorie gleiche Signale erzeugen Dieselben Signale innerhalb der Population benutzt werden (Clark 1993: Principle of Contrast)

Ist die erzeugte Sprache effizient? Analyse der Sprache: allen Individuen werden giftige und essbare Pilze aus allen Perspektiven gezeigt Ergebnis: Konvergenz zu einem Signal für essbar und einem für giftig Interessant: Winkel wird korrekt als irrelevant für den Sprachoutput erkannt!

Immer noch: Warum? Hypothese: Da sowohl Bewegung als auch Sprachoutput aus dem Hidden Layer gesteuert werden, wirkt sich die Selektion über korrekte Bewegungen indirekt auch positiv auf die Sprachausgabe aus

00: warten 01: rechts drehen 10: links drehen 11: geradeaus gehen Riechen(?) Hören Sehen GehenSprechen Denken Wenn Pilz auf Nachbarfeld: (essbar) oder (giftig) + Rauschen (1 bit verändert) Winkel zum nächsten Pilz (0..1 = Grad) Sprachoutput (010, 110,...) Sprachinput (010, 110,...) Netzarchitektur

Unterstützung für die These Die zuvor ignorierten Sprachoutputs der sprachlosen Population werden untersucht. Auch dort entstehen konsistente Signale! Korrekter Sprachoutput entsteht also als Beiprodukt korrekter Kategorisierung. Burling 1993: language has emerged from cognitive capacities rather than from primate-level communicative behaviour

Ergebnisse Durch genetische Übertragung und Selektion entsteht ein in der Population gemeinsames Repertoire von Signalen. Die Signale sind ein Beiprodukt der internen Kategorisierung.

Kritikpunkte Erklärung geht direkt aus Netzstruktur hervor Erklärung für Überleben der günstigen Gewichte von Hidden Layer zu Sprachneuronen bleibt letztendlich offen Sprache entwickelt sich, auch wenn sie nicht muss?

: )