The Emergence of a Language in an Evolving Population of Neural Networks Angelo Cangelosi, Domenico Parisi.

Präsentation zum Thema: "The Emergence of a Language in an Evolving Population of Neural Networks Angelo Cangelosi, Domenico Parisi."—  Präsentation transkript:

1 The Emergence of a Language in an Evolving Population of Neural Networks Angelo Cangelosi, Domenico Parisi

2 Überblick Pilzwelt Sprache Diskussion

3 Pilzwelt

4 Die Pilzwelt Essbare/Giftige Pilze: Fitness-Bonus/-Abzug Pro Zyklus: 1 Bewegung (inkl. Essen ggf) Nach 50 Zyklen: neue Pilze Nach 750 Zyklen: Reproduktion und Tod Nächste Generation: Gewichte der Vorfahren (gewichtet nach Fitness) + Mutation (10% der Gewichte zufällig geändert) Neuronale Netze navigieren durch eine quadratische Welt und essen dabei die Pilze, die sie finden.

5 + Die Pilzwelt Essbarer/ Giftiger Pilz

6 Netzarchitektur

7 00: warten 01: rechts drehen 10: links drehen 11: geradeaus gehen Riechen(?) Hören Sehen GehenSprechen Denken Wenn Pilz auf Nachbarfeld: 1111100000 (essbar) oder 0000011111 (giftig) + Rauschen (1 bit verändert) Winkel zum nächsten Pilz (0..1 = 0-360 Grad) Sprachoutput (010, 110,...) Sprachinput (010, 110,...) Netzarchitektur

8 Essbarer Pilz zur Linken Input: 0.251 1 1 1 1 0 0 0 1 0? ? ? Evtl.Output: 1 0 ? ? ?

9 Giftiger Pilz im Rücken Input: 0.50 0 0 0 0 1 1 1 1 0? ? ? Evtl.Output: 1 1 ? ? ?

10 Unbekannter Pilz im Rücken Input: 0.50 0 0 0 0 0 0 0 0 0? ? ? Evtl.Output: ???

11 Sprache

12 Zusätzlicher Faktor: Sprache Wortschatz: 0 0 0.. 1 1 1 (8 Worte/Laute) Keine Syntax Genetisch bestimmt, kein Lernen Eher Ähnlichkeit zu Tierlauten

13 Fragen Wie verändert sich die Leistung der Netze durch Sprache? Evolutionärer Druck für Sprachverstehen? Evolutionärer Druck für Spracherzeugung?

14 1. Versuch: keine Sprache Sprachinputs bleiben konstant auf.5 Sprachoutputs werden ignoriert ?

15 2. Versuch: gegebene Sprache Sprachoutput wird ignoriert Sprachinput durch Experimentatoren festgelegt: 1 0 0 für essbare, 0 1 0 für giftige Pilze unabhängig von der Entfernung Evolutionsvorteil, falls Signale verstanden werden 1 0 1 !

16 3. Versuch: evolvierende Sprache Sprachinput = Sprachoutput eines anderen Mitglieds der Population, das den Pilz sehen kann Selektionsvorteil, falls - Inputs zu richtigem Verhalten führen - Outputs kohärent sind 1 0 1 !

17 Fitness nach 1000 Generationen Ohne Sprache: ca. 150 Punkte Gegebene Sprache: ca. 250 Punkte Eigene Sprache: ca. 250 Punkte (mehr Schwankungen) ? 1 0 1 ! !

18 Diskussion

19 Fragen Wie verändert sich die Leistung der Netze durch Sprache? Evolutionärer Druck für Sprachverstehen? Evolutionärer Druck für Spracherzeugung?

20 Fragen Wie verändert sich die Leistung der Netze durch Sprache? positiv Evolutionärer Druck für Sprachverstehen? Evolutionärer Druck für Spracherzeugung?

21 Fragen Wie verändert sich die Leistung der Netze durch Sprache? positiv Evolutionärer Druck für Sprachverstehen? Korrekte Interpretation erlaubt effizienteres Pilzesammeln. Evolutionärer Druck für Spracherzeugung?

22 Fragen Wie verändert sich die Leistung der Netze durch Sprache? positiv Evolutionärer Druck für Sprachverstehen? Korrekte Interpretation erlaubt effizienteres Pilzesammeln. Evolutionärer Druck für Spracherzeugung? Noch unklar! Trotzdem scheint eine sinnvolle Sprache zu entstehen.

23 Warum Spracherzeugung? Erzeugung korrekter Signale ist altruistisch, d.h. sie wird nicht direkt belohnt. Ein Individuum hat also keinen Selektionsvorteil, wenn es verständliche Signale emittiert. Trotzdem scheinen sich (siehe Fitness) sinnvolle Signale durchgesetzt zu haben. Warum?

24 Sinnvolle Sprache? Sprache ist effizient, falls: Unterschiedliche Kategorien unterschiedliche Signale erzeugen Instanzen derselben Kategorie gleiche Signale erzeugen Dieselben Signale innerhalb der Population benutzt werden (Clark 1993: Principle of Contrast)

25 Ist die erzeugte Sprache effizient? Analyse der Sprache: allen Individuen werden giftige und essbare Pilze aus allen Perspektiven gezeigt Ergebnis: Konvergenz zu einem Signal für essbar und einem für giftig Interessant: Winkel wird korrekt als irrelevant für den Sprachoutput erkannt!

26 Immer noch: Warum? Hypothese: Da sowohl Bewegung als auch Sprachoutput aus dem Hidden Layer gesteuert werden, wirkt sich die Selektion über korrekte Bewegungen indirekt auch positiv auf die Sprachausgabe aus

27 00: warten 01: rechts drehen 10: links drehen 11: geradeaus gehen Riechen(?) Hören Sehen GehenSprechen Denken Wenn Pilz auf Nachbarfeld: 1111100000 (essbar) oder 0000011111 (giftig) + Rauschen (1 bit verändert) Winkel zum nächsten Pilz (0..1 = 0-360 Grad) Sprachoutput (010, 110,...) Sprachinput (010, 110,...) Netzarchitektur

28 Unterstützung für die These Die zuvor ignorierten Sprachoutputs der sprachlosen Population werden untersucht. Auch dort entstehen konsistente Signale! Korrekter Sprachoutput entsteht also als Beiprodukt korrekter Kategorisierung. Burling 1993: language has emerged from cognitive capacities rather than from primate-level communicative behaviour

29 Ergebnisse Durch genetische Übertragung und Selektion entsteht ein in der Population gemeinsames Repertoire von Signalen. Die Signale sind ein Beiprodukt der internen Kategorisierung.

30 Kritikpunkte Erklärung geht direkt aus Netzstruktur hervor Erklärung für Überleben der günstigen Gewichte von Hidden Layer zu Sprachneuronen bleibt letztendlich offen Sprache entwickelt sich, auch wenn sie nicht muss?

31 : )