Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Neuronale Netze und Fuzzy Sets. Das Gehirn von Carl Friedrich Gauß (1777-1855)

Ähnliche Präsentationen


Präsentation zum Thema: "Neuronale Netze und Fuzzy Sets. Das Gehirn von Carl Friedrich Gauß (1777-1855)"—  Präsentation transkript:

1 Neuronale Netze und Fuzzy Sets

2 Das Gehirn von Carl Friedrich Gauß ( )

3 Robert Fludd ( )

4

5 George Combe ( )

6 A System of Phrenology, Boston: Marsh Capen George Combe ( )

7 Nervenzelle (Neuron)

8

9 Neuronenwachstum

10 Synaptische Verbindungen bei einem Neugeborenen Synaptische Verbindungen bei einem drei Monate alten Kind Synaptische Verbindungen bei einem zwei Jahre alten Kind Neuronenwachstum

11 Siegmund Exner ( ) Entwurf zu einer physiologischen Erklärung der psychischen Erscheinungen, Leipzig und Wien:1894

12 Makroskopische Gliederung der Großhirnrinde

13

14 Neuronentypen - Schematische Darstellung eines Neurons

15 Santiago Ramón y Cajal ( )

16

17

18 Eingänge des Nervensystems: Einige Nervenzellen (z.B. Sinneszellen) können durch Umweltreize erregt werden. Ausgänge des Nervensystems: Einige Ausgänge von Nervenzellen wirken (über Muskelzellen) auf die Umwelt ein. Erregungsbedingung: Eine Nervenzelle geht in den Erregungszustand über, wenn genügend viele ihrer Eingänge mit erregten Nervenzellen verbunden sind. Unabhängigkeit der Nervenzellen: Der Zustand einer Nervenzelle ist allein durch die Verhältnisse an ihren Eingängen bestimmt. Die einzelnen Zellen arbeiten also unabhängig voneinander. Natürliche Neuronale Netze

19 Aufbau einer Nervenzelle: Eine Nervenzelle besitzt viele Eingänge, nämlich die synaptischen Verbindungen, und einen Ausgang, nämlich das Axon. Zustände einer Nervenzelle: Eine Nervenzelle kann zwei Zustände annehmen: den Ruhezustand und den Erregungszustand. Verbindungen der Nervenzellen untereinander: der Ausgang einer Nervenzelle führt zu den Eingängen anderer Nervenzellen. Natürliche Neuronale Netze

20 Nicolas Rashevsky ( ) begründete 1939 das Bulletin of Mathematical Biophysics (heute: Bulletin of Mathematical Biology, offizielles Journal der Society of Mathematical Biology) Erste Studenten: Alvin Weinberg, Anatol Rapoport. Erstes PhD program in Mathematical Biology, Arbeitsgebiete:, Neurowissenschaften, Zellbiology Embryologie, Ökologie, Psychologie, Soziologie. Weitere Studenten: George Karreman, Herbert Landahl (Mitbegründer der Society of Mathematical Biology), Robert Rosen, Robert S. Cohen.

21 Pioniere der mathematischen Biologie bzw. Neurowissenschaften Alston HouseholderHerbert Landahl

22 Of all cells, the neurones have most completely lost their property of dividing; we should expect forces of attraction between them. Indeed the existence of such forces has been inferred by a number of neurologists, notably Ariens Kappers and Ramon y Cajal from various observations. Cornelius Ubbo Ariëns Kappers ( ) Santiago Ramón y Cajal ( ) David P. C. Lloyd ( ) Charles Sherrington ( ) Nicolas Rashevsky: Mathematical Biophysics. Nature, April 6, 1935, p : 530. Rashevskys Forschungen in den 1930er Jahren

23 It has been suggested that a formation of new anatomical connexions between neurones may be the cause of conditioned reflexes and learning. Calculation shows that the above forces may account for it. Under certain conditions they will produce an actual new connexion in a very small fraction of a second. This leads us towards a mathematical theory of nervous functions. We find that, under very general conditions, aggregates of cells such as are studied above will possess many properties characteristic of the brain. Ivan Petrowitsch Pawlow ( ) Nicolas Rashevsky: Mathematical Biophysics. Nature, April 6, 1935, p : 530. Rashevskys Forschungen in den 1930er Jahren

24 Rashevsky: Mathematical Biophysics And Psychology,1936 Psychometrika, Vol. 1, No. 1, September 1936, pp e = Erregungssubstanz i = Hemmungssubstanz Erregung: e - i > 0 Hemmung: e - i < 0

25 Psychometrika, Vol. 2, No. 3, September 1937, pp Neuron I: Schwelle h 1 Neuron II: Schwelle h 2 Erregungsfaktorenen : 1, 2 Erregungen:E 1, E 2 1 > h 1 E 1 in Neuron I, 2 > h 2 E 2 in Neuron II. Wenn 1 - h 1 genügend klein, dann ist E 1 genügend klein, dann ist 2 < h 2, dann wird Neuron II nicht erregt. Wenn 1 - h 1 so groß ist, dass E 1 und damit 2 so groß sind, dass 2 > h 2, dann wird Neuron II erregt mit E 2. Rashevsky: Mathematical Biophysics And Psychology,1936

26 Vernetzte Nervenzellen – Die Arbeiten von McCulloch und Pitts in den 1940er Jahren

27 Jack D. Cowan Jerome Y. Lettvin

28 Warren Sturgis McCulloch ( ) Studium:ab 1917 Mathematik (Haverford College), ab 1918 Philosophie und Psychologie (Offiziersschule in Yale), Magister in Psychologie (Columbia University, New York), dann Medizin (Columbia, New York), 1928: Neurologe am Bellvue Hospital, New York, 1930: Rockland State Hospital für Geisteskranke, New York (Forschung zu Kopfverletzungen und Epilepsie) Labor für Neurophysiologie (Yale) Prof. für Psychiatrie in Illinois, Leiter des Labors für Grundlagen- forschung in der Abteilung für Psychiatrie, (Erforschung von Fragen der Physiologie aus Sicht der Anatomie, Physik und Chemie). 1952: Research Laboratory of Electronics, MIT, Boston, 1972 gestorben.

29 Walter Pitts ( ?) geb. in Detroit, Michigan, keine Abschlüsse in High School oder College, kam 1937 nach Chicago, traf dort Russell, Carnap, Rashevsky und McCulloch, 1943: Research Assistant bei Wiener am MIT, um 1951 Nervenzusammenbruch, 1950er Jahre: Pitts zerstörte Zeugnisse seines Vorlebens, verschwunden, starb in den 1960er Jahren.

30 Warren McCulloch, Walter Pitts A Logical Calculus of the ideas immanent in nervous activity. Bulletin of Mathematical Biophysics, Vol. 5, S

31 Ein Neuron ist ein entweder aktives oder inaktives binäres Schaltelement. Jedem Neuron ist ein fester Schwellenwert eigen. Neuronen empfangen Eingaben (inputs) von erregenden Synapsen, die ihre Aktivierung mit gleichem Gewicht weitergeben. Neuronen empfangen auch Eingaben (inputs) von hemmenden Synapsen, wodurch ihre Aktivierung gerade verhindert wird. Innerhalb eines kleinen Zeitabschnittes werden die erregenden Eingaben im Neuron addiert; überschreitet diese Summe den Schwellenwert des Neurons, so wird es aktiv. Künstliche Neuronen

32 McCulloch, Leiter der Macy-Treffen der Cybernetic Group,

33 McCulloch: Finality and Form American Lecture Series (Springfield I11, Charles C. Thomas, 1952).

34 Alles-oder-nichts-Impuls Wenn ein Klotz angestoßen wird, fällt er ganz um oder gar nicht. Das ist sein Alles-oder-nichts-Impuls.

35 Refraktärzeit Es braucht Zeit, ihn wieder aufzustellen. Das ist die Erholungs- oder Refraktärzeit.

36 Schwelle - latente Summation Damit er fällt, muss er hinreichend stark angestoßen werden. Das ist seine Schwelle. Ein Stoß, der ihn nicht umfallen lässt, bringt ihn nur zum Kippen, von wo er in seine alte Lage zurückkehrt; aber während er noch kippt, kann er durch einen zweiten gleichen Schlag umgeworfen werden. Das ist latente Summation.

37 Synaptische Verzögerung Nachdem ein Klotz angestoßen wurde, dauert es eine Weile, bis er umfällt. Das ist die synaptische Verzögerung.

38 Zeitliche Summation Der Impuls und die latente Summation sind so viel kürzer als die Refraktärzeit und die synaptische Verzögerung, dass ein Klotz nie einen anderen umwerfen kann, indem er ihn zweimal anstößt. Das ist das Fehlen der zeitlichen Summation.

39 Unumkehrbarkeit der Leitungsrichtung Ein Klotz, der zwei andere umstößt, wirft sie möglicherweise nicht um, während die beiden Klötze zusammen den ersten umwerfen können. Das ist die Unumkehrbarkeit der Leitungsrichtung.

40 Hemmung - Räumliche Summation Ein Klotz, der gegen die Kante eines anderen fällt, kann einen dritten daran hindern, ihn umzuwerfen. Das ist die Hemmung an einer Synapse. Zwei Klötze, die gemeinsam einen dritten anstoßen, können ihn umwerfen, obwohl jeder allein es nicht geschafft hätte. Das ist räumliche Summation.

41 Irritabilität Nicht zuletzt stammt fast alle zum Umwerfen eines Bausteins nötige Energie aus der Lageenergie, die beim Aufstellen im Baustein gespeichert wurde. Diese Energie braucht nicht von dem Stoß zu kommen, der den Klotz umwirft. Das ist die Erregbarkeit oder Irritabilität.

42 Wenn C fällt, folgt daraus, dass entweder A oder B oder beide eine synaptische Verzögerung zuvor gefallen sind: logisches oder ( und/oder ). Die logische Relation des Falls von A und/oder B zu einer bestimmten Zeit, etwa t =1, wird ihre Disjunktion genannt. Das Umfallen von C zur Zeit t =2 impliziert nicht das eine oder andere Ereignis, sondern ihre Disjunktion zur Zeit t =1. Signifikante gleichzeitige Funktionen

43 Wenn G umfallen soll müssen sowohl E als auch F innerhalb der Periode der zeitlichen Summation G angestoßen haben. Wenn G also zur Zeit t =2 fällt, setzt das die Konjunktion des Fallens von E und F zur Zeit t =1 voraus: logisches und.

44 H kann J zum Umfallen bringen, wenn nicht I gegen den Rand von J fällt und damit sein Umfallen verhindert. Konjunktion einer Behauptung mit einer Negation. Das Umfallen von J zur Zeit t =2 setzt voraus, dass zur Zeit t =1 zwar H umfiel, aber nicht I. Signifikante gleichzeitige Funktionen

45 Gedächtnis Werden Bauklötze nebeneinander im Kreis aufgestellt und fällt einer um, so setzt ich das Umfallen im Kreis fort, bis der letzte Stein auf den ersten fällt. Wenn die Klötze so rasch wieder aufgestellt werden könnten, wie sie umfallen, würde das Fallen immer weitergehen. Das ist eine Art Gedächtnis.

46 Wachstum durch Gebrauch Wie wird die Aufstellung der Klötze (bzw. das Neuronennetz) durch die Impulse verändert? Regel: Ein Klotz C, der gleichzeitig mit einem Klotz R umfällt, der aber nicht durch C umgestoßen wurde, wird so wieder aufgestellt, dass er beim nächsten Mal R umwerfen kann.

47 Bikonditionale Funktion: dann und nur dann Wenn die Orte und Stoßrichtungen so festgelegt wurden, dass B beim Umfallen immer C zu Fall bringt, haben wir Implikation in beiden Richtungen. Die Fall von C zur Zeit t = 2 bedingt das Umfallen von B zur Zeit t = 1. Jetzt bedingt aber auch das Umfallen von B zur Zeit t = 1 das Umfallen von C zur Zeit t = 2.

48 Reflexe

49

50 McCulloch, Pitts: A Logical Calculus of the Ideas Immanent in Nervous Activity Bulletin of Mathematical Biophysics, Vol. 5, S

51 Struktur eines typischen künstlichen Neuronalen Netzes Interpretation des neuronalen Netzes als Funktion

52 Interpretation des neuronalen Netzes als Black Box Struktur eines typischen künstlichen Neuronalen Netzes

53 Auswertung einer Funktion mit n Argumenten Struktur eines typischen künstlichen Neuronalen Netzes

54 Generisches Neuron mit Integrationsteil und Ausgabeteil Integrationsteil: g Zusammenfassung der Eingabe Ausgabeteil: f Berechnung der Ausgabe Struktur eines typischen künstlichen Neuronalen Netzes

55 McCulloch-Pitts-Neuron

56 McCulloch-Pitts-Neuronen zum Aufbau logischer Funktionen

57

58 Logische Funktionen

59

60 Frank Rosenblatt, 1957: Perzeptron

61

62

63 McCulloch-Pitts-Zellen: geometrische Interpretation

64

65 Perzeptron; geometrische Interpretation

66 Logische Funktionen

67 x 1 x 2 x 1 XOR x XOR-Problem

68 McCulloch und Pitts: Logik der Neuronen

69 Donald Olding Hebb ( ) Unser Gedächtnis beruht wahrscheinlich darauf, dass synap- tische Verbindungen zwischen gleichzeitig aktiven Nerven- zellen gestärkt werden. Eine solche Veränderung der synap- tischen Stärke wird als Hebb'sches Lernen bezeichnet.

70 Tatsächlich kann nach wiederholter gleichzeitiger Stimulation eine Zunahme der synaptischen Verbindungsstärke festgestellt werden: Nach dem Hebbschen Modell entsteht in Gruppen von Nervenzellen, die untereinander durch positive Rückkopplung verbunden sind, kreisende Erregung. Diese Erregungszustände betrachtete Hebb als Grundlage von psychischen Komponenten wie Ideen und Vorstellungen. Gruppen von Nervenzellen, von Hebb als "Zellgesellschaften" bezeichnet, bilden sich durch Verstärkung von synaptischen Verbindungen zwischen gleichzeitig aktiven Nervenzellen. Hebb hat sein Modell vorgeschlagen, ohne über experimentelle Hinweise darauf zu verfügen. Mittlerweile hat man aber in verschiedenen Regionen des Gehirns Synapsen mit genau diesen Eigenschaften gefunden. Man bezeichnet sie heute als Hebb'sche Synapsen. Donald Olding Hebb ( )

71 Body Axon Modell-Neuron

72 Nerveneigenschaften

73

74 Neuron A Neuron B Wenn A dann B Logische Operationen

75 Neuron A Neuron B Neuron C Logische Operationen Wenn A oder B dann C

76 Neuron A Neuron B Neuron C Wenn A oder B dann C Logische Operationen

77 Neuron A Neuron B Neuron C Wenn A und nicht B dann C Logische Operationen

78 = w 1 x 1 + w 2 x 2, woraus folgt: x 2 = - (w 1 / w 2 ) x 1 + ( / w 2 ) Auf der einen Seite der Geraden gilt: w 1 x 1 + w 2 x 2 >, d. h. Neuron ist aktiv. Auf der anderen Seite der Geraden: w 1 x 1 + w 2 x 2 <, d. h. Neuron ist nicht aktiv. XOR-Problem

79 x 1 = 0 und x 2 = 1: y soll 1 sein. D. h.: w w 2 1, d. h. aktiv! x 1 = 1 und x 2 = 0: y soll 1 sein. D. h.: w w 2 0, d. h. aktiv! x 1 = 0 und x 2 = 0: y soll 0 sein. D. h.: w w 2 0 <, d. h. inaktiv! x 1 = 1 und x 2 = 1: y soll 0 sein. D. h.: w w 2 1 <, d. h. inaktiv! Addieren der beiden ersten Ungleichungen ergibt: w 1 + w 2 2, Aus den letzten beiden Ungleichungen folgt: > w 1 + w 2 2, also >2. Das gilt aber nur für < 0. Dies steht im Widerspruch zu w w 2 0 <. XOR-Problem

80 in einem 2-dim. Merkmalsraum in einem 3-dim. Merkmalsraum Zwei nicht linear trennbare Muster

81 Marvin Minsky und Seymour Papert 1969

82

83

84

85 L. A. Zadeh, 1963: Optimality and Non-Scalar-Valued Performance Criteria Eine Teilmenge ( constraint set ) C von sei durch Einschränkungen an das System S definiert. Auf sei eine partielle Ordnung definiert, wodurch jedem System S in die folgenden drei disjunkten Teilmengen von zugeordnet werden können: > ( S ):Teilmenge aller Systeme, die besser als S sind ( superior ). ( S ):Teilmenge aller Systeme, die schlechter oder gleich S sind ( inferior ). ~ ( S ):Teilmenge aller Systeme, die mit S nicht vergleichbar sind. > ( S ) ( S ) ~ ( S ) =. Definition 1: Ein System S 0 ist in C nichtinferior, wenn gilt: C > ( S 0 ) = Ø. (Es gibt somit kein System in C, das besser als S 0 ist. ) Definition 2: Ein System S 0 ist in C optimal, wenn gilt: C ( S 0 ). ( Jedes System in C ist somit schlechter (inferior) als S 0 oder gleich S 0.)

86 L. A. Zadeh, 1963: Optimality and Non-Scalar-Valued Performance Criteria Ist die Menge aller betrachteten Systeme durch ein skalares Kriterium vollständig geordnet, dann gilt: ~ ( S 0 )= und > ( S 0 ) und ( S 0 ) sind komplementäre Mengen. Wenn C > ( S 0 ) =, dann gilt sicher: ( S 0 ) C. Nichtinferiorität und Optimalität sind äquivalent; Unterschied der Begriffe ist nicht erkennbar. Vorschlag: Partielle Ordnung von durch vektorwertiges Leistungskriterium berücksichtigen: System S sei durch x = ( x 1,..., x n ) charakterisiert, dessen reellwertige Komponenten z. B. die Werte von n veränderlichen Parametern des Systems S sind. C sei Teilmenge des n -dimensionalen Euklidischen Raumes. Die Leistung des Systems S werde durch einen m -dimensionalen-Vektor p ( x ) = [ p 1 ( x ),..., p m ( x )] gemessen, wobei p i ( x ), i = 1,..., m, reellwertige Funktion von x ist. Es gilt nun S S´ p ( x ) p ( x ). Das heißt also: p i ( x ) p i ( x ), i = 1,..., m.

87 L. A. Zadeh, 1963: Optimality and Non-Scalar-Valued Performance Criteria

88 L. A. Zadeh, 1963: Optimality and Non-Scalar-Valued Performance Criteria

89 Separation Theorem for Fuzzy Sets

90


Herunterladen ppt "Neuronale Netze und Fuzzy Sets. Das Gehirn von Carl Friedrich Gauß (1777-1855)"

Ähnliche Präsentationen


Google-Anzeigen