Ant Colony Optimization Virtuelle Ameisen als Software-Agenten zur Bewältigung komplexer Probleme Begruessung zu ACO - im Rahmen des Semi Softcomputing Ameisenalgos relativ neue (TSP 85) Optimierungsverfahren, vom Futtersuchverhalten realer Ameisenkolonien inspiriert. kooperativer Multi-Agentenansatz zur effizienten Loesung kombinatorischer Optimierungsprobleme #see-later. Heurist. Basis liefert keine Garantie zur Lösungsqualität. Pioniere des ACO: Forschergruppe an freier Uni Bruessel. Entdeckung und Erweiterungen von ACO. Einsatz bei Telefongesellschaften (brit./frz./amerik.Mobilcom) (Netz)routing, (A)TSP [ab 50 Cities rechenaufwdg.] Ameisen ex. seit 135 Mio. J. - kaum Änderungen in Evolution. Woher Erfolg? Würden selbst Atomkrieg überleben. 20.11.2018 Marc Bufé

Optimierung mit Ameisen Dokument-Version 1.2 Autor: Marc Bufé Diese Vortragsfolien entstanden im Rahmen des Seminars Softcomputing im Sommersemester 2000 an der Fakultät Informatik, Universität Stuttgart, Germany Folien, Ausarbeitung und Algorithmus sind zu finden unter: http://fly.to/airport Die Folien alleine duerften nicht zum Verstaendnis reichen. Ohne den Vortrag ;-) Vielleicht findest Du mehr unter http://fly.to/airport 20.11.2018 Marc Bufé

Natur als Vorbild Ameisen Kolonien Koordination Kooperation Schwarmintelligenz Ameisen: Koerpermasse > Mensch, 10^15 Ants -> AntPlanet 9500 Arten, bis zu 7 cm, Pharao-Ants -> Gesundheitsbehörde TreiberAnts (Afrika,Indien) verschlingen bis Pferd alles, danach Häuser ungezieferfrei. Argent.Term. Baum schnipseln in 30 Min Sternennavi mit 0,1g Gehirn durch Wüste - 1 Gehirn CompiSimu schwarze,rote,blaue,grüne,gelbe,purpurne,transp.Ameisen Kolonien: soziale Gemeinsch. da immer zus.arbeiten -> Futter Größe bis zu Mio.| 306 Mio an Ishikara-Küste/Japan 2,7 km^2 Koordination: - jd Ant erfüllt Aufgabe (no Arbeitslose) - meiste sind (weibl.) Arb.ants: versorgen,füttern,kämpfen - Königin nur Aufgabe Eier legen, 20 Jahre - AntBerufe: Gärtner,Ingenieure,Tunnelgraber,Babysitter,Soldaten Kooperation: - fast blind - nur einfache Fähigkeiten - indirekte Kommu durch Geruchsstoffe Phero - nimmt Mensch nicht wahr - Finden kürzester Wege durch Markieren des Weges SwarmIntelligence: kollektive Leistg gr. Zahl jew. wenig intelligenter Einzelakteure. Durch Kommu untereinander jed. Lösen schwieriger Aufgaben: zusammen Blatt falten 20.11.2018 Marc Bufé

Futtersuche in Natura Experi Argent.Ants: kooperative Strategie kürz.Weg zu finden 1. Ants entlang Pfad in bd. Richtg.n [A: Food E: Nest] 2. Hindernis durchschn. Mitte Pfad. Bd. Umwege gl.wahrschl. isolierte Ants bewegen zufällig, Entsch. nicht deterministisch (ants A->E @B) | (ants E->A @D) entw. left/right ENTSCHEID 3. WAHL von Mark.Stärke abh., je stärker desto wahrscheinl. das Verfolgen, dabei Spurverstärk. -> pos.Rückkoppl.schleife Je mehr Ants 1 Pfad folgen, umso attraktiver für andere Ants Ants using kürzeren Weg nicht nur schneller @other-side sondern mark. Pfad auch in kürzerer Zeit als längeren Wahrscheinl.kt. Nutzung short-way immer größer, immer stärkere Markierung, -> schließl. (fast) alle Ants on short-way Prob: Verspätet angebotener kurzer Weg nicht benutzt, da bei dieser Art Ants Phero nur sehr langsam verdunstet Als Graph modellieren (Kantengew.=Distanzen) für Prob.stellg. Nutzung Tour A-B-C-D-E steigt, A-B-H-D-E fällt - mit Zeit 20.11.2018 Marc Bufé

Mehragent-System Wie in die Informatik übertragen? Ameise <> Ein Agent Kolonie <> Alle Agenten Bewertung von Teillösungen Kooperation Verflüchtigung Agent: KLEIN/EASY zu Ges.system, sucht Teillsg. -Spezialisierg VORTEILE: -Aufwand Kommu/Ausführg sehr gering -Ausfall vernachläss.bar - STABIL Handlgn. geringenEinfl. auf Ges.Sys. Agenten: vgl. Swarmint. Sys.verhalt komplex - sucht Ges.Lsg. -ROBUST bei Ausfall, begonnene Aufgaben können andere Agenten übernehmen (REDUNDANZ) Bewertg. Teillsg.: Markieren Wege durch (varii.) Menge virtuelles Phero -> Aufschluss über Güte - Kombi zur Ges.Lsg. Kooperation: Jeder Agent liest (vorhergeh.) und schreibt delta Markierungen (hier: auf Kanten) -> addiert auf - interaktiv Verflüchtig.: Mit Zeit läßt Intens. von Mark.n auf Kanten nach. schnelles Abnehmen (ggs.Natur, verspätet Weg) notwdg. für Exploration, "Vergessen" schlechter Lsg.n, DYNAMIK, ANPASS 20.11.2018 Marc Bufé

Futtersuche im Graphen Zwecks Übersichtlichkeit hier nur 2 mögl. Wege berücksichtigt! A B C Ex-Projektor-Gefizzle mit Pfennigstücken und Papierschnipseln Hier: nur 2 mögl. Wege berücksichtigt, keine Verdunstung Zeitintervalle diskret, Sprünge parallel, 2 Ameisen Zu Beginn Gleichwahrscheinlichkeit des Fortsetzens (no Phero) Red Ant@Food knuspert genuesslich, Ora Ant 1 Hop davor Ora Ant@Food, Red Ant zurück zu Nest, "sozial Teilen" Jeweils Verdichtung der Pherospur (+=delta auftragen) Ora Ant zurueck: Wahrscheinlichkeit 1:2 fuer die 2 Wege Red Ant@Nest, Ora Ant 2 Hops davor New Ant@Nest: Wahrscheinlichkeit 1:2 fuer Red/Ora Ora Ant@Nest & Red Ant@Food, Red Trail dicker!!! Mit der Zeit Red Trail viel schneller dicker als Ora Trail Wuerde man Verdunst. einrechnen: Ora Trail immer duenner Weg kuerzer = schneller abgearbeitet, zieht Nachf. mehr an Durchspielen, "Spielstand speichern" D E F 20.11.2018 Marc Bufé

Futtersuche mit Agenten 15 15 10 20 15 15 10 20 Ant-System mit Verdunstung a) nur mit Distanzen, s.kurze Kanten mit Gew.0.5,Tour ABCDE Annahmen: diskrete Zeitintervalle. zu t=0 no phero on Kanten. Je 30 Ants A->B & E->D, Geschwind.kt 1, dabei Phero 1, alles pro Zeiteinh. AltPhero 2 Zeiteinh.später voll verdunstet. t=0: 30 ants @D & @B. Gl.wahrsch.kt. Fortsetzung left/right CLICK @B: je 15 links zu H & 15 rechts über C zu D (2x0.5) CLICK @D: je 15 links zu H & 15 rechts über C zu B (2x0.5) t=1: 30 new Ants (A->B) finden hinzu Pfad H Mark.Stärke 15 durch die 15 die Weg von B aus gingen. Hinzu Pfad C Stärke 30 durch Summe der 15 die von B nach D, als auch der die von D nach B gelangten. CLICK @B & @D Darauf aufbauend Wahrscheinlichkeit der Fortsetzung: Entspr. Verhält 1:2 werden je 10 -> H, 20 -> C stark besuchte/mark. Wege synonym mit kürzesten Wegen 20.11.2018 Marc Bufé

Erweiterungen Markierung abhängig von Weglänge Hintergrundspeicher Umgebungswissen Daemon Erweiterungen - hier sinnvoll für unser TSP-Ant-Cycle Mark.stärke abhängig von Weglänge: Hervorhebung von kurzen Wegen/Teillsg. | Teilen durch Ausstreu von mehr Phero. -> Pheromonmenge antiproportional zur Weglänge Hgr.speicher: -> TabuList : Jd. Ant kann Hgr.sp. haben, hierin bisher. Pfad (Knoten,Städte) sp. (tabu: don't visit again) um: 1. mögl. Lsg.n zu finden 2. gefundene Lsg. zu bewerten 3. Pfad zurückzuverfolg (Rücklauf für next Zyklus: FindeNeu) Umgeb.wissen: -> Ant-Routing-Table: Wissen über adj. Knoten, deren Entf.n und Mark.stärken der sie verbind.Kanten -> in Knoten selbst gespeichert Daemon: 1. Bewertung Teillsg.n/Ausschütt Phero von außen 2. Verflücht.g von außen (3.) Ermitteln beste Tour (4.) Stagna 20.11.2018 Marc Bufé

Sub-optimale Lösungen Gründe hierfür: zu langsame Verflüchtigung ungeeignete Parameterwahl zu wenige Ameisen Verflüchtigung: wichtig für "Vergessen", vermeid Konverg. zu sub-opt Pfad 1. sonst keine Exploration -> Naturbsp. verspät. kurzer Weg 2. sonst Stärke der Anpass an dynam. Umgebg geht verloren Parawahl: inwieweit sollen Paras, mit denen Gewichtg von Mark.stärken & Distanzen auf Kanten bestimmt wird, in Entscheid für weiteren Weg Ant einfließen? #see-later Setzt man 1,2 Para auf 0 hat Algo keinen Sinn Zu wenige Ants: VerfahrensStärke beruht gerade auf vert. parall.n Berechng.n Teillsg.n & anschließ. Kombi zur Ges.Lsg. Anz.Ants i.A. problemabh. Bei TSPprob optimal: #ants=#cities NUR 1 ANT: zwar in Lage Lsg. finden, liefert nur mäß. Lsg., lokale Optima. Wichtige Interaktivität unter Individuen fehlt. 20.11.2018 Marc Bufé

Parameterwahl  Sehr gute Lösungen  Keine Stagnation Ø Stagnation a : Gewichtung für Markierung b : Gewichtung für Knotennähe Oliver30, NCMAX=2500  Sehr gute Lösungen  Keine Stagnation Ø Stagnation Hier Ant-Cycle #see-later Um opt. Paras zu finden einst handgetuned auf 286/386 auf Oliver30 (TSP 30 Cities) mit max. 2500 Zyklen angewendet Ergebnis für 10 gemittelte Durchläufe pro Kombina von Paras oo : niedrige a-Werte kann Algo keine guten Lsg. finden -> keine Kommu - lauter kleine Suchräume je Ant -> ähnl. stoch. multigreedy algo -> KEINE STAGNATION -> ewige Laufzeit ohne brauchbare Ergebnisse 0 : hohe a-Werte überdeuten die Mark.stärken anderer Ants - keine guten Lsg. - bald alle Ants selbe Tour -> STAGNA -> Kein Finden alternativer Lösungen mehr * : Sehr Gute Lsg.n SCHNELL - Sinnvolle Abwägung - für ParaKombin. ungefähr gleiche GUTE Laufzeit (Anzahl Zyklen) -> KEINE STAGNA, Versuch immer noch bessere Lsg.n zu findn Sensibilität Paras bei Erhöhung Problemdim.n sehr gering (Eilon75, 75 Cities, NCmax=3000, nicht beste aber sgt Lsg.) 20.11.2018 Marc Bufé

Ant-System (AS) Modelle a : Gewichtung für Markierung b : Gewichtung für Knotennähe r : Verflüchtigungsfaktor Ergebnis für 10 gemittelte Durchläufe Oliver30, NCMAX = 5000 Ant-System - einer vieler AntAlgos - in Lit. oft AS abgekürzt ex. 3 Modelle mit untersch. Vorgehensweise der Bewertung: ant-density und ant-quantity wird bei jedem Schritt der Ant bewertet: bei ant-density const. Menge (Q) je Wegstück, bei ant-quantity Menge abh. von Länge des Wegstücks, mehr wenn Wegstück kürzer - Q / d(i,j) ant-cycle: Bewertung erst am Ende der Tour, Menge pro Wegstück abh. von Ges.länge Tour für ALLE Ants aufaddiert, die dieses Wegstück passiert haben - ALL Ants += Q / Ges.Len In Testläufen ergab ant-cycle immer das beste Ergebnis. Hier: 30 Cities TSP, 5000 Zyklen, 10 Runs. Grund: ant-cycle nutzt globale Info, Ants mit kürzeren Touren tragen mehr auf als die mit langen Touren. ant-density/quantity nutzt lokale Info. Suche nicht durch Erg. der Ges.Lsg. gerichtet. 20.11.2018 Marc Bufé

Ant-Cycle auf TSP Tabu List Random Walk Prioritäten Rücklauf und längenabhängige Bewertung 5 1 4 1 1 3 2 Verdeutlichung am Bsp. TSP mit Ant-Cycle (TAFELZEICHNUNG) Iteratives Verfahren - Prob: mögl. kurze Tour, jd. Stadt 1 visit Tabu List: jd Ant merkt sich bereits besuchte Städte Random Walk: Ants ziehen unabh. vonein. parallel von Knoten zu adj. noch nicht besuchten Knoten mit best. Wahrsch.kt. Prioritäten: Kanten mit stärkerer Mark. und Kanten mit besonders nahen Knoten werden bevorzugt (Gewicht.mit Para) Rücklauf: Tour fertig (für alle Ants gl.ztg.) - für jd. Ant längenabh. Bewertg. ihrer Rundreise (umgekehrt proportional) anhand TabuListe, Rücklauf auf Startstadt, TabuListen löschen Nach jd. Iteration liegt auf Kanten, die unter einzelnen eher kürzeren Touren am meisten passiert wurden, meistes Phero. 20.11.2018 Marc Bufé

Tabu List n : Anzahl Städte = Eine Tour m : Anzahl Ameisen k : Index einer Ameise s : Zeiger in TabuList (momentane Stadt) Für jede Iteration innerhalb eines Ant-Cycle: Trage für jede Ameise k die besuchte Stadt ein GENAU VORLESEN Wozu TabuList? - sicherstellen daß wirklich keine Stadt doppelt besucht wird, außer wenn diese die Tour zur Rundreise macht - Berechnung der Teillösung anhand der Einträge (von außen) Wozu Zeiger s? - um wieder auf Startstadt für Rücklauf kommen zu können - um nicht mehr als vorhandene Städte zu besuchen ;> Trage für jede Iteration innerhalb eines Zyklus = Ant-Cycle die momentane Stadt jeder Ant ein Gesp. in Var Tabu(k,s) For k := 1 to m do insert town of ant k in Tabuk(s) od 20.11.2018 Marc Bufé

Random Walk & Prioritäten i,j : Kante zwischen Knoten i,j nij : 1/Distanz(i,j) a : Gewichtung für Markierungen b : Gewichtung für Knotennähe allowedk : für k auf i erlaubte adjazente unbesuchte Städte Aus Ant-Routing-Table: Übergangswahrscheinlichkeit von Stadt i nach j für Ameise k GENAU VORLESEN - EVTL. AUF TAFEL AUSFÜHRLICH Mögl. Zielstädte j (adj. Knoten zu i) stehen in Ant-Rout-Table, hier auch Mark.stärke und Distanz (heurist. Info) verzeichnet Überg.wahrsch.kt von i nach j für Ant k p(i,j,k) ist 0 wenn j bereits besucht wurde -> dazu TabuListe // Sonst: allowed(k) := von i aus erreichb. noch nicht besuchte Städte WICHTIG: nur BENACHBARTE Städte, in Lit. oft Fehler Mark.stärke auf Kante (i,j) zur Zeit t * Sichtbarkeit Knoten j, jeweils mit a & b gewichtet, geteilt durch: Summe aller noch nicht besuchten Nachbarstädte über Mark.stärke auf Kante (i,l) zur Zeit t * Sichtbarkeit Knoten l, jeweils mit a & b gewichtet -> je größer Mark.Stärke & Knotennähe desto wahrscheinlicher Präferenz der kurzen und stark markierten Wege 20.11.2018 Marc Bufé

Rücklauf und Bewertung i,j : Kante zwischen Knoten i,j tij (t): Markierung zur Zeit t r : Verflüchtigung je (t,t+n) Q/Lk : Const/Tourlänge Ameise k Mit Tabu List,Ant-Routing-Table: Mark_delta = Summe der Markierungen für alle Ameisen k, die Kante (i,j) passiert haben GENAU VORLESEN - EVTL. AUF TAFEL AUSFÜHRLICH Erst nachdem alle Ants Tour abgeschlossen, wird aufgetragen. Teillsg.n werden mit Tabu List und Ant-Rout-Table berechnet. Mark_delta: Was Ant zusätzl. nach Tour auftragen läßt deltaTau(i,j,k) 1 Ant: Const./Teillsg.Len(k) falls Kante (i,j) in Tour enth. deltaTau(i,j): Summe Mark.n aller Ants k, die (i,j) passierten (positives Feedback) Mark. nach Tour: Verflücht.faktor * alte Mark. + Mark_delta (t+n) -> Zyklusstartpunkt + 1 Tour (n Cities) Rücklauf auf Startstadt, für neuen Ant-Cycle Bewertung hier durch Daemon Const. Q meist 1 oder 100 Markierung nach Tour = Verflüchtigung * Mark_alt + Mark_delta 20.11.2018 Marc Bufé

10-Cities-Problem CCA0 Veranschaulichung am 10-Städte-Problem CCA0 AS-Markierungsverteilung nach Start und nach 100 Zyklen 20.11.2018 Marc Bufé

Oliver30 Problem Zyklen: 342 Länge : 420 a = 1 b = 5 r = 0.5 Veranschaulichung am 30-Städte-Problem BEST TOUR LENGTH decreases with time: Die pro Zyklus ermittelte Tourlänge wird mit Zeit kleiner 20.11.2018 Marc Bufé

Kantenbesuche je Knoten Typische Läufe mit Ant-Cycle auf Oliver30 Guter Lauf Durchschnittliche Knotenbesuche bei Oliver30 bei typ. Lauf: Guter Lauf: Vert. Achse zeigt durchschnittl. Knotenbesuche des Probgr. Graph zu Beginn voll verbunden. Kanten deren Mark.n auf sehr kleine Werte abfallen, werden nur noch mit geringer Restwahrsch.kt besucht. Die Oszillation zeigt: es werden alternative Lösungen gesucht. Stagnationsverhalten bei schlechter Parameterwahl: a=5,b=2 Durch die Überbewertung der Markierungen (a=5) wird die Suche nach alternativen Lsg.n immer geringer, schließl. hier nach 2500 Zyklen besuchen die Ants nur noch je 2 Kanten. Stagnationsverhalten (a=5, b=2) 20.11.2018 Marc Bufé

Vergleich ACO vs EA 20.11.2018 Marc Bufé Durch Anpassung der Repräsentation des Problems ist EA vielseitig. Bei ACO kann nur mit kürzesten Wegen gearbeitet werden. 20.11.2018 Marc Bufé

Zusammenfassung Kombination von Teillösungen Positive Rückkopplungsschleife „Vergessen“ fördert Exploration Selbstadaption - ohne Reinitialisierung! Geeignet für (A)TSP, Routing... Ges.Lsg. entsteht durch Kombi aller Teillsg.n - vgl.bar vielen Individuen die jeweils einen kleinen Suchraum abdecken, und deren Erfahrung synchronisiert/zusammengefasst wird. Positive Rückkoppl.schleife: Je mehr Ameisen einem Pfad folgen umso mehr werden nachfolgende angezogen - "was viele gut finden, kann nicht schlecht sein" Vergessen alter Informationen, und damit schlechterer Lsg.n -> Verhindert Stagnation, Suchraumausdehnung, Exploration -> Ermöglicht erst das Finden weiterer alternat. Lösungen Dadurch Selbstadaption, große Stärke des ACO - Wir können von außen zur Laufzeit in das Problem eingreifen -> Routing! Geeignet für (A)TSP, Routing. Mit Erweiterungen Web Search, Mustererkennung,, Job Shop Scheduling, Robotersteuerung. TSP: ab 50 Städten etwas rechenaufwendig... 20.11.2018 Marc Bufé

Mehr Ameisen Marco Dorigo IRIDIA, Université Libre de Bruxelles Spektrum der Wissenschaft Ausgabe 05/2000 Ant Cam http://www.discovery.com/cams/ant/antmain.html Marco Dorigo - Urvater des ACO :-) Eigene WebSite im Netz, darauf ist auch ACO ein Topic Zeitschrift Scientific American über Schwarmintelligenz, hier auch über Bienen Ant Cam - in Nordamerika in Michigan, Beruf Compiprogr., Hobby Studieren von Ameisen seit er 8 war, züchtet. Schwenkt ab und zu zu Zentren mit mehr Aktivität um. 20.11.2018 Marc Bufé