Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Subsymbolische Verfahren zur Ressourcenallokation Riezlern 23.1.2003 Oliver Wendt.

Ähnliche Präsentationen


Präsentation zum Thema: "Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Subsymbolische Verfahren zur Ressourcenallokation Riezlern 23.1.2003 Oliver Wendt."—  Präsentation transkript:

1 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Subsymbolische Verfahren zur Ressourcenallokation Riezlern 23.1.2003 Oliver Wendt

2 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Gliederung Anwendungsbeispiele automatisierter Informationsdienstleistungen –e-finance –e-logistics Übertragbarkeit der Methoden des Yield Management klassischer Dienstleistungen ? Ansätze zur heuristischen Bewältigung der Komplexitätsprobleme des Network Yield Management –KNN + GA –KNN + Reinforcement Learning

3 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Anwendungsfall 1 e-finance

4 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Bayerische Landesbank

5 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 1822 und 1822direct

6 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Berliner Volksbank

7 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 BBBank

8 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Deutsche Bank

9 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Deutsche Bank

10 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Comdirect

11 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Comdirect

12 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Anwendungspartner IS Innovative Software AG seit 2000 fusioniert mit Teledata GmbH europäischer Marktführer für internetbasierte Finanzinformationsdienstleistungen ASP (Application Service Provider) für über 100 Banken, Broker, Medienhäuser und Internet-Portale ca. 1.600 eFinance-Sites im Internet und Intranet

13 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Anwendungspartner IS Innovative Software AG Augenblicklicher Serverpark –ca. 1.200 Linux-Server im Rechenzentrum der Deutschen Börse –über 200 Mbit Peak-Netzlast (upstream) –55 Mio. Visits pro Monat allein für Hauptkunden Comdirect Europaweit größter Kunde von C.O.L.T.

14 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Mittelfristziel: individuelles Portfoliomanagement Charts der historischen individuellen Portfolioentwicklung Risikoanalyse (z.B. Value-at-Risk-Metriken gemäß Kapitaladäquanz nach Basel 2) Portfoliooptimierung unter Berücksichtigung –vorgegebener Risikostrukturziele –individueller Transaktionskosten –operativer Geschäftsrisiken

15 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Langfristziel: individualisierte wissensintensive Dienstleistungen durch/für Web Services

16 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Anwendungsfall 2 e-logistics

17 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 e-logistics Ziel: dynamische Tourenplanung und Umplanung mit Kunden-Zeitfenstern Prognose der Fahrzeiten von x nach y –tageszeitabhängig –verkehrssituationsabhängig typische Antwortzeiten der Time-Distance Web-Services ca. 300ms Problem für heuristische Suchverfahren

18 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 e-logistics

19 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Übertragbarkeit der Methoden des Yield Management ?

20 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Information als Repetierfaktor ? vernachlässigbaren Reproduktionskosten (sog. quasibeliebige Kopierbarkeit) Verbrauch von Informationsgütern unkritisch einfache Vernichtung / Entsorgung keine Knappheit existierender Information Einordnung als Repetierfaktor wenig sinnvoll

21 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Information als Potentialfaktor ? Konkurrenz der Produktionsprozesse um diese Ressource fehlt bei Informationsprodukten auch jede Software (logische Maschine) kann beliebig repliziert werden Kernproblem liegt nicht in der Konkurrenz um die Ressource Information selbst, sondern in der mittelbaren Konkurrenz um die knappen physischen Träger der Informationsverarbeitung ! –Menschen(Arbeitszeit) –Rechner (CPU / Memory) –Infrastruktur (Netzressourcen / Bandbreite)

22 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Menge aller Verfahren, welche durch eine integrierte Preis- und Kapazitätssteuerung, die richtigen Einheiten eines zukünftig bereitzustellenden Kapazitätstyps dem richtigen Kundentyp so zuordnen, dass der Deckungsbeitrag der Betriebseinheit maximiert wird [vgl. Belobaba (1989), Vogel (1989)]. Yield Management / Perishable Asset Revenue Mgmt

23 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Charakteristika YM-geeigneter Produktionsprozesse [Kimes (1989)] hohe Kapazitätsbereitstellungskosten : Kapazität kurzfristig nur zu prohibitiv hohen, sprungfixen Kosten ausweitbar variable Grenzkosten einer zusätzlichen Leistungseinheit innerhalb der gegebenen Kapazitäten gering Möglichkeit zur Marktsegmentierung Nichtlagerbarkeit und Verderblichkeit Produktverkauf vor Produktionsbeginn hohe Volatilität der Nachfrage

24 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Yield Management / Perishable Asset Revenue Mgmt Airline Industries (Passage & Cargo) Hotel- & Tourismus-Gewerbe Autovermietungen (Bekleidungs- / Modeartikel) (Lebensmittel)

25 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Strukturanalogien typischer Dienstleistungen

26 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Verfahren des Yield Management Pragmatische / heuristische Lösungsverfahren –Geschachtelte Kontingentierung –Expected Marginal Seat Revenue [Belobaba 89] Optimale Lösungsverfahren –Stochastische Dynamische Programmierung auf Basis Markoffscher Entscheidungsprozesse

27 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Stochastische Dynamische Programmierung Sitzplatzkapazität von sechs Sitzplätzen ( Z := { 0, 1, 2, 3, 4, 5, 6 } ) Sitzplätze können einzeln oder in Gruppen verkauft werden keine Unsicherheit über die Anzahl der noch eingehenden Anfragen

28 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Stochastische Dynamische Programmierung drei Anfragetypen: rückwärts zählender Index k für Anfragen

29 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Stage 1

30 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Stage 2 (z.B. i=4)

31 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Stage 2 (z.B. i=3)

32 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Stochastische Dynamische Programmierung Annahme wenn:Erlös k + V* k-1 (i - Zimmer k ) V* k-1 ( i ).

33 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Eigenschaften der Restwertfunktion V* inventory monotonicity –V* steigt monoton mit der Restkapazität i time monotonicity –V* steigt monoton mit der der Anzahl verbleibender Anfragen k ABER: Monotonie der PREISE nur, wenn keine Zunahme der Zahlungsbereitschaft über die Zeit !

34 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Beispiel: nichtmonotone Nachfrage k > 2 k <= 2

35 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Stochastic Dynamic Programming

36 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Network Yield Management Demo

37 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Network Yield Management Relevanz Hohe Relevanz derartiger Verbundeffekte im Informations-Kontext: –einerseits müssen hier die Ergebnisse der Sub-Services zur Verarbeitung des übergeordneten Service weitergeleitet werden, die ggf. auf anderen Hardware-Komponenten untergebracht sind (Airline-Analogie) –andererseits beanspruchen viele Service-Aufträge mehrere konsekutive Zeitscheiben einer Ressource (Multi-Day-Analogie zum Hotel-Fall)

38 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 kleiner Trost: Viele IV-Prozesse sind glücklicherweise preemptiv Umzug der Zwischenergebnisse des IV-Prozesses in ein anderes Hotel (anderer Prozessor) möglich Ausnahmen insbes. bei humaner Weiterverarbeitung: Audio-Übertragung Video-Übertragung Network Yield Management Relevanz

39 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Bewältigung der Komplexitätsprobleme des Network Yield Management Genetische Algorithmen (+KNN) Reinforcement Learning (+KNN)

40 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Bestimmung der Restwertfunktion bei Ressourcenkomplementarität optimale Lösung: Zustandsraum als Menge aller möglichen Bündel von Verfügbarkeiten aller zu bewertenden Ressourcen! Kombinatorische Explosion lineares Bid-Pricing deutlich suboptimal [Weatherford 92], [Talluri / Ryzin 96] Repräsentation der multidimensionalen Restwertfunktion mittels Künstlicher Neuronaler Netze ?

41 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Network Yield Management Kombinationsgewinn Fall A:Kombinationsgewinn

42 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Network Yield Management Kombinationsgewinn

43 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Network Yield Management Kombinationsverlust Fall B:Kombinationsverlust

44 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Network Yield Management Kombinationsverlust

45 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 weight matrix 1 weight matrix 2 x1x1 x5x5 x2x2 x3x3 x4x4 x 10 x7x7 x6x6 x9x9 x8x8 hidden layeroutput layer V t (x)= 3200 input layer Network Yield Management KNN als Lösung ?

46 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 weight matrix 1 weight matrix 2 x1x1 x5x5 x2x2 x3x3 x4x4 x 10 x7x7 x6x6 x9x9 x8x8 hidden layeroutput layerinput layer V t (x)= 2300 Network Yield Management KNN als Lösung ?

47 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Aufbau eines Neurons

48 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Backpropagation (20000 steps)

49 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Backpropagation (40000 steps)

50 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Backpropagation (60000 steps)

51 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Backpropagation (80000 steps)

52 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Backpropagation (100000 steps)

53 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Backpropagation (120000 steps)

54 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Backpropagation (140000 steps)

55 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Backpropagation (160000 steps)

56 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Backpropagation (180000 steps)

57 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Backpropagation (200000 steps)

58 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Backpropagation (300000 steps)

59 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Training des KNN übliche Lernregeln für KNN leider ungeeignet, da Bewertungsfehler nur SIMULATIV abschätzbar Finden optimaler Gewichte w* ist somit selbst hochdimensionales stochastisches Parameteroptimierungsproblem prädestiniert für Einsatz naturanaloger Verfahren ??? (Evolutionsstrategien / Genetische Algorithmen)

60 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Ablauf Genetischer Algorithmen

61 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Crossover-Operatoren für KNN Eltern Kind

62 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 KNN+GA-Ergebnisse 500.000 Evaluationen

63 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Reinforcement Learning agent environment action a r reward rstate s r t+1 s t+1 Ziel des RL-Agenten: Maximierung der Summe von Reinforcement-Signalen (long run!!)

64 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 RL: Value / Policy Iteration Aktionswert: Optimaler Zustandswert (rekursiv): Wertiteration Optimaler Aktionswert: Politikverbesserung : Update von Q während der Politikevaluation Wiederholte Politikevaluation und Politikverbesserung: Policy Iteration

65 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Temporal-Difference-Learning Kombination von Stochastic Dynamic Programming und Monte-Carlo-Methode Verwendung von Episoden zur Partitionierung des Zustandsraums Initialisierung der Episoden mit Schätzwerten von V (s,t) Update der Schätzwerte V (s, t) durch Verwendung der Summe künftiger Erlöse, die sich in den Schätzwerten V (s, t+1) widerspiegelt Auswahl der Episoden mit -greedy-Strategien

66 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 r 8 = 5 r 1 = 6 r 3 = 8 r 2 = 4 r 7 = 2 Temporal-Difference-Learning Beispiel r 4 = 7 1.2 Episode 1 = 0.2

67 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 r 8 = 5 r 1 = 6 r 3 = 8 r 2 = 4 r 7 = 2 Temporal-Difference-Learning Beispiel r 4 = 7 1.2 1.6 Episode 1 = 0.2

68 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 r 8 = 5 r 1 = 6 r 3 = 8 r 2 = 4 r 7 = 2 Temporal-Difference-Learning Beispiel r 4 = 7 1.2 1.6 0.4 Episode 1 = 0.2

69 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 r 8 = 5 r 1 = 6 r 3 = 8 r 2 = 4 r 7 = 2 Temporal-Difference-Learning Beispiel r 4 = 7 1.2 1.6 0.4 Episode 1 = 0.2 0

70 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 r 8 = 5 r 1 = 6 r 3 = 8 r 2 = 4 r 7 = 2 Temporal-Difference-Learning Beispiel r 4 = 7 2.48 2.96 0.72 0 Episode 2 = 0.2

71 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 r 8 = 5 r 1 = 6 r 3 = 8 r 2 = 4 r 7 = 2 Temporal-Difference-Learning Beispiel r 4 = 7 3.78 4.11 0.98 0 Episode 3 = 0.2

72 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 r 8 = 5 r 1 = 6 r 3 = 8 r 2 = 4 r 7 = 2 Temporal-Difference-Learning Beispiel r 4 = 7 14.9 9.77 1.97 0 Episode 20 = 0.2

73 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 r 8 = 5 r 1 = 6 r 3 = 8 r 2 = 4 r 7 = 2 Temporal-Difference-Learning Beispiel r 4 = 7 15.1 9.22 1.97 0 Episode 21 = 0.2 1.0 0

74 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 initialisiere Q (s, a) zufällig wiederhole für jede Episode initialisiere s wähle a in s unter Anwendung der durch Q vorgegebenen Politik wiederhole (für jeden Schritt der Episode): führe a aus und beobachte r, s wähle a in s unter Anwendung von Q s s ; a a bis s Endzustand On-Policy-Temporal-Difference Algorithm TD(0) Reinforcement Learning

75 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 TD(0) Reinforcement Learning

76 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 TD(0) Reinforcement Learning (3-Ebenen-MLP) 50.000 Evaluationen 500.000 Evaluationen

77 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Zusammenfassung und Ausblick

78 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Zusammenfassung große strukturelle Ähnlichkeiten der Bepreisung von IV-Leistungen und des Yield-Management klassischer Dienstleistungen Problem des Network Yield Management muss gelöst werden Adaption trotzdem vielversprechender als Anpassung der klassischen betriebswirtschaftlichen Preistheorie

79 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Ausblick Einsatz in DISPOWEB-Verhandlungsprotokollen für Softwareagenten alternative Zustandsraumkompression (z.B. Growing Neural Gas-Topologie) Integration kombinatorischer Auktionen und Bepreisung von Real Options Integration nachfrageseitiger interpersoneller Netzeffekte

80 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 –Vector Quantization: Regionen der Restwertfunktion, die häufiger durchlaufen werden, werden dichter repräsentiert –Kohonen Maps: nur benachbarte Neuronen interagieren (meist 3D grid topology) –Neural Gas: analog KM, allerdings Verwendung euklidischer Metrik zur Bestimmung der Interaktionsstärke Zustandsraumkompression

81 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Kombination YM und Auktionstheorie dynamische Bestimmung gewinnmaximierender Preise umfaßt aber ZWEI interdependente Probleme: –Welcher Anreizmechanismus bringt die Nachfrager dazu, ihre Zahlungsbereitschaft wahrheitsgemäß zu offenbaren? (Auktionstheorie für Leistungsbündel) –Welcher Nachfrager wird wann mit welchem Ressourcenbündel zu welchem Preis bedient? (YM)

82 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 YM / Perishable Asset Revenue Management t0t0 t production / service request commit request denial price request commit

83 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Auktionen t0t0 t production / service request price request

84 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Generalisierung: Auktionen & YM t0t0 t production / service price

85 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Literatur Hu, J. / Wellman, M.P.: Multiagent Reinforcement Learning: Theoretical Framework and an Algorithm, Madison 1998 Kephart, J.O. / Tesauro, G.J.: Pseudo-convergent Q-Learning by Competitive Pricebots, Hawthorne 1999 Kephart, J.O. / Tesauro, G.J.: Pricing in agent economies using multi- agent Q-Learning, Hawthorne 1999 McGill, J.I.; van Ryzin G.J.: Revenue Management: Research Overview and Prospects; Transportation Science 33 (1999) S. 233-256. Sutton, R.S. : Reinforcement-Learning: An Introduction, Cambridge 1998 Schwind, M.; Wendt, O.: Dynamic Pricing of Information Products based on Reinforcement Learning: A Yield Management Approach; Proceedings of the 25th Conference on Artificial Intelligence (KI2002); Aachen.


Herunterladen ppt "Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Subsymbolische Verfahren zur Ressourcenallokation Riezlern 23.1.2003 Oliver Wendt."

Ähnliche Präsentationen


Google-Anzeigen