Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Subsymbolische Verfahren zur Ressourcenallokation Riezlern 23.1.2003 Oliver Wendt.

Ähnliche Präsentationen


Präsentation zum Thema: "Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Subsymbolische Verfahren zur Ressourcenallokation Riezlern 23.1.2003 Oliver Wendt."—  Präsentation transkript:

1 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Subsymbolische Verfahren zur Ressourcenallokation Riezlern Oliver Wendt

2 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Gliederung Anwendungsbeispiele automatisierter Informationsdienstleistungen –e-finance –e-logistics Übertragbarkeit der Methoden des Yield Management klassischer Dienstleistungen ? Ansätze zur heuristischen Bewältigung der Komplexitätsprobleme des Network Yield Management –KNN + GA –KNN + Reinforcement Learning

3 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Anwendungsfall 1 e-finance

4 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Bayerische Landesbank

5 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, und 1822direct

6 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Berliner Volksbank

7 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, BBBank

8 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Deutsche Bank

9 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Deutsche Bank

10 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Comdirect

11 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Comdirect

12 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Anwendungspartner IS Innovative Software AG seit 2000 fusioniert mit Teledata GmbH europäischer Marktführer für internetbasierte Finanzinformationsdienstleistungen ASP (Application Service Provider) für über 100 Banken, Broker, Medienhäuser und Internet-Portale ca eFinance-Sites im Internet und Intranet

13 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Anwendungspartner IS Innovative Software AG Augenblicklicher Serverpark –ca Linux-Server im Rechenzentrum der Deutschen Börse –über 200 Mbit Peak-Netzlast (upstream) –55 Mio. Visits pro Monat allein für Hauptkunden Comdirect Europaweit größter Kunde von C.O.L.T.

14 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Mittelfristziel: individuelles Portfoliomanagement Charts der historischen individuellen Portfolioentwicklung Risikoanalyse (z.B. Value-at-Risk-Metriken gemäß Kapitaladäquanz nach Basel 2) Portfoliooptimierung unter Berücksichtigung –vorgegebener Risikostrukturziele –individueller Transaktionskosten –operativer Geschäftsrisiken

15 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Langfristziel: individualisierte wissensintensive Dienstleistungen durch/für Web Services

16 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Anwendungsfall 2 e-logistics

17 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, e-logistics Ziel: dynamische Tourenplanung und Umplanung mit Kunden-Zeitfenstern Prognose der Fahrzeiten von x nach y –tageszeitabhängig –verkehrssituationsabhängig typische Antwortzeiten der Time-Distance Web-Services ca. 300ms Problem für heuristische Suchverfahren

18 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, e-logistics

19 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Übertragbarkeit der Methoden des Yield Management ?

20 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Information als Repetierfaktor ? vernachlässigbaren Reproduktionskosten (sog. quasibeliebige Kopierbarkeit) Verbrauch von Informationsgütern unkritisch einfache Vernichtung / Entsorgung keine Knappheit existierender Information Einordnung als Repetierfaktor wenig sinnvoll

21 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Information als Potentialfaktor ? Konkurrenz der Produktionsprozesse um diese Ressource fehlt bei Informationsprodukten auch jede Software (logische Maschine) kann beliebig repliziert werden Kernproblem liegt nicht in der Konkurrenz um die Ressource Information selbst, sondern in der mittelbaren Konkurrenz um die knappen physischen Träger der Informationsverarbeitung ! –Menschen(Arbeitszeit) –Rechner (CPU / Memory) –Infrastruktur (Netzressourcen / Bandbreite)

22 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Menge aller Verfahren, welche durch eine integrierte Preis- und Kapazitätssteuerung, die richtigen Einheiten eines zukünftig bereitzustellenden Kapazitätstyps dem richtigen Kundentyp so zuordnen, dass der Deckungsbeitrag der Betriebseinheit maximiert wird [vgl. Belobaba (1989), Vogel (1989)]. Yield Management / Perishable Asset Revenue Mgmt

23 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Charakteristika YM-geeigneter Produktionsprozesse [Kimes (1989)] hohe Kapazitätsbereitstellungskosten : Kapazität kurzfristig nur zu prohibitiv hohen, sprungfixen Kosten ausweitbar variable Grenzkosten einer zusätzlichen Leistungseinheit innerhalb der gegebenen Kapazitäten gering Möglichkeit zur Marktsegmentierung Nichtlagerbarkeit und Verderblichkeit Produktverkauf vor Produktionsbeginn hohe Volatilität der Nachfrage

24 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Yield Management / Perishable Asset Revenue Mgmt Airline Industries (Passage & Cargo) Hotel- & Tourismus-Gewerbe Autovermietungen (Bekleidungs- / Modeartikel) (Lebensmittel)

25 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Strukturanalogien typischer Dienstleistungen

26 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Verfahren des Yield Management Pragmatische / heuristische Lösungsverfahren –Geschachtelte Kontingentierung –Expected Marginal Seat Revenue [Belobaba 89] Optimale Lösungsverfahren –Stochastische Dynamische Programmierung auf Basis Markoffscher Entscheidungsprozesse

27 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Stochastische Dynamische Programmierung Sitzplatzkapazität von sechs Sitzplätzen ( Z := { 0, 1, 2, 3, 4, 5, 6 } ) Sitzplätze können einzeln oder in Gruppen verkauft werden keine Unsicherheit über die Anzahl der noch eingehenden Anfragen

28 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Stochastische Dynamische Programmierung drei Anfragetypen: rückwärts zählender Index k für Anfragen

29 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Stage 1

30 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Stage 2 (z.B. i=4)

31 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Stage 2 (z.B. i=3)

32 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Stochastische Dynamische Programmierung Annahme wenn:Erlös k + V* k-1 (i - Zimmer k ) V* k-1 ( i ).

33 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Eigenschaften der Restwertfunktion V* inventory monotonicity –V* steigt monoton mit der Restkapazität i time monotonicity –V* steigt monoton mit der der Anzahl verbleibender Anfragen k ABER: Monotonie der PREISE nur, wenn keine Zunahme der Zahlungsbereitschaft über die Zeit !

34 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Beispiel: nichtmonotone Nachfrage k > 2 k <= 2

35 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Stochastic Dynamic Programming

36 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Network Yield Management Demo

37 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Network Yield Management Relevanz Hohe Relevanz derartiger Verbundeffekte im Informations-Kontext: –einerseits müssen hier die Ergebnisse der Sub-Services zur Verarbeitung des übergeordneten Service weitergeleitet werden, die ggf. auf anderen Hardware-Komponenten untergebracht sind (Airline-Analogie) –andererseits beanspruchen viele Service-Aufträge mehrere konsekutive Zeitscheiben einer Ressource (Multi-Day-Analogie zum Hotel-Fall)

38 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, kleiner Trost: Viele IV-Prozesse sind glücklicherweise preemptiv Umzug der Zwischenergebnisse des IV-Prozesses in ein anderes Hotel (anderer Prozessor) möglich Ausnahmen insbes. bei humaner Weiterverarbeitung: Audio-Übertragung Video-Übertragung Network Yield Management Relevanz

39 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Bewältigung der Komplexitätsprobleme des Network Yield Management Genetische Algorithmen (+KNN) Reinforcement Learning (+KNN)

40 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Bestimmung der Restwertfunktion bei Ressourcenkomplementarität optimale Lösung: Zustandsraum als Menge aller möglichen Bündel von Verfügbarkeiten aller zu bewertenden Ressourcen! Kombinatorische Explosion lineares Bid-Pricing deutlich suboptimal [Weatherford 92], [Talluri / Ryzin 96] Repräsentation der multidimensionalen Restwertfunktion mittels Künstlicher Neuronaler Netze ?

41 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Network Yield Management Kombinationsgewinn Fall A:Kombinationsgewinn

42 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Network Yield Management Kombinationsgewinn

43 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Network Yield Management Kombinationsverlust Fall B:Kombinationsverlust

44 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Network Yield Management Kombinationsverlust

45 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, weight matrix 1 weight matrix 2 x1x1 x5x5 x2x2 x3x3 x4x4 x 10 x7x7 x6x6 x9x9 x8x8 hidden layeroutput layer V t (x)= 3200 input layer Network Yield Management KNN als Lösung ?

46 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, weight matrix 1 weight matrix 2 x1x1 x5x5 x2x2 x3x3 x4x4 x 10 x7x7 x6x6 x9x9 x8x8 hidden layeroutput layerinput layer V t (x)= 2300 Network Yield Management KNN als Lösung ?

47 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Aufbau eines Neurons

48 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Backpropagation (20000 steps)

49 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Backpropagation (40000 steps)

50 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Backpropagation (60000 steps)

51 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Backpropagation (80000 steps)

52 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Backpropagation ( steps)

53 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Backpropagation ( steps)

54 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Backpropagation ( steps)

55 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Backpropagation ( steps)

56 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Backpropagation ( steps)

57 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Backpropagation ( steps)

58 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Backpropagation ( steps)

59 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Training des KNN übliche Lernregeln für KNN leider ungeeignet, da Bewertungsfehler nur SIMULATIV abschätzbar Finden optimaler Gewichte w* ist somit selbst hochdimensionales stochastisches Parameteroptimierungsproblem prädestiniert für Einsatz naturanaloger Verfahren ??? (Evolutionsstrategien / Genetische Algorithmen)

60 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Ablauf Genetischer Algorithmen

61 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Crossover-Operatoren für KNN Eltern Kind

62 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, KNN+GA-Ergebnisse Evaluationen

63 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Reinforcement Learning agent environment action a r reward rstate s r t+1 s t+1 Ziel des RL-Agenten: Maximierung der Summe von Reinforcement-Signalen (long run!!)

64 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, RL: Value / Policy Iteration Aktionswert: Optimaler Zustandswert (rekursiv): Wertiteration Optimaler Aktionswert: Politikverbesserung : Update von Q während der Politikevaluation Wiederholte Politikevaluation und Politikverbesserung: Policy Iteration

65 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Temporal-Difference-Learning Kombination von Stochastic Dynamic Programming und Monte-Carlo-Methode Verwendung von Episoden zur Partitionierung des Zustandsraums Initialisierung der Episoden mit Schätzwerten von V (s,t) Update der Schätzwerte V (s, t) durch Verwendung der Summe künftiger Erlöse, die sich in den Schätzwerten V (s, t+1) widerspiegelt Auswahl der Episoden mit -greedy-Strategien

66 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, r 8 = 5 r 1 = 6 r 3 = 8 r 2 = 4 r 7 = 2 Temporal-Difference-Learning Beispiel r 4 = Episode 1 = 0.2

67 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, r 8 = 5 r 1 = 6 r 3 = 8 r 2 = 4 r 7 = 2 Temporal-Difference-Learning Beispiel r 4 = Episode 1 = 0.2

68 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, r 8 = 5 r 1 = 6 r 3 = 8 r 2 = 4 r 7 = 2 Temporal-Difference-Learning Beispiel r 4 = Episode 1 = 0.2

69 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, r 8 = 5 r 1 = 6 r 3 = 8 r 2 = 4 r 7 = 2 Temporal-Difference-Learning Beispiel r 4 = Episode 1 = 0.2 0

70 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, r 8 = 5 r 1 = 6 r 3 = 8 r 2 = 4 r 7 = 2 Temporal-Difference-Learning Beispiel r 4 = Episode 2 = 0.2

71 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, r 8 = 5 r 1 = 6 r 3 = 8 r 2 = 4 r 7 = 2 Temporal-Difference-Learning Beispiel r 4 = Episode 3 = 0.2

72 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, r 8 = 5 r 1 = 6 r 3 = 8 r 2 = 4 r 7 = 2 Temporal-Difference-Learning Beispiel r 4 = Episode 20 = 0.2

73 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, r 8 = 5 r 1 = 6 r 3 = 8 r 2 = 4 r 7 = 2 Temporal-Difference-Learning Beispiel r 4 = Episode 21 =

74 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, initialisiere Q (s, a) zufällig wiederhole für jede Episode initialisiere s wähle a in s unter Anwendung der durch Q vorgegebenen Politik wiederhole (für jeden Schritt der Episode): führe a aus und beobachte r, s wähle a in s unter Anwendung von Q s s ; a a bis s Endzustand On-Policy-Temporal-Difference Algorithm TD(0) Reinforcement Learning

75 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, TD(0) Reinforcement Learning

76 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, TD(0) Reinforcement Learning (3-Ebenen-MLP) Evaluationen Evaluationen

77 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Zusammenfassung und Ausblick

78 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Zusammenfassung große strukturelle Ähnlichkeiten der Bepreisung von IV-Leistungen und des Yield-Management klassischer Dienstleistungen Problem des Network Yield Management muss gelöst werden Adaption trotzdem vielversprechender als Anpassung der klassischen betriebswirtschaftlichen Preistheorie

79 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Ausblick Einsatz in DISPOWEB-Verhandlungsprotokollen für Softwareagenten alternative Zustandsraumkompression (z.B. Growing Neural Gas-Topologie) Integration kombinatorischer Auktionen und Bepreisung von Real Options Integration nachfrageseitiger interpersoneller Netzeffekte

80 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, –Vector Quantization: Regionen der Restwertfunktion, die häufiger durchlaufen werden, werden dichter repräsentiert –Kohonen Maps: nur benachbarte Neuronen interagieren (meist 3D grid topology) –Neural Gas: analog KM, allerdings Verwendung euklidischer Metrik zur Bestimmung der Interaktionsstärke Zustandsraumkompression

81 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Kombination YM und Auktionstheorie dynamische Bestimmung gewinnmaximierender Preise umfaßt aber ZWEI interdependente Probleme: –Welcher Anreizmechanismus bringt die Nachfrager dazu, ihre Zahlungsbereitschaft wahrheitsgemäß zu offenbaren? (Auktionstheorie für Leistungsbündel) –Welcher Nachfrager wird wann mit welchem Ressourcenbündel zu welchem Preis bedient? (YM)

82 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, YM / Perishable Asset Revenue Management t0t0 t production / service request commit request denial price request commit

83 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Auktionen t0t0 t production / service request price request

84 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Generalisierung: Auktionen & YM t0t0 t production / service price

85 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, Literatur Hu, J. / Wellman, M.P.: Multiagent Reinforcement Learning: Theoretical Framework and an Algorithm, Madison 1998 Kephart, J.O. / Tesauro, G.J.: Pseudo-convergent Q-Learning by Competitive Pricebots, Hawthorne 1999 Kephart, J.O. / Tesauro, G.J.: Pricing in agent economies using multi- agent Q-Learning, Hawthorne 1999 McGill, J.I.; van Ryzin G.J.: Revenue Management: Research Overview and Prospects; Transportation Science 33 (1999) S Sutton, R.S. : Reinforcement-Learning: An Introduction, Cambridge 1998 Schwind, M.; Wendt, O.: Dynamic Pricing of Information Products based on Reinforcement Learning: A Yield Management Approach; Proceedings of the 25th Conference on Artificial Intelligence (KI2002); Aachen.


Herunterladen ppt "Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Subsymbolische Verfahren zur Ressourcenallokation Riezlern 23.1.2003 Oliver Wendt."

Ähnliche Präsentationen


Google-Anzeigen