Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Oliver Wendt Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Gliederung Anwendungsbeispiele automatisierter Informationsdienstleistungen e-finance e-logistics Übertragbarkeit der Methoden des Yield Management „klassischer“ Dienstleistungen ? Ansätze zur heuristischen Bewältigung der Komplexitätsprobleme des Network Yield Management KNN + GA KNN + Reinforcement Learning Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Anwendungsfall 1 e-finance Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Bayerische Landesbank Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 1822 und 1822direct Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Berliner Volksbank Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 BBBank Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Deutsche Bank Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Deutsche Bank Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Comdirect Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Comdirect Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Anwendungspartner IS Innovative Software AG seit 2000 fusioniert mit Teledata GmbH europäischer Marktführer für internetbasierte Finanzinformationsdienstleistungen ASP (Application Service Provider) für über 100 Banken, Broker, Medienhäuser und Internet-Portale ca. 1.600 eFinance-Sites im Internet und Intranet Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Anwendungspartner IS Innovative Software AG Augenblicklicher „Serverpark“ ca. 1.200 Linux-Server im Rechenzentrum der Deutschen Börse über 200 Mbit Peak-Netzlast (upstream) 55 Mio. Visits pro Monat allein für Hauptkunden Comdirect Europaweit größter Kunde von C.O.L.T. Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Mittelfristziel: individuelles Portfoliomanagement Charts der historischen individuellen Portfolioentwicklung Risikoanalyse (z.B. Value-at-Risk-Metriken gemäß Kapitaladäquanz nach „Basel 2“) Portfoliooptimierung unter Berücksichtigung vorgegebener Risikostrukturziele individueller Transaktionskosten „operativer“ Geschäftsrisiken Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Langfristziel: individualisierte wissensintensive Dienstleistungen durch/für Web Services Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Anwendungsfall 2 e-logistics Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 e-logistics Ziel: dynamische Tourenplanung und Umplanung mit Kunden-Zeitfenstern Prognose der Fahrzeiten von x nach y tageszeitabhängig verkehrssituationsabhängig typische Antwortzeiten der Time-Distance Web-Services ca. 300ms  Problem für heuristische Suchverfahren Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 e-logistics Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Übertragbarkeit der Methoden des Yield Management ? Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Information als Repetierfaktor ? vernachlässigbaren Reproduktionskosten (sog. quasibeliebige Kopierbarkeit) „Verbrauch“ von Informationsgütern unkritisch einfache Vernichtung / Entsorgung keine Knappheit existierender Information Einordnung als Repetierfaktor wenig sinnvoll Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Information als Potentialfaktor ? Konkurrenz der Produktionsprozesse um diese Ressource fehlt bei Informationsprodukten auch jede Software („logische Maschine“) kann beliebig repliziert werden Kernproblem liegt nicht in der Konkurrenz um die Ressource Information selbst, sondern in der mittelbaren Konkurrenz um die knappen physischen Träger der Informationsverarbeitung ! Menschen (Arbeitszeit) Rechner (CPU / Memory) Infrastruktur (Netzressourcen / Bandbreite) Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Yield Management / Perishable Asset Revenue Mgmt Menge aller Verfahren, welche durch eine integrierte Preis- und Kapazitätssteuerung, die richtigen Einheiten eines zukünftig bereitzustellenden Kapazitätstyps dem richtigen Kundentyp so zuordnen, dass der Deckungsbeitrag der Betriebseinheit maximiert wird [vgl. Belobaba (1989), Vogel (1989)]. Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Charakteristika YM-geeigneter Produktionsprozesse [Kimes (1989)] hohe Kapazitätsbereitstellungskosten : Kapazität kurzfristig nur zu prohibitiv hohen, sprungfixen Kosten ausweitbar variable Grenzkosten einer zusätzlichen Leistungseinheit innerhalb der gegebenen Kapazitäten gering Möglichkeit zur Marktsegmentierung Nichtlagerbarkeit und Verderblichkeit Produktverkauf vor Produktionsbeginn hohe Volatilität der Nachfrage Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Yield Management / Perishable Asset Revenue Mgmt Airline Industries (Passage & Cargo) Hotel- & Tourismus-Gewerbe Autovermietungen (Bekleidungs- / Modeartikel) (Lebensmittel) Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Strukturanalogien typischer Dienstleistungen Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Verfahren des Yield Management Pragmatische / heuristische Lösungsverfahren Geschachtelte Kontingentierung Expected Marginal Seat Revenue [Belobaba 89] Optimale Lösungsverfahren Stochastische Dynamische Programmierung auf Basis Markoff’scher Entscheidungsprozesse Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Stochastische Dynamische Programmierung Sitzplatzkapazität von sechs Sitzplätzen ( Z := { 0, 1, 2, 3, 4, 5, 6 } ) Sitzplätze können einzeln oder in Gruppen verkauft werden keine Unsicherheit über die Anzahl der noch eingehenden Anfragen Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Stochastische Dynamische Programmierung drei Anfragetypen: rückwärts zählender Index k für Anfragen Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Stage 1 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Stage 2 (z.B. i=4) Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Stage 2 (z.B. i=3) Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Stochastische Dynamische Programmierung Annahme wenn: Erlösk + V*k-1(i - Zimmerk)  V*k-1( i ). Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Eigenschaften der Restwertfunktion V* inventory monotonicity V* steigt monoton mit der Restkapazität i time monotonicity V* steigt monoton mit der der Anzahl verbleibender Anfragen k ABER: Monotonie der PREISE nur, wenn keine Zunahme der Zahlungsbereitschaft über die Zeit ! Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Beispiel: nichtmonotone Nachfrage k > 2 k <= 2 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Stochastic Dynamic Programming Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Network Yield Management Demo Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Network Yield Management Relevanz Hohe Relevanz derartiger Verbundeffekte im Informations-Kontext: einerseits müssen hier die Ergebnisse der Sub-Services zur Verarbeitung des übergeordneten Service weitergeleitet werden, die ggf. auf anderen Hardware-Komponenten untergebracht sind (Airline-Analogie) andererseits beanspruchen viele Service-Aufträge mehrere konsekutive Zeitscheiben einer Ressource (Multi-Day-Analogie zum Hotel-Fall) Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Network Yield Management Relevanz „kleiner Trost”: Viele IV-Prozesse sind glücklicherweise “preemptiv” “Umzug” der Zwischenergebnisse des IV-Prozesses in ein anderes “Hotel” (anderer Prozessor) möglich Ausnahmen insbes. bei „humaner“ Weiterverarbeitung: Audio-Übertragung Video-Übertragung Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Bewältigung der Komplexitätsprobleme des Network Yield Management Genetische Algorithmen (+KNN) Reinforcement Learning (+KNN) Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Bestimmung der Restwertfunktion bei Ressourcenkomplementarität optimale Lösung: Zustandsraum als Menge aller möglichen Bündel von Verfügbarkeiten aller zu bewertenden Ressourcen! Kombinatorische Explosion lineares „Bid-Pricing“ deutlich suboptimal [Weatherford 92], [Talluri / Ryzin 96] Repräsentation der multidimensionalen Restwertfunktion mittels Künstlicher Neuronaler Netze ? Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Network Yield Management Kombinationsgewinn Fall A: Kombinationsgewinn Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Network Yield Management Kombinationsgewinn Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Network Yield Management Kombinationsverlust Fall B: Kombinationsverlust Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Network Yield Management Kombinationsverlust Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Network Yield Management KNN als Lösung ? x1 x5 x2 x3 x4 x10 x7 x6 x9 x8 input layer weight matrix 1 hidden layer weight matrix 2 output layer Vt(x)= 3200 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Network Yield Management KNN als Lösung ? x1 x5 x2 x3 x4 x10 x7 x6 x9 x8 input layer weight matrix 1 hidden layer weight matrix 2 output layer Vt(x)= 2300 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Aufbau eines Neurons Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Backpropagation (20000 steps) Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Backpropagation (40000 steps) Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Backpropagation (60000 steps) Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Backpropagation (80000 steps) Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Backpropagation (100000 steps) Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Backpropagation (120000 steps) Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Backpropagation (140000 steps) Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Backpropagation (160000 steps) Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Backpropagation (180000 steps) Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Backpropagation (200000 steps) Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Backpropagation (300000 steps) Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Training des KNN übliche Lernregeln für KNN leider ungeeignet, da Bewertungsfehler nur SIMULATIV abschätzbar Finden optimaler Gewichte w* ist somit selbst hochdimensionales stochastisches Parameteroptimierungsproblem prädestiniert für Einsatz naturanaloger Verfahren ??? (Evolutionsstrategien / Genetische Algorithmen) Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Ablauf Genetischer Algorithmen Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Crossover-Operatoren für KNN Eltern Kind Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 KNN+GA-Ergebnisse 500.000 Evaluationen Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Reinforcement Learning agent environment action a r reward r state s rt+1 st+1 Ziel des RL-Agenten: Maximierung der Summe von Reinforcement-Signalen (long run!!) Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

RL: Value / Policy Iteration Aktionswert: Optimaler Zustandswert (rekursiv): Wertiteration Optimaler Aktionswert: Politikverbesserung : Update von Q während der Politikevaluation Wiederholte Politikevaluation und Politikverbesserung: Policy Iteration Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Temporal-Difference-Learning Kombination von Stochastic Dynamic Programming und Monte-Carlo-Methode Verwendung von Episoden zur Partitionierung des Zustandsraums Initialisierung der Episoden mit Schätzwerten von V (s,t) Update der Schätzwerte V (s, t) durch Verwendung der Summe künftiger Erlöse, die sich in den Schätzwerten V (s’, t+1) widerspiegelt Auswahl der Episoden mit e-greedy-Strategien Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Temporal-Difference-Learning Beispiel Episode 1  = 0.2 r7 = 2 r3 = 8 r1 = 6 r8 = 5 r4 = 7 1.2 r2 = 4 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Temporal-Difference-Learning Beispiel Episode 1  = 0.2 r7 = 2 r3 = 8 r1 = 6 1.6 r8 = 5 r4 = 7 1.2 r2 = 4 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Temporal-Difference-Learning Beispiel Episode 1  = 0.2 r7 = 2 r3 = 8 0.4 r1 = 6 1.6 r8 = 5 r4 = 7 1.2 r2 = 4 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Temporal-Difference-Learning Beispiel Episode 1  = 0.2 r7 = 2 r3 = 8 0.4 r1 = 6 1.6 r8 = 5 r4 = 7 1.2 r2 = 4 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Temporal-Difference-Learning Beispiel Episode 2  = 0.2 r7 = 2 r3 = 8 0.72 r1 = 6 2.96 r8 = 5 r4 = 7 2.48 r2 = 4 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Temporal-Difference-Learning Beispiel Episode 3  = 0.2 r7 = 2 r3 = 8 0.98 r1 = 6 4.11 r8 = 5 r4 = 7 3.78 r2 = 4 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Temporal-Difference-Learning Beispiel Episode 20  = 0.2 r7 = 2 r3 = 8 1.97 r1 = 6 9.77 r8 = 5 r4 = 7 14.9 r2 = 4 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Temporal-Difference-Learning Beispiel Episode 21  = 0.2 r7 = 2 r3 = 8 1.97 r1 = 6 9.22 1.0 r8 = 5 r4 = 7 15.1 r2 = 4 Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

TD(0) Reinforcement Learning On-Policy-Temporal-Difference Algorithm initialisiere Q (s, a) zufällig wiederhole für jede Episode initialisiere s wähle a in s unter Anwendung der durch Q vorgegebenen Politik wiederhole (für jeden Schritt der Episode): führe a aus und beobachte r, s’ wähle a’ in s’ unter Anwendung von Q s  s’ ; a  a’ bis s Endzustand Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

TD(0) Reinforcement Learning Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

TD(0) Reinforcement Learning (3-Ebenen-MLP) 50.000 Evaluationen 500.000 Evaluationen Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Zusammenfassung und Ausblick Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Zusammenfassung große strukturelle Ähnlichkeiten der Bepreisung von IV-Leistungen und des Yield-Management klassischer Dienstleistungen Problem des Network Yield Management muss „gelöst“ werden Adaption trotzdem vielversprechender als Anpassung der klassischen betriebswirtschaftlichen Preistheorie Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Ausblick Einsatz in DISPOWEB-Verhandlungsprotokollen für Softwareagenten alternative Zustandsraumkompression (z.B. Growing Neural Gas-Topologie) Integration kombinatorischer Auktionen und Bepreisung von Real Options Integration nachfrageseitiger interpersoneller Netzeffekte Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Zustandsraumkompression Vector Quantization: Regionen der Restwertfunktion, die häufiger durchlaufen werden, werden “dichter” repräsentiert Kohonen Maps: nur benachbarte Neuronen interagieren (meist 3D grid topology) Neural Gas: analog KM, allerdings Verwendung euklidischer Metrik zur Bestimmung der Interaktionsstärke Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Kombination YM und Auktionstheorie dynamische Bestimmung gewinnmaximierender Preise umfaßt aber ZWEI interdependente Probleme: Welcher Anreizmechanismus bringt die Nachfrager dazu, ihre Zahlungsbereitschaft wahrheitsgemäß zu offenbaren? (Auktionstheorie für Leistungsbündel) Welcher Nachfrager wird wann mit welchem Ressourcenbündel zu welchem Preis bedient? (YM) Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

YM / Perishable Asset Revenue Management production / service request commit denial price Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Auktionen t0 t production / service request price Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Generalisierung: Auktionen & YM production / service price Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003 Literatur Hu, J. / Wellman, M.P.: Multiagent Reinforcement Learning: Theoretical Framework and an Algorithm, Madison 1998 Kephart, J.O. / Tesauro, G.J.: Pseudo-convergent Q-Learning by Competitive Pricebots, Hawthorne 1999 Kephart, J.O. / Tesauro, G.J.: Pricing in agent economies using multi-agent Q-Learning, Hawthorne 1999 McGill, J.I.; van Ryzin G.J.: Revenue Management: Research Overview and Prospects; Transportation Science 33 (1999) S. 233-256. Sutton, R.S. : Reinforcement-Learning: An Introduction, Cambridge 1998 Schwind, M.; Wendt, O.: Dynamic Pricing of Information Products based on Reinforcement Learning: A Yield Management Approach; Proceedings of the 25th Conference on Artificial Intelligence (KI2002); Aachen. Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003