Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

Name: Subsymbolische Verfahren zur Ressourcenallokation Riezlern,
Uploaded: 2017-12-26T06:27:19+00:00
Duration: PTM33S2
Channel: Katrina Schreiber
Description: Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003
Oliver Wendt Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

Gliederung Anwendungsbeispiele automatisierter Informationsdienstleistungen e-finance e-logistics Übertragbarkeit der Methoden des Yield Management „klassischer“ Dienstleistungen ? Ansätze zur heuristischen Bewältigung der Komplexitätsprobleme des Network Yield Management KNN + GA KNN + Reinforcement Learning Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

Anwendungsfall 1 e-finance Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

Bayerische Landesbank
Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

1822 und 1822direct Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

Berliner Volksbank Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

BBBank Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

Deutsche Bank Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

Comdirect Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

Anwendungspartner IS Innovative Software AG
seit 2000 fusioniert mit Teledata GmbH europäischer Marktführer für internetbasierte Finanzinformationsdienstleistungen ASP (Application Service Provider) für über 100 Banken, Broker, Medienhäuser und Internet-Portale ca eFinance-Sites im Internet und Intranet Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

Anwendungspartner IS Innovative Software AG
Augenblicklicher „Serverpark“ ca Linux-Server im Rechenzentrum der Deutschen Börse über 200 Mbit Peak-Netzlast (upstream) 55 Mio. Visits pro Monat allein für Hauptkunden Comdirect Europaweit größter Kunde von C.O.L.T. Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

Mittelfristziel: individuelles Portfoliomanagement
Charts der historischen individuellen Portfolioentwicklung Risikoanalyse (z.B. Value-at-Risk-Metriken gemäß Kapitaladäquanz nach „Basel 2“) Portfoliooptimierung unter Berücksichtigung vorgegebener Risikostrukturziele individueller Transaktionskosten „operativer“ Geschäftsrisiken Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

Langfristziel: individualisierte wissensintensive Dienstleistungen durch/für Web Services Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

Anwendungsfall 2 e-logistics Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

e-logistics Ziel: dynamische Tourenplanung und Umplanung mit Kunden-Zeitfenstern Prognose der Fahrzeiten von x nach y tageszeitabhängig verkehrssituationsabhängig typische Antwortzeiten der Time-Distance Web-Services ca. 300ms  Problem für heuristische Suchverfahren Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

e-logistics Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

Übertragbarkeit der Methoden des Yield Management ?

Information als Repetierfaktor ?
vernachlässigbaren Reproduktionskosten (sog. quasibeliebige Kopierbarkeit) „Verbrauch“ von Informationsgütern unkritisch einfache Vernichtung / Entsorgung keine Knappheit existierender Information Einordnung als Repetierfaktor wenig sinnvoll Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

Information als Potentialfaktor ?
Konkurrenz der Produktionsprozesse um diese Ressource fehlt bei Informationsprodukten auch jede Software („logische Maschine“) kann beliebig repliziert werden Kernproblem liegt nicht in der Konkurrenz um die Ressource Information selbst, sondern in der mittelbaren Konkurrenz um die knappen physischen Träger der Informationsverarbeitung ! Menschen (Arbeitszeit) Rechner (CPU / Memory) Infrastruktur (Netzressourcen / Bandbreite) Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

Yield Management / Perishable Asset Revenue Mgmt
Menge aller Verfahren, welche durch eine integrierte Preis- und Kapazitätssteuerung, die richtigen Einheiten eines zukünftig bereitzustellenden Kapazitätstyps dem richtigen Kundentyp so zuordnen, dass der Deckungsbeitrag der Betriebseinheit maximiert wird [vgl. Belobaba (1989), Vogel (1989)]. Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

Charakteristika YM-geeigneter Produktionsprozesse [Kimes (1989)]
hohe Kapazitätsbereitstellungskosten : Kapazität kurzfristig nur zu prohibitiv hohen, sprungfixen Kosten ausweitbar variable Grenzkosten einer zusätzlichen Leistungseinheit innerhalb der gegebenen Kapazitäten gering Möglichkeit zur Marktsegmentierung Nichtlagerbarkeit und Verderblichkeit Produktverkauf vor Produktionsbeginn hohe Volatilität der Nachfrage Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

Yield Management / Perishable Asset Revenue Mgmt
Airline Industries (Passage & Cargo) Hotel- & Tourismus-Gewerbe Autovermietungen (Bekleidungs- / Modeartikel) (Lebensmittel) Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

Strukturanalogien typischer Dienstleistungen

Verfahren des Yield Management
Pragmatische / heuristische Lösungsverfahren Geschachtelte Kontingentierung Expected Marginal Seat Revenue [Belobaba 89] Optimale Lösungsverfahren Stochastische Dynamische Programmierung auf Basis Markoff’scher Entscheidungsprozesse Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

Stochastische Dynamische Programmierung
Sitzplatzkapazität von sechs Sitzplätzen ( Z := { 0, 1, 2, 3, 4, 5, 6 } ) Sitzplätze können einzeln oder in Gruppen verkauft werden keine Unsicherheit über die Anzahl der noch eingehenden Anfragen Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

drei Anfragetypen: rückwärts zählender Index k für Anfragen Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

Stage 1 Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

Stage 2 (z.B. i=4) Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

Stage 2 (z.B. i=3) Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

Annahme wenn: Erlösk + V*k-1(i - Zimmerk)  V*k-1( i ). Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

Eigenschaften der Restwertfunktion V*
inventory monotonicity V* steigt monoton mit der Restkapazität i time monotonicity V* steigt monoton mit der der Anzahl verbleibender Anfragen k ABER: Monotonie der PREISE nur, wenn keine Zunahme der Zahlungsbereitschaft über die Zeit ! Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

Beispiel: nichtmonotone Nachfrage
k > 2 k <= 2 Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

Stochastic Dynamic Programming

Network Yield Management Demo Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

Network Yield Management Relevanz
Hohe Relevanz derartiger Verbundeffekte im Informations-Kontext: einerseits müssen hier die Ergebnisse der Sub-Services zur Verarbeitung des übergeordneten Service weitergeleitet werden, die ggf. auf anderen Hardware-Komponenten untergebracht sind (Airline-Analogie) andererseits beanspruchen viele Service-Aufträge mehrere konsekutive Zeitscheiben einer Ressource (Multi-Day-Analogie zum Hotel-Fall) Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

Network Yield Management Relevanz
„kleiner Trost”: Viele IV-Prozesse sind glücklicherweise “preemptiv” “Umzug” der Zwischenergebnisse des IV-Prozesses in ein anderes “Hotel” (anderer Prozessor) möglich Ausnahmen insbes. bei „humaner“ Weiterverarbeitung: Audio-Übertragung Video-Übertragung Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

Bewältigung der Komplexitätsprobleme des Network Yield Management
Genetische Algorithmen (+KNN) Reinforcement Learning (+KNN) Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

Bestimmung der Restwertfunktion bei Ressourcenkomplementarität
optimale Lösung: Zustandsraum als Menge aller möglichen Bündel von Verfügbarkeiten aller zu bewertenden Ressourcen! Kombinatorische Explosion lineares „Bid-Pricing“ deutlich suboptimal [Weatherford 92], [Talluri / Ryzin 96] Repräsentation der multidimensionalen Restwertfunktion mittels Künstlicher Neuronaler Netze ? Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

Network Yield Management Kombinationsgewinn
Fall A: Kombinationsgewinn Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

Network Yield Management Kombinationsgewinn

Network Yield Management Kombinationsverlust
Fall B: Kombinationsverlust Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

Network Yield Management Kombinationsverlust

Network Yield Management KNN als Lösung ? x1 x5 x2 x3 x4 x10 x7 x6 x9 x8 input layer weight matrix 1 hidden layer weight matrix 2 output layer Vt(x)= 3200 Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

Network Yield Management KNN als Lösung ? x1 x5 x2 x3 x4 x10 x7 x6 x9 x8 input layer weight matrix 1 hidden layer weight matrix 2 output layer Vt(x)= 2300 Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

Aufbau eines Neurons Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

Backpropagation (20000 steps)

Training des KNN übliche Lernregeln für KNN leider ungeeignet, da Bewertungsfehler nur SIMULATIV abschätzbar Finden optimaler Gewichte w* ist somit selbst hochdimensionales stochastisches Parameteroptimierungsproblem prädestiniert für Einsatz naturanaloger Verfahren ??? (Evolutionsstrategien / Genetische Algorithmen) Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

Ablauf Genetischer Algorithmen

Crossover-Operatoren für KNN Eltern Kind Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

KNN+GA-Ergebnisse Evaluationen Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

Reinforcement Learning
agent environment action a r reward r state s rt+1 st+1 Ziel des RL-Agenten: Maximierung der Summe von Reinforcement-Signalen (long run!!) Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

RL: Value / Policy Iteration
Aktionswert: Optimaler Zustandswert (rekursiv): Wertiteration Optimaler Aktionswert: Politikverbesserung : Update von Q während der Politikevaluation Wiederholte Politikevaluation und Politikverbesserung: Policy Iteration Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

Temporal-Difference-Learning
Kombination von Stochastic Dynamic Programming und Monte-Carlo-Methode Verwendung von Episoden zur Partitionierung des Zustandsraums Initialisierung der Episoden mit Schätzwerten von V (s,t) Update der Schätzwerte V (s, t) durch Verwendung der Summe künftiger Erlöse, die sich in den Schätzwerten V (s’, t+1) widerspiegelt Auswahl der Episoden mit e-greedy-Strategien Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

Temporal-Difference-Learning Beispiel
Episode 1  = 0.2 r7 = 2 r3 = 8 r1 = 6 r8 = 5 r4 = 7 1.2 r2 = 4 Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

Episode 1  = 0.2 r7 = 2 r3 = 8 r1 = 6 1.6 r8 = 5 r4 = 7 1.2 r2 = 4 Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

Episode 1  = 0.2 r7 = 2 r3 = 8 0.4 r1 = 6 1.6 r8 = 5 r4 = 7 1.2 r2 = 4 Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

Episode 21  = 0.2 r7 = 2 r3 = 8 1.97 r1 = 6 9.22 1.0 r8 = 5 r4 = 7 15.1 r2 = 4 Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

TD(0) Reinforcement Learning
On-Policy-Temporal-Difference Algorithm initialisiere Q (s, a) zufällig wiederhole für jede Episode initialisiere s wähle a in s unter Anwendung der durch Q vorgegebenen Politik wiederhole (für jeden Schritt der Episode): führe a aus und beobachte r, s’ wähle a’ in s’ unter Anwendung von Q s  s’ ; a  a’ bis s Endzustand Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

TD(0) Reinforcement Learning

TD(0) Reinforcement Learning (3-Ebenen-MLP)
Evaluationen Evaluationen Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

Zusammenfassung und Ausblick

Zusammenfassung große strukturelle Ähnlichkeiten der Bepreisung von IV-Leistungen und des Yield-Management klassischer Dienstleistungen Problem des Network Yield Management muss „gelöst“ werden Adaption trotzdem vielversprechender als Anpassung der klassischen betriebswirtschaftlichen Preistheorie Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

Ausblick Einsatz in DISPOWEB-Verhandlungsprotokollen für Softwareagenten alternative Zustandsraumkompression (z.B. Growing Neural Gas-Topologie) Integration kombinatorischer Auktionen und Bepreisung von Real Options Integration nachfrageseitiger interpersoneller Netzeffekte Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

Zustandsraumkompression
Vector Quantization: Regionen der Restwertfunktion, die häufiger durchlaufen werden, werden “dichter” repräsentiert Kohonen Maps: nur benachbarte Neuronen interagieren (meist 3D grid topology) Neural Gas: analog KM, allerdings Verwendung euklidischer Metrik zur Bestimmung der Interaktionsstärke Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

Kombination YM und Auktionstheorie
dynamische Bestimmung gewinnmaximierender Preise umfaßt aber ZWEI interdependente Probleme: Welcher Anreizmechanismus bringt die Nachfrager dazu, ihre Zahlungsbereitschaft wahrheitsgemäß zu offenbaren? (Auktionstheorie für Leistungsbündel) Welcher Nachfrager wird wann mit welchem Ressourcenbündel zu welchem Preis bedient? (YM) Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

YM / Perishable Asset Revenue Management
production / service request commit denial price Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

Auktionen t0 t production / service request price Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

Generalisierung: Auktionen & YM
production / service price Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

Literatur Hu, J. / Wellman, M.P.: Multiagent Reinforcement Learning: Theoretical Framework and an Algorithm, Madison 1998 Kephart, J.O. / Tesauro, G.J.: Pseudo-convergent Q-Learning by Competitive Pricebots, Hawthorne 1999 Kephart, J.O. / Tesauro, G.J.: Pricing in agent economies using multi-agent Q-Learning, Hawthorne 1999 McGill, J.I.; van Ryzin G.J.: Revenue Management: Research Overview and Prospects; Transportation Science 33 (1999) S Sutton, R.S. : Reinforcement-Learning: An Introduction, Cambridge 1998 Schwind, M.; Wendt, O.: Dynamic Pricing of Information Products based on Reinforcement Learning: A Yield Management Approach; Proceedings of the 25th Conference on Artificial Intelligence (KI2002); Aachen. Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

Ähnliche Präsentationen

Präsentation zum Thema: "Subsymbolische Verfahren zur Ressourcenallokation Riezlern,"— Präsentation transkript:

Ähnliche Präsentationen

Über Projekt

Feedback

Anmelden

Anmeldung über soziales Netzwerk:

Subsymbolische Verfahren zur Ressourcenallokation Riezlern,

Ähnliche Präsentationen

Präsentation zum Thema: "Subsymbolische Verfahren zur Ressourcenallokation Riezlern,"— Präsentation transkript:

Ähnliche Präsentationen

Über Projekt

Feedback