Lokationsadaptive Agentensysteme

Präsentation zum Thema: "Lokationsadaptive Agentensysteme"—  Präsentation transkript:

1 Lokationsadaptive Agentensysteme
Ladenburger Diskurs „Ubiquitous Computing“ Ladenburg, 10. Februar 2000 Lokationsadaptive Agentensysteme Wolfgang Wahlster Deutsches Forschungszentrum für Künstliche Intelligenz GmbH Stuhlsatzenhausweg 3, Geb. 43.1 66123 Saarbrücken Tel.: (0681) /4162 Fax: (0681) WWW:

2 REAL: Lokations- und Geschwindigkeitsabhängige Verbalisierung von Wegbeschreibungen mit Anytime-Algorithmen (Wahlster et al. 1997) Zuerst ganz an dem Häuserblock vorbei und dann direkt hinter der Kirche links abbiegen! Gleich links!

3 Adaptive Agententechnologie: Orts-, Zeit-, und Benutzeradaptivität
Ressourcensensitivität Feste Ressourcen- beschränkungen Variable Ressourcen- beschränkungen Ressourcenadaptiertes Verhalten Optimiert für bekannte Ressourcen- beschränkungen Ressourcenadaptives Verhalten Feste Verarbeitungs- strategie mit Ressourcen- beschränkungen als Eingabeparameter Ressourcenadaptierendes Verhalten Dynamische Generierung von Verarbeitungs- strategien und Metakognition über die Ressourcenallokation SFB 387: Ressourcenadaptive kognitive Prozesse

4 Magic Lounge: Informationsdienste und Telekooperation mit heterogenen Endgeräten
Zugang über Multimedia PC Zugang über mobilen Klein-Computer (PDA, Palm) Zugang über Mobiltelefon mit LCD Display Graphik Text Audio

5 Themenfeld adaptive Präsentation und Interaktion
Pocket Computer PC Informations- und Telekooperatios- dienste Palm Mobiltelefon mit kleinem LCD gerätespezifische Planung von Informationspräsentationen, ggf. mit interaktiven Navigations- und Steuerelementen parametrisierbare Inhaltsauswahl Auswahl geeigneter Darstellungsmedien Design minimalistischer Visualisierungen

6 Präsentations- planer
Zugriff auf zentrale Informationsquellen wie Datenbanken oder WWW-Server Database Präsentations- planer Design Strategien event#1 Sicht-1 Sicht-2 Sicht-3 Anwendungsbeispiel: Zugriff auf ein „Konferenzgedächtnis“ (EU Projekt Magic Lounge).

7 Steuerung einer Applikation über WAP-Browser
Phone-Gateway für Applikation_X Applikation_X Präsentations- planer Database Design Strategien event#1 phone carrier ML Server WAP gateway (UP link) WWW Server WAP phone Servlet mobile phone Gateway user_1 mobile phone Gateway user_n Realisierung mit WAP Gateway der Firma Phone.com

8 MapViews: Testbett für kooperatives Arbeiten mit unterschiedlichen Kommunikationsgeräten
PC Darstellung PDA Darstellung ML Server Ausgabe auf Mobiltelefon mit LCD Peter markiert die Bahnhofstrasse Anwendungsszenarien: Reiseplanung und gegenseitige Wegbeschreibungen mit räumlich getrennten Kommunikationspartnern, die unterschiedlich ausgestattet sind (PC, Palm, Handy) Verwendete Graphiktypen: Detailkarte, Netzplan, Balkengraphik + Sprache

9 Transformation von graphischen Markierungen
MarkPC(street#1PC ) MarkPDA(street#1PDA ) Objekte street#1 Topolgie Kontur Fläche Detailinformation Prinzip: - Bestimme welches Objekt mit welcher Operation markiert wurde - wende entsprechende Operation auf die Darstellungsform des Objekts in den anderen Displays an.

10 Kooperationsbeispiel: Transferiere Markierung aus der „PDA-Sicht“ in die „PC-Sicht“
PDA Benutzer markiert Straßensegmente; Markierungen werden über zentralen Server an die anderen Benutzer propagiert Server aktualisiertes PC-Display

11 Kooperationsbeispiel: Transferiere Markierung aus der „PC-Sicht“ in die „Handy-Sicht“
Server (Display simuliert) Graphiktyp: Scrollbares Balkendiagramm

12 Kooperationsbeispiel: Transfer einer komplexen Markierung in die „Handy-Sicht“
Server (durch Simulation) Ansatz: - komplexere Markierungen werden sequentialisiert. Handy-Benutzer kann markierte Route „nachnavigieren“

13 Alternative views for the mobile phone client
ML Server Graphics type: “3D-Manhattan” sequentialized tour on phone display

14 Systemkonfiguration von Magic Lounge
MapViews PC-Client_1 Gateway für Handy MapViews Server GUI für PC-Sicht MapViews Handy-Client_1 Kommunikations- management Benutzerverwaltung CORBA-ORB WAP Sichten-verwaltung MapViews-PC Client_2 Gateway für Palm GUI für PC-Sicht Palm PC Client_1 MapViews Palm-Client_1 Daten-hierarchie

15 Das SmartKom - Konsortium
Das Konsortium besteht aus international anerkannten Kompetenzzentren für Mensch-Technik-Interaktion aus der deutschen Wirtschaft und Wissenschaft. European Media Lab MediaInterface IMS Institut für Maschinelle Sprachverarbeitung, Universität Stuttgart Ludwig-Maximilians- Universität München Struktur des Konsortiums 2 KMUs (davon ein KMU aus den neuen Bundesländern) 4 IT-Unternehmen 2 Forschungseinrichtungen 3 Universitäten

16 Code, Medium und Modalität
CODE (Symbolsysteme) Sprache Graphik Gestik Mimik MEDIUM (Physikalischer Informationsträger) MODALITÄT (Menschliche Sinne) Ausgabe- kanäle Eingabe- kanäle Visuell Akustisch System Benutzer Speicherung Taktil Haptisch Festplatte CD-ROM

17 Interaktionsmanagement
Dialogische Mensch-Technik-Interaktion durch koordinierte Analyse und Generierung multipler Modalitäten Medienanalyse Kern des SmartKom Interface Agenten Medien- Design Applikations- Management Interaktionsmanagement SmartKom-Mobil: Tragbarer Kommunikations- assistant SmartKom-Public: Multimodale Kommunikationszelle SmartKom-Home/Office: Vielseitige agentenbasierte Schnittstelle

18 Grobarchitektur von SmartKom
Eingabe- vorverarbeitung Modalitäts- spezifische Analysatoren Media Multimodale Interaktion Analysis Sprache Medienfusion Graphik Diskurs- modellierung Gestik/ Mimik Information, Anwendungen, Kommunikations-partner Biometrie Kontext- abhängige Aktionsplanung Anwendungsschnittstelle mit Anwendungsmodell Multimodales Medien- design Design Benutzer Benutzer- modellierung Sprache Graphik Intentions- erkennung Gestik Animierter Präsentations-agent Präsentations- design Ausgabe- realisierung Benutzer- modell Diskurs- modell Domänen- modell Aufgaben- modell Medien- modell Repräsentation und Inferenz

19 SmartKom-Mobil: Mobiler Kommunikationsassistent
GSM für Telefon, Fax, Internet- Verbindungen GPS Kamera Tragbarer Compute Server Stifteingabe Mikrophon MOBILE Biosensor zur Authentifizierung & Emotionserkennung Lautsprecher Docking-Station für Car PC

20 Mehrwerte von SmartKom als benutzeradaptive und selbsterklärende Schnittstelle
 Nahtlose Integration und koordinierte semantische Verarbeitung sich wechselseitig ergänzender Eingabemodalitäten wie Sprache, Gestik/ Mimik, Stifteingabe/Graphik sowie Biometrie  Robuste Verarbeitung von möglicherweise ungenauer, mehrdeutiger oder teilweise inkorrekter Eingabe  Kontextsensitive Interpretation der dialogischen Interaktion auf dem Hintergrund dynamischer Diskurs-, Aufgaben- und Benutzermodelle  Adaptive Generierung von koordinierten, kohäsiven und kohärenten multimodalen Präsentationen  Halb- oder vollautomatische Komplettierung von delegierten Aufgaben durch Integration von Informationsdiensten  Intuitive Erscheinung der Schnittstelle als personalisierter Präsentationsagent

21 Deep Map: Multimodaler mobiler Touristenführer für Heidelberg (EML, Dr
Deep Map: Multimodaler mobiler Touristenführer für Heidelberg (EML, Dr. Malaka) Kooperation u.a.: EML - DFKI - ISL Mobile Dialogführung Lokationsadaptive Interpretation von Benutzeranfragen

22 Deep Map: Multimodaler mobiler Touristenführer für Heidelberg (EML, Dr
Deep Map: Multimodaler mobiler Touristenführer für Heidelberg (EML, Dr. Malaka) Kooperation u.a.: EML - DFKI - ISL Multimodale Wegbeschreibung (Text- und Graphikgenerierung) Mobile Sprachübersetzung

23 Deep Map: Multimodaler mobiler Touristenführer für Heidelberg (EML, Dr
Deep Map: Multimodaler mobiler Touristenführer für Heidelberg (EML, Dr. Malaka) Kooperation u.a.: EML - DFKI - ISL Sprachgesteuerte 3D-Visualisierung Multimodale Präsentationsplanung (Text, Graphik, Bilder)

24 Hochleistungsinfrarotsender: bis 60m mit je 2 Lichtkegeln
IRREAL: Orts- und zeitabhängige Informations-präsentation in Gebäudekomplexen (CeBIT2000, Saarland-Stand) Den Gang entlang! Start Nächste Tür links! Sie sind am Ziel! Ziel Hochleistungsinfrarotsender: bis 60m mit je 2 Lichtkegeln Empfänger: PDA mit IrDA, z.B. Palm Pilot Stochastisches Broadcast-Protokoll: Grobinformation sofort

25 IRREAL:. Orts- und zeitabhängige Informations-
IRREAL: Orts- und zeitabhängige Informations- präsentation in Gebäudekomplexen

26 Ein Präsentationsbaum in IRREAL
Ebene 1a BACK Sixt 2a 2b BACK BACK Sixt Here You can rent a car ! 3a BACK

27 Stochastisches Broadcasting-Protokoll zum Versenden von Weginformation auf verschiedenen Detailebenen

28 5 Hauptphasen der Internet-Nutzung
Mobil 2000 Eingebettete Internet- Dienste Stationär Mobile Internet- Dienste WWW Forschungsnetze 1 2 3 4 5 Jeder kann jederzeit überall z.B. über ein WAP-Handy auf Internet-Dienste zugreifen Allgegenwärtige Internet-Dienste Auto, Heizung Herzschritt- macher hängen am Internet Eingebettete Software-Agenten sind Hauptnutzer des Internet t

29 Sprachbasierte Bearbeitung eines Kalenders auf einem WAP-Handy (DIAMOD-Projekt: DFKI-Siemens)
Mit Maier, am 25. Oktober, mit Tetzlaff und auch mit Streit. Doch nicht mit Streit und zwar von 2 Uhr bis 3 Uhr. Okay! Eingabe: Gesprochene Sprache (über Sprachserver) Ausgabe: Graphik (durch WML-Code verändert) Der Computer und die Programme werden unsichtbar

30 Verbmobil-Szenario Hotel- und Reiseinformation
Wann fährt der nächste Zug nach Hamburg ab? When does the next train to Hamburg depart? Wo befindet sich das nächste Hotel? Where is the nearest hotel? V e r b m o b i l S e r v e r

31 Mobile Dialogübersetzung über GSM-Telephone
If I get the train at 2 o‘clock I am in Frankfurt at 4 o‘clock. Wenn ich den Zug um 14 Uhr bekomme, bin ich um 4 in Frankfurt. Am Flughafen könnten wir uns treffen. We could meet at the airport.

32 Mobile Dialogübersetzung über GSM-Telephone
We could go out for dinner in the evening. Abends könnten wir Essen gehen. Wann denn am Abend? What time in the evening?

33 Mobile Dialogübersetzung über GSM-Telephone
I could reserve a table for 8 o‘clock. Ich könnte für 8 Uhr einen Tisch reservieren.

34 Automatische Generierung von Anruf-Protokollen
Dialogverständnis durch Verbmobil Generierung von Protokollen Verkäuferin Kunde HTML-Dokument auf Englisch transferiert via Internet oder Fax HTML-Dokument auf Englisch transferiert via Internet oder Fax

35 Natürlichsprachliche Programmierung intelligenter Haustechnik
Wenn ich nach Uhr in die Garage fahre, schalte das Licht im Keller an und öffne die Tür zwischen Garage und Keller. Lösche das Licht in der Garage, sobald ich im Keller bin. Sprachliche Ansteuerung von eingebetteten Agentensystemen

36 Sprachgesteuerte Inhaltssuche in laufenden Fernsehprogrammen
Gibt es im Moment eine Übertragung des Spiels HSV gegen Bayern? Das wird gerade im Zweiten im Aktuellen Sportstudio gezeigt. Soll ich umschalten? Information on-demand: Online Indexierung von Video

37 Sprachgesteuerte Inhaltssuche in Fernseharchiven
Es gab in Spiegel TV letzte Woche eine gute Zusammen- fassung. Soll ich sie zeigen? Ich möchte nochmal sehen, was beim Erdbeben in Taiwan passiert ist Online Retrieval in digitalen Archiven

38 4 Thesen zum Ubiquitious Computing
1) Gesprochene Sprache und Gestik statt Tastatur und Maus erlauben die intuitive Interaktion mit Gegenständen des Alltags ("Zu den Dingen sprechen"). 2) Die Agententechnologie bildet in Nachfolge der Objekttechnologie die Software-Basis für allgegenwärtige Computersysteme. 3) Lokationsadaptivität, Anytime-Algorithmen und Benutzermodellierung sind zentral für intelligente Lösungen im Bereich des Ubiquitious Computing. 4) Ontologische Erweiterungen von XML wie XOL und DAML bieten die semantische Grundlage für Internet-Kommunikation zwischen Agentensystemen. Dagstuhl Seminar: Semantics for the WWW, März 2000 Fensel (Amsterdam), Hendler (DARPA), Lieberman (MIT Media Lab), Wahlster (DFKI)