2. Projektlenkungssitzung Smart Web European Media Lab (EML) Heidelberg, 16. Dezember 2005 Stand des Projektes Deutsches Forschungszentrum für Künstliche Intelligenz GmbH Stuhlsatzenhausweg 3, Geb Saarbrücken Tel.: (0681) /4162 Fax: (0681) / WWW: Wolfgang Wahlster

© W. Wahlster Zweite SmartWeb-Projektlenkungssitzung SmartWeb integriert vier aktuelle Forschungsgebiete Sprachtechnologie SmartWeb Mobile Breitband- kommunikation Semantisches Web Multimodaler Dialog Projektfolge mit systematischer Ergebnisverwertung: Verbmobil SmartKom SmartWeb

© W. Wahlster Zweite SmartWeb-Projektlenkungssitzung Der erste Meilenstein 1 wurde termingerecht am erfüllt Realisierung der Gesamtarchitektur Serverbasiertes multimodales Demonstratorsystem V0.1 zu den Domänen WM-2006 und Kfz Basisontologien für die Domänen WM-2006 und Kfz und für die Diskursverarbeitung prototypisch definiert Verarbeitung unbekannter Orts- und Personennamen in der sprachlichen Interaktion Spin-off-Planung im Rahmen des Technologietransfers

© W. Wahlster Zweite SmartWeb-Projektlenkungssitzung Checkliste für Meilenstein 2 Auf sehr gutem Wege bis zum Technologieüberprüfung für Hardware-Update (Mobiler Client) Server- und Client Forschungsprototyp V0.5 zu den Domänen WM-2006 und Kfz mit unbekannten Wörtern aus diesen Domänen Interaktionen für das Motorrad realisiert Ontologische Modellierung der Domänen stabil in einer ersten Version Signifikante Anzahl von Webseiten aus dem Sportbereich semantisch annotiert Robuste multimodale On-/Offtalk-Unterscheidung

© W. Wahlster Zweite SmartWeb-Projektlenkungssitzung SmartWebs Mobiles Endgerät: Vom Mobile Digital Assistent MDA III zum MDA Pro MDA III GPRS, WLAN Bluetooth Windows Mobile Kamera 320 x 240 MDA Pro UMTS, WLAN Bluetooth Windows Mobile Kameras 640 x 480 VGA Zugriff auf Benutzer- kamera

© W. Wahlster Zweite SmartWeb-Projektlenkungssitzung Übergang auf neueste Endgerätegeneration der Telekom Technologieüberprüfung für Hardware-Update (2. Meilenstein) bereits erfolgt: -MDA Pro ergänzt MDA III als persönliches Endgerät -PDA/Smartphone bietet zusätzlich UMTS (neben WLAN), integrierte Kamera für Benutzeraufnahme, sowie hochauflösende VGA-Bildschirmdarstellung mit wahlweise drehbarem Bildschirm (Hoch- und Querformat) MDA Pro Nutzung für SmartWeb: -Gerät, neues Betriebssystem und Entwicklungswerkzeuge erst ganz kurz am Markt verfügbar -Basisportierung erfolgreich abgeschlossen (vorläufige Problemlösung für Inkompatibilitäten bei Audioanbindung konnte kurzfristig realisiert werden) -Kameraanbindung und Bildübertragung für MDA Pro erfordert noch höhere Implementierungsaufwände Soll bis zum 2. Meilenstein für den WM-Demonstrator abgeschlossen sein Experimentalaufbau mit externer, serverseitig angebundener Kamera für CeBIT Portierung des gesamten lokalen Dialogsystems -Java-Umgebung für lokalen Spracherkenner, lokale Steuerungskomponente und Anbindung an die Sympalog-Plattform.

© W. Wahlster Zweite SmartWeb-Projektlenkungssitzung Optimierung der SmartWeb Bedienoberfläche Schnelle Anpassung auf Breitkantformat möglich durch eigens entwickeltes Layout-XML-Format. Einbinden der Handschrifterkennung im VGA-Modus. Automatische Erkennung der Bildschirmausrichtung + automatisches Umschalten. Reduktion des Speicherverbrauchs: Bei hoher Auflösung ist der Speicherbedarf extrem hoch, wenngleich der MDA Pro weniger Speicher zur Verfügung stellt. CPU Auslastung verringern, da das neue Betriebssystem langsamer reagiert und bei hoher Auflösung mehr Rechenzeit erforderlich ist. Videos flüssiger abspielen.

© W. Wahlster Zweite SmartWeb-Projektlenkungssitzung Adaption der Sympalog Dialogsystemplattform Serverseitige Dialogverarbeitung SymCTM Call & Task Manager SymCTM Call & Task Manager Multimodaler Erkenner Sympalog, FAU, UdS Multimodaler Erkenner Sympalog, FAU, UdS Semantic Web Zugriff Sprach- kanal Persönliches Endgerät Persönliches Endgerät Dialog- verarbeitung DFKI-IUI, EML Dialog- verarbeitung DFKI-IUI, EML Sprachsynthese IMS Sprachsynthese IMS CAPI (ISDN ) CAPI (ISDN ) H.323 / SIP (VoiceIP ) H.323 / SIP (VoiceIP ) SymClient Extended Audiomodul SymClient Extended Audiomodul Nachrichten A-Law Audio Video Daten (Bedienoberfläche) Nachrichten IP Die (modifizierte) Sympalog- Plattform leistet die Telefonie- sowie Endgeräteanbindung und macht die Verarbeitung multisession-fähig für den Mehrbenutzerbetrieb.

© W. Wahlster Zweite SmartWeb-Projektlenkungssitzung Neu: Mehrbenutzerfähigkeit skalierbare Serverfarm Mit 3 parallelen mobilen Clients wurde SmartWeb bereits erfolgreich getestet Pro Server können bis zu 30 Kanäle für SmartWeb bereitgestellt werden.

© W. Wahlster Zweite SmartWeb-Projektlenkungssitzung Verarbeitung von Diskursphänomenen: Neu: Auflösung von Ellipsen Vervollständigung aus dem Diskurs-Kontext Generischer Ansatz implementiert (Weiterführung des Ansatzes von SmartKom) Paraphrase zeigt die vervollständigte semantische Struktur

© W. Wahlster Zweite SmartWeb-Projektlenkungssitzung Neu: Paraphrasengenerierung Vereinfachte Darstellung der semantischen Repräsentation Zentral: Wonach wird gefragt? Umkehrung der Analyse –Generierungsregeln für Konzepte der Ontologie –Traversierung des Ergebnisses der Sprachanalyse –Vereinfachung –Beibehaltung der inhaltstragenden Strukturen –Formatierung Der Benutzer kann auf diese Weise das Sprachverstehen des Systems überwachen und ggf. korrigieren

© W. Wahlster Zweite SmartWeb-Projektlenkungssitzung Neu: Dialogkohärenz durch Ellipsenverarbeitung

© W. Wahlster Zweite SmartWeb-Projektlenkungssitzung Neu: Integration von Webdiensten mit aktueller Verkehrsinformation

© W. Wahlster Zweite SmartWeb-Projektlenkungssitzung Neu: Eingabe und Beantwortung von beliebigen Fragen in akustischer oder schriftlicher Form

© W. Wahlster Zweite SmartWeb-Projektlenkungssitzung Domänenoffene Fragebeantwortung Erfolgreiche Integration der DFKI-Technologie des Forschungsbereichs Sprachtechnologie (Prof. Uszkoreit) für domänenoffene Fragebeantwortung in den SmartWeb-Demonstrator -Erweiterung der robusten Frageanalyse für Deutsch mit Schnittstellen zum Spracherkenner und der Bildextraktionskomponente -Formulierung optimaler Google-Anfragen unter Berücksichtigung der linguistischen Analyse -Antwortselektion zur Bestimmung der besten Kandidaten Aktive Teilnahme an CLEF-2005 (Cross-Language Evaluation Forum) (Neumann et al. 2005; beste Ergebnisse für Deutsch und Englisch als Zielsprache; u.a. 43.5% (87/200) Akkuratheit für Task DE2DE, 25.5 % (51/200) für DE2EN) Prototyp für sprachunabhängige Fragebeantwortung aus Web-Snippets basierend auf statistischen Verfahren als Grundlage für englisches System (Figueroa & Neumann, Paper für WEBIST06)

© W. Wahlster Zweite SmartWeb-Projektlenkungssitzung Neu: Automatische Extraktion und Annotation von Bildern aus PDF-Dokumenten im Web Layout-Analyse zur Erkennung von Bildbeschriftungen, Mehrdeutigkeitsanalyse 10% der Webseiten im PDF-Format Google wertet Bilder im PDF-Dokumenten nicht aus, hier schließt SmartWeb eine Lücke QUAERO-Projekt des BMWi Gerber foult Wiesinger

© W. Wahlster Zweite SmartWeb-Projektlenkungssitzung Neu: Kfz-Demonstrator mit Anbindung an Sender für Digital Multimedia Broadcasting (DMB) SmartWeb Content-Server Fahrzeug- system WEB DMB Server DMB- Sender (FIRST) TabellenDialoge Webcam Video Dialoge Touchscreen multimodaler Dialog für DMB-Videosteuerung Sprachdialog über DBM-Video Programmtabelle mit Auswahl der Sendung

© W. Wahlster Zweite SmartWeb-Projektlenkungssitzung Interaktiver intelligenter Zugriff Interaktive semantische Zugriffsdienste Interaktive semantische Zugriffsdienste AP 5.1 DFKI-LT, UdS, Siemens AP 5.1 DFKI-LT, UdS, Siemens Freie Fragebe- antwortung Freie Fragebe- antwortung Semantic Mediator AP DFKI-KM Semantic Mediator AP DFKI-KM Web Service Zugriff AP AIFB, DFKI-KM Web Service Zugriff AP AIFB, DFKI-KM Agentenbasierter semantischer Zugriff AP /6.1.2 EML Agentenbasierter semantischer Zugriff AP /6.1.2 EML Wissens- server TP 4 Ontoprise, AIFB, DFKI-KM Wissens- server TP 4 Ontoprise, AIFB, DFKI-KM Web Services Web- Seiten ? Ontologien & Faktenbasis Dialog Datenaustausch mittels RDF/S plus EMMA, DLP (OWL-Easy), XTriple, F-Logic Web- Ressourcen Semantisches Crawlen, voll- automatische Generierung semantischer Web-Seiten, Design,Lernen und Integration von Ontologien Semantisches Crawlen, voll- automatische Generierung semantischer Web-Seiten, Design,Lernen und Integration von Ontologien Semantische Modellierung Semantische Modellierung

© W. Wahlster Zweite SmartWeb-Projektlenkungssitzung Entwicklung einer Infrastruktur für zukunftsweisende Technologien zur automatischen Verarbeitung multimedialer Inhalte: Digitalisierung, Indexierung, Archivierung, Recherche und Zugriff auf Schrifttum, Bilder, Videos und Audiodateien, wobei die Fähigkeit zum Umgang mit Inhalten in den verschiedenen europäischen Sprachen genauso integraler Bestandteil des Projektes ist, wie die Mobilität, Datensicherheit, Schutz der Privatsphäre. Anwendungen: u.a. multimediale Suchmaschinen, News-on-demand und Monitoring von Medien als Dienste Industriekonsortium: Bertelsmann, Siemens, Telekom, Koordination: Dr. Blume (DLR) QUAERO: Mögliche SmartWeb-Nutzung in Deutsch-Französischem Mega-Projekt Am Spitzengespräch bei Bundeskanzlerin Merkel zu diesem Thema.

© W. Wahlster Zweite SmartWeb-Projektlenkungssitzung Bereits 2 Buchpublikationen aus SmartWeb Author: Daniel Oberle Series: The Semantic Web and Beyond, Volume: I Editors: Amit P. Sheth, Ramesh Jain Foreword: Steffen Staab Preface: Amit P. Sheth Publisher: Springer Science+Business and Media Release: December 2005 amazon.com

© W. Wahlster Zweite SmartWeb-Projektlenkungssitzung Bereits 2 Buchpublikationen aus SmartWeb

© W. Wahlster Zweite SmartWeb-Projektlenkungssitzung Neu: Entwicklerportal mit Komponentendatenbank Ausbau des Entwicklerportals mit neuer Datenbank zu SmartWeb Softwarekomponenten: –Stellt technische Information und Kurzbeschreibung in standardisierter Form bereit –Unterstützt den Technologietransfer –Bietet einfacheren Zugang zur notwendigen Dokumentation für die Systementwicklung Aktuelle Version umfasst bereits rund 130 Datenblätter

© W. Wahlster Zweite SmartWeb-Projektlenkungssitzung SmartWeb-Treffen seit der ersten Projektstandsssitzung am Erste Projektstandssitzung München Erste MoKo-Sitzung München 28.– Workshop TP5 'On- und offline Extraktion von semantischen Strukturen' Saarbrücken Arbeitstreffen Einbindung der Kontextmodellierung Saarbrücken Arbeitstreffen Schnittstellenabsprache für die OnView/OffView/OnTalk/OffTalk-Erkennung Erlangen Arbeitstreffen serverbasierte Spracherkennung und Spracherkennung im KFZErlangen Arbeitstreffen Lernen von Domänenontologien Heidelberg 20.– Workshop Motorradsystem München 28.– Viertes Arbeitstreffen Ontologieabstimmung, Dialog, Mediator und offline IE Karlsruhe

© W. Wahlster Zweite SmartWeb-Projektlenkungssitzung Arbeitstreffen zur Ontologieabstimmung und -integration Heidelberg Arbeitstreffen zur Integration der Kontextmodellierung Saarbrücken Arbeitstreffen Web Services Modellierung Karlsruhe Vierte Lenkungskreissizung Stuttgart Arbeitstreffen zur LingInfo-Abstimmung Kaiserslautern Arbeitstreffen Englisches System: Speech Erlangen 02.– Arbeitstreffen Englisches System: Language Processing and Extraction Saarbrücken Arbeitstreffen Merkmalberechnung für die Erkennung von Worten und Wortuntereinheiten Erlangen Zweiter Gesamtworkshop Saarbrücken SmartWeb-Treffen seit der ersten Projektstandsssitzung am

© W. Wahlster Zweite SmartWeb-Projektlenkungssitzung Außendarstellung seit der ersten Projektstandssitzung am SmartWeb-Demo für Nick Campbell, ATR SmartWeb-Demo für Saarlandbotschafter SmartWeb-Demo für Telekom Laboratories SmartWeb-Demo für Prof. Toru Ishida SmartWeb-Demo für MinR Dr. Manfred Dietrich (BMBF) Filmbericht der ARD (SR, Aktueller Bericht) im Rahmen der Pressekonferenz "Microsoft - Saarland - DFKI" SmartWeb-Demo für Adam Opel AG

© W. Wahlster Zweite SmartWeb-Projektlenkungssitzung Terminplanung PLS EML, Heidelberg LK ?IMS, Stuttgart PSS DTAG, Berlin WM-Demo ? Fritz-Walter-Stadion (Italien:USA) Kaiserslautern Ort der Ideen DFKI, Saarbrücken Presseevent der Bundesregierung Deutschland – Land der Ideen mit Verabschiedung Dr. Reuse, große SmartWeb-Demonstration