2. Projektlenkungssitzung Smart Web European Media Lab (EML) Heidelberg, 16. Dezember 2005 Stand des Projektes Deutsches Forschungszentrum für Künstliche.

Präsentation zum Thema: "2. Projektlenkungssitzung Smart Web European Media Lab (EML) Heidelberg, 16. Dezember 2005 Stand des Projektes Deutsches Forschungszentrum für Künstliche."—  Präsentation transkript:

1 2. Projektlenkungssitzung Smart Web European Media Lab (EML) Heidelberg, 16. Dezember 2005 Stand des Projektes Deutsches Forschungszentrum für Künstliche Intelligenz GmbH Stuhlsatzenhausweg 3, Geb. 43.8 66123 Saarbrücken Tel.: (0681) 302-5252/4162 Fax: (0681) 302-5383/5341 E-mail: wahlster@dfki.de WWW: http://www.dfki.de/~wahlster Wolfgang Wahlster

2 © W. Wahlster 16.12.2005Zweite SmartWeb-Projektlenkungssitzung SmartWeb integriert vier aktuelle Forschungsgebiete Sprachtechnologie SmartWeb Mobile Breitband- kommunikation Semantisches Web Multimodaler Dialog Projektfolge mit systematischer Ergebnisverwertung: Verbmobil SmartKom SmartWeb

3 © W. Wahlster 16.12.2005Zweite SmartWeb-Projektlenkungssitzung Der erste Meilenstein 1 wurde termingerecht am 31.03.2005 erfüllt Realisierung der Gesamtarchitektur Serverbasiertes multimodales Demonstratorsystem V0.1 zu den Domänen WM-2006 und Kfz Basisontologien für die Domänen WM-2006 und Kfz und für die Diskursverarbeitung prototypisch definiert Verarbeitung unbekannter Orts- und Personennamen in der sprachlichen Interaktion Spin-off-Planung im Rahmen des Technologietransfers

4 © W. Wahlster 16.12.2005Zweite SmartWeb-Projektlenkungssitzung Checkliste für Meilenstein 2 Auf sehr gutem Wege bis zum 31.03.2006 Technologieüberprüfung für Hardware-Update (Mobiler Client) Server- und Client Forschungsprototyp V0.5 zu den Domänen WM-2006 und Kfz mit unbekannten Wörtern aus diesen Domänen Interaktionen für das Motorrad realisiert Ontologische Modellierung der Domänen stabil in einer ersten Version Signifikante Anzahl von Webseiten aus dem Sportbereich semantisch annotiert Robuste multimodale On-/Offtalk-Unterscheidung

5 © W. Wahlster 16.12.2005Zweite SmartWeb-Projektlenkungssitzung SmartWebs Mobiles Endgerät: Vom Mobile Digital Assistent MDA III zum MDA Pro MDA III GPRS, WLAN Bluetooth Windows Mobile 2003 1 Kamera 320 x 240 MDA Pro UMTS, WLAN Bluetooth Windows Mobile 2005 2 Kameras 640 x 480 VGA Zugriff auf Benutzer- kamera

6 © W. Wahlster 16.12.2005Zweite SmartWeb-Projektlenkungssitzung Übergang auf neueste Endgerätegeneration der Telekom Technologieüberprüfung für Hardware-Update (2. Meilenstein) bereits erfolgt: -MDA Pro ergänzt MDA III als persönliches Endgerät -PDA/Smartphone bietet zusätzlich UMTS (neben WLAN), integrierte Kamera für Benutzeraufnahme, sowie hochauflösende VGA-Bildschirmdarstellung mit wahlweise drehbarem Bildschirm (Hoch- und Querformat) MDA Pro Nutzung für SmartWeb: -Gerät, neues Betriebssystem und Entwicklungswerkzeuge erst ganz kurz am Markt verfügbar -Basisportierung erfolgreich abgeschlossen (vorläufige Problemlösung für Inkompatibilitäten bei Audioanbindung konnte kurzfristig realisiert werden) -Kameraanbindung und Bildübertragung für MDA Pro erfordert noch höhere Implementierungsaufwände Soll bis zum 2. Meilenstein für den WM-Demonstrator abgeschlossen sein Experimentalaufbau mit externer, serverseitig angebundener Kamera für CeBIT Portierung des gesamten lokalen Dialogsystems -Java-Umgebung für lokalen Spracherkenner, lokale Steuerungskomponente und Anbindung an die Sympalog-Plattform.

7 © W. Wahlster 16.12.2005Zweite SmartWeb-Projektlenkungssitzung Optimierung der SmartWeb Bedienoberfläche Schnelle Anpassung auf Breitkantformat möglich durch eigens entwickeltes Layout-XML-Format. Einbinden der Handschrifterkennung im VGA-Modus. Automatische Erkennung der Bildschirmausrichtung + automatisches Umschalten. Reduktion des Speicherverbrauchs: Bei hoher Auflösung ist der Speicherbedarf extrem hoch, wenngleich der MDA Pro weniger Speicher zur Verfügung stellt. CPU Auslastung verringern, da das neue Betriebssystem langsamer reagiert und bei hoher Auflösung mehr Rechenzeit erforderlich ist. Videos flüssiger abspielen.

8 © W. Wahlster 16.12.2005Zweite SmartWeb-Projektlenkungssitzung Adaption der Sympalog Dialogsystemplattform Serverseitige Dialogverarbeitung SymCTM Call & Task Manager SymCTM Call & Task Manager Multimodaler Erkenner Sympalog, FAU, UdS Multimodaler Erkenner Sympalog, FAU, UdS Semantic Web Zugriff Sprach- kanal Persönliches Endgerät Persönliches Endgerät Dialog- verarbeitung DFKI-IUI, EML Dialog- verarbeitung DFKI-IUI, EML Sprachsynthese IMS Sprachsynthese IMS CAPI (ISDN ) CAPI (ISDN ) H.323 / SIP (VoiceIP ) H.323 / SIP (VoiceIP ) SymClient Extended Audiomodul SymClient Extended Audiomodul Nachrichten A-Law Audio Video Daten (Bedienoberfläche) Nachrichten IP Die (modifizierte) Sympalog- Plattform leistet die Telefonie- sowie Endgeräteanbindung und macht die Verarbeitung multisession-fähig für den Mehrbenutzerbetrieb.

9 © W. Wahlster 16.12.2005Zweite SmartWeb-Projektlenkungssitzung Neu: Mehrbenutzerfähigkeit skalierbare Serverfarm Mit 3 parallelen mobilen Clients wurde SmartWeb bereits erfolgreich getestet Pro Server können bis zu 30 Kanäle für SmartWeb bereitgestellt werden.

10 © W. Wahlster 16.12.2005Zweite SmartWeb-Projektlenkungssitzung Verarbeitung von Diskursphänomenen: Neu: Auflösung von Ellipsen Vervollständigung aus dem Diskurs-Kontext Generischer Ansatz implementiert (Weiterführung des Ansatzes von SmartKom) Paraphrase zeigt die vervollständigte semantische Struktur

11 © W. Wahlster 16.12.2005Zweite SmartWeb-Projektlenkungssitzung Neu: Paraphrasengenerierung Vereinfachte Darstellung der semantischen Repräsentation Zentral: Wonach wird gefragt? Umkehrung der Analyse –Generierungsregeln für Konzepte der Ontologie –Traversierung des Ergebnisses der Sprachanalyse –Vereinfachung –Beibehaltung der inhaltstragenden Strukturen –Formatierung Der Benutzer kann auf diese Weise das Sprachverstehen des Systems überwachen und ggf. korrigieren

12 © W. Wahlster 16.12.2005Zweite SmartWeb-Projektlenkungssitzung Neu: Dialogkohärenz durch Ellipsenverarbeitung

13 © W. Wahlster 16.12.2005Zweite SmartWeb-Projektlenkungssitzung Neu: Integration von Webdiensten mit aktueller Verkehrsinformation

14 © W. Wahlster 16.12.2005Zweite SmartWeb-Projektlenkungssitzung Neu: Eingabe und Beantwortung von beliebigen Fragen in akustischer oder schriftlicher Form

15 © W. Wahlster 16.12.2005Zweite SmartWeb-Projektlenkungssitzung Domänenoffene Fragebeantwortung Erfolgreiche Integration der DFKI-Technologie des Forschungsbereichs Sprachtechnologie (Prof. Uszkoreit) für domänenoffene Fragebeantwortung in den SmartWeb-Demonstrator -Erweiterung der robusten Frageanalyse für Deutsch mit Schnittstellen zum Spracherkenner und der Bildextraktionskomponente -Formulierung optimaler Google-Anfragen unter Berücksichtigung der linguistischen Analyse -Antwortselektion zur Bestimmung der besten Kandidaten Aktive Teilnahme an CLEF-2005 (Cross-Language Evaluation Forum) (Neumann et al. 2005; beste Ergebnisse für Deutsch und Englisch als Zielsprache; u.a. 43.5% (87/200) Akkuratheit für Task DE2DE, 25.5 % (51/200) für DE2EN) Prototyp für sprachunabhängige Fragebeantwortung aus Web-Snippets basierend auf statistischen Verfahren als Grundlage für englisches System (Figueroa & Neumann, Paper für WEBIST06)

16 © W. Wahlster 16.12.2005Zweite SmartWeb-Projektlenkungssitzung Neu: Automatische Extraktion und Annotation von Bildern aus PDF-Dokumenten im Web Layout-Analyse zur Erkennung von Bildbeschriftungen, Mehrdeutigkeitsanalyse 10% der Webseiten im PDF-Format Google wertet Bilder im PDF-Dokumenten nicht aus, hier schließt SmartWeb eine Lücke QUAERO-Projekt des BMWi Gerber foult Wiesinger

17 © W. Wahlster 16.12.2005Zweite SmartWeb-Projektlenkungssitzung Neu: Kfz-Demonstrator mit Anbindung an Sender für Digital Multimedia Broadcasting (DMB) SmartWeb Content-Server Fahrzeug- system WEB DMB Server DMB- Sender (FIRST) TabellenDialoge Webcam Video Dialoge Touchscreen multimodaler Dialog für DMB-Videosteuerung Sprachdialog über DBM-Video Programmtabelle mit Auswahl der Sendung

18 © W. Wahlster 16.12.2005Zweite SmartWeb-Projektlenkungssitzung Interaktiver intelligenter Zugriff Interaktive semantische Zugriffsdienste Interaktive semantische Zugriffsdienste AP 5.1 DFKI-LT, UdS, Siemens AP 5.1 DFKI-LT, UdS, Siemens Freie Fragebe- antwortung Freie Fragebe- antwortung Semantic Mediator AP 6.1.1 DFKI-KM Semantic Mediator AP 6.1.1 DFKI-KM Web Service Zugriff AP 6.2.3 AIFB, DFKI-KM Web Service Zugriff AP 6.2.3 AIFB, DFKI-KM Agentenbasierter semantischer Zugriff AP 5.1.3.1/6.1.2 EML Agentenbasierter semantischer Zugriff AP 5.1.3.1/6.1.2 EML Wissens- server TP 4 Ontoprise, AIFB, DFKI-KM Wissens- server TP 4 Ontoprise, AIFB, DFKI-KM Web Services Web- Seiten ? Ontologien & Faktenbasis Dialog Datenaustausch mittels RDF/S plus EMMA, DLP (OWL-Easy), XTriple, F-Logic Web- Ressourcen Semantisches Crawlen, voll- automatische Generierung semantischer Web-Seiten, Design,Lernen und Integration von Ontologien Semantisches Crawlen, voll- automatische Generierung semantischer Web-Seiten, Design,Lernen und Integration von Ontologien Semantische Modellierung Semantische Modellierung

19 © W. Wahlster 16.12.2005Zweite SmartWeb-Projektlenkungssitzung Entwicklung einer Infrastruktur für zukunftsweisende Technologien zur automatischen Verarbeitung multimedialer Inhalte: Digitalisierung, Indexierung, Archivierung, Recherche und Zugriff auf Schrifttum, Bilder, Videos und Audiodateien, wobei die Fähigkeit zum Umgang mit Inhalten in den verschiedenen europäischen Sprachen genauso integraler Bestandteil des Projektes ist, wie die Mobilität, Datensicherheit, Schutz der Privatsphäre. Anwendungen: u.a. multimediale Suchmaschinen, News-on-demand und Monitoring von Medien als Dienste Industriekonsortium: Bertelsmann, Siemens, Telekom, Koordination: Dr. Blume (DLR) QUAERO: Mögliche SmartWeb-Nutzung in Deutsch-Französischem Mega-Projekt Am 22.12. Spitzengespräch bei Bundeskanzlerin Merkel zu diesem Thema.

20 © W. Wahlster 16.12.2005Zweite SmartWeb-Projektlenkungssitzung Bereits 2 Buchpublikationen aus SmartWeb Author: Daniel Oberle Series: The Semantic Web and Beyond, Volume: I Editors: Amit P. Sheth, Ramesh Jain Foreword: Steffen Staab Preface: Amit P. Sheth Publisher: Springer Science+Business and Media Release: December 2005 Available @ amazon.com http://www.aifb.uni-karlsruhe.de/WBS/dob/book/

21 © W. Wahlster 16.12.2005Zweite SmartWeb-Projektlenkungssitzung Bereits 2 Buchpublikationen aus SmartWeb

22 © W. Wahlster 16.12.2005Zweite SmartWeb-Projektlenkungssitzung Neu: Entwicklerportal mit Komponentendatenbank Ausbau des Entwicklerportals mit neuer Datenbank zu SmartWeb Softwarekomponenten: –Stellt technische Information und Kurzbeschreibung in standardisierter Form bereit –Unterstützt den Technologietransfer –Bietet einfacheren Zugang zur notwendigen Dokumentation für die Systementwicklung Aktuelle Version umfasst bereits rund 130 Datenblätter

23 © W. Wahlster 16.12.2005Zweite SmartWeb-Projektlenkungssitzung SmartWeb-Treffen seit der ersten Projektstandsssitzung am 14.06.2005 14.06.2005 Erste Projektstandssitzung München 15.06.2005 Erste MoKo-Sitzung München 28.–29.06.2005 Workshop TP5 'On- und offline Extraktion von semantischen Strukturen' Saarbrücken 07.07.2005 Arbeitstreffen Einbindung der Kontextmodellierung Saarbrücken 07.07.2005 Arbeitstreffen Schnittstellenabsprache für die OnView/OffView/OnTalk/OffTalk-Erkennung Erlangen 08.07.2005Arbeitstreffen serverbasierte Spracherkennung und Spracherkennung im KFZErlangen 20.07.2005 Arbeitstreffen Lernen von Domänenontologien Heidelberg 20.–21.07.2005 Workshop Motorradsystem München 28.–29.07.2005Viertes Arbeitstreffen Ontologieabstimmung, Dialog, Mediator und offline IE Karlsruhe

24 © W. Wahlster 16.12.2005Zweite SmartWeb-Projektlenkungssitzung 01.09.2005 Arbeitstreffen zur Ontologieabstimmung und -integration Heidelberg 14.09.2005 Arbeitstreffen zur Integration der Kontextmodellierung Saarbrücken 26.10.2005 Arbeitstreffen Web Services Modellierung Karlsruhe 27.10.2005 Vierte Lenkungskreissizung Stuttgart 28.10.2005 Arbeitstreffen zur LingInfo-Abstimmung Kaiserslautern 31.10.2005 Arbeitstreffen Englisches System: Speech Erlangen 02.–03.11.2005 Arbeitstreffen Englisches System: Language Processing and Extraction Saarbrücken 15.11.2005 Arbeitstreffen Merkmalberechnung für die Erkennung von Worten und Wortuntereinheiten Erlangen 06.12.2005 Zweiter Gesamtworkshop Saarbrücken SmartWeb-Treffen seit der ersten Projektstandsssitzung am 14.06.2005

25 © W. Wahlster 16.12.2005Zweite SmartWeb-Projektlenkungssitzung Außendarstellung seit der ersten Projektstandssitzung am 18.10.2004 05.07.2005 SmartWeb-Demo für Nick Campbell, ATR 15.07.2005 SmartWeb-Demo für Saarlandbotschafter 18.07.2005 SmartWeb-Demo für Telekom Laboratories 01.08.2005 SmartWeb-Demo für Prof. Toru Ishida 10.10.2005 SmartWeb-Demo für MinR Dr. Manfred Dietrich (BMBF) 09.11.2005 Filmbericht der ARD (SR, Aktueller Bericht) im Rahmen der Pressekonferenz "Microsoft - Saarland - DFKI" 16.11.2005 SmartWeb-Demo für Adam Opel AG

26 © W. Wahlster 16.12.2005Zweite SmartWeb-Projektlenkungssitzung Terminplanung PLS-0116.12.2005 EML, Heidelberg LK-0509.02.2006?IMS, Stuttgart PSS-0214.06.2006 DTAG, Berlin WM-Demo 17.06.2006 ? Fritz-Walter-Stadion (Italien:USA) Kaiserslautern Ort der Ideen22.09.2006DFKI, Saarbrücken Presseevent der Bundesregierung Deutschland – Land der Ideen mit Verabschiedung Dr. Reuse, große SmartWeb-Demonstration