1 Entwicklung einer Evaluationsmethodik für Semantic Web Services und Anwendung auf die DIANE Service Description Thomas Fischer Diplomarbeit Betreuender Professor: Prof. Dr. Ing. Klemens Böhm Betreuender Mitarbeiter: Dipl. Inform. Michael Klein Universität Karlsruhe, Institut für Programmstrukturen und Datenorganisation

2 Einordnung Interaktion, statisch Automation, dynamisch Syntax Semantik WWW Semantic Web Web Service Semantic Web Service

3 Einordnung Dienstbeschreibungssprache was bietet mein Dienst (Angebot)? welche Funktionalität suche ich (Anfrage)? Ontologien als gemeinsames Vokabular Ausschnitt der realen Welt gemeinschaftliche Erstellung, Nutzung, Wartung formalisierte Beschreibung Semantic Web Service – Frameworks Dienstbeschreibungssprache Ontologie(-sprache) Bieten Komponenten für: Dienstsuche Konfiguration & Ausführung Komposition WSMO, DSD

4 Ziele von Semantic Web Service Frameworks Automation Vertretbarer Einigungsaufwand Semantische Korrektheit Minimale Interaktion mit Nutzer bei: Dienstsuche Konfiguration & Ausführung Dienstkombination System liefert genau die Ergebnisse, die ein auch ein menschlicher Nutzer gewählt hätte Zeitaufwand bei Erstellung & Wartung eines gemeinsamen Vokabulars Erweiterbarkeit Unterstützung durch Tools Gesamtziel: gleichzeitige Erfüllung aller Aspekte Randbedingung: dynamische Dienstlandschaft

5 Problematik Bisher: nur abgegrenzte Evaluierungen einzelner Aspekte ein gemeinsames Ziel aber kein gemeinsamer Test (allgemeiner Benchmark) fehlende Realitätsnähe bei Evaluierungen Wunsch nach: Evaluierung aller Aspekte einem möglichst generischen Prüfverfahren möglichst hoher Realitätsnähe

6 Aufgabenstellung Entwicklung eines Kompetenz-Benchmarks für SWS-Frameworks zur Überprüfung des Anforderungsdreiecks in dynamischen Umgebungen in realistischen Szenarien Exemplarische Anwendung der Methodik auf DSD

7 Eigener Ansatz Automation gefordert sukzessive Betrachtung der übrigen Aspekte Experten modellieren reale Nutzeranfragen und Konzeptontologie Automation Vertretbarer Einigungsaufwand Semantische Korrektheit Randbedingung: dynamische Dienstlandschaft Teil 1 Teil 2 invertiertes Vorgehen: geschulte Nutzer modellieren vorgegebene Anfragen zwei Gruppen

8 Benchmark – Teil 1: Überblick Auswertung reale Nutzer- anfragen UML Konzept- ontologie Ziel-OntologieDienstanfragen Modellierung durch Experten

9 Benchmark – Teil 1: Nutzeranfragen von realen Nutzern erstellt unbedarfte Nutzer ca. 100 Endnutzeranfragen ca. 60 Programmieranfragen zwei Diensttypen: Endnutzer- orientiert Programmiersprachen- orientiert BuchbestellungBahnticketReisebüro- anwendung PDA Portal- Software

10 Benchmark – Teil 1: Nutzeranfragen Beispiele Endnutzeranfragen [#4] Bruce Schneier: "Angewandte Kryptographie", gebundene Ausgabe auf deutsch. Preis < 70. [#117] Fahrt von Karlsruhe nach Kronach, 1 Person mit Bahncard 50, alle Züge mit Reservierung im Nichtraucher (Großraum), am vormittags, schnellste Verbindung, mit möglichst wenig Umsteigen

11 Benchmark – Teil 1: Nutzeranfragen Beispiel Programmieranfragen /** * [#222] Belastet eine Kreditkarte um einen Betrag number Nummer der Kreditkarte date Gültigkeitsdauer der Kreditkarte owner Name des Kreditkartenbesitzers company Firma, die die Kreditkarte ausgestellt hat sum Belastungsbetrag cur Belastungswährung text Text, der in der Buchung erscheinen soll */ void belasteKreditkarte(Integer number, Date date, String owner, Company company,Double sum, Currency cur, String text)

12 Benchmark – Teil 1: Konzeptontologie semiformale Beschreibung der in den Anfragen vorkommenden Domänen Notation in UML

13 Benchmark – Teil 1: Konzeptontologie Beispiel

14 Benchmark – Teil 1: Auswertung OntologieAnfragen initialer Aufwand Zeitdauer fortlaufender Aufwand Abschätzung über Fragenkatalog Unterstützung durch Tools Aufwand bei Änderungen Dokumentation und Hilfe Anzahl modellierbarer Anfragen Anzahl nicht modellierbarer Anfragen wegen: Ontologie Fehlender Sprachkonstrukte

15 Benchmark – Teil 2: Überblick Vergleich reale programmiersprachliche Nutzeranfragen Ziel-Ontologie Dienstanfragen Team 1Team 2Modellierung zwei Teams räumlich getrennt Teilnehmer sind mit der Sprache vertraut

16 Benchmark – Teil 2: Auswertung Wie viele Anfragen, die gleich sein sollten, erzeugen einen Treffer beim Vergleich? Wie viele Anfragen, die nicht gleich sein sollten, erzeugen einen Treffer beim Vergleich (false positives)?

17 Anwendung auf DSD Teil 1: 1.Modellieren der Konzeptontologie 2.Modellieren der Anfragen Endnutzeranfragen Programmieranfragen 3.Auswertung Teil 2: 1.Schulung der Hiwi-Gruppen in DSD 2.Modellieren der Anfragen durch zwei Teams 3.Vergleich der Ergebnisse 4.Auswertung

18 Auswertung Teil 1: Ontologie initialer Aufwand ca. 1,5h fortlaufender Aufwand moderat + Unterstützung durch Visio- Schablonen und Assistenten + leichte Suche und Navigation + ausführliche Dokumentation + intuitives Verständnis beim Modellieren -manuelle Änderung bei Erweiterungen nötig

19 DSD: Beispiele

20 Auswertung Teil1: Nutzeranfragen Endnutzeranfragen Buch: Bahn: Programmieranfragen Reisebüro: PDA-Portal: modellierbar theoretisch modellierbar (mit erweiterter Ontologie) nicht modellierbar (fehlende Sprachkonstrukte)

21 DSD: Beispiele Request #4 Bruce Schneier: "Angewandte Kryptographie" gebundene Ausgabe auf deutsch Preis < 70

22 DSD: Beispiele Request #131: Ich muss nach Pforzheim. Raucherabteil, nahe bei den Toiletten. Request #67: Ich hätte gern das Buch mit dem ungefähren Titel Lehrbuch der Telematik […].

23 Auswertung Teil 2: Dynamik Auswertung noch in Arbeit absehbares Ergebnis: Großteil der Anfragen ist passend keine false positives

24 Fazit DSD Positiv initialer Aufwand gering fortlaufender Aufwand moderat sehr gute Ergebnisse bei Programmieranfragen gute Ergebnisse bei Endnutzeranfragen (trotz Fokus auf Programmieranfragen) Verbesserungsvorschläge list-Konstrukt fehlt fuzzy-String-Konstrukt fehlt keine Mehrfachvererbung für bessere Dynamikergebnisse: bessere Dokumentation der Kategorien-Ontologie

25 Zusammenfassung erstellt: Kompetenz-Benchmark, der die an SWS-Frameworks gestellten Anforderungen in dynamischen Umgebungen unter realistischen Bedingungen prüft durchgeführt: Anwendung auf ein existierendes Framework (DSD) mögliche Erweiterungen: Klassifikation und Ergänzung der Anfragen Tiefere Untersuchung des fortlaufenden Aufwands weiteres Vorgehen: Anwendung auf weitere Frameworks verfügbar ab September auf der DIANE-Webseite

26 Vielen Dank für die Aufmerksamkeit! Fragen ?!?