Qualitätsprüfung – Was kennzeichnet eine gute Ontologie? „And by the way, I realize that there are useful applications of OWL when implemented by people who know what they're doing.  But large numbers of people who have no idea what they should be doing have been pushed into using a technology they don't understand.“ John Sowa: To: "[ontolog-forum]" <ontolog-forum@ontolog.cim3.net> Subject: [ontolog-forum] Interesting observation about OWL ontologies Quelle: http://www.jfsowa.com/figs/jfs699.jpg Spree WS 2010/2011

 Teaser Aus demselben Forumsthread: Facetten Aus demselben Forumsthread: „..in the 202 registered ontologies in the NCBO BioPortal, the *only* relation used in their triples is rdfs:subClassOf -- i.e., those "ontologies" are just trivial hierarchies of undefined terms. This leads to several observations:   Many so-called ontologies written in OWL are nothing more than lists of terms organized in a simple hierarchy -- i.e., they should be called *terminologies* rather than ontologies.   The people who have been writing those ontologies never saw any use for any of the formal methods supported by OWL for defining terms and reasoning about them.    They were probably pushed into using OWL by some higher level executives who were sold on OWL by hype encoded in glossy slides with no supporting evidence.    But the resulting so-called ontologies *cannot* be used for any kind of reasoning that goes beyond what could have been done ith the original terminologies written in ordinary English.“ Seminar I-Prax: Inhaltserschließung visueller Medien, 5.10.2004 Spree WS 2010/2011

 Gliederung Mit welchen Methoden wird evaluiert? Facetten Was wird evaluiert? Mit welchen Methoden wird evaluiert? Welche Fehlerklassen kann man unterscheiden? Beispiel für Kriterienkataloge Seminar I-Prax: Inhaltserschließung visueller Medien, 5.10.2004 Spree WS 2010/2011

 Methoden – Was wird evaluiert? Vokabular und Daten Relationen Facetten Vokabular und Daten Relationen Kontext Syntax Struktur, Architektur, Design Intension / Extension Seminar I-Prax: Inhaltserschließung visueller Medien, 5.10.2004 Spree WS 2010/2011

 Methoden – Welche Evaluationsmethode? Facetten Goldener Standard Benutzung (Application-based Evaluation) Daten orientiert Bewertung anhand von definierten Kriterien und Standards Seminar I-Prax: Inhaltserschließung visueller Medien, 5.10.2004 Spree WS 2010/2011

 Fehlerklassen Inkonsistenz-Fehler Zirkelschlüsse Facetten Inkonsistenz-Fehler Zirkelschlüsse Abtrennungs-Fehler – uneinheitliche Besetzung von Ober- und Unterklassen Semantische Inkonsistenz-Fehler – nicht eindeutige Zuordnung der Unterklassen und Instanzen zu Klassen Seminar I-Prax: Inhaltserschließung visueller Medien, 5.10.2004 Spree WS 2010/2011

 Fehlerklassen Disjunktes Auslassen von Wissen: Facetten Disjunktes Auslassen von Wissen: Zuordnung eines Begriffs zu vielen Unterklassen und gleichzeitige Auslassung disjunkter Wissensaxiome zwischen den Unterklassen Vollständiges Auslassen von Wissen: keine Berücksichtigung von Beschränkungen bei der Zerlegung eines Begriffs in Unterklassen Seminar I-Prax: Inhaltserschließung visueller Medien, 5.10.2004 Spree WS 2010/2011

 Methoden Umsetzungsfehler Facetten Umsetzungsfehler Identische formale Definition für unterschiedlich benannte Klassen (unsystematische) Anhäufung von Eigenschaften überlange Vererbungsketten ‚Lazy Concept‘ – Klasse enthält keine Instanzen und wird in Anwendung nicht genutzt ‚lonely disjoints‘ Seminar I-Prax: Inhaltserschließung visueller Medien, 5.10.2004 Spree WS 2010/2011

 Methoden – Auswahl von sinnvollen Kriterien für einen Kriterienkatalog Facetten Richtigkeit – es liegen keine syntaktischen und semantischen Fehler vor 2. Vollständigkeit – nutzt die zur Verfügung stehenden Ausdrucksmöglichkeiten der Modellierungssprache 3. (eindeutige) Interpretierbarkeit – es wird auf Normdaten/ Authority Files Bezug genommen 4. Konsistenz 5. Klarheit 6. Vollständigkeit 7. Präzision 8. Relevanz 9. Kompetenz / Authority – wer nutzt die Ontologie noch? 10. Geschichte – dokumentierter Überarbeitungsprozess 11. Userpartizipation - Die Endnutzer wurden an der Entwicklung beteiligt nach Burton-Jones (2004) Seminar I-Prax: Inhaltserschließung visueller Medien, 5.10.2004 Spree WS 2010/2011

 Beispiele für Einzelaspekte, die Grundlage einer Evaluierung sein können Facetten Definition: definiert das Konzept eindeutig und differenziert es von verwandten Konzepten Konzepte (Terme): linguistisch korrekt, präzise und prägnant Deskriptoren: anerkannt von der Community Synonyme vollständig erfasst Unterscheidung von Klassen und Instanzen Unterscheidung von „Continuants“ und „Occurrents“ (Zuständen und Ereignissen) Unterscheidung zwischen abhängigen und unabhängigen Konzepten Anwendung von Eigenschaften (properties) Seminar I-Prax: Inhaltserschließung visueller Medien, 5.10.2004 Spree WS 2010/2011

 Quellen und weiterführende Ressourcen Quellen / Ressourcen BRANK, GROBELNIK u. MLADENIĆ 2005 Brank, Janez; Grobelnik, Marko; Mladenić, Dunja: A Survey of Ontology Evaluation Techniques. [Online-Ressource] Stand: 2005 URL: http://kt.ijs.si/dunja/sikdd2005/Papers/BrankEvaluationSiKDD2005.pdf Abruf: 2010-01-11 CEUSTERS 2005 Ceusters, Werner ; Smith, Barry ; Goldberg, Louis : A terminological and Ontological Analysis of the NCI Thesaurus. In: Methods of Information Medicine 44 (2005), S. 498-507 DELLSCHAFT u. STAAB 2006 Dellschaft, Klaas; Staab, Steffen: On How to Perform a Gold Standard Based Evaluation of Ontology Learning. [Online-Ressource] Stand: 2006 URL: http://iswc2006.semanticweb.org/items/Dellschaft2006fy.pdf Abruf: 2010-01-11 FAHAD u. QADIR Fahad, Muhammad; Qadir, Muhammad Abdul: A Framework for Ontology Evaluation. [Online-Ressource] URL: http://ftp.informatik.rwth-aachen.de/Publications/CEUR-WS/Vol-354/p59r.pdf Abruf: 2009-01-11 PORZEL u. MALAKA 2004 Porzel, Robert; Malaka, Rainer: A Task-based Approach for Ontology Evaluation. [Online-Ressource] Stand: 2004 URL: http://olp.dfki.de/ecai04/final-porzel.pdf Abruf: 2010-01-11 VRANDEČIĆ 2006 Vrandečić, Denny: Ontology Evaluation for the Web. [Online-Ressource] Stand: 2006 URL: http://www.l3s.de/kweb/kwepsy2006/FinalSubmissions/kwepsy2006_vrandecic.pdf Abruf: 2010-01-11 Seminar I-Prax: Inhaltserschließung visueller Medien, 5.10.2004 Spree WS 2010/2011