Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Spree WS 2010/2011 Qualitätsprüfung – Was kennzeichnet eine gute Ontologie? John Sowa: To: "[ontolog-forum]" Subject: [ontolog-forum] Interesting observation.

Ähnliche Präsentationen


Präsentation zum Thema: "Spree WS 2010/2011 Qualitätsprüfung – Was kennzeichnet eine gute Ontologie? John Sowa: To: "[ontolog-forum]" Subject: [ontolog-forum] Interesting observation."—  Präsentation transkript:

1 Spree WS 2010/2011 Qualitätsprüfung – Was kennzeichnet eine gute Ontologie? John Sowa: To: "[ontolog-forum]" Subject: [ontolog-forum] Interesting observation about OWL ontologies

2 Teaser Facetten Seminar I-Prax: Inhaltserschließung visueller Medien, Spree WS 2010/2011..in the 202 registered ontologies in the NCBO BioPortal, the *only* relation used in their triples is rdfs:subClassOf -- i.e., those "ontologies" are just trivial hierarchies of undefined terms. This leads to several observations: 1.Many so-called ontologies written in OWL are nothing more than lists of terms organized in a simple hierarchy -- i.e., they should be called *terminologies* rather than ontologies. 2.The people who have been writing those ontologies never saw any use for any of the formal methods supported by OWL for defining terms and reasoning about them. 3.They were probably pushed into using OWL by some higher level executives who were sold on OWL by hype encoded in glossy slides with no supporting evidence. 4.But the resulting so-called ontologies *cannot* be used for any kind of reasoning that goes beyond what could have been done ith the original terminologies written in ordinary English. Aus demselben Forumsthread:

3 Gliederung Facetten Seminar I-Prax: Inhaltserschließung visueller Medien, Spree WS 2010/2011 Was wird evaluiert? Mit welchen Methoden wird evaluiert? Welche Fehlerklassen kann man unterscheiden? Beispiel für Kriterienkataloge

4 Methoden – Was wird evaluiert? Facetten Seminar I-Prax: Inhaltserschließung visueller Medien, Spree WS 2010/2011 Vokabular und Daten Relationen Kontext Syntax Struktur, Architektur, Design Intension / Extension

5 Methoden – Welche Evaluationsmethode? Facetten Seminar I-Prax: Inhaltserschließung visueller Medien, Spree WS 2010/2011 Goldener Standard Benutzung (Application-based Evaluation) Daten orientiert Bewertung anhand von definierten Kriterien und Standards

6 Fehlerklassen Facetten Seminar I-Prax: Inhaltserschließung visueller Medien, Spree WS 2010/2011 Inkonsistenz-Fehler Zirkelschlüsse Abtrennungs-Fehler – uneinheitliche Besetzung von Ober- und Unterklassen Semantische Inkonsistenz-Fehler – nicht eindeutige Zuordnung der Unterklassen und Instanzen zu Klassen

7 Fehlerklassen Facetten Seminar I-Prax: Inhaltserschließung visueller Medien, Spree WS 2010/2011 Disjunktes Auslassen von Wissen: Zuordnung eines Begriffs zu vielen Unterklassen und gleichzeitige Auslassung disjunkter Wissensaxiome zwischen den Unterklassen Vollständiges Auslassen von Wissen: keine Berücksichtigung von Beschränkungen bei der Zerlegung eines Begriffs in Unterklassen

8 Methoden Facetten Seminar I-Prax: Inhaltserschließung visueller Medien, Spree WS 2010/2011 Umsetzungsfehler Identische formale Definition für unterschiedlich benannte Klassen (unsystematische) Anhäufung von Eigenschaften überlange Vererbungsketten Lazy Concept – Klasse enthält keine Instanzen und wird in Anwendung nicht genutzt lonely disjoints

9 Methoden – Auswahl von sinnvollen Kriterien für einen Kriterienkatalog Facetten Seminar I-Prax: Inhaltserschließung visueller Medien, Spree WS 2010/ Richtigkeit – es liegen keine syntaktischen und semantischen Fehler vor 2. Vollständigkeit – nutzt die zur Verfügung stehenden Ausdrucksmöglichkeiten der Modellierungssprache 3. (eindeutige) Interpretierbarkeit – es wird auf Normdaten/ Authority Files Bezug genommen 4. Konsistenz 5. Klarheit 6. Vollständigkeit 7. Präzision 8. Relevanz 9. Kompetenz / Authority – wer nutzt die Ontologie noch? 10. Geschichte – dokumentierter Überarbeitungsprozess 11. Userpartizipation - Die Endnutzer wurden an der Entwicklung beteiligt nach Burton-Jones (2004)

10 Beispiele für Einzelaspekte, die Grundlage einer Evaluierung sein können Facetten Seminar I-Prax: Inhaltserschließung visueller Medien, Spree WS 2010/ Definition: definiert das Konzept eindeutig und differenziert es von verwandten Konzepten 2.Konzepte (Terme): linguistisch korrekt, präzise und prägnant 3.Deskriptoren: anerkannt von der Community 4.Synonyme vollständig erfasst 5.Unterscheidung von Klassen und Instanzen 6.Unterscheidung von Continuants und Occurrents (Zuständen und Ereignissen) 7.Unterscheidung zwischen abhängigen und unabhängigen Konzepten 8.Anwendung von Eigenschaften (properties)

11 Quellen und weiterführende Ressourcen Quellen / Ressourcen BRANK, GROBELNIK u. MLADENIĆ 2005 Brank, Janez; Grobelnik, Marko; Mladenić, Dunja: A Survey of Ontology Evaluation Techniques. [Online-Ressource] Stand: 2005 URL: Abruf: CEUSTERS 2005 Ceusters, Werner ; Smith, Barry ; Goldberg, Louis : A terminological and Ontological Analysis of the NCI Thesaurus. In: Methods of Information Medicine 44 (2005), S DELLSCHAFT u. STAAB 2006 Dellschaft, Klaas; Staab, Steffen: On How to Perform a Gold Standard Based Evaluation of Ontology Learning. [Online-Ressource] Stand: 2006 URL: Abruf: FAHAD u. QADIR Fahad, Muhammad; Qadir, Muhammad Abdul: A Framework for Ontology Evaluation. [Online-Ressource] URL: Abruf: PORZEL u. MALAKA 2004 Porzel, Robert; Malaka, Rainer: A Task-based Approach for Ontology Evaluation. [Online-Ressource] Stand: 2004 URL: Abruf: VRANDEČIĆ 2006 Vrandečić, Denny: Ontology Evaluation for the Web. [Online-Ressource] Stand: 2006 URL: Abruf: Seminar I-Prax: Inhaltserschließung visueller Medien, Spree WS 2010/2011


Herunterladen ppt "Spree WS 2010/2011 Qualitätsprüfung – Was kennzeichnet eine gute Ontologie? John Sowa: To: "[ontolog-forum]" Subject: [ontolog-forum] Interesting observation."

Ähnliche Präsentationen


Google-Anzeigen