Qualität einer Dokumentation Relevanz- und Vollständigkeitsrate

Präsentation zum Thema: "Qualität einer Dokumentation Relevanz- und Vollständigkeitsrate"—  Präsentation transkript:

1 Qualität einer Dokumentation Relevanz- und Vollständigkeitsrate
Zur Erinnerung: Zweck einer Dokumentation ist nicht in erster Linie das Speichern, sondern das Wiederauffinden von Dokumenten. Die Qualität einer Dokumentation ist also daran zu messen, inwiefern alle für den Benutzer relevanten Dokumente von der Dokumentationsstelle wiedergefunden werden. Spree SoSe 2008

2  Qualität? qualitätskriterien Umfrage: Woran würden Sie messen, ob die Qualität eines Informationsdienstes – real: Dokumentationsstelle wie beim NDR – oder virtuell: Suchmaschine wie google – hoch ist? Seminar I-Prax: Inhaltserschließung visueller Medien, Spree SoSe 2008

3 Raten Sie mal. Wie hoch ist die Vollständigkeit im Durchschnitt?
 Qualitätskriterien Precision & recall Angemessenheit – Entspricht die Antwort dem Informationsbedarf? Neuigkeit – Anteil der Dokumente, die der Nutzer noch nich kennt Nützlichkeit – kann auch für Informationen zutreffen, nach denen der Nutzer gar nicht recherchiert hat Qualitative Kriterien Relevanz / Precision – Grad der Übereinstimmung der inhaltlichen Aussage eines Dokumentes mit der Suchanfrage Vollständigkeit / Recall – Anteil der wiedergefundenen vorhandenen Dokumente Quantitative Kriterien Raten Sie mal. Wie hoch ist die Vollständigkeit im Durchschnitt? Seminar I-Prax: Inhaltserschließung visueller Medien, Spree SoSe 2008

4  Bewertungskriterien für Indexierungsergebnisse Indexierungsbreite
Precision & recall Indexierungsbreite Anzahl der vergebenen Deskriptoren oder Notationen Indexierungsspezifität Annäherung durch das hierarchische Niveau der Indexierungsbezeichnungen Indexierungstiefe Kombination aus Breite und Tiefe Indexierungskonsistenz Indexierungskonsistenz ist das Maß der Übereinstimmung verschiedener Indexierungsergebnisse des gleichen Dokuments in derselben Dokumentationssprache. Quelle: Die DIN , Teil 1, Abschnitt 5 Seminar I-Prax: Inhaltserschließung visueller Medien, Spree SoSe 2008

5 B C A  Recherche als Mengenlehre
vollständig Recherchefrage an eine Filmdatenbank: Liste aller Spielfilme, in denen Rock Hudson und Doris Day zusammen mitgespielt haben. Richtige Antwort wäre 3. Ergebnis im gelben Feld: Pillow Talk Lionpower B Lionpower C Lover.. Send … A Pillow .. Berechnung Relevanz: Anzahl der relevanten gefundenen Doks/Anzahl der selektierten Dokumente A /(A + B) = 1/ (1 + 1) = ½ Berechnung Recall: Anzahl der relevanten gefundenen Doks/Anzahl der relevanten Dokumente A /(A + C)= 1/ (1 + 2) = 1/3 C: Menge der relevanten Dokumente, die nicht gefunden wurden (2 Filme mit Rock Hudson und Doris Day: Lover come back; Send me no more flowers) A: Anzahl der relevanten gefundenen Dokumente (1 Pillow Talk) B: Anzahl der nicht relevanten gefundenen Datensätze (1 Lionpower) Seminar I-Prax: Inhaltserschließung visueller Medien, Spree SoSe 2008

6  Hohe Qualität Recall 1 Präzision 1
vollständig Recall o o ooooooooo ooooo oooooo oooo oo o oo ooooooo ooooo 1 Präzision 1 Verteilung von Recall und Präzision bei Recherchen in einer Datenbank von relativ guter Indexierungsqualität. Beide Werte liegen dicht an 1. Nach Gaus: Dokumentations- und Ordnungslehre. Berlin u.a., S. 220 Seminar I-Prax: Inhaltserschließung visueller Medien, Spree SoSe 2008

7  Niedrige Qualität vollständig o oo ooo ooo oooo ooooo oooooo ooooooo oooooooooooo ooooooooo oooooo ooooooo oooooo Recall 1 1 Präzision Verteilung von Recall und Präzision bei Recherchen in einer Datenbank von relativ schlechter Indexierungsqualität. Beide Werte liegen dicht an 0. Nach Gaus: Dokumentations- und Ordnungslehre. Berlin u.a., S. 220 Seminar I-Prax: Inhaltserschließung visueller Medien, Spree SoSe 2008

8  Übung 1: genau Mario Schreiber sucht Dokumente zum Thema "Elektrosmog". Er findet 120 Dokumente, wovon 70 relevant sind. Weitere 30 relevante Dokumente hat er nicht gefunden. Wie wird Mario Schreiber das Ergebnis bewerten, wenn er wenig Zeit hat und möglichst relevante Dokumente finden will? Die Präzisionsquote beträgt: Wie wird Mario Schreiber seine Informationssuche bewerten, wenn er möglichst viele Dokumente finden will? Die Recallquote beträgt: Berechnung Relevanz: Anzahl der relevanten gefundenen Doks/Anzahl der selektierten Dokumente Berechnung Recall: Anzahl der relevanten gefundenen Doks/Anzahl der relevanten Dokumente 70/120 70/100 Seminar I-Prax: Inhaltserschließung visueller Medien, Spree SoSe 2008

9  Übung 2: Fachtermini für Laien verständlich erklären
genau Zielgruppenorientierung ist ein Fachterminus in der Wissensnorganisation. Solche Fachtermini sind nicht immer leicht für einen Laien verständlich. Unten finden Sie eine Erklärung des Begriffs für einen Laien. "Zielgruppenorientierung bedeutet Indexieren aus der Perspektive und für die Bedürfnisse einer bestimmten Zielgruppe, z.B. für Sie als Journalisten. Eine Alternative wäre neutrales Indexieren für eine anonyme Nutzergruppe. Wenn meine Kollegin und ich indexieren, haben wir immer die Interessen und Aufgaben der Mitarbeiter im Hinterkopf. Wir wissen z.B., dass Sie, Herr Schreiber, sich für alles interessieren, was mit der PISA-Studie zu tun hat. Diese Dokumente erschließen wir zusätzlich mit den Suchtermini, die Sie für Ihre Recherchen nach Auswertung unserer Log Files bevorzugen, nämlich "Bildungskatastrophe" und "struktureller Analphabetismus". Außerdem schreiben wir für Dokumente über die PISA-Studie Abstracts, die auf Ihre Interessen besonders eingehen.„ Arbeiten Sie in Zweiergruppen: Schreiben Sie ähnliche Erläuterungen für die 4 weiteren Fachtermini: Indexierungsbreite Indexierungsspezifität Indexierungstiefe Indexierungskonsistenz 2 vorderen Reihen 2 hinteren Reihen Bitte formulieren Sie Ihre Erklärungen so, dass ein Laie sie versteht! Seminar I-Prax: Inhaltserschließung visueller Medien, Spree Sose 2008