Qualitätskriterien zur Beurteilung von Dokumentationen

Präsentation zum Thema: "Qualitätskriterien zur Beurteilung von Dokumentationen"—  Präsentation transkript:

1 Qualitätskriterien zur Beurteilung von Dokumentationen
vgl. Kapitel 23 Relevanz- und Vollständigkeitsrate. In: Wilhelm Gaus: Dokumentations- und Ordnungs-lehre. Berlin u. a. : Springer, 1995

2 Qualität und Zweck einer Dokumentation
Zur Erinnerung: Zweck einer Dokumentation ist nicht das Speichern, sondern das Wiederfinden der Dokumente. Die Qualität einer Dokumentation ist also daran zu messen, inwieweit alle für den Benutzer relevanten Dokumentationseinheiten von der Dokumentationsstelle wieder gefunden werden. Spree

3 Qualitätskriterien: wägen Sie ab
leichter Zugang Integration Konsistenz der Erschließung Aktualität Richtigkeit Relevanz (precision) Vollständigkeit / Abdeckung des Themengebiets (recall) Spree

4 Qualitätsmaßstäbe Qualitative (subjektive) Kriterien
die Angemessenheit: beschreibt, inwieweit die Antwort dem Informationsbedarf entspricht (angemessen ist) die Neuigkeit: Anzahl gefundener Dokumente, die der Nutzer noch nicht kennt die Nützlichkeit: Information, die nicht im Kontext liegt, aber für eine andere Fragestellung nützlich ist, ist nicht relevant aber nützlich. Qualitative (subjektive) Kriterien Quantitative Kriterien die Relevanz (Precision): Bezeichnet den Grad der Übereinstimmung der inhaltlichen Aussage eines Dokumentes und der Suchfrage die Vollständigkeit (Recall): wurden alle relevanten Dokumente gefunden? Spree

5 Qualität der Suche: Recall und Precision
B A: gesuchte (= relevante) Dokumente B: gefundene Dokumente C: gesuchte und gefundene Dokumente D: Gesamtbestand der Datenbank Recall: C/A Precision: C/B Spree

6 Recall / Precision ein Beispiel
Im OPAC HAW wurde gesucht nach Literatur zum Thema „Fisch“ im Feld (Titel Nachnamen Themen) 39 Treffer (= B gefundene Dokumente) 17 als relevant identifiziert (= C gesuchte und gefundene Dokumente) Precision: 17/39 = 0,435 Verfeinerung der Suche durch „Fisch“ im Feld „Titel Nachnamen Themen“ und „Fische“ im Feld (Schlagwörter) 5 Treffer (=B gefundene Dokumente) 5 relevant (= C gesuchte und gefundene) Precision: 5/5 = 1 Wie errechne ich Recall? Spree

7 Recall Errechnung von Recall ist nur möglich, wenn die Anzahl der relevanten Dokumente bekannt ist In unserem Beispiel können die 17 relevanten Dokumente aus der ersten Recherche als A (= gesuchte und relevante Dokumente) gelten C sind die 5 gefundenen Dokumente C/A = 5/17=0,58 Spree

8 Bedeutung in der Praxis
Relevanzrate: Personen, die in kurzer Zeit relevante Infos brauchen Z.B. Studenten, die Prüfung vorbereiten Manager, der Vortrag vorbereitet Journalistin, die Beitrag vorbereitet Vollzähligkeitsrate hochspezialisierte Fachwissenschaftlerin, die möglichst viele der einschlägigen Dokumente kennen muß Journalistin, die wissen möchte, was zu einem Thema bereits geschrieben wurde Patentrecherche Spree

9 Zusammenhang zw. Recall und Precision
Optimales Ergebnis Recall Precision Recall hoch Precision niedrig Recall gering Precision hoch Spree

10 Ballastrate und Verlustquote
Ballast/ Noise Verlustrate D A C B A: gesuchte (= relevante) Dokumente B: gefundene Dokumente C: gesuchte und gefundene Dokumente D: Gesamtbestand der Datenbank Ballastrate: 1 – C/B Verlustrate: 1- C/A Spree

11 Gründe, warum die Qualität einer Dokumentation nur sub-optimal ist
Indexat: kein geeigneter Deskriptor vorhanden, weil Ordnungsprinzip ungeeignet Ordnungssystem zu grob zu breite Äquivalenzklassen ungeeignete Deskriptoren ausgewählt, weil mangelnde terminologische Kontrolle Indexierer kennt Ordnungssystem nicht Indexierer hat mangelnde Sachkenntnis Recherche: hier können dieselben Fehler wie beim Indexat auftreten Spree

12 Vollzähligkeitsrate - Prüfverfahren
Alle gespeicherten Dokumente auf Relevanz für die Suchfrage prüfen (nur bei extrem kleinen Dokumentationen zu prüfen / experimentell, da ja dann bereits bekannt) Stichprobenverfahren (nur bei thematisch eng begrenzten Dokumentationen möglich, da die Stichprobe sonst nicht repräsentativ sein kann) eingeschleuste Dokumentationseinheiten Für Testfragen relevante Dokumente werden heimlich eingeschleust prospektive Dokumentation Relevanz der Dokumente für eine ausgwählte Frage wird über längeren Zeitraum extern geprüft - anschließende wird Recherchetest durchgeführt e) externe Quellen Spree