Qualitätskriterien zur Beurteilung von Dokumentationen vgl. Kapitel 23 Relevanz- und Vollständigkeitsrate. In: Wilhelm Gaus: Dokumentations- und Ordnungs-lehre. Berlin u. a. : Springer, 1995

Qualität und Zweck einer Dokumentation Zur Erinnerung: Zweck einer Dokumentation ist nicht das Speichern, sondern das Wiederfinden der Dokumente. Die Qualität einer Dokumentation ist also daran zu messen, inwieweit alle für den Benutzer relevanten Dokumentationseinheiten von der Dokumentationsstelle wieder gefunden werden. Spree

Qualitätskriterien: wägen Sie ab leichter Zugang Integration Konsistenz der Erschließung Aktualität Richtigkeit Relevanz (precision) Vollständigkeit / Abdeckung des Themengebiets (recall) Spree

Qualitätsmaßstäbe Qualitative (subjektive) Kriterien die Angemessenheit: beschreibt, inwieweit die Antwort dem Informationsbedarf entspricht (angemessen ist) die Neuigkeit: Anzahl gefundener Dokumente, die der Nutzer noch nicht kennt die Nützlichkeit: Information, die nicht im Kontext liegt, aber für eine andere Fragestellung nützlich ist, ist nicht relevant aber nützlich. Qualitative (subjektive) Kriterien Quantitative Kriterien die Relevanz (Precision): Bezeichnet den Grad der Übereinstimmung der inhaltlichen Aussage eines Dokumentes und der Suchfrage die Vollständigkeit (Recall): wurden alle relevanten Dokumente gefunden? Spree

Qualität der Suche: Recall und Precision B A: gesuchte (= relevante) Dokumente B: gefundene Dokumente C: gesuchte und gefundene Dokumente D: Gesamtbestand der Datenbank Recall: C/A Precision: C/B Spree

Recall / Precision ein Beispiel Im OPAC HAW wurde gesucht nach Literatur zum Thema „Fisch“ im Feld (Titel Nachnamen Themen) 39 Treffer (= B gefundene Dokumente) 17 als relevant identifiziert (= C gesuchte und gefundene Dokumente) Precision: 17/39 = 0,435 Verfeinerung der Suche durch „Fisch“ im Feld „Titel Nachnamen Themen“ und „Fische“ im Feld (Schlagwörter) 5 Treffer (=B gefundene Dokumente) 5 relevant (= C gesuchte und gefundene) Precision: 5/5 = 1 Wie errechne ich Recall? Spree

Recall Errechnung von Recall ist nur möglich, wenn die Anzahl der relevanten Dokumente bekannt ist In unserem Beispiel können die 17 relevanten Dokumente aus der ersten Recherche als A (= gesuchte und relevante Dokumente) gelten C sind die 5 gefundenen Dokumente C/A = 5/17=0,58 Spree

Bedeutung in der Praxis Relevanzrate: Personen, die in kurzer Zeit relevante Infos brauchen Z.B. Studenten, die Prüfung vorbereiten Manager, der Vortrag vorbereitet Journalistin, die Beitrag vorbereitet Vollzähligkeitsrate hochspezialisierte Fachwissenschaftlerin, die möglichst viele der einschlägigen Dokumente kennen muß Journalistin, die wissen möchte, was zu einem Thema bereits geschrieben wurde Patentrecherche Spree

Zusammenhang zw. Recall und Precision Optimales Ergebnis Recall Precision Recall hoch Precision niedrig Recall gering Precision hoch Spree

Ballastrate und Verlustquote Ballast/ Noise Verlustrate D A C B A: gesuchte (= relevante) Dokumente B: gefundene Dokumente C: gesuchte und gefundene Dokumente D: Gesamtbestand der Datenbank Ballastrate: 1 – C/B Verlustrate: 1- C/A Spree

Gründe, warum die Qualität einer Dokumentation nur sub-optimal ist Indexat: kein geeigneter Deskriptor vorhanden, weil Ordnungsprinzip ungeeignet Ordnungssystem zu grob zu breite Äquivalenzklassen ungeeignete Deskriptoren ausgewählt, weil mangelnde terminologische Kontrolle Indexierer kennt Ordnungssystem nicht Indexierer hat mangelnde Sachkenntnis Recherche: hier können dieselben Fehler wie beim Indexat auftreten Spree

Vollzähligkeitsrate - Prüfverfahren Alle gespeicherten Dokumente auf Relevanz für die Suchfrage prüfen (nur bei extrem kleinen Dokumentationen zu prüfen / experimentell, da ja dann bereits bekannt) Stichprobenverfahren (nur bei thematisch eng begrenzten Dokumentationen möglich, da die Stichprobe sonst nicht repräsentativ sein kann) eingeschleuste Dokumentationseinheiten Für Testfragen relevante Dokumente werden heimlich eingeschleust prospektive Dokumentation Relevanz der Dokumente für eine ausgwählte Frage wird über längeren Zeitraum extern geprüft - anschließende wird Recherchetest durchgeführt e) externe Quellen Spree