Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Qualitätskriterien zur Beurteilung von Dokumentationen vgl. Kapitel 23 Relevanz- und Vollständigkeitsrate. In: Wilhelm Gaus: Dokumentations- und Ordnungs-lehre.

Ähnliche Präsentationen


Präsentation zum Thema: "Qualitätskriterien zur Beurteilung von Dokumentationen vgl. Kapitel 23 Relevanz- und Vollständigkeitsrate. In: Wilhelm Gaus: Dokumentations- und Ordnungs-lehre."—  Präsentation transkript:

1 Qualitätskriterien zur Beurteilung von Dokumentationen vgl. Kapitel 23 Relevanz- und Vollständigkeitsrate. In: Wilhelm Gaus: Dokumentations- und Ordnungs-lehre. Berlin u. a. : Springer, 1995

2 Spree Qualität und Zweck einer Dokumentation Zur Erinnerung: Zweck einer Dokumentation ist nicht das Speichern, sondern das Wiederfinden der Dokumente. Die Qualität einer Dokumentation ist also daran zu messen, inwieweit alle für den Benutzer relevanten Dokumentationseinheiten von der Dokumentationsstelle wieder gefunden werden.

3 Spree Qualitätskriterien: wägen Sie ab leichter Zugang Integration Konsistenz der Erschließung Aktualität Richtigkeit Relevanz (precision) Vollständigkeit / Abdeckung des Themengebiets (recall)

4 Spree Qualitätsmaßstäbe Qualitative (subjektive) Kriterien Quantitative Kriterien die Angemessenheit: beschreibt, inwieweit die Antwort dem Informationsbedarf entspricht (angemessen ist) die Neuigkeit: Anzahl gefundener Dokumente, die der Nutzer noch nicht kennt die Nützlichkeit: Information, die nicht im Kontext liegt, aber für eine andere Fragestellung nützlich ist, ist nicht relevant aber nützlich. die Relevanz (Precision): Bezeichnet den Grad der Übereinstimmung der inhaltlichen Aussage eines Dokumentes und der Suchfrage die Vollständigkeit (Recall): wurden alle relevanten Dokumente gefunden?

5 Spree D A C B A: gesuchte (= relevante) Dokumente B: gefundene Dokumente C: gesuchte und gefundene Dokumente D: Gesamtbestand der Datenbank Qualität der Suche: Recall und Precision Recall: C/A Precision: C/B

6 Spree Recall / Precision ein Beispiel Im OPAC HAW wurde gesucht nach Literatur zum Thema Fisch im Feld (Titel Nachnamen Themen) –39 Treffer (= B gefundene Dokumente) –17 als relevant identifiziert (= C gesuchte und gefundene Dokumente) –Precision: 17/39 = 0,435 Verfeinerung der Suche durch Fisch im Feld Titel Nachnamen Themen und Fische im Feld (Schlagwörter) –5 Treffer (=B gefundene Dokumente) –5 relevant (= C gesuchte und gefundene) –Precision: 5/5 = 1 Wie errechne ich Recall?

7 Spree Recall Errechnung von Recall ist nur möglich, wenn die Anzahl der relevanten Dokumente bekannt ist In unserem Beispiel können die 17 relevanten Dokumente aus der ersten Recherche als A (= gesuchte und relevante Dokumente) gelten C sind die 5 gefundenen Dokumente –C/A = 5/17=0,58

8 Spree Bedeutung in der Praxis Relevanzrate: –Personen, die in kurzer Zeit relevante Infos brauchen –Z.B. Studenten, die Prüfung vorbereiten –Manager, der Vortrag vorbereitet –Journalistin, die Beitrag vorbereitet Vollzähligkeitsrate –hochspezialisierte Fachwissenschaftlerin, die möglichst viele der einschlägigen Dokumente kennen muß –Journalistin, die wissen möchte, was zu einem Thema bereits geschrieben wurde –Patentrecherche

9 Spree Zusammenhang zw. Recall und Precision Recall Precision Recall hochPrecision niedrig Precision hoch Recall gering Optimales Ergebnis

10 Spree Ballastrate und Verlustquote D A C B Ballastrate: 1 – C/B A: gesuchte (= relevante) Dokumente B: gefundene Dokumente C: gesuchte und gefundene Dokumente D: Gesamtbestand der Datenbank Ballast/ Noise Verlustrate: 1- C/A Verlustrate

11 Spree Gründe, warum die Qualität einer Dokumentation nur sub- optimal ist Indexat: –kein geeigneter Deskriptor vorhanden, weil Ordnungsprinzip ungeeignet Ordnungssystem zu grob zu breite Äquivalenzklassen –ungeeignete Deskriptoren ausgewählt, weil mangelnde terminologische Kontrolle Indexierer kennt Ordnungssystem nicht Indexierer hat mangelnde Sachkenntnis Recherche: –hier können dieselben Fehler wie beim Indexat auftreten

12 Spree Vollzähligkeitsrate - Prüfverfahren Alle gespeicherten Dokumente auf Relevanz für die Suchfrage prüfen (nur bei extrem kleinen Dokumentationen zu prüfen / experimentell, da ja dann bereits bekannt) Stichprobenverfahren (nur bei thematisch eng begrenzten Dokumentationen möglich, da die Stichprobe sonst nicht repräsentativ sein kann) eingeschleuste Dokumentationseinheiten –Für Testfragen relevante Dokumente werden heimlich eingeschleust prospektive Dokumentation –Relevanz der Dokumente für eine ausgwählte Frage wird über längeren Zeitraum extern geprüft - anschließende wird Recherchetest durchgeführt e) externe Quellen


Herunterladen ppt "Qualitätskriterien zur Beurteilung von Dokumentationen vgl. Kapitel 23 Relevanz- und Vollständigkeitsrate. In: Wilhelm Gaus: Dokumentations- und Ordnungs-lehre."

Ähnliche Präsentationen


Google-Anzeigen