Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Spree SoSe 2008 Qualität einer Dokumentation Relevanz- und Vollständigkeitsrate Zur Erinnerung: Zweck einer Dokumentation ist nicht in erster Linie das.

Ähnliche Präsentationen


Präsentation zum Thema: "Spree SoSe 2008 Qualität einer Dokumentation Relevanz- und Vollständigkeitsrate Zur Erinnerung: Zweck einer Dokumentation ist nicht in erster Linie das."—  Präsentation transkript:

1 Spree SoSe 2008 Qualität einer Dokumentation Relevanz- und Vollständigkeitsrate Zur Erinnerung: Zweck einer Dokumentation ist nicht in erster Linie das Speichern, sondern das Wiederauffinden von Dokumenten. Die Qualität einer Dokumentation ist also daran zu messen, inwiefern alle für den Benutzer relevanten Dokumente von der Dokumentationsstelle wiedergefunden werden.

2 Qualität? qualitätskriterien Seminar I-Prax: Inhaltserschließung visueller Medien, Spree SoSe 2008 Umfrage: Woran würden Sie messen, ob die Qualität eines Informationsdienstes – real: Dokumentationsstelle wie beim NDR – oder virtuell: Suchmaschine wie google – hoch ist?

3 Qualitätskriterien Precision & recall Seminar I-Prax: Inhaltserschließung visueller Medien, Spree SoSe 2008 Angemessenheit – Entspricht die Antwort dem Informationsbedarf? Neuigkeit – Anteil der Dokumente, die der Nutzer noch nich kennt Nützlichkeit – kann auch für Informationen zutreffen, nach denen der Nutzer gar nicht recherchiert hat Qualitative Kriterien Relevanz / Precision – Grad der Übereinstimmung der inhaltlichen Aussage eines Dokumentes mit der Suchanfrage Vollständigkeit / Recall – Anteil der wiedergefundenen vorhandenen Dokumente Raten Sie mal. Wie hoch ist die Vollständigkeit im Durchschnitt? Quantitative Kriterien

4 Bewertungskriterien für Indexierungsergebnisse Precision & recall Seminar I-Prax: Inhaltserschließung visueller Medien, Spree SoSe 2008 Indexierungsbreite Anzahl der vergebenen Deskriptoren oder Notationen Indexierungsspezifität Annäherung durch das hierarchische Niveau der Indexierungsbezeichnungen Indexierungstiefe Kombination aus Breite und Tiefe Indexierungskonsistenz Indexierungskonsistenz ist das Maß der Übereinstimmung verschiedener Indexierungsergebnisse des gleichen Dokuments in derselben Dokumentationssprache. Quelle: Die DIN , Teil 1, Abschnitt 5

5 Recherche als Mengenlehre vollständig Seminar I-Prax: Inhaltserschließung visueller Medien, Spree SoSe 2008 Recherchefrage an eine Filmdatenbank: Liste aller Spielfilme, in denen Rock Hudson und Doris Day zusammen mitgespielt haben. Richtige Antwort wäre 3. C Lover.. Send … B Lionpower A Pillow.. C: Menge der relevanten Dokumente, die nicht gefunden wurden (2 Filme mit Rock Hudson und Doris Day: Lover come back; Send me no more flowers) Ergebnis im gelben Feld: Pillow Talk Lionpower Berechnung Relevanz: Anzahl der relevanten gefundenen Doks/Anzahl der selektierten Dokumente A /(A + B) = 1/ (1 + 1) = ½ Berechnung Recall: Anzahl der relevanten gefundenen Doks/Anzahl der relevanten Dokumente A /(A + C)= 1/ (1 + 2) = 1/3 A: Anzahl der relevanten gefundenen Dokumente (1 Pillow Talk) B: Anzahl der nicht relevanten gefundenen Datensätze (1 Lionpower)

6 Hohe Qualität vollständig Seminar I-Prax: Inhaltserschließung visueller Medien, Spree SoSe 2008 Recall Präzision o o ooooooooo ooooo oooooo oooo oo o oo ooooooo ooooo 1 0 Verteilung von Recall und Präzision bei Recherchen in einer Datenbank von relativ guter Indexierungsqualität. Beide Werte liegen dicht an 1. Nach Gaus: Dokumentations- und Ordnungslehre. Berlin u.a., S

7 Niedrige Qualität vollständig Seminar I-Prax: Inhaltserschließung visueller Medien, Spree SoSe 2008 Recall Präzision 1 01 Verteilung von Recall und Präzision bei Recherchen in einer Datenbank von relativ schlechter Indexierungsqualität. Beide Werte liegen dicht an 0. Nach Gaus: Dokumentations- und Ordnungslehre. Berlin u.a., S. 220 o oo ooo ooo oooo ooooo oooooo ooooooo oooooooooooo ooooooooo oooooo ooooooo oooooo

8 Übung 1: genau Seminar I-Prax: Inhaltserschließung visueller Medien, Spree SoSe 2008 Mario Schreiber sucht Dokumente zum Thema "Elektrosmog". Er findet 120 Dokumente, wovon 70 relevant sind. Weitere 30 relevante Dokumente hat er nicht gefunden. 1.Wie wird Mario Schreiber das Ergebnis bewerten, wenn er wenig Zeit hat und möglichst relevante Dokumente finden will? Die Präzisionsquote beträgt: 2.Wie wird Mario Schreiber seine Informationssuche bewerten, wenn er möglichst viele Dokumente finden will? Die Recallquote beträgt: Berechnung Relevanz: Anzahl der relevanten gefundenen Doks/Anzahl der selektierten Dokumente Berechnung Recall: Anzahl der relevanten gefundenen Doks/Anzahl der relevanten Dokumente 70/100 70/120

9 Übung 2: Fachtermini für Laien verständlich erklären genau Seminar I-Prax: Inhaltserschließung visueller Medien, Spree Sose 2008 Zielgruppenorientierung ist ein Fachterminus in der Wissensnorganisation. Solche Fachtermini sind nicht immer leicht für einen Laien verständlich. Unten finden Sie eine Erklärung des Begriffs für einen Laien. "Zielgruppenorientierung bedeutet Indexieren aus der Perspektive und für die Bedürfnisse einer bestimmten Zielgruppe, z.B. für Sie als Journalisten. Eine Alternative wäre neutrales Indexieren für eine anonyme Nutzergruppe. Wenn meine Kollegin und ich indexieren, haben wir immer die Interessen und Aufgaben der Mitarbeiter im Hinterkopf. Wir wissen z.B., dass Sie, Herr Schreiber, sich für alles interessieren, was mit der PISA-Studie zu tun hat. Diese Dokumente erschließen wir zusätzlich mit den Suchtermini, die Sie für Ihre Recherchen nach Auswertung unserer Log Files bevorzugen, nämlich "Bildungskatastrophe" und "struktureller Analphabetismus". Außerdem schreiben wir für Dokumente über die PISA-Studie Abstracts, die auf Ihre Interessen besonders eingehen. Arbeiten Sie in Zweiergruppen: Schreiben Sie ähnliche Erläuterungen für die 4 weiteren Fachtermini: Indexierungsbreite Indexierungsspezifität Indexierungstiefe Indexierungskonsistenz Bitte formulieren Sie Ihre Erklärungen so, dass ein Laie sie versteht! 2 vorderen Reihen 2 hinteren Reihen


Herunterladen ppt "Spree SoSe 2008 Qualität einer Dokumentation Relevanz- und Vollständigkeitsrate Zur Erinnerung: Zweck einer Dokumentation ist nicht in erster Linie das."

Ähnliche Präsentationen


Google-Anzeigen