Automatische Indexierung an der ZBW – Status quo Manfred Faden, Thomas Groß Abteilung Informationsdienste 14. GBV-Verbundkonferenz Workshop FAG Erschließung und Informationsvermittlung Berlin 08.09.2010

Übersicht Projektauftrag (Projektziel, Ausgangslage) Projektphase I (Allgemeines, Evaluierung) Projektphase II (Status quo) Fazit & Ausblick Copyright © ZBW 2010

1. Projektauftrag – Projektziel  Allgemein: - automatisierte Sacherschließung (Indexierung, Klassifikation) elektronischer und später aller Informationsressourcen Konkret: - Auswahl, Prüfung und Evaluierung maschineller Verfahren - organisatorische Einbindung und begleitende Evaluierung  Projektphasen: - Probeläufe (2009) - Implementierung (2010- ) Firmenvortrag Recommind heute ab 17 Uhr Copyright © ZBW 2010

1. Projektauftrag – Ausgangslage - Input - rund 14.000 Online-Working Paper p. a. (2005-2009) - exponentieller Anstieg elektronischer Titel ab Mitte 2009 - Goportis: ab 2020 rund 80% aller wissenschaftlichen Forschungsergebnisse nur noch online - Output - Retrievaleinbindung in EconBiz (Relaunch Sept. 2010) Personalressourcen - fehlende Skalierbarkeit manueller Sacherschließung Anwendungsdiskrepanz des STW - manuelle Indexierungsinkonsistenzen Copyright © ZBW 2010

1. Projektauftrag – STW - Standard-Thesaurus-Wirtschaft (STW) - Polyhierarchischer Thesaurus (Version 8.06) - sieben Subthesauri - ca. 6.000 Deskriptoren, dichte semantische Relation - ca. 24.000 Verweise als zusätzliches Einstiegsvokabular - seit der Version 8.03 ist jeder Deskriptor mit einer englischen Vorzugsbenennung versehen - zusätzlich werden laufen englische Verweise mit in das Vokabular aufgenommen - Begriffsorientiertes Verfahren: statistischer Ansatz (MindServer) + STW Copyright © ZBW 2010

2. Projektphase I – Pilotprojekte (2009) Pilotprojekt I (Frühjahr/Sommer) - Testphase zur Anbieter-/Produktauswahl - ca. 120.000 Datensätze aus ECONIS und EconStor - Qualifikation: alle Aufnahmen, die eine URL aufwiesen Pilotprojekt II (Herbst/Winter) - Test und Evaluierung (vgl. Auswertung) - ca. 40.000 Datensätze - Qualifikation: alle Datensätze aus Projekt I, deren Text gecrawlt werden konnte Copyright © ZBW 2010

2. Pilotprojekte – Auswertung I Daten: 38.878 Dokumente gesamt - Trainingsset = 26.645 Dokumente (= 68%) - Testset = 12.233 Dokumente (= 32%) Evaluierungsansätze: Quantitativ Qualitativ (Recall/Precision) (manuell) Stock/Stock (2008)*, DIN 31623/1 *Stock, Wolfgang/ Mechthild Stock (2008): Wissensrepräsentation – Informationen auswerten und bereitstellen. München: Oldenbourg. - generell - große Datensets (100.000…) mit quantitativen Ansatz - kleine Datensets (wenige bis 100) mit qualitativen Ansatz - ZBW: mittelgroßes Datenset, deshalb Kriterienset nach Stock - Stock/Stock (2008): - Indexierungstiefe (Indexierungsbreite + Indexierungsspezifität) - Indexierungseffektivität - Indexierungskonsistenz - zusätzlich noch : Belegungsbilanz Copyright © ZBW 2010

2. Pilotprojekte – Auswertung II - Indexierungskonsistenz - Spannbreite: 0% bis 100% - Durchschnitt: 36% (andere Studien: zw. 25-66%)  Automatik kann manuelles Indexierungsverhalten zu 1/3 imitieren - Indexierungstiefe - Manuell: 1.33 (max.), 0.23 (Mittel) - Automatik: 0.67 (max.), 0.14 (Mittel)  Automatisches Verfahren wählt häufig Oberbegriffe und Allgemeinwörter (Trainingsverhalten!) Indexierungskonsistenz: - misst die Abweichungen unterschiedlicher Indexate der gleichen Vorlage - Anzahl der übereinstimmenden Deskriptoren pro Vorlage (A / B+C-A) - A übereinstimmende Deskriptoren, B und C: Summe der Deskriptoren pro Vorlage - Spannbreite zwischen: keine Übereinstimmungen (= 0%) und völlige Übereinstimmung (= 100%) - durchschnittlich 36% Übereinstimmungen (ordentlich, im Vergleich zum Forschungsstand) Indexierungstiefe: - Indexierungsbreite (Anzahl der Deskriptoren) + Indexierungsspezifität (Hierarchie der Deskriptoren im Thesaurus) - der manuelle Indexierer schafft es, die Vorlagen tiefer zu indexieren als die Automatik (vgl. Maximal- und Mittelwerte) - alles relative Werte! (höhere Werte nicht unbedingt besser  Nutzerstudien) Copyright © ZBW 2010

2. Pilotprojekte – Auswertung III - Indexierungseffektivität - Automatik = 9.1 (im Mittel) vs. Mensch = 13.7 (im Mittel)  Manuelle Indexierung ist trennschärfer - Belegungsbilanz Manuell Automatik Benutzte Deskriptoren 71% 17% Unbenutzte Deskriptoren 29% 83%  Umfassendere STW-Nutzung durch IndexiererInnen Indexierungseffektivität (inverse Dokumentenhäufigkeit): - Wie häufig taucht ein Deskriptor im Gesamtdatensatz auf? - Bezieht sich auf die informationsstrukturierende Funktion von Deskriptoren in Bezug auf den Gesamtdatensatz Belegungsbilanz: Anzahl der benutzen Deskriptoren aus den möglichen/zur Verfügung stehenden Deskriptoren (knapp 6.000 - Indexierungseffektivität => welche benutzen Deskriptoren wurden wie oft vergeben? - hier: wie viel von den potentiell zur Verfügung stehenden Deskriptoren wurde überhaupt verwendet?  kurzes Fazit (ohne extra Folie!) - noch erheblicher Trainingsbedarf! - Verbreiterung der Datenbasis Copyright © ZBW 2010

3. Projektphase II – Implementierung (2010- ) - März: MindServer-Installation (EDV-Infrastruktur) April: Schulung für IT- und Content-Administratoren Mai - heute: eigenständiges Aufsetzen von Projekten und Einpflegen neuer Taxonomien Juli: MindServer-Update auf Version 7.0 September: Einarbeitung der FachreferentInnen Copyright © ZBW 2010

3. Projektphase II – Status quo (2010- ) Problemlagen: polyhierarchischer STW Datenbasis (technisch/ Urheberrecht) Sprachen (5% deutsch, 84% englisch) BWL vs. VWL (Nachbarwissenschaften?)  deshalb: flacher Thesaurus (A-Z) Standard-Klassifikation (STK): Geo-Begriffe, Fach (= BWL, VWL, Sektor), Nachbarwissenschaften - Verbreiterung der Datenbasis: 39.000 => ca. 200.000 (>30% mit STW erschlossen, nicht STK!) - Standard-Klassifikation (im Groben 285 Oberbegriffe des STW) Copyright © ZBW 2010

4. Fazit (2010) & Ausblick (2011- ) Implementierung: technisch/organisatorisch (ab Mitte 2011) - Geschäftsabläufe (Formalerschließung, Zielsysteme) Implementierung: inhaltlich - Training der Standard-Klassifikation (ab Ende 2010) - semiautomatische Indexierung/Klassifizierung (ab Mitte 2011) - Erweiterung der Trainingsbasis (Volltexte!, prüfen: Abstracts, Inhaltsverzeichnisse)  Evaluierung - Auswertung des Klassifizierungsverhaltens (Anfang 2011) Copyright © ZBW 2010

Vielen Dank für Ihre Aufmerksamkeit Manfred Faden: m.faden@zbw.eu Thomas Groß: t.gross@zbw.eu Copyright © ZBW 2010