D AFFODIL Zugangssystem zu digitalen Informatik-Bibliotheken Claus-Peter Klas Norbert Fuhr Andre Schaefer Universität of Duisburg-Essen.

Präsentation zum Thema: "D AFFODIL Zugangssystem zu digitalen Informatik-Bibliotheken Claus-Peter Klas Norbert Fuhr Andre Schaefer Universität of Duisburg-Essen."—  Präsentation transkript:

1 D AFFODIL Zugangssystem zu digitalen Informatik-Bibliotheken Claus-Peter Klas Norbert Fuhr Andre Schaefer Universität of Duisburg-Essen

2 30.09.2004Universität Duisburg-Essen Inhalt Motivation Konzepte Evaluation Ausblick Demo

3 30.09.2004Universität Duisburg-Essen Motivation Zur Befriedigung eines Informationsbedürfnisses ist Suche in mehreren Digitalen Bibliotheken nötig Unterschiedliche Funktionalitäten, Oberflächen und Anfragesprachen Fehlende strategische Unterstützung Fehlende Verbindungen zwischen Objekten aus verschiedenen DLs Fehlende Kollaborationsmöglichkeiten

4 30.09.2004Universität Duisburg-Essen Motivation aus Sicht des IR Die ersten IR Modelle gingen von einem festgelegten Informationsbedürfnis aus. Mittlerweile ist aber Interaktives Information Retrieval State-Of-The-Art Während der Suche verschiebt sich der ASK Informationsbedürfnis ändert

5 30.09.2004Universität Duisburg-Essen DAFFOFIL ist eine virtuelle Digitale Bibliothek mit strategischer Unterstützung gegeben durch höhere Such- und Browse Funktionen ist ein kollaboratives Werkzeug mit Awarenessfunktionalität besteht aus integriertes Werkzeugen in einer benutzerfreundlichen Oberfläche

6 30.09.2004Universität Duisburg-Essen

7 30.09.2004Universität Duisburg-Essen DAFFODIL: Konzepte Strategische Unterstützung Scientific Workflow Personalisierung Persönliche Handbibliothek Kollaboration Awareness & Annotationen Recommendation Proaktivität

8 30.09.2004Universität Duisburg-Essen Strategische Unterstützung ist gegeben durch höhere Suchfunktionen wie Suche in verteilten und heterogenen Digitalen Bibliotheken Referenz- und Zitations Suche Koautorenbrowser Blättern in Journalen und Konzerenzen

9 30.09.2004Universität Duisburg-Essen Strategische Unterstütung: Suche in Digitalen Bibliotheken Einheitliche Anfrageformulierung zur Suche in DLs Spezifikation der Suchdomäne Aktive Werkzeuge bieten Hilfe bei Anfrageformulierung

10 30.09.2004Universität Duisburg-Essen Strategische Unterstützung: Suche in Digitalen Bibliotheken Duplikate werden eliminiert Sortierung der Ergebnisse Metaebene durch Extraktion Hervorhebung der Anfrageterme Icons WWW-Search

11 30.09.2004Universität Duisburg-Essen Strategische Unterstützung Beziehungs-Netzwerke: Koautoren

12 30.09.2004Universität Duisburg-Essen Strategische Unterstützung Referenzen und Zitationen Drag & Drop eines relevanten Dokumentes auf das Referenzwerkzeug Zitierte und zitierende Dokumente Detailansicht und iterative Suche

13 30.09.2004Universität Duisburg-Essen Wissenschaftliches Arbeiten Auswahl von Wissensquellen strukturierte Ablage Bewertung der Ergebnisse Erzeugung von Wissen Bergung von Wissen

14 30.09.2004Universität Duisburg-Essen Personalisierung: Persönliche Handbibliothek Strukturierte Ablage von Dokumente Autoren Konferenzen Journale Webseiten Anfragen Personalisierung Gruppenunterstützung

15 30.09.2004Universität Duisburg-Essen Personalisierung: Awareness & Annotationen Handbibliothek automatisch füllen: Anfrage-Profile: regelmäßige Prozessierung Autoren: neue Veröffentlichung Zeitschriften, Konferenz: neue Ausgaben Ein Auge auf alles Neue werfen: Benachrichtigung per Email, Fax, SMS,...

16 30.09.2004Universität Duisburg-Essen DEMO

17 30.09.2004Universität Duisburg-Essen Recommendation: Vorschlagswesen Vorschläge durch Kollaboration Persönliche Handbibliothek Event Logs (Pfade der Benutzer) System BINGO! – Deep Web Crawler

18 30.09.2004Universität Duisburg-Essen Recommendation: Kollaboration Persönlicher Handbibliothek Ähnliche Dokumente Experten / Gruppen auf einem Gebiet Pfade Wie haben andere gesucht ? Wie soll ich in meiner Situation vorgehen ?

19 30.09.2004Universität Duisburg-Essen Recommendation: BINGO! Bookmark-Induced Gathering of Information Inhalt eines Folder der PLib als Startmenge um neue Objekte in WWW-Portalen zu crawlen Analyzer extrahiert Features der Dokumente Feature Auswahl SVM classifier: Test, ob ein Dokument zu einem Topic (Folder) gehört Iteratives Training der Classifier (während des Crawling) Link Analyse für Hubs & Authorities Ergebnis: PDF Dokumente und HTML-Seiten

20 30.09.2004Universität Duisburg-Essen Proaktivität Kontextuelle Beobachtung des Benutzers und des Systems Direkte Aktionen Rechtsschreibung Autornamen Vervollständigung Verwandte Begriffe

21 30.09.2004Universität Duisburg-Essen D AFFODIL Evaluation Effektives und Effizientes Information Retrieval durch Hypo I:... strategische Unterstützung Hypo II:... das proaktive System Hypo III:... Personalisierung und Kollaboration Kriterien Effektivität Effizienz Bewertungsmaße Zeit Relevanz Benutzerzufriedenheit

22 30.09.2004Universität Duisburg-Essen Evaluation Phasen 1. Phase 14 Studenten in parallelen Sitzungen Systemeffizienz & Fehlerfindung 2. Phase 8 Wissenschaftliche Mitarbeiter Fokus auf Benutzer: Effizienz und Effektivität 3. Phase (Expertenphase) 3 Bibliothekare und 3 Professoren Kommentare, Kritk und Tips

23 30.09.2004Universität Duisburg-Essen Evaluation: Komplexitätsstufen Aufgabenkomplexität Vorwissen Unvollständiges Wissen (Neues Gebiet) Vollständiges Wissen Informationsbedürfnis Ein Objekt (z.B. Known-Item-Search) Eine Menge heterogener Objekte 5 Aufgaben aus verschiedenen Stufen

24 30.09.2004Universität Duisburg-Essen Evaluation: Vergleich mit WWW Je komplexer die Aufgabe, um so effizienter sind die Benutzer mit DAFFODIL

25 30.09.2004Universität Duisburg-Essen Task 2: Known item instantiation (L2) Finde Dokument mit Titel Methods of automated reasoning

26 30.09.2004Universität Duisburg-Essen Ausblick Multi-Level Hypertext Cluster zur besseren kognitiven Erfassung großer Resultatlisten Situationsbedingtes Recommendation Event basiertes Systemlog Direkte Hilfe bei Anfrageformulierung Rechtschreibung bekannter Term- und Autoren-Raum

27 30.09.2004Universität Duisburg-Essen Fazit Konzepte von DAFFODIL Evaluation von DAFFODIL Langzeit Evaluation Eine Aufgabe vom Anfang bis zum Ende neues Papier neuer Projektantrag Freiwillige sind Willkommen! Try it out http://www.daffodil.de

28 30.09.2004Universität Duisburg-Essen Sammeln der Evaluationsdaten Aufgaben auf Fragebogen 1. Phase: Protokolle Andere Phases: Videoaufnahme Benutzung Reaktionen Kommentare 11h Videodaten

29 30.09.2004Universität Duisburg-Essen Real world task classified 5 Tasks (4 presented) on 4 levels, classified by a information need typology matrix work task information need no knowledge full knowledge one object heterogenous set of objects 1L 2L3L 4L

30 30.09.2004Universität Duisburg-Essen Result (1st Phase) Phase 1: 14 students Error hunting, system efficiency Outcome: speed up 5-7 times Find a lot of bugs Comment: Even so slow when searching, i want to use it, since it saves much time, handling the found knowledge

31 30.09.2004Universität Duisburg-Essen Main Hypotheses more effective and efficient IR through strategic support given with DAFFODIL compared to other (DL) information system more effective, because user can cognitivly process and interpret information more easily more efficient, because user needs to invest less time

32 30.09.2004Universität Duisburg-Essen Result (2nd phase) Task 1: Known item instantiation (L1) Find document by given title (precise) Search strategies in content-based image retrieval

33 30.09.2004Universität Duisburg-Essen Result Task 3: A real search (L3) Find articles by author X in the area of digital libraries within the last 4 years. Results All participants found with Daffodil at least 12-19 relevant articles. With Google only two persons found articles any articles, the other gave up. Actually, user said, it will be hard with google prior to search.

34 30.09.2004Universität Duisburg-Essen Result Task 5: New area (L4) find literature about a specific subject: interactive information retrieval;information searching; information seeking not known by any participant prior to the evaluation Explorative Search Scanning result lists; related terms feature Results: Participants at least found a couple of entry points, to further search Got very soon an idea, what they dont want.

35 30.09.2004Universität Duisburg-Essen Result (3th phase) Experts: Free Search Three librarians and three professors Free Search with own theme Results: input for improving satisfied Comments: librarian rich functionality D. mediates the knowledge about the tactics to the user professor D. seems in a state that it can be used I will propose it to my assistents

36 30.09.2004Universität Duisburg-Essen Summary of evaluation Evaluation with 28 participants showed, that a user is more effective when searching for scientific literature with the strategic support, here given by the DAFFODIL system, but not always more efficient (task1). But, as the tasks become more complex, the hypotheses hold.

37 30.09.2004Universität Duisburg-Essen Outlook Continue Evaluation other systems Long-Term Evaluation One task from start to end new paper for ECDL 2005 Participants are welcome Try it out http://www.daffodil.de

38 30.09.2004Universität Duisburg-Essen

39 30.09.2004Universität Duisburg-Essen

40 30.09.2004Universität Duisburg-Essen

41 30.09.2004Universität Duisburg-Essen agentenbasiertes System mit über 35 unterschiedlichen Agenten die low-level and high-level Funktionen zur Verfügung stellen verbindet zur Zeit ca. ~15 verschiedenste Datenquellen aus der Informatik

42 30.09.2004Universität Duisburg-Essen Evaluation framework Formal bases given by [Saracevic&Covi] Why to evaluate ? What to evaluate ? How to evaluate ?