Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen Von MILESS zu MyCoRe - Ein Open Source Kernsystem für Digitale Bibliotheken Dipl.-Wirt.Inform.

Präsentation zum Thema: "Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen Von MILESS zu MyCoRe - Ein Open Source Kernsystem für Digitale Bibliotheken Dipl.-Wirt.Inform."—  Präsentation transkript:

1 Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen Von MILESS zu MyCoRe - Ein Open Source Kernsystem für Digitale Bibliotheken Dipl.-Wirt.Inform. Frank Lützenkirchen Universitätsbibliothek Essen der Universität Duisburg-Essen http://miless.uni-essen.de/ http://www.mycore.de /

2 Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen MILESS: Architektur, Datenmodell und Funktionalität NEU: Audio/Video Storyboards NEU: Video mit eingeblendeten Folien NEU: Semesterapparate Online MyCoRe: Entstehung, Organisation, Architektur Metadatenmodell: Objekte, Beziehungen, Konfiguration Internal Filesystem und Audio-/Video-Unterstützung Persistenz-Layer und Backend-Datenbanksysteme Verteilte Suche und Schnittstellen zu OAI, Web Services User Interface: Webseiten-Generierung via XSL Konfigurierbarer Online-Editor für Metadaten MyCoRe und MILESS: Status und nächste Schritte Inhalt

3 Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen MILESS: Multimedialer Lehr- und Lernserver Essen Multimedialer Lehr- und Lernmittel-Server: Digitale Bibliothek Kein Lern-Management-System (Kursmanagement, Chats,...) In Essen für Essen entwickelte Applikation, ursprünglich zugeschnitten auf Essener Anforderungen Dublin Core Datenmodell, XML-Schnittstellen, beliebige Dateitypen Java-Applikation bestehend aus Servlets, Applet, XSL Stylesheets Datenhaltungs-Basis (mehrere Alternativen): IBM Content Manager 7.1, IBM DB2 unter AIX / Windows N E U :MySQL, Apache Lucene unter AIX / Windows / Linux /Solaris Helix Universal Server, RealServer, IBM VideoCharger Server Open Source unter GNU General Public License, nichtkommerziell Nachnutzung durch 12 andere Universitäten erfolgreich, z. B. Leipzig (Bach Digital), Jena (Urmel), ca. ein Dutzend Installationen MILESS: Die Essener Applikation Die Ursprünge von MyCoRe...

4 Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen MILESS Datenmodell: festgelegt! Basis: Dublin Core + eigene Erweiterungen Abbildung: Marc Schlüpmann (2002), Universität Essen Personen- und Körperschafts- daten Dateien und Formate: PDF, Word, HTML, LaTeX,... Klassifikationen: fachspezifisch und / oder fachübergreifend beliebige Hierarchien wie etwa DDC

5 Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen Zugang zu Dokumenten über Suche: Allgemeine u. fachspezifische Suchmasken Eigene Suchmasken je Fachgebiet / Themengebiet möglich Einschränkung der Suche z. B. auf Physik, Dissertationen, Video-Material

6 Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen Zugang zu Dokumenten über Browsing: Klassifikationen, Baumstrukturen

7 Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen Zugang zu Dokumenten direkt über URL: Dokument, Derivat, Datei direkt erreichbar

8 Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen Beliebige Dateitypen in MILESS: Java- oder Shockwave-Animation

9 Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen Beliebige Dateitypen in MILESS: Dissertation in LaTeX, Anzeige-Applet

10 Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen Java-Applet als GUI für Autoren: Dokumente einstellen oder aktualisieren Bestimmte Benutzer haben Autoren- Rechte

11 Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen Neu: Audio/Video-Storyboards Szenen annotieren, "schneiden", abspielen

12 Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen Neu: Video-Mitschnitte mit Folien Ein Service des Medienzentrums Essen Realisierung: AVID EPublisher (Real Video) Microsoft PowerPoint (WMV) Langfristig: SMIL (XML) da bearbeitbar

13 Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen Neu: Online-Semesterapparate Bücherlisten, PDF-Volltexte, Eigene Dateien Online-Semesterapparate beinhalten: Bücherlisten: bibliographische Angaben, Link in den Katalog Kapitelauszüge aus Büchern, Zeitschriftenartikel: bibliographische Angaben, Volltext im PDF-Format WWW-Links, Querverweise auf andere MILESS-Dokumente Eigene Dateien des Dozenten, bis hin zu Audio/Video Realisierung: Jeder Semesterapparat entspricht einem MILESS Dokument Volltexte (PDF) und andere Dateien sind hierunter abgelegt Beschreibende Daten intern als XML, Darstellung über XSL Stylesheets Ablauf: Dozent kann über Online-Formulare Inhalte ergänzen und bearbeiten MILESS verschickt daraufhin Email an Bibliotheksmitarbeiter Diese beschaffen (Jason, Fernleihe usw.) und digitalisieren die Volltexte Studenten bekommen über Passwort lesenden Zugang zu Volltexten

14 Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen Neu: Online-Semesterapparate Beispiel-Semesterapparat (frei zugänglich)

15 Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen Neu: Online-Semesterapparate Dozent bearbeitet Inhalte über Formulare

16 Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen Neu: Online-Semesterapparate Bibliothek überprüft Daten, ergänzt PDF

17 Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen Feedback aus MILESS Nachnutzung: Änderungs- und Flexibilisierungswünsche... Essener Lösung MILESS war spezialisiert auf die Essener Anforderungen Metadatenmodell ist fest vorgegeben (Dublin Core mit Erweiterungen) und nicht einfach erweiterbar / anpassbar Layout war nur schwer anpassbar, da Java Servlets direkt HTML erzeugten Anpassung des Java-basierten Autoren-GUIs sehr aufwendig Benutzer- und Rechteverwaltung nur minimal implementiert Applikationstyp "Dublin Core Dokumenten-Server" vorgegeben, aber Archivsysteme etc. etwas anders strukturiert Abhängigkeit von IBM Content Manager hat sowohl positive (Speichermanagement, Archivierung, Skalierbarkeit) als auch negative Aspekte (für kleine Applikationen zu aufwendig, IBM- Plattform notwendig) Langfristige Code-Pflege nur durch Essen problematisch

18 Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen Ausgehend von MILESS, gemeinsame Entwicklung eines flexiblen, anpassbaren Software-Kerns ("core") zur Erstellung von digitalen Bibliothekssystemen / Archivlösungen (allgemein "Content Repositories" -> CoRe), für verschiedene Backend-Datenbanken, sowohl IBM Content Manager als auch andere insbesondere aus dem Open Source Bereich Entwicklung als Open Source auf Java- und XML-Basis Kern, ergänzt um Anpassungen und Erweiterungen, bildet jeweils eine lokale Lösung, z. B. für Münzsammlung, Papyri- Archiv,... MILESS bringt Erfahrungen und Implementierungsstrategien ein, aber MyCoRe ist eine komplette Neuentwicklung MILESS verwendet bereits produktionsreife MyCoRe Komponenten, die nach und nach alte MILESS Komponenten ersetzen, bis zum kompletten Austausch durch MyCoRe MILESS ist das lokale Essener Produktionssystem, MyCoRe noch in der Entwicklung und teilweise unvollständig MyCoRe: Entstehung und Ziele... und was wird aus MILESS?

19 Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen MyCoRe Architektur: Datenmodell-zentrierte Sicht XML als zentrales Format für Konfiguration Import Export Speicherung Layout Schnittstellen

20 Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen Konfiguration von Beziehungen: Eltern-/Kind-Beziehungen und Verweise Dokument Schriftträger Text und Bearbeitung Schriftträger- Fragment weitere Bearbeitung Schriftträger- Fragment-Spalte VererbungVererbung Beispiel: Jens Kupferschmidt, Universität Leipzig Datenmodell Papyri-Projekt Jena / Halle /Leipzig

21 Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen MyCoRe Architektur: Sicht auf verschiedene System-Ebenen Backend-Systeme

22 Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen Internal Filesystem [IFS] Interne Dateien und Verzeichnisse Dateien und Verzeichnisse werden in das System importiert MyCoRe verwaltet nicht (nur) Links, sondern auch den Content selbst In MILESS: Dokument besitzt Derivate, Derivate besitzen Dateien In MyCoRe: Flexibler, Objekte besitzen Dateien oder Verzeichnisse Typische Operationen eines Dateisystems als API: Dateien und Verzeichnisse bilden Dokumentstruktur ab, z. B. HTML Erzeugen, Löschen, Verschieben, Umbenennen Importieren und Exportieren von ganzen Verzeichnissen ZIP-Import und –Export Pfadoperationen, Sortieroperationen Versionsmanagement und Volltextsuche (noch nicht implementiert) Anzeigen von Dateien und Browsen in Verzeichnissen via WWW Verwalten der Dateiinhalte über WWW-Oberfläche Später: Import/Export via FTP-Client, Emails mit Attachment

23 Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen Internal Filesystem [IFS] Unterstützte Speichersysteme Beliebige Dateitypen und ganze Verzeichnishierarchien importierbar Zur Speicherung der Dateiinhalte sind folgende Systeme möglich: Lokales Dateisystem Entferntes Dateisystem via FTP IBM Content Manager 7 Object Server IBM Content Manager 8 Resource Manager IBM VideoCharger Server Version 7 oder 8 Weitere durch Implementierung eines Java-Interfaces möglich Zum Streaming von Audio-Video-Dateien werden unterstützt: IBM VideoCharger Server Version 7 oder 8 MyCoRe unterstützt MPEG1, MPEG2, AVI, WAV, MP3 Real Streaming Server Version 8 oder Helix Universal Server Version 9 (Real Nachfolger) MyCoRe unterstützt RealAudio, RealVideo, MP3, WAV, AVI, MPEG1, MPEG2, MPEG4, Windows Media Audio/Video Streaming zu IBM Player, Windows Media Player, Real Player Weitere durch Implementierung eines Java-Interfaces möglich

24 Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen Internal Filesystem [IFS] Verwendung schon jetzt in MILESS

25 Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen MyCoRe Persistenz-Layer: Verschiedene Implementierungen Persistenz-Layer bildet MyCoRe-Strukturen auf Datenbanksysteme ab. MyCoRe Backend-System besteht aus vier Bereichen: Verwaltung von relationalen Tabellendaten: JDBC-fähige relationale Datenbank (getestet: IBM DB2, MySQL) Suche in XML-Metadaten (mittels XQuery/XPath): IBM CM 7 (Auslaufmodell), IBM CM 8.2, oder XML:DB API (getestet: Apache Xindice, eXist XML Database) diese Schnittstelle wird auch von Tamino (Software AG) unterstützt Speicherung und Verwaltung von Datei-Inhalten (IFS): IBM CM7, IBM CM8, IBM VideoCharger Server Lokales Filesystem, Remote FTP Server, Real oder Helix Server Volltextsuche in Datei-Inhalten In MyCoRe noch nicht vollständig implementiert, noch in Arbeit IBM Content Manager 8 Text Information Extender Open Source Volltextsuchsysteme, wie etwa Apache Lucene

26 Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen HTTP / XML Präsentation Suchergebnisse Lokale Suche Lokale Suche z.B. Content Manager Suchanfrage: XQuery Suchergebnisse: XML Client Server Quelle: M. Zarick, Universität Rostock Verteilte Suche über Instanzen Remote Query Client/Server via HTTPS Zusätzlich: OAI-PMH 2.0 Geplant: Z39.50

27 Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen Command Line Interface: MyCoRe:>_ Für administrative Zwecke, Batch-Import von XML-Daten Web User Interface: Implementiert mit Java Servlets, Layout durch XSL Stylesheets Suchmasken, Trefferlisten, Anzeige von Objekten, Browsing,... Metadaten-Editor für MyCoRe Objekte: In MILESS bisher als Java Applet implementiert, nicht anpassbar In MyCoRe Implementierung auf Basis von HTML-Formularen und konfigurierbar, da MyCoRe Datenmodell nicht festgelegt ist MyCoRe User Interfaces: Command Line, WWW, Metadaten-Editor

28 Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen MyCoRe Servlet XML Document Client Browser MCRLayoutServlet HTML Page XSL Stylesheet 1 2 3 4 Daten Business Logik Layout Anweisungen Unabhängigkeit, getrennte Änderung und Anpassung Pflege Entwicklung und Test Generierung von Webseiten: MyCoRe trennt Logik, Daten und Layout XSL Master Layout

29 Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen Da Datenmodell in MyCoRe nicht festgelegt ist, muss auch der Online Metadaten-Editor konfigurierbar und anpassbar sein MyCoRe EditorServlet bearbeitet XML Datei in HTML Formularen Zu bearbeitende XML-Datei kann aus verschiedenen Quellen stammen und in verschiedene Zielsysteme gespeichert werden: MILESS, MyCoRe, Local Filesystem, URL,... -> Java Interface EditorServlet wird konfiguriert über XML-Datei mit Definitionen Editor Definition beinhaltet Informationen zu Labeln, Felder, Listen, Wiederholbarkeit von Elementen, Hilfetexte, Datentypen and Validierungsregeln. Abbildung zwischen Formularfeldern und XML Elementen Ein EditorServlet, viele Editor-Definitions-Dateien, z. B. je ein Editor für Dokumente, Personen, Benutzer,... MyCoRe Metadaten bearbeiten Online-Editor für einfache XML-Dokumente

30 Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen Zu bearbeitendes XML Dokument ist Eingabe und Ausgabe von EditorServlet

31 Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen Editor für Personendaten Generiert durch EditorServlet

32 Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen Editor Definitions-Datei: Eingabefelder, XML-Mapping Validierungregeln etc.

33 Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen MILESS: Version 1.3: Bisher, Produktionsbetrieb erfordert IBM Content Manager Version 7 verwendet bereits MyCoRe IFS und Audio-/Video-Funktionen Version 1.4: Ende November Layout über XSL Stylesheets, MyCoRe OAI 2.0, Reine Open Source Option mit Apache Lucene und MySQL Version 1.5: Mitte 2004 Weitestgehende Ablösung durch eine MyCoRe Konfiguration MyCoRe: Aktuell Integration und Test der Komponenten, Anpassung an IBM CM 8.2, Dokumentation Nutzung und Administration MyCoRe 0.9: Präsentation im Januar 2004 OAI 2.0, Metadatenmodell, IFS, Audio-/Video-Streaming, Verteilte Suche, einfache Benutzer- und Rechteverwaltung, neben IBM CM 8 reine Open Source Version mit eXist/MySQL Konfigurierbarer Online Editor, Volltextsuche Von MILESS zu MyCoRe: Status und nähere Zukunft

34 Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen Vielen Dank für Ihre Aufmerksamkeit! http://miless.uni-essen.de/ http://www.mycore.de /