FernUniversität Hagen “Synergiepotentiale zwischen GRID- und eScience-Technologien für die Langzeitarchivierung” -Entwurf- Prof. Dr. W. Schiffmann FernUniversität Hagen Frankfurt, 26.10.2007

Aufgabenstellung (Auszüge) ... Ansatzpunkte für die Nutzung von Synergien zwischen bereits existierenden F&E-Aktivitäten im Bereich e-Science .... und innerhalb der Förderaktivität „e-Science und vernetztes Wissenmangement“ identifiziert, in eine Menge von potentiellen technischen Integrationsmodellen überführt und abschließend hinsichtich möglicher Kooperationsinfrastruktrukturen aufbereitet. ... funktionale Ansatzpunkte für die Integration von LZA-Funktionen in bereits existierende technische Infrastrukturen ... und einer sinnvoll fokusierten Auswahl der o.g. e-Science-Plattformen identifizieren und auf Synergiepotentiale hin untersuchen. ... denkbare Varianten von lose und eng gekoppelten technischen Integrationsmodellen für eine zukünftige Integration von LZA- Funktionen in grid-basierte e-Science-Infrastrukturen... ... Nutzung von grid-basierten Ergebnissen und Komponenten für die Entwicklung und Bereitstellung von LZA-Funktionen in bereits existierende LZA-Infrastrukturen ...

Aufbau der Expertise

Langzeitarchivierung (LZA) bedeutet: 1. Motivation und Ziele Langzeitarchivierung (LZA) bedeutet: Digitale Information (Daten, Texte, Multimedia, Software) langfristig speichern, wiederfinden und für die menschlichen Sinne zugänglich machen.

Gemäß Aufgabenstellung benötigte LZA-Funktionen Verteilte Speicherung großer Datenmengen Flexibles Rechtemanagement Integration vorhandener Repositorien Persistente Speicherung von Daten, Dokumenten und Software Migration von Dokumentenformaten Unterstützung von e-Science und vernetztem Wissensmanagement

Schichtenmodell

Analyse existierender F&E-Projekte Prioritäten National (22) Europa (46) Weltweit (4) Kategorien Grid LZA eScience Grid & eScience e-Science Grid LZA Synergiepotentiale

Nationale Projekte Projektname URL D-Grid www.d-grid.de DGI dgi.d-grid.de AstroGrid-D www.gac-grid.de C3-Grid www.c3grid.de HEP Community Grid www.d-grid.de/index.php?id=44 InGrid www.ingrid-info.de MediGRID www.medigrid.de TextGrid www.d-grid.de/index.php?id=167 Kompetenznetzwerk LZA langzeitarchivierung.de BABS www.babs-muenchen.de Kopal kopal.langzeitarchivierung.de MyCoRe http://www.mycore.de eSciDoc www.escidoc-project.de FRESCO http://www.ipsi.fraunhofer.de/i-info/de/content/view/97/0/ STEMNET http://www.dl-forum.de/deutsch/projekte/projekte_2681_DEU_HTML.htm SYNERGIE http://www.dl-forum.de/deutsch/projekte/projekte_2683_DEU_HTML.htm HyperImage http://www.dl-forum.de/deutsch/projekte/projekte_2688_DEU_HTML.htm Im Wissnsnetz http://www.dl-forum.de/deutsch/projekte/projekte_2538_DEU_HTML.htm WIKINGER http://www.imk.fraunhofer.de/de/wikinger WISENT http://www.dl-forum.de/deutsch/projekte/projekte_2370_DEU_HTML.htm Ontoverse http://www.dl-forum.de/deutsch/projekte/projekte_2381_DEU_HTML.htm links4science http://www.dl-forum.de/deutsch/projekte/projekte_2764_DEU_HTML.htm

2. Stand der Technik Auswahl relevanter Datengrid-Technologien GsiFTP (GridFTP) OGSA-DAI LOCKSS WebDAV dCache SRB Nirvana iRODS

2. Stand der Technik (cont.) Auswahl relevanter e-Science-Technologien eSciDoc Forschungsplattform Zugriff auf Forschungsergebnisse und – materialien für MPG-Wissenschaftler ONTOVERSE Web-gestützte Anwendung Kooperative und interdisziplinäre Erstellung von Ontologien

2. Stand der Technik (cont.) WIKINGER Plattform für Wissenschaftler Wiki als Benutzeroberfläche – daraus erfolgt dann die semi-automatische Erstellung semantischer Netze Beispiel „zeitgeschichtlicher Katolizismus“ Im Wissensnetz Interdisziplinäre Wissensschöpfungsprozesse Techniken des betrieblichen Wissensmanagements

3. Szenarien Datensharing Wissenschaftler LZA mit QoS Registrierung eines logischen Verzeichnisses Freigabe lesender Zugriff für Kollegen Registry vermittelt Zugriffskanal über Middleware Mounten des logischen Verzeichnisse in Dateisystem LZA mit QoS Projektdaten und Dokumentation für einen Zeitraum von 5 Jahren archivieren Mounten eines logischen Verzeichnisses einer Gedächtnisorganisation Diese betreibt physische Speicherressourcen (inkl. Archivierung/Repliken) Lokale Repliken sorgen als Caches für hohe Verfügbarkeit

3. Szenarien (cont.) Wissensmanagement Verteilte Labore frei zugängliche aktuelle Publikationen suchen Metadaten unterstützen Suchprozess Rohdaten und Auswerteprogramme sind zugänglich Annotations- und Kollaborationswerkzeuge Verteilte Labore Messwerte eines Sensornetzes zusammenführen Server mounten das gleiche logische Verzeichnis dito. Forscher mit lesendem Zugriff Daten sind unverzüglich über lokales Dateisystem zugreifbar Optional LZA über Gedächtnisorganisation

4. Integrative LZA-Infrastruktur Disziplinübergreifend, flexibel, benutzerfreundlich Integration verteilter Repositorien Dynamisch veränderliche Daten Lösung: Föderiertes Datengrid Data Grid Registry Abstraktion von physischem Speicherort Logische Benutzernamen Provider oder User Übertragung von Benutzerrechten

Gemeinsamer Zugriff auf Daten Webschnittstelle der Registry Integration von Wissensmanagement- Werkzeugen Hohe Benutzerfreundlichkeit Anbindung an Dateisysteme über Middleware Verteilte Speicherressourcen integrieren Keine zentrale Instanz notwendig Transparente Nutzung aus Programmen Einfache Anbindung an Rechnergrids

Persistente Speicherung Realisierbar durch Kopien in Repositorien mit LZA- Funktionalität (Gedächtnisorganisationen) unterschiedliche Erhaltungszeiträume Repliken an unterschiedlichen Orten Verfügbarkeit beim Benutzer erhöhen Spiegelung auf lokalem Dateisystem Zeitstempel und Prüfinformationen

Rechnergrids realisieren wichtige LZA-Funktionen Rechnergrids können genutzt werden, um die verteilt gespeicherten Daten zu verschlagworten und Relationen zwischen den Repositories herzustellen Die Dokumentformate werden in regelmäßigen Abständen geprüft und gegebenfalls automatisch durch Rechnergrids in neue Formate konvertiert (Migration) Software kann mit Hilfe virtueller Maschinen erhalten werden. Rechnergrids stellen die benötigte Rechenleistung zur Verfügung

Handlungsempfehlungen Aufbau eines Deutschen Daten Grids eScience/Wissensschicht-Webplattformen Virtuelle Digitale Bibliotheken, Archive und Leseräume

1.D-Datengrid (DDG) CG-übergreifendes Datengrid-Projekt Speicherressourcen nahtlos integrieren Einfache Integration von bestehenden Repositories Datengrid-Registries Analog DNS-Server: Link zwischen Repository und physischer Speicherressource Shibboleth Authentifizierung Autorisierung durch die Eigner Vermittlung von Datenverbindungen zu bekannten Dateisystemen Middleware für gängige Rechnerplattformen

2. eScience/Wissensschicht- Webplattformen Effiziente Suche über benutzerfreundliche Webschnittstelle Personalisierte Zugänge mit Awareness-Funktion Annotation Metadaten des Benutzers Automatische Verschlagwortung Kollaboration Dokumente Daten Auswertesoftware bereitstellen (vgl. nächste Folie)

3. Virtuelle Digitale Bibliotheken, Archive und Leseräume Migration bedeutet hohen Rechenaufwand zur Transformation großer Datenbestände. Alternativ zur Migration kann auch die Rechnerplattform (inkl. Software) zur Bearbeitung der Orginaldaten migriert werden. Reservierungssystem zum exklusiven Zugriff auf die virtuellen Maschinen Transparente Kopplung mit Remote Desktop Protokoll Erhaltung von Dokumenten (Authentizität) und Software (z.B. Auswerteprogramme, die bei Publikationen genutzt wurden).

Vielen Dank für Ihre Aufmerksamkeit!

Vielen Dank für Ihre Aufmerksamkeit. Univ. -Prof. Dr. -Ing Vielen Dank für Ihre Aufmerksamkeit. Univ.-Prof. Dr.-Ing. Wolfram Schiffmann Fernuniversität Hagen Fakultät für Mathematik und Informatik Lehrgebiet Rechnerarchitektur Universitätsstrasse 1 D-58087 Hagen email: Wolfram.Schiffmann@FernUni-Hagen.de Telefon: +49-2231-987-325 Telefax: +49-2331-987-332