1 Produktive ZDB-Schnittstellen : OAI Bernd Althaus / 10| Produktive ZDB-Schnittstellen: OAI| Althaus | 14. Oktober 2013.

Präsentation zum Thema: "1 Produktive ZDB-Schnittstellen : OAI Bernd Althaus / 10| Produktive ZDB-Schnittstellen: OAI| Althaus | 14. Oktober 2013."—  Präsentation transkript:

1 1 Produktive ZDB-Schnittstellen : OAI Bernd Althaus / 10| Produktive ZDB-Schnittstellen: OAI| Althaus | 14. Oktober 2013

2 1. Die bekannte Architektur / 10| Produktive ZDB-Schnittstellen: OAI| Althaus | 14. Oktober 2013 2 CBS Record update CBS- Logdatei (dbs_title_log) Update-Prozeß OAI-Index (hm_update) OAI- Zeitstempel (stampfile) 2012091310300000 OAI- Index CBS- Index OAI-Service Konversionsdienst Ein Datensatz wird im CBS erfasst/geändert (1). CBS protokolliert die Änderung (2) und erstellt Einträge im CBS-Index (3). Der Update-Prozess OAI- Index liest neue Einträge aus der CBS-Logdatei (4), liest die Daten aus dem CBS (5), erstellt neue Einträge im OAI-Index (6) und schreibt den Zeitstempel des zuletzt bearbeiteten CBS-Logdatei- Eintrages in die "stampfile" (7). Die neuen Index- einträge können über den OAI-Service abgefragt (8) werden. Die Recherche erfolgt im OAI-Index (9). Die Daten werden aus dem CBS gelesen (10) und mittels des Konversions- dienstes in das Zielformat konvertiert (11). Als responseDate wird der aktuelle Eintrag des OAI- Zeitstempels verwendet (12). OAI-Anfrage 1 2 3 4 5 6 8 9 10 11 7 12

3 2. Die bekannten Empfehlungen –Abfragefrequenz >=1 Minute -Nicht zeitkritische Anwendungen >= 30 Minuten (Abwägung: Set vs. Abfragezeitraum vs. -frequenz) –Wiederaufsetzzeitpunkt: Zeitangabe im Element ResponseDate = Parameter from - 2012-08-30T08:12:54Z –Zeitlich überlappender Abfragezeitraum -ResponseDate minus 1 Minute = from –Antwort enthält max. 100.000 Datensätze -Abfragezeitraum u. -frequenz entsprechend einschränken / 10| Produktive ZDB-Schnittstellen: OAI| Althaus | 14. Oktober 2013 3

4 3. Störungen, Ursachen, Maßnahmen 1 Beschreibung: OAI-Repository steht nicht zur Verfügung Ursache: Hardwareprobleme Maßnahme: für konkrete Störungen erledigt; grundsätzlich eine Daueraufgabe: Überprüfung Hardware-Zyklus & Infrastruktur / 10| Produktive ZDB-Schnittstellen: OAI| Althaus | 14. Oktober 2013 4

5 3. Störungen, Ursachen, Maßnahmen 2 Beschreibung: Mehrfache Auslieferung von Datensätzen Ursache: Probleme mit Prozess zur Verarbeitung des OAI-Dummy- Datensatzes Maßnahme: Stabilisierung des OAI-Dummy-Prozesses (erledigt, Prozessverwaltung über CBS-Dispatcher, Prozess läuft alle 30 sek.) / 10| Produktive ZDB-Schnittstellen: OAI| Althaus | 14. Oktober 2013 5

6 3. Störungen, Ursachen, Maßnahmen 3 Beschreibung: OAI bricht bei einem bestimmten Zeitpunkt ab (ggf. nur ein Set betroffen) Ursache: Konversionsfehler aufgrund ungültiger Daten Maßnahme: ad hoc: Korrektur/Löschung des fehlerhaften Datensatzes; längerfristig: Erhöhung der Fehlertoleranz bzw. bessere Validationsmechanismen / 10| Produktive ZDB-Schnittstellen: OAI| Althaus | 14. Oktober 2013 6

7 3. Störungen, Ursachen, Maßnahmen 4 Beschreibung: Stark verzögerte Auslieferung über OAI Ursache: Umfangreiche Verarbeitungen im CBS; Hohe Last auf dem CBS-Server; Massiver Anstieg der Zugriffe auf die CBS-Datenbank Maßnahme: Bessere Organisation der Verarbeitungen im CBS / 10| Produktive ZDB-Schnittstellen: OAI| Althaus | 14. Oktober 2013 7

8 3. Störungen, Ursachen, Maßnahmen 5 Beschreibung: Löschungen von Exemplardaten werden nicht ausgeliefert Ursache: Mit Löschmarkierung versehene Exemplardaten werden im Rahmen des ZDB-Änderungsdienstes Montagnacht physisch gelöscht. Diese Aktion wird nicht über OAI ausgeliefert! Danach stehen die gelöschten Exemplardaten nicht mehr zur Verfügung. In Zusammenhang mit den zuvor genannten Störungen kann dies dazu führen, dass Löschungen nicht ausgeliefert werden. Maßnahme: Prüfung, ob der Ablauf der ZDB-Verarbeitungen optimiert werden kann / 10| Produktive ZDB-Schnittstellen: OAI| Althaus | 14. Oktober 2013 8

9 4. Laufende Optimierungen 1.OAI-Monitoring 1. Stufe erfolgt: Überwachung der Verfügbarkeit des Service und proaktive Information der OAI-Kunden 2.Support-Workflow für OAI in DNB Schärfung der Zuständigkeiten und Abläufe im Incident-Management 3.Produktmanagement OAI Fokus: Aufgabenverteilung und Zuordnung der Zuständigkeiten; Konsolidierung der betrieblichen Stabilität / 10| Produktive ZDB-Schnittstellen: OAI| Althaus | 14. Oktober 2013 9

10 Vielen Dank für die Aufmerksamkeit! / 10| Produktive ZDB-Schnittstellen: OAI| Althaus | 14. Oktober 2013 10