KOST-Preservation-Prozess und die Erkenntnisse daraus nestor-Praktikertag 2016, SLUB Dresden, Claire Röthlisberger-Jourdan.

Präsentation zum Thema: "KOST-Preservation-Prozess und die Erkenntnisse daraus nestor-Praktikertag 2016, SLUB Dresden, Claire Röthlisberger-Jourdan."—  Präsentation transkript:

1 KOST-Preservation-Prozess und die Erkenntnisse daraus nestor-Praktikertag 2016, SLUB Dresden, 14.06.2016 Claire Röthlisberger-Jourdan

2 Disposition  Einleitung  Der Preservation-Prozess anhand von TIFF  Erkenntnisse  Fazit 14.06.2016 Preservation-Prozess und die Erkenntnisse daraus C. Röthlisberger-Jourdan KOST 2

3 Die KOST Koordinationsstelle für die dauerhafte Archivierung elektronischer Unterlagen  Gemeinschaftsunternehmen des Schweizerischen Bundesarchivs, des Landesarchivs des Fürstentums Liechtensteins, 23 kantonalen und 5 kommunalen Archiven der Schweiz.  Sie hat den Auftrag, ihre Träger bei der Archivierung elektronischer Unterlagen zu unterstützen  Standards und Richtlinien  Tools  Dienstleistungen zur Lösung konkreter Probleme  Studien und Veranstaltungen 14.06.2016 Preservation-Prozess und die Erkenntnisse daraus C. Röthlisberger-Jourdan KOST 3

4 Preservation-Prozess In den letzten Jahren wurden diverse Prozesse für die Digital Preservation entwickelt.  Grösstenteils von grossen Institutionen und Forschungsprojekten  Der Schwerpunkt liegt bei der Automatisierung der Bestandserhaltung  Z.B. SCAPE mit Scout, Plato, diversen Repository-APIs und C3PO 14.06.2016 Preservation-Prozess und die Erkenntnisse daraus C. Röthlisberger-Jourdan KOST 4

5 Preservation-Prozess der KOST Warum braucht die KOST einen eigenen Prozess?  Die umfassenden Preservation-Lifecycle-Implementationen wie zum Beispiel SCAPE sind u.E. zu komplex.  Die KOST will ihre Preservation-Aktivitäten aber dennoch strukturiert organisieren und abwickeln.  Deshalb entwickeln wir einen pragmatischen und flexiblen Preservation-Prozess, der die Verantwortung zwischen der Preservation-Planning-Expertengruppe (PPEG) und den einzelnen Trägerarchiven der KOST aufteilt.  Die PPEG besteht aus Experten von 7 Archiven und der Geschäftsstelle 14.06.2016 Preservation-Prozess und die Erkenntnisse daraus C. Röthlisberger-Jourdan KOST 5

6 1. Preservation Prozess der KOST 14.06.2016 Preservation-Prozess und die Erkenntnisse daraus C. Röthlisberger-Jourdan KOST 6

7 Watch – Incident  und KaD § Ein Mitgliedsarchiv konnte ein aus einem Digitalisierungsprogramm stammendes TIFF (Format aus dem KaD) mit dem Standard-Viewer nicht öffnen.KaD 14.06.2016 Preservation-Prozess und die Erkenntnisse daraus C. Röthlisberger-Jourdan KOST 7 In der Folge wurde die KOST- Geschäftsstelle beigezogen.

8 Watch – Analysis 1.Die Komprimierungsart JPEG (6) wurde verwendet  Beschrieben in der TIFF-Spezifikation 6.0 von 1992  Ersetzt durch ISO JPEG (7) im Supplement 2 von 2002 14.06.2016 Preservation-Prozess und die Erkenntnisse daraus C. Röthlisberger-Jourdan KOST 8  JPEG (6) wird nicht mehr unterstützt und sollte nicht verwendet werden

9 Watch – Analysis 2.Es gibt zu viele Möglichkeiten, ein gültiges TIFF zu erstellen  Spezifizierte Baseline TIFFs (Muss für alle Programme): Bilevel, Grayscale, Palette-color & RGB Full Color Images 14.06.2016 Preservation-Prozess und die Erkenntnisse daraus C. Röthlisberger-Jourdan KOST 9 Erläuterung Datenkompression  mind. 29 verschiedene Möglichkeiten  9 in der Spezifikation und TN beschrieben  3 als Baseline definiert Farbraum  mind. 14 verschiedene Möglichkeiten  8 in der Spezifikation beschrieben  4 als Baseline definiert

10 Die Analysis wurde zu einem Report finalisiert  Was ist ein TIFF und wie ist es aufgebaut?  Probleme in der Praxis TIFF: Plan – Report  14.06.2016 Preservation-Prozess und die Erkenntnisse daraus C. Röthlisberger-Jourdan KOST 10 Datenkompression Farbraum Aufbau Bildpunkt Bildaufteilung Bilddaten Mehrere Seiten

11 Plan – Recommendation  Die Recommendation enthält in diesem Fall  TIFF-Präzisierung  Konvertierungspriorisierung  Konvertierungsanleitung 14.06.2016 Preservation-Prozess und die Erkenntnisse daraus C. Röthlisberger-Jourdan KOST 11

12 Plan – Communication  Die TIFF-Erkenntnisse wurden der KOST mitgeteilt  Workshop  Newsletter 14.06.2016 Preservation-Prozess und die Erkenntnisse daraus C. Röthlisberger-Jourdan KOST 12 TIFF !

13 Plan – Feedback § und Guidelines Die Erkenntnisse wurden auf der Homepage publiziert und flossen zurück in den KaD: http://kost-ceco.ch/cms/index.php?preservation_tiff_de http://www.kost-ceco.ch/wiki/whelp/KaD/pages/TIFF.html 14.06.2016 Preservation-Prozess und die Erkenntnisse daraus C. Röthlisberger-Jourdan KOST 13

14 Act – Assessment  und Planning  Die einzelnen KOST-Archive können danach mit den vorgeschlagenen Mitteln ein Assessment durchführen und ihr inviduelles Planning ausarbeiten. 14.06.2016 Preservation-Prozess und die Erkenntnisse daraus C. Röthlisberger-Jourdan KOST 14 Valide TIFF-Dateien Invalide TIFF-Dateien  TIFF-Dateien

15 Act – Implementation  und Validation Die Preservation Actions werden durch die KOST-Archive selbständig durchgeführt. Die PPEG steht bei Fragen und Problemen zur Verfügung und zeigt Möglichkeiten auf. 14.06.2016 Preservation-Prozess und die Erkenntnisse daraus C. Röthlisberger-Jourdan KOST 15

16 Act – Deployment  und Final Report Abgeschlossen werden die Preservation Actions durch das Zurückspielen in den Archival Storage zusammen mit der Dokumentation und Aktualisierung im AIS. 14.06.2016 Preservation-Prozess und die Erkenntnisse daraus C. Röthlisberger-Jourdan KOST 16

17 Check – Fixity Checks und Fixity Actions Unabhängig vom restlichen Preservation-Prozess werden in den einzelnen Archiven die Archivalien anhand ihrer Checksummen überprüft und ggf. mit einer unbeschädigten Kopie ersetzt. 14.06.2016 Preservation-Prozess und die Erkenntnisse daraus C. Röthlisberger-Jourdan KOST 17 MD5  

18 Erkenntnisse aus der KOST-Praxis 1.Im „Preservation Watch“ muss der Fehler zuerst erkannt werden 2.Konvertierungen und „Preservation Action“ nur sinnvoll und kontrolliert durchführen 3.Weitere Probleme 14.06.2016 Preservation-Prozess und die Erkenntnisse daraus C. Röthlisberger-Jourdan KOST 18

19 Erkenntnis Nr. 1: Watch „Preservation Watch“ ist die sprichwörtliche Suche nach der Nadel im Heuhaufen.  Auslöser bei einem Dateiformat aus dem KaD  Quelle: PPEG, KOST, Dritte, Web 14.06.2016 Preservation-Prozess und die Erkenntnisse daraus C. Röthlisberger-Jourdan KOST 19 WATCH

20 Erkenntnis Nr. 1: Watch Die Auslöser erscheinen zunächst meist als banale kleine Probleme, deren Relevanz für die Preservation erst erkannt werden muss:  Probleme beim Öffnen  Erstes Druckergebnis entspricht nicht dem Bildschirminhalt  Hardwarebug-Meldungen aus dem Web 14.06.2016 Preservation-Prozess und die Erkenntnisse daraus C. Röthlisberger-Jourdan KOST 20

21 Nur sinnvolle und kontrollierte Konvertierungen machen! Erkenntnis Nr. 2: Act 14.06.2016 Preservation-Prozess und die Erkenntnisse daraus C. Röthlisberger-Jourdan KOST 21 Kontrolle nicht nur anhand der „einfachen” Significant Properties! error loading image (I/O error reading image metadata!) } = {

22 Erkenntnis Nr. 2: Act Nur sinnvolle und kontrollierte Konvertierungen machen! 14.06.2016 Preservation-Prozess und die Erkenntnisse daraus C. Röthlisberger-Jourdan KOST 22 Sind es Fehler, welche eine Korrektur / Konversion auslösen?  Das benötigte Wissen ist nicht in jedem Archiv vorhanden  TI/A: TIFF Baseline Plus Proposal Veraltet, OK Problem

23 Erkenntnis Nr. 2: Act Nur sinnvolle und kontrollierte Konvertierungen machen! 14.06.2016 Preservation-Prozess und die Erkenntnisse daraus C. Röthlisberger-Jourdan KOST 23 Welcher PDF/A-Validator hat Recht?  Duale PDF/A-Validierung in PDF(/A)-Dateien Validator 1 Valide PDF/A-Dateien Validator 1 entscheidet ob das PDF/A valid ist. Über den "invaliden" Teil entscheidet der Validator 2. Validator 2 Invalide

24 MP4 ProRes DV MP4 ProRes DV Erkenntnis Nr. 2: Act Nur sinnvolle und kontrollierte Konvertierungen machen! 14.06.2016 Preservation-Prozess und die Erkenntnisse daraus C. Röthlisberger-Jourdan KOST 24 Muss die Datei wirklich in ein anderes Format konvertiert werden?    JPEG CDR TIFF BL+ JPEG2000 MP3 WAVE PCM FLAC FFV1 MJ2000 JPEG CDR MP3

25 Erkenntnis Nr. 2: Act Nur sinnvolle und kontrollierte Konvertierungen machen! 14.06.2016 Preservation-Prozess und die Erkenntnisse daraus C. Röthlisberger-Jourdan KOST 25

26 Erkenntnis Nr. 3: Weitere Probleme  Wie jeder Prozess kann auch der KOST-Preservation- Prozess nicht immer eingehalten werden.  Es gibt Fehler, welche irreversibel sind und wo einzig die Quelle sensibilisiert werden kann, damit nicht mehr solcher Dateien erstellt werden.  Die Ressourcen sind eine weitere Schwierigkeit. Es beansprucht oftmals Monate, die Analyse zu erstellen. 14.06.2016 Preservation-Prozess und die Erkenntnisse daraus C. Röthlisberger-Jourdan KOST 26

27 FAZIT: Konvertierungen  Machen Sie nur sinnvolle und kontrollierte Konvertierungen.  Testen und analysieren Sie die Konverter genau.  Setzen Sie wenn nötig mehrere Konverter ein.  Bestandeserhaltung kostet – auch im digitalen Bereich.  Behalten Sie wenn möglich die Originaldatei.  Die eierlegende Wollmichsau gibt es nur im Märchen.  Konvertieren Sie sinnvoll und kontrolliert solange es geht. Es gibt genügend Problemfälle für die Emulation. 14.06.2016 Preservation-Prozess und die Erkenntnisse daraus C. Röthlisberger-Jourdan KOST 27

28 FAZIT: Preservation Watch Wenn bei Ihnen ähnliche Probleme mit einem zentralen Archivformat existieren oder auftauchen, nehmen Sie sich die Zeit, sie zu analysieren oder wenigstens die KOST zu informieren. Wir interessieren uns für jede potentielle Nadel. Claire Röthlisberger-Jourdan claire.roethlisberger@kost.admin.ch 14.06.2016 Preservation-Prozess und die Erkenntnisse daraus C. Röthlisberger-Jourdan KOST 28