Daten&Storagekonzept für die HGF HPC-Datentreffen KIT, 30. September 2011 Volker Gülzow DESY.

Präsentation zum Thema: "Daten&Storagekonzept für die HGF HPC-Datentreffen KIT, 30. September 2011 Volker Gülzow DESY."—  Präsentation transkript:

1 Daten&Storagekonzept für die HGF HPC-Datentreffen KIT, 30. September 2011 Volker Gülzow DESY

2 Volker Gülzow | HPC Datentreffen| 30.10 2011 | Seite 2 Das Pyramidenmodell des HPC CapabilityPerf # Systems capacity

3 Volker Gülzow | HPC Datentreffen| 30.10 2011 | Seite 3 1.) Haben wir Anwendungen, die kurzzeitig große Ressourcen brauchen wie HPC-Projekte? 2.) Sind die Datenquellen UND DER Standort ohne Bedeutung? 3.) Haben wir ein gleiches Betriebsmodell? 4.) Sind die Nutzer gleichermaßen ausgebildet? 5.) Wo ist das HPC Pyramidenmodell übertragbar? -> DESY-Position: Wir brauchen ein erweitertes Modell Ein Datenkonzept I : Passt das Pyramidenmodell?

4 Volker Gülzow | HPC Datentreffen| 30.10 2011 | Seite 4 Ein Datenkonzept II: Das themenorientierte Modell Klima Photon Genseq Fair FusionATLAS/CMS Kleine Gruppen Bio andere Satelliten

5 Volker Gülzow | HPC Datentreffen| 30.10 2011 | Seite 5 Ein Datenkonzept II: Das themenorientierte Modell Klimasimulation Forschung m. Photon z.B. XFEL Medizin z.B. Kohorte Kern- Teilchenphysik z.B. LHC&Fair Energie z.B. Fusion Chemie Luft- u. Raumfahrt, Verkehr Biologie z.B. Gensequenzierung ………… EOS/Satelliten Integriertes Datenmanagement

6 Volker Gülzow | HPC Datentreffen| 30.10 2011 | Seite 6 Datenkonzept III > Große Forschungsthemen wie z.B. Forschung mit Photonen, Gensequenzierung etc. produzieren alleine viele -zig PB Daten/Jahr > Die enge Verbindung von Analyse und Datenspeicherung ist ein Mehrwert, fachlich und technisch > Innerhalb eines Forschungsgebietes macht ein Pyramidenmodell Sinn (z.B. werden Beamlines am DESY von anderen Zentren betrieben) > Ein HGF-weites Angebot für kleine Gruppen ist sinnvoll > Verteilte Konzept sind gewinnbringend für Services wie z.B. Backup > Gemeinsame Lösung für „long term data preservation“ sind nötig (HEP hat z.B. eine Initiative) > Gemeinsame Softwareentwicklungen, Metadatenkonzepte, Interfaces, Know How exchange etc sind ein Gewinn > Forschungsbereichsübergreifende Aktivität

7 Volker Gülzow | HPC Datentreffen| 30.10 2011 | Seite 7 Application Prev. gen. data rates [GB/h] Planned data rates [GB/h] CPU Vielfache PeakAveragePeakAverage [*measurement duration] Protein Crystallography500505002001-10 Coherent diffraction imaging500504000400>100 Tomography70050800200>100 Spectroscopy 4504518.0001.800>100 Small angle scattering1.40014014.4004.200>>1000 Grain mapping14080800300>10 In-situ dilatometry1412530200>10 in-situ imagingN/A 600110>100 Focal spectrometer150 3.000 >10 Nano-Crystallography (FEL)1.500 30.000 >>1000

8 Volker Gülzow | HPC Datentreffen| 30.10 2011 | Seite 8 Zu den Kosten > Disk-Space ist abhängig von der Qualität: > Einfach am Netz: ~ 200-300€/TB > Mittel am Netz: ~ 800-1000€/TB > Hochwertig am Netz: ~ 2000€/TB > Tape 800 GB LTO5: ~ 40€ > Analysefarm/Cluster > Personal z.B. 4 FTE zum reinen Betrieb von einigen PB disk/tape > Netzwerk > ….

9 Volker Gülzow | HPC Datentreffen| 30.10 2011 | Seite 9 Konzeptpapier sollte enthalten: > Verteilten Ansatz, themenorientiert > Mehrwert für die HGF > Bedarfsabschätzungen z.B. 50 PB/Jahr für Photon Science usw > Lösungsvorschläge > Softwarethemen > Infrastrukturthemen