Zentrale IT-Services aus der Perspektive eines Experimentalphysikers

Präsentation zum Thema: "Zentrale IT-Services aus der Perspektive eines Experimentalphysikers"—  Präsentation transkript:

1 Zentrale IT-Services aus der Perspektive eines Experimentalphysikers
Rainer Mankel DESY Hamburg

2 Typische Perspektiven
Gastwissenschaftler (Student oder PostDoc) kennt Situation an anderen Instituten findet übereinstimmende wie abweichende Konzepte erwartet standardisierte Services sucht Information, Lösungen und Ansprechpartner (Langjähriger) DESYaner hat sich an alles gewöhnt & glaubt daß es so normal ist etablierter Arbeitsstil, kennt Lösungen für „seine“ IT-Probleme kennt Ansprechpartner oft sehr konservativ (Userid f15xyz...), lieber nichts ändern Gastwissenschaftler („Dignified Professor“) kein signifikanter CPU-Verbrauch Schwerpunkt auf elementaren Services: Kommunikation, Drucken, vergessenes Passwort fixen, versehentlich gelöschte Files zurückholen Experiment-Computing Klare Aufgaben bei Rekonstruktion und Datenalyse R. Mankel, DESY Computing 1-Oct-2002

3 R. Mankel, DESY Computing
Gestern & Heute Gestern ging man nach Hause wenn der Strom ausfiel die IBM down war Heute geht man nach Hause wenn Strom oder Netzwerk ausfallen AFS nicht geht (z.B. Binary Server) OSM oder dCache ein größeres Problem haben das Netzwerk-Kabel für das Notebook fehlt R. Mankel, DESY Computing 1-Oct-2002

4 Experiment-Computing (z.B. ZEUS)
Tape storage incr. 20-40 TB/year 50 M  200 M Events/year MC production Data processing/ reprocessing ~450 Users Disk storage 3-5 TB/year Data mining Interactive Data Analysis R. Mankel, DESY Computing 1-Oct-2002

5 Number Crunching: die Farmen
HERA-II bringt (zumindest langfristig...) steigende Ereignisraten & Datenmengen: Ereignisgröße, Ereignisraten -> höhere Datenraten Aber auch: die Standards bei der Analysegeschwindigkeit wachsen ständig Abstand zwischen „letzter Batch Analyse“ und Präsentation der Daten (z.B. Kollaborationstreffen) wird immer kleiner früher 4 Wochen, jetzt 1 Woche Moderne PC-Farmen und Commodity Fileserver bringen die nötige Leistung, verlangen aber auch der zentralen Infrastruktur immer mehr ab Installation, Stromversorgung Netzwerk Konsolzugang R. Mankel, DESY Computing 1-Oct-2002

6 Leistungssprung für HERA-II
3 M Rekonstruierte Ereignisse (pro Tag) 1.5 M 450 k R. Mankel, DESY Computing 1-Oct-2002

7 Commodity Computing: Fluch & Segen
HERA-Experimente verwenden ca. 100 Farm-PCs pro Experiment ca. 500 Farm-PCs bei DESY-HH Typische “Lebensdauer” 3-4 Jahre 1999: 350 MHz : Dual 2.2 GHz Sehr wichtig: Hardware-Installationssupport Linux-Support Konsolzugang Konfigurationspflege Daß PC-Spiele und HEP-Analyseprogramme dieselbe Hardware benutzen, ist vermutlich nur ein Zwischenstadium 1U-Server ? Systemlösungen? Was kommt nach Linux? R. Mankel, DESY Computing 1-Oct-2002

8 Zum Vergleich: Fermilab
Fermilab hat im September auf einen Schlag 434 PCs geliefert bekommen beachtliche logistische Herausforderung: was tun wenn der Laster kommt? wohin mit all den Kartons („Burn-in Phase“), wo einstöpseln? Abwärme Verdoppelt die Zahl der Einheiten (bei gleichbleibendem Personalstand) Auch wir müssen lernen, wie man wirklich große Systeme unterstützen kann R. Mankel, DESY Computing 1-Oct-2002

9 R. Mankel, DESY Computing
File Server Geänderte Paradigmen: Vergrößerung der Disk Area reduziert Zahl der Zugriffe auf die Tape Library ZEUS Disk Space (Ereignisdaten): Anfang 2000: TB davon FC+SCSI: 100% Mitte 2001: TB % Mitte 2002: 18 TB % Notwendiges Wachstum war in der Form nur mit Commodity Komponenten möglich R. Mankel, DESY Computing 1-Oct-2002

10 Linux @ DESY - eine Erfolgsstory
Linux schaffte es in den letzten Jahren von “Null Support” zu einer strategischen Plattform Andere (Vendor-) UNIX auf dem Rückzug R. Mankel, DESY Computing 1-Oct-2002

11 R. Mankel, DESY Computing
dCache Leistungsfähige Mass Storage Middleware für alle DESY-Gruppen hat bei ZEUS tpfs (1997) und SSF (2000) abgelöst Erlaubt den Aufbau großer, verteilter Cache Server Systeme Nun ein Schlüsselsystem für die HEP-Experimente Zuverlässigkeit muss immer weiter perfektioniert werden Output (User read) Input (Staging) R. Mankel, DESY Computing 1-Oct-2002

12 R. Mankel, DESY Computing
Interaktive Umgebung Desktops und Workgroup Server Primäre Funktionen: Rechenpower & Plattenplatz für interaktive Analyse Integration of Linux (WGS) and Windows (Desktop) Basisstation für mobiles Computing (notebooks) Probleme: Crossmounts der Platten zwischen Workgroup Servern und Desktops Verwaltung, Performance, Stabilität (NFS) Cross Platform Support Wir brauchen einen „Large File Space“ skalierbar exportiert Verzeichnisse auf „alle“ Rechner unterstützt UNIX und Windows Zentrales Backup R. Mankel, DESY Computing 1-Oct-2002

13 R. Mankel, DESY Computing
Netzwerke So wichtig wie Elektrizität In kaum einem Bereich waren Verbesserungen in den letzten Jahren so stark spürbar switched networks Gb backbone Dynamische VLANs Funk-LANs In kaum einem Bereich gewöhnt man sich so schnell daran Zukunft: lohnt es sich, noch Fast Ethernet zu kaufen? 10 Gbit Ethernet wird kommen Funk-LAN auf dem gesamten Campus ? (oder zumindest in Geb. 1a-e ...) R. Mankel, DESY Computing 1-Oct-2002

14 Veränderung der kollaborativen Umgebung
Bisher waren HEP-Kollaborationen stark „DESY-zentrisch“ Zukunft: Rolle der externen Institute wird gestärkt Beispiel: neues ZEUS Event Display portabler C++ Client Client/Server Struktur Zugriff auf zentrale Geometrie und Ereignisdaten via HTTP auf Programme und dynamische Bibliotheken via AFS auch Online-Events überall sichtbar New vertex detector within calorimeter (new ZEUS event display) R. Mankel, DESY Computing 1-Oct-2002

15 Kollaborative Applikationen (Forts.)
DESY sollte die Unterstützung der externen Institute weiter verbessern In Zukunft wird GRID-Computing die Standards setzen Verallgemeinerung des WWW auf Hochleistungscomputing „Virtuelle Communities“ „Resource Sharing“ Es ist wichtig, den Anschluß nicht zu verpassen Pilotprojekt? R. Mankel, DESY Computing 1-Oct-2002

16 Kollaborative Arbeit: Meetings
Nicht mehr zeitgemaess: Wie organisiert man Meetings so, dass elektronische Praesentationen automatisch vom Sprecher aufs Web hochgeladen werden und von dort abgerufen werden koennen? R. Mankel, DESY Computing 1-Oct-2002

17 Eine ZEUS-Lösung: ZEMS
ein Groupware Tool fuer DESY? R. Mankel, DESY Computing 1-Oct-2002

18 R. Mankel, DESY Computing
ist das wichtigste Kommunikationsmittel großer internationaler Kollaborationen Niemand kann mit so vielen Kollegen mehr per Telefon, Fax oder selbst Meetings kommunizieren Schnelligkeit und Zuverlässigkeit der bestimmen die Effizienz Viele Wissenschaftler organisieren ihren gesamten Arbeitsablauf mittels Mailbox, Mailfolder etc (“Schicken Sie mir eine Mail”) Probleme & Herausforderungen: Mobiler Zugang (SSL-basierter Zugriff auf SMTP Server) Schnelligkeit Spam Vernetzung von Mailinglisten mit Kollaborationsverzeichnissen etc R. Mankel, DESY Computing 1-Oct-2002

19 “Home-Computing” - RAS
Immer mehr Systeme der Experimente erlauben Ferndiagnose per Internet Experten diagnostizieren ihre Systeme von Zuhause, greifen in die Steuerung ein Probleme: Zugriffsrechte ISDN ist für viele Anwendungen zu langsam VPN ist essentiell Wie können wir DSL einbinden? (entsprechend Callback) R. Mankel, DESY Computing 1-Oct-2002

20 Der „Travelling Scientist“
HEP-weiter Trend zum „mobilen Computing“ wird auch bei DESY zunehmen Der „Travelling Scientist“ reist typischerweise mit einem Notebook, und will, wo immer er ist (DESY, CERN, FNAL, Starbuck‘s, zuhause), Zugang zu seiner seinem Webserver seinem Homeverzeichnis irgendeinem Scanner und Drucker Typische Probleme: Netzwerkverbindung (Classical & Wireless) Netzwerkprivilegien, Zugriff auf Peripherie Limitierungen des Mailservers Konfiguration des Notebooks R. Mankel, DESY Computing 1-Oct-2002

21 Das Applikations-Defizit
Der Zugang zu allgemeinen Applikationen ist verbesserungsfähig Beispielsweise werden zur Anfertigung von Vorträgen, Bildern etc oft die seltsamsten Programme benutzt Gründe: Betriebssystem und Applikation passen nicht zusammen Unkenntnis & fehlender Überblick fehlende Anlaufstellen bei Problemen Auswege: transparenter Zugang zu UNIX und Windows für jeden Wissenschaftler „Knowledge Database“ – die wichtigsten Probleme bei Word, StarOffice, PowerPoint, DreamWeaver, PhotoShop etc (& ihre Lösung) Expertenhilfe aus dem Rechenzentrum Besondere Unterstützung fuer Schlüsselapplikationen (z.B. ROOT) Windows UNIX R. Mankel, DESY Computing 1-Oct-2002

22 R. Mankel, DESY Computing
1-Oct-2002

23 R. Mankel, DESY Computing
DESY: Powered by ??? Es gibt nur eine wirkliche Rechtfertigung für die hohen öffentlichen Mittel, die DESY zu seiner Finanzierung braucht: „Spitzenforschung auf absolutem Weltniveau“ „Meßbare“ Qualitätskriterien: Zahl der Publikationen, Artikel, Zitierungen Zahl der auswärtigen Wissenschaftler Zahl der Doktorarbeiten Unterstützung von Universitätsgruppen etc R. Mankel, DESY Computing 1-Oct-2002

24 R. Mankel, DESY Computing
Ausblick Die technischen Möglichkeiten werden sich weiterentwickeln, ebenso die Ansprüche Auch die zentralen Dienste werden internationaler werden, in globalen Kooperationen arbeiten Die Zusammenarbeit zwischen zentralen Diensten & IT wird sich intensivieren Es wird immer mehr Nutzer geben, die DESY noch nie gesehen haben. Wir sollten mehr für die externen Gruppen tun R. Mankel, DESY Computing 1-Oct-2002

25 DESY-Computing vor 10 Jahren…
Es hat sich sehr viel getan... Es wird sich auch in Zukunft noch viel tun. R. Mankel, DESY Computing 1-Oct-2002