Zentrale IT-Services aus der Perspektive eines Experimentalphysikers Rainer Mankel DESY Hamburg

Typische Perspektiven Gastwissenschaftler (Student oder PostDoc) kennt Situation an anderen Instituten findet übereinstimmende wie abweichende Konzepte erwartet standardisierte Services sucht Information, Lösungen und Ansprechpartner (Langjähriger) DESYaner hat sich an alles gewöhnt & glaubt daß es so normal ist etablierter Arbeitsstil, kennt Lösungen für „seine“ IT-Probleme kennt Ansprechpartner oft sehr konservativ (Userid f15xyz...), lieber nichts ändern Gastwissenschaftler („Dignified Professor“) kein signifikanter CPU-Verbrauch Schwerpunkt auf elementaren Services: Kommunikation, Drucken, vergessenes Passwort fixen, versehentlich gelöschte Files zurückholen Experiment-Computing Klare Aufgaben bei Rekonstruktion und Datenalyse R. Mankel, DESY Computing 1-Oct-2002

R. Mankel, DESY Computing Gestern & Heute Gestern ging man nach Hause wenn der Strom ausfiel die IBM down war Heute geht man nach Hause wenn Strom oder Netzwerk ausfallen AFS nicht geht (z.B. Binary Server) OSM oder dCache ein größeres Problem haben das Netzwerk-Kabel für das Notebook fehlt R. Mankel, DESY Computing 1-Oct-2002

Experiment-Computing (z.B. ZEUS) Tape storage incr. 20-40 TB/year 50 M  200 M Events/year MC production Data processing/ reprocessing ~450 Users Disk storage 3-5 TB/year Data mining Interactive Data Analysis R. Mankel, DESY Computing 1-Oct-2002

Number Crunching: die Farmen HERA-II bringt (zumindest langfristig...) steigende Ereignisraten & Datenmengen: Ereignisgröße, Ereignisraten -> höhere Datenraten Aber auch: die Standards bei der Analysegeschwindigkeit wachsen ständig Abstand zwischen „letzter Batch Analyse“ und Präsentation der Daten (z.B. Kollaborationstreffen) wird immer kleiner früher 4 Wochen, jetzt 1 Woche Moderne PC-Farmen und Commodity Fileserver bringen die nötige Leistung, verlangen aber auch der zentralen Infrastruktur immer mehr ab Installation, Stromversorgung Netzwerk Konsolzugang R. Mankel, DESY Computing 1-Oct-2002

Leistungssprung für HERA-II 3 M Rekonstruierte Ereignisse (pro Tag) 1.5 M 450 k R. Mankel, DESY Computing 1-Oct-2002

Commodity Computing: Fluch & Segen HERA-Experimente verwenden ca. 100 Farm-PCs pro Experiment ca. 500 Farm-PCs bei DESY-HH Typische “Lebensdauer” 3-4 Jahre 1999: 350 MHz 2002: Dual 2.2 GHz Sehr wichtig: Hardware-Installationssupport Linux-Support Konsolzugang Konfigurationspflege Daß PC-Spiele und HEP-Analyseprogramme dieselbe Hardware benutzen, ist vermutlich nur ein Zwischenstadium 1U-Server ? Systemlösungen? Was kommt nach Linux? R. Mankel, DESY Computing 1-Oct-2002

Zum Vergleich: Fermilab Fermilab hat im September auf einen Schlag 434 PCs geliefert bekommen beachtliche logistische Herausforderung: was tun wenn der Laster kommt? wohin mit all den Kartons („Burn-in Phase“), wo einstöpseln? Abwärme Verdoppelt die Zahl der Einheiten (bei gleichbleibendem Personalstand) Auch wir müssen lernen, wie man wirklich große Systeme unterstützen kann R. Mankel, DESY Computing 1-Oct-2002

R. Mankel, DESY Computing File Server Geänderte Paradigmen: Vergrößerung der Disk Area reduziert Zahl der Zugriffe auf die Tape Library ZEUS Disk Space (Ereignisdaten): Anfang 2000: 3 TB davon FC+SCSI: 100% Mitte 2001: 9 TB 67% Mitte 2002: 18 TB 47% Notwendiges Wachstum war in der Form nur mit Commodity Komponenten möglich R. Mankel, DESY Computing 1-Oct-2002

Linux @ DESY - eine Erfolgsstory Linux schaffte es in den letzten Jahren von “Null Support” zu einer strategischen Plattform Andere (Vendor-) UNIX auf dem Rückzug R. Mankel, DESY Computing 1-Oct-2002

R. Mankel, DESY Computing dCache Leistungsfähige Mass Storage Middleware für alle DESY-Gruppen hat bei ZEUS tpfs (1997) und SSF (2000) abgelöst Erlaubt den Aufbau großer, verteilter Cache Server Systeme Nun ein Schlüsselsystem für die HEP-Experimente Zuverlässigkeit muss immer weiter perfektioniert werden Output (User read) Input (Staging) R. Mankel, DESY Computing 1-Oct-2002

R. Mankel, DESY Computing Interaktive Umgebung Desktops und Workgroup Server Primäre Funktionen: Rechenpower & Plattenplatz für interaktive Analyse Integration of Linux (WGS) and Windows (Desktop) Basisstation für mobiles Computing (notebooks) Probleme: Crossmounts der Platten zwischen Workgroup Servern und Desktops Verwaltung, Performance, Stabilität (NFS) Cross Platform Support Wir brauchen einen „Large File Space“ skalierbar exportiert Verzeichnisse auf „alle“ Rechner unterstützt UNIX und Windows Zentrales Backup R. Mankel, DESY Computing 1-Oct-2002

R. Mankel, DESY Computing Netzwerke So wichtig wie Elektrizität In kaum einem Bereich waren Verbesserungen in den letzten Jahren so stark spürbar switched networks Gb backbone Dynamische VLANs Funk-LANs In kaum einem Bereich gewöhnt man sich so schnell daran Zukunft: lohnt es sich, noch Fast Ethernet zu kaufen? 10 Gbit Ethernet wird kommen Funk-LAN auf dem gesamten Campus ? (oder zumindest in Geb. 1a-e ...) R. Mankel, DESY Computing 1-Oct-2002

Veränderung der kollaborativen Umgebung Bisher waren HEP-Kollaborationen stark „DESY-zentrisch“ Zukunft: Rolle der externen Institute wird gestärkt Beispiel: neues ZEUS Event Display portabler C++ Client Client/Server Struktur Zugriff auf zentrale Geometrie und Ereignisdaten via HTTP auf Programme und dynamische Bibliotheken via AFS auch Online-Events überall sichtbar New vertex detector within calorimeter (new ZEUS event display) R. Mankel, DESY Computing 1-Oct-2002

Kollaborative Applikationen (Forts.) DESY sollte die Unterstützung der externen Institute weiter verbessern In Zukunft wird GRID-Computing die Standards setzen Verallgemeinerung des WWW auf Hochleistungscomputing „Virtuelle Communities“ „Resource Sharing“ Es ist wichtig, den Anschluß nicht zu verpassen Pilotprojekt? R. Mankel, DESY Computing 1-Oct-2002

Kollaborative Arbeit: Meetings Nicht mehr zeitgemaess: Wie organisiert man Meetings so, dass elektronische Praesentationen automatisch vom Sprecher aufs Web hochgeladen werden und von dort abgerufen werden koennen? R. Mankel, DESY Computing 1-Oct-2002

Eine ZEUS-Lösung: ZEMS ein Groupware Tool fuer DESY? R. Mankel, DESY Computing 1-Oct-2002

R. Mankel, DESY Computing Email Email ist das wichtigste Kommunikationsmittel großer internationaler Kollaborationen Niemand kann mit so vielen Kollegen mehr per Telefon, Fax oder selbst Meetings kommunizieren Schnelligkeit und Zuverlässigkeit der Email bestimmen die Effizienz Viele Wissenschaftler organisieren ihren gesamten Arbeitsablauf mittels Mailbox, Mailfolder etc (“Schicken Sie mir eine Mail”) Probleme & Herausforderungen: Mobiler Zugang (SSL-basierter Zugriff auf SMTP Server) Schnelligkeit Spam Vernetzung von Mailinglisten mit Kollaborationsverzeichnissen etc R. Mankel, DESY Computing 1-Oct-2002

“Home-Computing” - RAS Immer mehr Systeme der Experimente erlauben Ferndiagnose per Internet Experten diagnostizieren ihre Systeme von Zuhause, greifen in die Steuerung ein Probleme: Zugriffsrechte ISDN ist für viele Anwendungen zu langsam VPN ist essentiell Wie können wir DSL einbinden? (entsprechend Callback) R. Mankel, DESY Computing 1-Oct-2002

Der „Travelling Scientist“ HEP-weiter Trend zum „mobilen Computing“ wird auch bei DESY zunehmen Der „Travelling Scientist“ reist typischerweise mit einem Notebook, und will, wo immer er ist (DESY, CERN, FNAL, Starbuck‘s, zuhause), Zugang zu seiner Email seinem Webserver seinem Homeverzeichnis irgendeinem Scanner und Drucker Typische Probleme: Netzwerkverbindung (Classical & Wireless) Netzwerkprivilegien, Zugriff auf Peripherie Limitierungen des Mailservers Konfiguration des Notebooks R. Mankel, DESY Computing 1-Oct-2002

Das Applikations-Defizit Der Zugang zu allgemeinen Applikationen ist verbesserungsfähig Beispielsweise werden zur Anfertigung von Vorträgen, Bildern etc oft die seltsamsten Programme benutzt Gründe: Betriebssystem und Applikation passen nicht zusammen Unkenntnis & fehlender Überblick fehlende Anlaufstellen bei Problemen Auswege: transparenter Zugang zu UNIX und Windows für jeden Wissenschaftler „Knowledge Database“ – die wichtigsten Probleme bei Word, StarOffice, PowerPoint, DreamWeaver, PhotoShop etc (& ihre Lösung) Expertenhilfe aus dem Rechenzentrum Besondere Unterstützung fuer Schlüsselapplikationen (z.B. ROOT) Windows UNIX R. Mankel, DESY Computing 1-Oct-2002

R. Mankel, DESY Computing 1-Oct-2002

R. Mankel, DESY Computing DESY: Powered by ??? Es gibt nur eine wirkliche Rechtfertigung für die hohen öffentlichen Mittel, die DESY zu seiner Finanzierung braucht: „Spitzenforschung auf absolutem Weltniveau“ „Meßbare“ Qualitätskriterien: Zahl der Publikationen, Artikel, Zitierungen Zahl der auswärtigen Wissenschaftler Zahl der Doktorarbeiten Unterstützung von Universitätsgruppen etc R. Mankel, DESY Computing 1-Oct-2002

R. Mankel, DESY Computing Ausblick Die technischen Möglichkeiten werden sich weiterentwickeln, ebenso die Ansprüche Auch die zentralen Dienste werden internationaler werden, in globalen Kooperationen arbeiten Die Zusammenarbeit zwischen zentralen Diensten & IT wird sich intensivieren Es wird immer mehr Nutzer geben, die DESY noch nie gesehen haben. Wir sollten mehr für die externen Gruppen tun R. Mankel, DESY Computing 1-Oct-2002

DESY-Computing vor 10 Jahren… Es hat sich sehr viel getan... Es wird sich auch in Zukunft noch viel tun. R. Mankel, DESY Computing 1-Oct-2002