SPOC Full Service Desk, Verteilter User Support, 31. Januar 2006, Berlin Forschungszentrum Karlsruhe in der Helmholtz-Gemeinschaft 1 / 43 Verteilter User-Support in einem internationalen Großprojekt Institut für Wissenschaftliches Rechnen Rainer Kupsch

SPOC Full Service Desk, Verteilter User Support, 31. Januar 2006, Berlin Forschungszentrum Karlsruhe in der Helmholtz-Gemeinschaft 2 / 43 Das EGEE-Projekt Historie von GGUS Konzept für ein Service Portal Status der Implementierung Ausblick Inhalt

SPOC Full Service Desk, Verteilter User Support, 31. Januar 2006, Berlin Forschungszentrum Karlsruhe in der Helmholtz-Gemeinschaft 3 / 43 Eine der größten wissenschaftlichen Forschungseinrichtungen in Europa mit 3800 Beschäftigten Forschungszentrum Karlsruhe 5 Forschungsgebiete: Struktur der Materie Erde und Umwelt Gesundheit Energie Schlüsseltechnologien -Nanotechnologie -Grid Computing

SPOC Full Service Desk, Verteilter User Support, 31. Januar 2006, Berlin Forschungszentrum Karlsruhe in der Helmholtz-Gemeinschaft 4 / 43 e-Science Initiave D-GridWissensmanagemente-Learning Institut für Wissenschaftliches Rechnen ►Rechenzentrum des Forschungszentrums ►Forschungsprojekte im Bereich Grid Computing: EGEE/GGUS CampusGrid D-Grid Bereitstellung einer europaweiten, standardisierten Grid-Infrastruktur Globaler Grid-User-Support Plattform-übergreifendes heterogenes Grid Aufbau einer deutschen Grid-Infrastruktur

SPOC Full Service Desk, Verteilter User Support, 31. Januar 2006, Berlin Forschungszentrum Karlsruhe in der Helmholtz-Gemeinschaft 5 / 43 Was ist Grid-Computing  Zugriff auf weltweit verteilte Rechen- und Speicherressourcen  Herausforderungen: Globale Benutzerverwaltung Entwicklung einer stabilen und skalierbaren „Middleware“ Globale Sicherheit (Authentifizierung und Autorisierung) Globales Filesystem (Filekataloge) Globales Monitoring verfügbarer Ressourcen Universelle Job-Steuerungs- und Resource Broker Mechanismen Definition und Überprüfung von SLAs (Globaler) Grid User Support

SPOC Full Service Desk, Verteilter User Support, 31. Januar 2006, Berlin Forschungszentrum Karlsruhe in der Helmholtz-Gemeinschaft 6 / 43 Was ist Grid-Computing

SPOC Full Service Desk, Verteilter User Support, 31. Januar 2006, Berlin Forschungszentrum Karlsruhe in der Helmholtz-Gemeinschaft 7 / 43 ~ 9 km Das LCG Projekt, ein Baustein zum EGEE (Experimente der Hochenergie Physik) Durch Teilchenkollisionen Beantwortung von fundamentalen Fragen der Physik: Welches Teilchen ist verantwortlich für die Masse der Materie? Warum bestehen wir aus Materie und nicht aus Antimaterie? Was geschah in der ersten Nanosekunde nach dem Urknall? Gibt es eine Universalwechselwirkung, die die 4 bekannten fundamentalen Kräfte vereint?

SPOC Full Service Desk, Verteilter User Support, 31. Januar 2006, Berlin Forschungszentrum Karlsruhe in der Helmholtz-Gemeinschaft 8 / 43 Datenaufkommen durch die LHC-Projekte 2007 Jährliche Datenmenge: 100 MB pro Sek. x ~200 Experimenttage = 8 PB Messdaten + 4 PB Simulationsdaten 12 PB Gesamtdatenvolumen 1 PB = GB Idee: World Wide Grid (WWG) Vergleiche: Wenn 1 Byte = …. ist  ist 1 PB …. 1 Sekunde  32 Millionen Jahre 1 Blatt Papier  1 Stapel mit 100 Millionen Kilometern

SPOC Full Service Desk, Verteilter User Support, 31. Januar 2006, Berlin Forschungszentrum Karlsruhe in der Helmholtz-Gemeinschaft 9 / 43 Tier 3 (Instituts- rechner) Tier 4 ( Desktop)    Tier 2 (Uni-RZs, Lab-RZs) Lab y Uni a Lab i Uni b Lab z Lab x Uni c Uni d Uni e    Deutschland (FZK) Tier 1 USA (Fermi, BNL) UK (RAL) Frankreich (IN2P3) Italien (CNAF) ………. Japan (Uni Tokio) Taiwan (Acad.Sinica) Tier 0 Das LHC Computing Grid Projekt - LCG

SPOC Full Service Desk, Verteilter User Support, 31. Januar 2006, Berlin Forschungszentrum Karlsruhe in der Helmholtz-Gemeinschaft 10 / 43 Ziele des EGEE Projektes EU Förderprogramm für 4 Jahre mit Startdatum April 2004  Beteiligung von Experten (auch andere Wissenschaften) von 70 Institutionen aus über 27 Ländern  Aufbau einer (europäischen) Grid Infrastruktur mit 24 Stunden/Tag Verfügbarkeit  Umsetzung von Forschungsergebnissen zu Grid-Technologien  Hauptaugenmerk auf folgende Bereichen: Synergien ●Aufbau eines konsistenten, robusten und sicheren Grid-Netzwerkes, welches zusätzliche Rechenleistung anziehen soll. ●Instandhaltung und kontinuierliche Verbesserung der Middleware, um zuverlässige Dienste für die Benutzer zu liefern. ●Gewinnung neuer Benutzer aus der Industrie und dem universitären Bereich, sowie Bereitstellung von Schulungen und Betreuung auf dem benötigten Niveau.

SPOC Full Service Desk, Verteilter User Support, 31. Januar 2006, Berlin Forschungszentrum Karlsruhe in der Helmholtz-Gemeinschaft 11 / 43 Country providing resources Country anticipating joining EGEE/LCG In EGEE-0 (Startup)  > 100 sites  > 10,000 CPUs  > 5 PB storage Verfügbare Ressourcen im EGEE

SPOC Full Service Desk, Verteilter User Support, 31. Januar 2006, Berlin Forschungszentrum Karlsruhe in der Helmholtz-Gemeinschaft

SPOC Full Service Desk, Verteilter User Support, 31. Januar 2006, Berlin Forschungszentrum Karlsruhe in der Helmholtz-Gemeinschaft 13 / 43 Globale (Grid) Strukturen C C    D M C D D    C R   R D C   Virtual Organisation (VO) „ALICE“ C C VO „ATLAS“ C    C CC CC   

SPOC Full Service Desk, Verteilter User Support, 31. Januar 2006, Berlin Forschungszentrum Karlsruhe in der Helmholtz-Gemeinschaft 14 / 43 Globale (Grid) Strukturen C C    D M C D D    C R   R D C   Virtual Organisation (VO) „ALICE“ C C VO „ATLAS“ C    C CC CC    Interoperabilität Verfügbarkeit User Management User Support

SPOC Full Service Desk, Verteilter User Support, 31. Januar 2006, Berlin Forschungszentrum Karlsruhe in der Helmholtz-Gemeinschaft 15 / 43 Der IWR-Beitrag zum EGEE-Projekt  Betrieb einer Zertifizierungsstelle  Bereitstellung von Ressourcen bei GridKa (EGEE, nonLHC-Projekte)  Globaler Grid User Support (GGUS) Okt 2004Apr 2005Okt 2005März 2008 Processors Compute power / kSI2k Disk [TB] Tape [TB] Internet [Gb/s]10 20

SPOC Full Service Desk, Verteilter User Support, 31. Januar 2006, Berlin Forschungszentrum Karlsruhe in der Helmholtz-Gemeinschaft 16 / 43 Das EGEE-Projekt Historie von GGUS Konzept für ein Service Portal Status der Implementierung Ausblick Inhalt

SPOC Full Service Desk, Verteilter User Support, 31. Januar 2006, Berlin Forschungszentrum Karlsruhe in der Helmholtz-Gemeinschaft 17 / 43 Überlegungen zum verteilten User Support innnerhalb des LCG-Projektes  Verfügbarkeit 24*7 Stunden, 3-Schichtbetrieb nicht möglich  Verteilung auf drei Supportgruppen in unterschiedlichen Zeitzonen (8 Std. Zeitverschiebung)  Ein zentrales Portal versus Synchronisation zwischen zwei (drei) Portalen  SPOC  Action Request System Remedy sollte Basis sein  Erfassung relevanter Eingabefelder für ein HD-System auf Basis eines vorliegenden Konzeptes  Anbindung: Cern Deployment Support Experiment-spezifischer User Support Grid Operations Center

SPOC Full Service Desk, Verteilter User Support, 31. Januar 2006, Berlin Forschungszentrum Karlsruhe in der Helmholtz-Gemeinschaft 18 / 43 Aufbau von GGUS innerhalb des LCG-Projektes Suche nach zwei Partnern in unterschiedlichen Zeitzonen mit jeweils 8 Stunden Zeitverschiebung Partner: Computing Centre, Academia Sinica, Taiwan Mögliche Partner USA: Fermilab in Batavia, Illinois; SLAC in Stanford

SPOC Full Service Desk, Verteilter User Support, 31. Januar 2006, Berlin Forschungszentrum Karlsruhe in der Helmholtz-Gemeinschaft 19 / 43 Weitere Historie  04/03: Erster Konzeptentwurf Globaler Grid User Support im LCG  05/03: Start der Implementation von GGUS nach Zustimmung durch offizielle LCG-Gremien  08/03: Erster Prototype für GridKa User  10/03: User Support für GridKa User  04/04: GGUS Partnerschaft mit ASCC  04/04: Beginn des EGEE-Projektes mit neuen Organisationsstrukturen  ab 05/04: Definition der Prozesse innerhalb EGEE  Beschluss Ende 2004: GGUS wird zentrale Integrationsplattform für Support-Requests innerhalb EGEE  02/05: Einsetzung des Executive Support Committee; ESC (Vertreter von GGUS, CERN, ROCs, CICs) zur Koordination der Entwicklungs- arbeiten zum GGUS-Portal unter Federführung von CERN

SPOC Full Service Desk, Verteilter User Support, 31. Januar 2006, Berlin Forschungszentrum Karlsruhe in der Helmholtz-Gemeinschaft 20 / 43 Das EGEE-Projekt Historie von GGUS Konzept für ein Service Portal Status der Implementierung Ausblick Inhalt

SPOC Full Service Desk, Verteilter User Support, 31. Januar 2006, Berlin Forschungszentrum Karlsruhe in der Helmholtz-Gemeinschaft 21 / 43  Zentrale Integrationsplattform für lokale Helpdesk-Systeme  Webbasierte Nutzerschnittstelle  Browserunabhängigkeit  Plattformunabhängigkeit  Synchronisation der Zeiten  Englischsprachige Einträge  Zugang über Browserzertifikate oder Login/Passwort  Wegen heterogener Supportstrukturen keine Orientierung an ITIL  Skalierbarkeit  Aufbau einer Wissensdatenbank Anforderungen an ein Serviceportal

SPOC Full Service Desk, Verteilter User Support, 31. Januar 2006, Berlin Forschungszentrum Karlsruhe in der Helmholtz-Gemeinschaft 22 / 43  Eintragen von Service-Anforderungen  Verfolgung von Service- Anforderungen  FAQ’s  Status Informationen Jobs und Job-Queues Verfügbare Ressourcen  News  Dokumentation  Suchmöglichkeiten in der Problem-DB und in relevanter Dokumentation  Wissensdatenbank als Hilfe zur Selbsthilfe Funktionalitäten

SPOC Full Service Desk, Verteilter User Support, 31. Januar 2006, Berlin Forschungszentrum Karlsruhe in der Helmholtz-Gemeinschaft 23 / 43 Das EGEE-Projekt Historie von GGUS Konzept für ein Service Portal Status der Implementierung Ausblick Inhalt

SPOC Full Service Desk, Verteilter User Support, 31. Januar 2006, Berlin Forschungszentrum Karlsruhe in der Helmholtz-Gemeinschaft 24 / 43 GGUS (Global Grid User Support) gus.fzk.de Synchronisation mit regionalen und VO spezifischen Support Einheiten

SPOC Full Service Desk, Verteilter User Support, 31. Januar 2006, Berlin Forschungszentrum Karlsruhe in der Helmholtz-Gemeinschaft 25 / 43 ….. MS... Deployment Support RC 1RC X Middleware Support Network Support Operations Support Ticket Process Management (TPM) BIOMEDASTRO DS 1 DS 5 DS… MS 1 MS 8 RC… Struktur des EGEE User Supports ROC 1ROC 12ROC… RC 1RC XRC… VO Support für 15 Experimente ALICE RC 1RC XRC… Interface Webportal Tools Support Zentrale GGUS Applikation

SPOC Full Service Desk, Verteilter User Support, 31. Januar 2006, Berlin Forschungszentrum Karlsruhe in der Helmholtz-Gemeinschaft Support-Teams oder -Einheiten Tools support dCache Quattor … Admins RC 1 Admins RC 2 RCs DECH … ROC Support ROC DECHROC F ROC Support VO Support BioMed ASTRO … Middleware Support gLite FTS … CIC CIC on duty GGUS Support GGUS …. User Support: Klassisches Kommunikations-Modell Ich habe ein Problem. Mail an GGUS Bitte um Hilfe Mail an ROC-DECH Mail an RC 2 Mail an VO Mail: Problem gelöst

SPOC Full Service Desk, Verteilter User Support, 31. Januar 2006, Berlin Forschungszentrum Karlsruhe in der Helmholtz-Gemeinschaft Tools Support dCache Quattor … Admins RC 1 Admins RC 2 RCs DECH … ROC Support ROC DECHROC F ROC Support VO Support BioMed ASTRO … Middleware Support gLite FTS … CIC CIC on duty GGUS Support Zentrale GGUS Applikation User Support: GGUS Applikations Modell Ich brauche Hilfe und schicke Mail an wird automatisch in ein GGUS Ticket konvertiert Problem zentral registriert Webportal + Workflowengine mit Problem- und Lösungs-DB Zentrale Support Applikation Regionale Support Applikationen lists Zuweisung Ticket Ticket Konversion Weiterleitung Ticket Weiterleitung an VO Registrierung Weiterleitung Mail: Ticket-Zuweisung Problem gelöst, speichern Lösung in GGUS-DB Mail mit Lösung

SPOC Full Service Desk, Verteilter User Support, 31. Januar 2006, Berlin Forschungszentrum Karlsruhe in der Helmholtz-Gemeinschaft Tools Support dCache Quattor … Admins RC 1 Admins RC 2 RCs DECH … ROC Support ROC DECHROC F ROC Support VO Support BioMed ASTRO … Middleware Support gLite FTS … CIC CIC on duty GGUS support Zentrale GGUS Applikation User Support: Alternativpfad Ich brauche Hilfe: Anfrage an mein lokales Roc-Portal Workflowengine mit Problem- und Lösungs-DB Zentrale Support Applikation Regionale Support Applikationen Listen Applikations Interfaces

SPOC Full Service Desk, Verteilter User Support, 31. Januar 2006, Berlin Forschungszentrum Karlsruhe in der Helmholtz-Gemeinschaft Mail with Ticket ID Tools Support dCache Quattor … Admins RC 1 Admins RC 2 RCs DECH … ROC Support ROC DECHROC F ROC Support VO Support BioMed ASTRO … Middleware Support gLite FTS … CIC CIC on duty GGUS Support Zentrale GGUS Applikation User Support: Anfrage an VO Ich brauche Hilfe an wird automatisch in ein GGUS Ticket konvertiert, Problem zentral registriert Workflowengine mit Problem- und Lösungs-DB Zentrale Support Applikation Regionale Support Applikationen lists Mail: Ticket-Zuweisung Problem gelöst, speichern Lösung in GGUS-DB Mail mit Lösung

SPOC Full Service Desk, Verteilter User Support, 31. Januar 2006, Berlin Forschungszentrum Karlsruhe in der Helmholtz-Gemeinschaft Vorteile und Herausforderungen des Modells Vorteile  Alle Schritte des Supportprozesses sind zentral registriert  User aller beteiligten Einheiten können die Bearbeitung verfolgen  Kommunikation ist immer synchronisiert  Workflow kann optimiert (automatisiert) werden  Probleme mit Lösungen sind dokumentiert (Lösungs-DB) Herausforderungen  Definition der Supporteinheiten (Bereitstellung von Personal)  Entwicklung und Implementierung der Workflows  Weiterentwicklung der zentralen GGUS Applikation  Entwicklung von Interfaces zwischen der GGUS Applikation und lokalen Applikationen von ROCs, CICs, VOs,...

SPOC Full Service Desk, Verteilter User Support, 31. Januar 2006, Berlin Forschungszentrum Karlsruhe in der Helmholtz-Gemeinschaft Wer macht “First level” support? VOs Supportstrukturen rudimentär vorhanden Skalierung gegeben Gute Kenntnis der Experiment spezifischen Software ROCs Teilweise Kenntnis über Experiment spezifische Software Supportstrukturen erst im Aufbau Teilweise wenig Bereitschaft (Ressourcen) zu Globalem Support Rotierendes System alle ROCs Zwischenlösung durch TPM-Gruppe Vertreter einiger ROCs auf freiwilliger Basis GGUS Alle Ressourcen (4 Personen) durch Entwicklungsarbeiten gebunden Hohe Komplexität durch Experiment spezifische Software, Grid-Technologie, Tools, Services …… Sehr große Dynamik durch Anbindung neuer Wissenschaften Skalierung?

SPOC Full Service Desk, Verteilter User Support, 31. Januar 2006, Berlin Forschungszentrum Karlsruhe in der Helmholtz-Gemeinschaft 32 / 43 Wissens- DB Wissens- DB Apache Tomcat Oracle 9i Cluster Remedy Server Remedy Mid-Tier Webservices Web-Browser OCI-Modul Berichte & Analysen Workflow engine Information und Monitoring UserSupporter GGUS Support Portal (technische Realisierung)

SPOC Full Service Desk, Verteilter User Support, 31. Januar 2006, Berlin Forschungszentrum Karlsruhe in der Helmholtz-Gemeinschaft 33 / 43 Applikationsynchronisation (Webservices, ) mit Fremdsystemen:  Request Tracker (Perl)  Foot Prints (Python)  OneOrZero (PHP)  OTRS (Perl)  ROC DECH Remedy Applikation (auch FZK)  ROC HelpDesk System Eigenentwicklungen Automatische Ticketgenerierung durch Monitoringtools der CICs auf der Basis von „Site Functional Test“ Applikationssynchronisation und Automatismen

SPOC Full Service Desk, Verteilter User Support, 31. Januar 2006, Berlin Forschungszentrum Karlsruhe in der Helmholtz-Gemeinschaft 34 / 43 Ticketstatistik Tickets Oktober 2005

SPOC Full Service Desk, Verteilter User Support, 31. Januar 2006, Berlin Forschungszentrum Karlsruhe in der Helmholtz-Gemeinschaft 35 / 43 Verteilung der Ticket im Oktober 2005 GGUS User: 91 TicketsCIC Monitoring System: 105 Tickets

SPOC Full Service Desk, Verteilter User Support, 31. Januar 2006, Berlin Forschungszentrum Karlsruhe in der Helmholtz-Gemeinschaft 36 / 43  Akzeptanz eines kommerziellen Tools (Remedy)  Aufbau von Kommunikationsstrukturen zu anderen Supportgruppen  ROC Support noch im Aufbau  VOs haben teilweise noch keine Supportstrukturen  Erwartungshaltung: Änderungen auf Zuruf  Dynamik bei Anbindung neuer VOs  Keine SLAs  Zentrale Koordination durch eine Gruppe mit Richtlinienkompetenz unbedingt nötig (ESC)  Synchronisation mit anderen HD-Systemen erhöht die Komplexität wesentlich Anlaufprobleme und Hindernisse

SPOC Full Service Desk, Verteilter User Support, 31. Januar 2006, Berlin Forschungszentrum Karlsruhe in der Helmholtz-Gemeinschaft 37 / 43 Die GGUS Homepage

SPOC Full Service Desk, Verteilter User Support, 31. Januar 2006, Berlin Forschungszentrum Karlsruhe in der Helmholtz-Gemeinschaft 38 / 43 Erstellen eines Tickets

SPOC Full Service Desk, Verteilter User Support, 31. Januar 2006, Berlin Forschungszentrum Karlsruhe in der Helmholtz-Gemeinschaft 39 / 43 Ändern eines Tickets

SPOC Full Service Desk, Verteilter User Support, 31. Januar 2006, Berlin Forschungszentrum Karlsruhe in der Helmholtz-Gemeinschaft 40 / 43 Suchmaske

SPOC Full Service Desk, Verteilter User Support, 31. Januar 2006, Berlin Forschungszentrum Karlsruhe in der Helmholtz-Gemeinschaft 41 / 43 Das EGEE-Projekt Historie von GGUS Konzept für ein Service Portal Status der Implementierung Ausblick Inhalt

SPOC Full Service Desk, Verteilter User Support, 31. Januar 2006, Berlin Forschungszentrum Karlsruhe in der Helmholtz-Gemeinschaft 42 / 43 Ausblick Vision: GGUS bleibt auch bis 2010 Kompetenzzentrum für verteilten User Support innerhalb der wissenschaftlichen Grid Infrastruktur  Erstellung VO-spezifischer Darstellungen des Serviceportals  Aufbau einer “echten” Knowledge Base  Weitere Anpassung der Online Schnittstellen und des Portals an die (sich ändernden) Prozesse  Weitere Automatisierung der Prozesse  Durch Schulungsmaßnahmen des GGUS Teams stärkere Ausrichtung auf Wahrnehmung des First-Level-Support  Aufbau von Supportstrukturen innerhalb der D-Grid Initiative (neue Applikation)

SPOC Full Service Desk, Verteilter User Support, 31. Januar 2006, Berlin Forschungszentrum Karlsruhe in der Helmholtz-Gemeinschaft 43 / 43 We appreciate the continuous interest and support by the Federal Ministry of Education and Research, BMBF. Vielen Dank für ihre Aufmerksamkeit! Abschlussbemerkung EGEE is funded by the European Community under grant IST