Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Technische universität dortmund Service Computing Einführung Service Computing Einführung Prof. Dr. Ramin Yahyapour IT & Medien Centrum 13. Oktober 2009.

Ähnliche Präsentationen


Präsentation zum Thema: "Technische universität dortmund Service Computing Einführung Service Computing Einführung Prof. Dr. Ramin Yahyapour IT & Medien Centrum 13. Oktober 2009."—  Präsentation transkript:

1 technische universität dortmund Service Computing Einführung Service Computing Einführung Prof. Dr. Ramin Yahyapour IT & Medien Centrum 13. Oktober 2009

2 technische universität dortmund Logistik Vorlesung: Prof. Dr. Ramin Yahyapour Dienstag, 8: Uhr Übung: Dr. Thomas Röblitz Donnerstag: 14:15 – 16 Uhr (?) Praktische Übungen Terminänderungen beachten: Beispiel: Kommende Woche am Donnerstag Vorlesung! LSF Anmeldung für Mailingliste und Materialien in EWS

3 technische universität dortmund Overview What is Service, Cloud, Grid Computing? Application Examples Architecture of Grids Current Development Similarities to eBusiness Solutions and Ubiquitous Computing

4 technische universität dortmund Vorstellung IT & Medien Centrum Das ITMC ist der IT und Medien Dienstleister der Universität Beispiele: Management der Netzwerk-Infrastruktur bis an die Dose bzw. WLAN Zugang, DNS, Firewall, DHCP Support-Services Service-Desk Graphik, Print E-Learning Audio/Video-Erstellung und Bearbeitung Betrieb zentraler Server und Dienste , Groupware Identity Management Web-Server Campus Management/Ressourcen Management Hosting und Housing von Servern Betrieb von HPC-Systemen für wissenschaftliches Rechnen.

5 technische universität dortmund Wiss. Rechnen/ HPC an der TU 2006: LiDO 464 CPU Cores (AMD) 20 Tbyte Storage 2008: D-Grid Ressourcen Zentrum Ruhr (DGRZR) 2048 CPU Cores (Intel) 110 Tbyte Storage 2009: LiDO CPU Cores (Intel) 215 Tbyte Storage

6 technische universität dortmund Traditioneller Rechnerbetrieb Dedizierte System für Anwendungen HW angepasst auf Anwendung, daher hohe Performanz Systeme teilweise redundant für Ausfallsicherheit Heterogene Infrastruktur Kapazitäten meist überdimensioniert, um künftiges Wachstum vorwegzunehmen Mail DB WebApp Service X

7 technische universität dortmund Virtualisierung von Rechnern Der Einsatz von Virtualisierung erlaubt eine Trennung von HW und Anwendung. VM sind isoliert voneinander Mehrere VMs können sich einen Host teilen Heterogenität kann besser verwaltet werden. Die Ressourcen lassen sich zuteilen und partitionieren. Nach Forrester: Über 30% Kostenersparnis

8 technische universität dortmund Änderung für den Betrieb eines Data Centers Trennung von Ressourcen und Anwendungen Ressourcen werden dynamisch zugeteilt Ressourcen werden selbst als Services angeboten ITMC: Server- Virtualisierung seit 2008 Speicher- Virtualisierung projektiert

9 technische universität dortmund In die Wolken: Cloud Computing Kommerzielle Anbieter liefern Ressourcen (Amazon EC2) On-demand Zugang zu Ressourcen Elastizität (dynamische Anpassung) Pay-per-use Nutzung wird einzeln abgerechnet Leichter Einstieg Applikationen Plattform zur Erstellung von Applikationen Infrastruktur für Server, Speicher, Netzwerk, …

10 technische universität dortmund June 2, Amazon Web Services EC2 (Elastic Computing Cloud) ist der Computing Service von Amazon Basiert auf Hardware Virtualisierug (Xen) Nutzer fragen virtuelle Maschonen und und verweisen auf ein ein VM- Image,das in S3 abgelegt ist. Nutzer haben volle Kontrolle über die Instanzen (z.B. Root-Zugang, wenn notwendig). Anfragen können über SOAP oder REST erfolgen. S3 (Simple Storage Service) ist der Storage Service von Amazon, um Daten in der Cloud zu speichern Unabhängig von anderen Diensten nutzbar Daten werden hierarchisch organisiert und als Objekte oder Buckets abgelegt Zugriff über SOAP, REST und BitTorrent Weitere AWS Dienste: SQS (Simple Queue Service) SimpleDB Billing services: DevPay Elastic IP (Static IPs for Dynamic Cloud Computing)

11 technische universität dortmund 11 Beispiel: Amazon WS EC2 Dienst: Hosting Virtueller Maschinen on Demand Service Level Agreement (SLA): Amazon EC2 SLA commitment is 99.95% availability for each Amazon EC2 Region CPU-Leistung: [gemessen in EC2 Compute Unit (ECU)] One EC2 Compute Unit (ECU) provides the equivalent CPU capacity of a GHz 2007 Opteron or 2007 Xeon processor.

12 technische universität dortmund 12 Beispiel: Amazon WebServices EC 2 Standard Instances Small Instance 1.7 GB Hauptspeicher, 1 EC2-Compute-Unit (1 virtual CPU-core), 160 GB Hintergrundspeicher, 32-bit Plattform Large Instance 7.5 GB Hauptspeicher, 4 EC2-Compute-Unit (2 virtual CPU-cores), 850 GB Hintergrundspeicher, 64-bit Plattform Extra Large Instance 15 GB Hauptspeicher, 8 EC2-Compute-Unit (4 virtual CPU- cores), 1690 GB Hintergrundspeicher, 64-bit Plattform High-CPU Instances High-CPU Medium Instance 1.7 GB Hauptspeicher, 5 EC2-Compute-Unit (2 virtual CPU-core), 350 GB Hintergrundspeicher, 32-bit Plattform High-CPU Extra Large Instance 7 GB Hauptspeicher, 20 EC2-Compute-Unit (8 virtual CPU- cores), 1690 GB Hintergrundspeicher, 64-bit Plattform

13 technische universität dortmund Public/Commercial Clouds Klares Business Modell (Pay by Creditcard..) Aktiver Markt mit vielen Anbietern Metering, Accounting, Billing Einstieg einfach und günstig … Ausstieg nicht! Für größere Data Center nur begrenzt attraktiv

14 technische universität dortmund Private Clouds Dienstorientierung innerhalb eines Data Centers Angebot von Infrastruktur oder Plattformen als Dienst Beispiel: ITMC liefert virtuelle Maschinen Storage on-demand für Lehrstühle Klare Web-Schnittstellen für den Nutzer 1) Dynamische Skalierung Weitere Ressourcen 2) Scale-Out Einbindung von externen Ressourcen Attraktives Management- Modell; Dynamische Skalierbarkeit

15 technische universität dortmund Cloud Computing – Hype ? Gartner Hype Cycle 2008 Hype! Aber Konzepte bleiben.

16 technische universität dortmund Bewertung Clouds Einfaches Managementmodell Betreiber Dienste Betreiber Infrastruktur Klare Schnittstellen Betreiber Infrastruktur sieht die Anwendung nicht. Hohe Effizienz auf Seiten des Betriebs Management von vielen VMs möglichst effizient auf verfügbaren Ressourcen Ähnliche Entwicklung bei Storage Hohe Flexibilität Erzeugung von neuen VMs auf Knopfdruck Offenheit von Clouds zurzeit noch nicht gegeben Einbahnstraße zu einem Provider Aktuelle Bestrebungen zur Liberalisierung und Standardisierung

17 technische universität dortmund 17 Unterstützung neuer Angebote Beispiel von Amazon: Animoto, Scale as you grow (Musik-unterlegte Videos aus eigenen Bildern)

18 technische universität dortmund 18 Eigenschaften eines Anbieters

19 technische universität dortmund Grid Computing? Ressourcen teilen (sharing) Produktionsumgebung in vielen Disziplinen Kollaboration in Forschungsgruppen Betrieb und Nutzung sind kompliziert TU Dortmund in mehreren Grids beteiligt

20 technische universität dortmund Clouds für HPC Kann Virtualisierung und Cloud Computing für wissenschaftliches Rechnen genutzt werden? Abhängig von der wiss. Anwendung Parallele Applikationen mit hohen Kommunikationsanforderungen: wenig geeignet Bag of Tasks Anwendungen mit geringen Anforderungen: durchaus geeignet Vorteil: Virtualisierung findet unabhängig Einzug in DataCenter: Knowhow vorhanden VMs erlauben besser auf die Bedürfnisse der Nutzer einzugehen… … und Verantwortlichkeit auf den Nutzer zu übertragen (Software-Pflege) Mehr Freiheitsgrad im Management (Migration, Preemption) Langfristig: Job = Virtuelle Maschine Es wird künftig spezielle HPC-Systeme und Compute Clouds geben

21 technische universität dortmund Ressourcen Management Das automatische Management von Clouds oder Grids ist eine komplexe Aufgabe Welche Ressourcen werden für welchen Dienst/Anwendung wann eingesetzt? Hoch dynamisch und von der Arbeitslast/Workload abhängig Optimierungsziele: Antwortzeit Qualität Kosten Ressourcenverbrauch Strom (!) Multikriterielles Optimierungsproblem

22 technische universität dortmund Unterschiede zwischen Grids und Service Computing Grids führen meist Batch-Jobs aus: Dynamische Einreichung neuer Jobs, meist unabhängig Batch Queuing-Systeme Typischerweise Space- sharing Ausführung Sequentielle oder parallele Applikationen Grids führen meist Batch-Jobs aus: Dynamische Einreichung neuer Jobs, meist unabhängig Batch Queuing-Systeme Typischerweise Space- sharing Ausführung Sequentielle oder parallele Applikationen Clouds/SOA/SOI sind: Meist transkations-orientiert, wiederholende Dienste Hosting ist für lange Zeiträume Häufig time-sharing Ausführung Meist synchrone Workflows über verschiedene Dienste Gekoppelte Ressourcen Hosting Environment, AppServer, Datenbank Clouds/SOA/SOI sind: Meist transkations-orientiert, wiederholende Dienste Hosting ist für lange Zeiträume Häufig time-sharing Ausführung Meist synchrone Workflows über verschiedene Dienste Gekoppelte Ressourcen Hosting Environment, AppServer, Datenbank

23 technische universität dortmund SOI Ressourcen-Management Neue Dienste

24 technische universität dortmund Ressourcen-Management Neue Dienste Verteilung auf Ressourcen Dynamische Anpassung der Infrastruktur Aktivierung und Deaktivierung von Ressourcen

25 technische universität dortmund / Page 25 Technische Herausforderungen Einheitliche Schnittstellen und Interoperabilität Dynamisches Ressourcen Management Auf Seiten der Nutzer beim Verteilen der Ressourcen Für den Betreiber im Management der Dienste Komplexität beherrschen! Skalierbarkeit, Effizienz, Dynamik, Verfügbarkeit Management von x1000 Diensten ist anspruchsvoll Komplexe Geschäftsbeziehungen zu den einzelnen Diensten Koordinierung Ein einzelner Dienst ist häufig uninteressant, Die Orchestrierung von Diensten über verschiedene Ressourcen ist notwendig Beispiel: SLA Management

26 technische universität dortmund Service Level Agreements Es existiert ein starker Trend Service-Management über SLAs abzubilden. Elektronischer bilateraler Kontrakt definiert im Vorfeld: Dienstgüte Rahmen-/Nutzungsbedingungen Technische Anforderungen Optimierungsziele Kosten/Strafen Automatische Verhandlungs- prozesse werden benötigt Das SLA ist elektronisch auswertbar. ProviderConsumer Optimierungs- problem Verhandlungs- protokoll SLA Beschreibung Translation Monitoring Adaption

27 technische universität dortmund Experiment: Overhead für SLA Erstellung Parallele Anwendung benötigt mehrere Rechenressourcen gleichzeitig Koordinierte Reservierung und garantierte parallele Ausführung Dienstgütegarantien mittels elektronischer Verträge = SLA Testanordnung 4 Systeme mit eigenem Management, 160 Rechenressourcen mit lokalem Scheduler Rechenressourcen mit zufälliger Lastverteilung Exklusive Ressourcennutzung Parallele Anwendung benötigt 6 Rechenressourcen Ablauf 1.früheste mögliche Startzeit pro Ressource 2.Scheduling (mögl. weitere Iteration) 3.Überprüfung der Reservierung (mögl. weitere Iteration) 4.Start der Anwendung Meta-Scheduler Scheduler Rechenres. Dienstgütegarantien Meta-Scheduler Scheduler Rechenres.

28 technische universität dortmund Testergebnisse 1 Meta-Scheduler kontrolliert alle Rechenressourcen 4 Meta-Scheduler kontrollieren jeweils ¼ der Rechenressourcen Durchschnittliche Zeit bis eine Ko-Allokation erfolgt ist: ca. 20 sec Vergleich bei Allokation auf einem einzelnen System: ca. 15 sec Verhandlungs-/SLA-Overhead ist vertretbar für realen Einsatz

29 technische universität dortmund Service Provider Contracting/ Sales SOA SOI SLA Orchestration/ Transformation/ Aggregation SLA (Re-)Negotiation Provisioning Monitoring Adjustment Alerting physical virtual Mapping SLA Business Assessment Service Demand Forecasting Resource Consumption Forecasting Procurement Business Use Service Demand Customer Business Assessment Infrastructure Provider Monitoring, Arbitration Software Provider Projekt EU FP7: 15 Mio Euro u.a. SAP, Intel, Telefonica, Telekom Austria, TU DO

30 technische universität dortmund Service VM DB VM DB VM Inventory Business Business View Layer Infrastructure Service Layer Software Service Layer Business SAMI Inventory SAMI Infrastructure SAMI Infrastructure SAMI Software management Prediction Design-time modelling Design / Prediction Plane SLA Management PlaneService Management Plane

31 technische universität dortmund Technological Trend - Computational Power Computational power follows Moores Law: double of transistor density every 18 months. n Do we need this computational power?

32 technische universität dortmund Applications Several relevant problems are still not adequately solved. molecular, atomic simulation (chemistry, physics) pharmaceutics climate research artificial intelligence Grand Challenge Problems

33 technische universität dortmund Technological Trend - Networking Network performance doubles every 9 months. ComputerNetwork 1986 to 2000 x500x to 2010 x60x4000 n the difference will yield several dimensions in a few years!

34 technische universität dortmund Consequence When the network is as fast as the computer's internal links, the machine disintegrates across the net into a set of special purpose appliances (George Gilder) è Parallel programming è Distributed applications è Decentral problem solving

35 technische universität dortmund The Grid Resource sharing & coordinated problem solving in dynamic, multi- institutional virtual organizations (Ian Foster) Source: Globus, Ian Foster

36 technische universität dortmund Grid Vision Simple, transparent access to resources without central control dynamic coordination and combination of services on demand easy additionof resources autonomic management of Grid components complexity of the infrastructure is hidden from user or resource provider. Analogy: Power-Grid Transformation to e-Science Support of Virtual Organizations

37 technische universität dortmund Computational Grids Connection of: High-performance computers, parallel computers Workstations-/PC-Cluster in the future single PC systems The Grid automatically dertermins on request, where, when, which computers are available for a task. Idea orginitates from metacomputing (90)

38 technische universität dortmund Trend of Online-Data The storage density doubles every 12 months. Example online-data: 2000~0.5 Petabyte 2005~10 Petabytes 2010~100 Petabytes Not only computational performance but also data management is a key challenge in the future!

39 technische universität dortmund Data-intensive Applications Medical Data Digital X-Rays Brains-Scans Petabytes of Data

40 technische universität dortmund Data-intensive Applications Medical Data Digital X-Rays Brains-Scans Petabytes of Data Molecular Data Genom Proteine Drug analysis Environmental Data Weather-/Climate Geophysics Astronomy Physics High-Energy Physics Astronomy typical: time-variant, 3D models require large volumes of data (simulated, recorded)

41 technische universität dortmund Example: CERNs Large Hadron Collider 1800 Researchers, 150 Institutes in 32 Countries work on 100 PetaByte of data with several s of processors!

42 technische universität dortmund Example CERN-LHC Data-Grid Tier2 Centre ~1 TIPS Online System Offline Processor Farm ~20 TIPS CERN Computer Centre FermiLab ~4 TIPSFrance Regional Centre Italy Regional Centre Germany Regional Centre Institute Institute ~0.25TIPS Physicist workstations ~100 MBytes/sec ~622 Mbits/sec ~1 MBytes/sec Physics data cache ~PBytes/sec ~622 Mbits/sec Tier2 Centre ~1 TIPS Caltech ~1 TIPS ~622 Mbits/sec Tier 0 Tier 1 Tier 2 Tier 4 Source: Ian Foster, DataGrid, CERN

43 technische universität dortmund Grid-Resources Computer und data management ultimately require also network management Considerations of network connections Reservation of network properties Quality-of-service features e.g.: GMPLS/MPLS other resources: Visualization (3D-Cave, Video-Conferencing), Experimental devices and instruments Software (Licences) Services etc.

44 technische universität dortmund Grid-Initiatives Several Grid projects in research and academics Globus Toolkit Open-Source solution defacto standard for several protocols and services Open Grid Forum Forum similar to IETF, W3C Definition and standardisation of Grid protocols and services Commercial support IBM, Microsoft, Sun, Compaq, … Platform, Avaki, Datasynapse,... Combination of technological interests from eScience and eBusiness

45 technische universität dortmund Architecture of a Grid Situation different types of components, different rules, policies, provider Requirement of standardisation: description of and access to resources independent, distributed, and scalable services shared protocols

46 technische universität dortmund Grid Functions (1) Security Authentication Privacy Information Services Information about existing resources or services Lookup and discovery of functionalities Resource Management Integration of resources

47 technische universität dortmund Grid Functions (2) Data Management Data transferring Data localisation Replication Synchronisation Scheduling automatic selection of resources coordination of resource allocation Accounting Billing

48 technische universität dortmund Future Grid Applications Use of Grid-APIs for portable access to Grid functionalities Example: dynamic resource discovery data transfers requesting network services higher abstraction level in software development

49 technische universität dortmund Multi-level Infrastructure Application Fabric Control local execution Connectivity Communication with internal resource functions and services Resource Add resource: Negotiate access, control access and utilization Collective Coordination of several resources: infrastructure services, application services Internet Transport Application Link Internet Protocol Architecture Source: Ian Foster

50 technische universität dortmund Open Grid Service Architecture OGSA is currently standardised in OGF. Goal is the simple integration of new services into the Grid. service-oriented approach Communication via WebServices, SOAP Similarity with eBusiness solutions Similar protocols Application Server

51 technische universität dortmund Globus Toolkit Open-Source software package with basic services usually the reference implementation of services that are standardized by the Global Grid Forum. Primarily, just a bag of services to implement Grid projects Security Information Services Resource management Data transferring no directly usable/installable product

52 technische universität dortmund Example of a Grid Job 1. Required Resources: l needs 48 processing nodes of a specified architecture/properties for 6 hours l a nearby visualization device is requested during execution 2. Allocation Time Requirements: l should be executed between 8am and 6pm the following day 3. Data Requirements: l needs a specified data set 4. Storage Requirements: l needs 1 GB of storage during execution 5. Software Requirements: l utilizies a specified licensed software package 6. Network Requirements: l a network connection with a given bandwidth between the VR device and the application is needed 7. Cost Requirements: l The user is willing to pay at most 4 Euro 8. Objectives: l He prefers cheaper job execution over an earlier execution.

53 technische universität dortmund Automatic Allocation and Reservation time Prefetching Input-Data Computation Storing Output-Data Network 1 Computer 1 Reservation Computation Computer 2 Communication Network 2 Visualization Cave Visualization Storage Software License Software Usage Goal: è Automatic planning of the resource allocation

54 technische universität dortmund Future Grid Scenario Remote Center Reads and Generates TB of Data LAN/WAN Transfer WAN Transfer Visualization In the near future the Grid offers users online access to è Petabyte of data storage, è Teraflops of computational power, è on-demand access to QoS- network connections è on-demand software, è automatic access to arbitrary services. Difference to Internet, anticipated potential !

55 technische universität dortmund eBusiness Applications Internet Business services B2C: eCommerce-Solutions Portals Internet Business services B2B: Inter-operation between companies Supply-Chain Management Intranet Solutions Enterprise Application Integration EAI

56 technische universität dortmund Trend in eBusiness Solutions Previously: use of the internet as add-on technology to existing business models often stand-alone solutions for specific prupose Current and future: integration of different services (in-house, between companies) to improve efficiency orientation of internal and external business processes and workflows leveraging new business models

57 technische universität dortmund Technological Challenges Similar to Grid standards Standardization of services and protocols similar technologies XML-Processing Web-Services, SOAP Enterprise Java Beans Requirements security reliability performance scalability interoperability

58 technische universität dortmund Pervasive/Ubiquitous Computing Mobile Solutions Easy and transparent integration of different mobile components Requirements security reliability performance scalability interoperability Same Requirements; similar solutions but often additional constraints: devices may be subject tighter limitations in size, cost, performance

59 technische universität dortmund Kursinhalt Grundlagenzu aktuellen Web Technologien XML JSP, JavaBeans EJB Web-Services Peer2Peer Grid Computing Cloud Computing

60 technische universität dortmund Danke für die Aufmerksamkeit!

61 technische universität dortmund Presentations includes figures, trademarks, logos which are properties of third parties.. Rights are reserved to the corresponding rights owners.


Herunterladen ppt "Technische universität dortmund Service Computing Einführung Service Computing Einführung Prof. Dr. Ramin Yahyapour IT & Medien Centrum 13. Oktober 2009."

Ähnliche Präsentationen


Google-Anzeigen