Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Institut für Softwarewissenschaft - Universität WienP.Brezany 1 Verteilte und föderierte Datenbanken und das Grid Peter Brezany Institut für Softwarewissenschaft.

Ähnliche Präsentationen


Präsentation zum Thema: "Institut für Softwarewissenschaft - Universität WienP.Brezany 1 Verteilte und föderierte Datenbanken und das Grid Peter Brezany Institut für Softwarewissenschaft."—  Präsentation transkript:

1 Institut für Softwarewissenschaft - Universität WienP.Brezany 1 Verteilte und föderierte Datenbanken und das Grid Peter Brezany Institut für Softwarewissenschaft Universität Wien Tel. : 01/ Sprechstunde: Dienstag

2 Institut für Softwarewissenschaft - Universität WienP.Brezany 2 Lernziele Prinzipien von verteilten und föderierten Datenbanksystemen Ideen, wie Datenbanken in das Grid eingebunden werden können. In Richtung auf Datenbankservices

3 Institut für Softwarewissenschaft - Universität WienP.Brezany 3 Einführung In der ersten Generation von Grid Anwendungen nutzten nur einige Anwendungen Datenbanken (DB), um wissenschaftliche Daten zu speichern – fast alle nutzten files. In der nächsten Generation wird DB-Integration in das Grid wichtig. Es ist nicht möglich, dieses Ziel nur durch Erweiterung von existierenden Grid services, die files behandeln, zu erreichen. –DB bieten eine viel reichere Menge von Operationen (z.B. queries, Transaktionen, usw.) an. –Es gibt größere Heterogenität zwischen DB-Paradigmen (z.B. relationale und objekt-orientierte (OO) DB; in einem Paradigm können verschiedene DB Produkte verschiedene Funktionalität und Schnittstellen haben) als zwischen File-Systemen. Es ist notwendig folgende Datenquellen zu integrieren: –Strukturierte Daten (z.B. Daten aus relationalen und OO DB) –Semi-strukturierte Daten wie XML –Relativ unstrukturierte Daten, wie Zeitschrift- und Konferenzartikel.

4 Institut für Softwarewissenschaft - Universität WienP.Brezany 4 Einführung (2) Vorhandene DB Management Systeme (DBMS) bieten keine Grid Integration an. Sie sind doch das Resultat (Sicherheit, gute Leistung, Verlässlichkeit, usw.) langjähriger Bemühungen von Tausenden Personen. Ausbau neuer Grid-orientierter DBMS ganz von vorn ist nicht vernünftig; das wäre eine Aufwandverschwendung. Das Forschungsziel: Einbindung von existierenden DBMS in das Grid. Limitierung: Einige verlangten Attribute müssen trotzdem direkt in das unterliegende DBMS integriert werden.

5 Institut für Softwarewissenschaft - Universität WienP.Brezany 5 Bereiche von Grid DB Anwendungen Speicherung und Zurückholung (retrieval) von Daten – Hauptaufgabe Metadaten. Information über Information; sie fügen den Kontext zu den Daten hinzu; es ist möglich Daten ausfindig zu machen, ohne zu wissen, wo die Daten gespeichert sind oder ihren physischen Namen zu kennen. Relationale DB sind momentan die Hauptmetode für Speicherung von Metadaten auf dem Grid – sie unterstützen Metadatenabfragen. Herkunft von Daten. Sie bieten Information über die Quelle und folgende Geschichte von Daten (Datenschaffung, Quelle, Besitzer, welche Bearbeitung stattfand, welche Analyse angewendet wurde, Vetrauen in die Qualität der Information)...., z.B. Abrechnungsinformation – benutzt für Gebührenberechnung.

6 Institut für Softwarewissenschaft - Universität WienP.Brezany 6 Grid-DB Forschung It is basiert auf Technologie der verteilten und föderierten Datenbanken – es gibt verschiedene Interpretationen dieser Begriffe, z.B.: Eine verteilte Datenbank (VDB) ist eine Datenbank, die absichtlich über gewisse Zahl von Orten verteilt wurde. Eine VDB wird als Ganzes entworfen, und ist mit ziemlich zentralisierter Steuerung assoziiert. In einer föderierten Datenbank (FDB) tragen viele Datenbanken Daten und Ressourcen zu einer Multi- datenbank-Föderation bei, doch hat jeder Teilnehmer volle lokale Autonomie.

7 Institut für Softwarewissenschaft - Universität WienP.Brezany 7 Prinzipien von Verteilten Datenbank-Systemen (Distributed Database Systems DDBS) DDBS = Netzwerk von Computern (Sites) + Datenbank DDBS = Verteilung + Integration + = NetzwerkDatenbank DDBS

8 Institut für Softwarewissenschaft - Universität WienP.Brezany 8 Geschichtlicher Rückblick Ende der 60er Anfang der 70er ging man zunehmend dazu über Datenbanksysteme zu benutzen, um die Datenunabhängigkeit der Anwendungsprogramme zu erhöhen, transaktionsorientierte Verarbeitung zu ermöglichen, Mehrbenutzerbetrieb zu realisieren, sowie die Recovery-Funktionen zu verbessern. Entstehen von Rechenzentren, wodurch die Betriebsorganisation zentralisiert wurde! Die Datenmenge wuchsen immer weiter an  zusammengehörende Datenbestände wurden auf verschiedene Datenbanken verteilt. Dadurch entstanden Probleme mit der Konsistenthaltung der Daten. In den 80iger und 90iger Jahren konnten durch Onlineanwendungen bislang Getrennte Anwendungen und Datenbestände zusammengeführt werden. Deshalb wurden integrierte verteilte Informationssysteme realisiert.

9 Institut für Softwarewissenschaft - Universität WienP.Brezany 9 Transaktion - Definition Transaktion: Besteht aus einer Sequenz von Lese- und Schreiboperationen auf eine Datenbank zusammen mit Berechnungsschritten Transaction management behandelt das Problem, die Datenbank immer in einen konsistenten Zustand zu halten, auch wenn gleichzeitige Zugriffe und Fehler auftreten.

10 Institut für Softwarewissenschaft - Universität WienP.Brezany 10 Definition „A distributed database is a collection of multiple, logically interrelated databases distributed over a computer network. A distributed database management system is the software that permits the management of the DDBS and makes the distribution transparent to the users.“

11 Institut für Softwarewissenschaft - Universität WienP.Brezany 11 Zentrale Datenbank in einem Netzwerk Communication Network Boston Paris San Francisco Edmonton

12 Institut für Softwarewissenschaft - Universität WienP.Brezany 12 Verteilte Datenbankstruktur Communication Network Boston Paris San Francisco Edmonton Boston Angestellte Paris Angestellte Boston Projekte Paris Angestellte Paris Projekte Boston Angestellte Boston Projekte Edmonton Angestellte Paris Projekte Edmont Projekte San Francisco Angestellte San Francisco Projekte

13 Institut für Softwarewissenschaft - Universität WienP.Brezany 13 Transparentes Management Datenunabhängigkeit Netzwerk Transparenz Replizierungstransparenz Fragmentierungstransparenz (Fragmentierung=Aufteilung)

14 Institut für Softwarewissenschaft - Universität WienP.Brezany 14 Verbesserte Leistung Ein DBMS teilt die Datenbank und erlaubt es den Daten somit sehr sehr nahe ihrem Ort, wo sie gebraucht werden, gespeichert zu werden. dies hat 3 Vorteile: 1.Seit jeder Knoten einen Teil der Daten bewältigt, ist der Kampf um Ressourcen wie CPU nicht mehr so wichtig wie in zentralisierten Datenbanken 2.Lokalisierung vermindert die Verzögerung bei entfernten Aufrufen 3.Parallele Verarbeitung

15 Institut für Softwarewissenschaft - Universität WienP.Brezany 15 Abstraktionsebenen eines DBS Externe Ebene – Sie erlaubt unterschiedliche Sichten verschiedener Benutzer oder Benutzergruppen auf den Datenstand. Konzeptionelle Ebene – Das ist die zentrale Ebene. Sie spezifiziert die logische Gesamtsicht (d.h. unabhängig von der tatsächlichen Speicherung) aller Daten, die von irgendeinem Anwendungprogramm benötigt werden. Es erfolgt eine Beschreibung aller Objet- und Beziehungs- typen sowie deren Wertebereiche. Interne Ebene – Sie beschreibt die physische Datenorganisation, d.h. sie legt fest wie die im konzeptionellen Schema beschriebenen Objekte und Beziehungen physisch abgespeichert werden und welche Zugriffsmöglichkeitenbestehen. Es werden etwa Zugriffsmöglichkeiten zu den Datensätzen durch Indexstrukturen wie Hashtabellen, invertierte Listen oder B-Bäume spezifiziert.

16 Institut für Softwarewissenschaft - Universität WienP.Brezany 16 Architektur von DBMS Die Idee hinter dem ANSI/SPARC Modell ist die Datenunabhängigkeit der Daten gegenüber Veränderungen der Speicherstrukturen. Das DBMS ist eine Schnittstelle zu den Daten.

17 Institut für Softwarewissenschaft - Universität WienP.Brezany 17 Architekturmodell

18 Institut für Softwarewissenschaft - Universität WienP.Brezany 18 Architektur von DBMS Client - Server Architektur Verteilte Datenbank Architektur Multi Datenbank Architektur

19 Institut für Softwarewissenschaft - Universität WienP.Brezany 19 Client/Server Architektur Hier gibt es typischerweise einen zentralen Datenbank-Server und eine größere Anzahl vernetzter Arbeitsplatzrechner, die keine relevanten Daten speichern. Der Benutzer am Arbeitsplatzrechner sieht die volle Funktionalität des DBMS. Das System verhält sich wie ein zentrales Datenbanksystem, die Kommunikation ist für den Benutzer transparent

20 Institut für Softwarewissenschaft - Universität WienP.Brezany 20 Verteiltes Datenbanksystem Hier gibt es mehrere Datenbankserver, wobei bestimmte Daten auf nur einem Rechner oder auch auf mehreren (replizit) gespeichert sein können. Eine virtuelle Datenbank, deren Komponenten physisch in einer Anzahl unterschiedlicher, real existierender DBMS abgebildet werden. Transaktionen können in diesem Fall über mehrere DBMS laufen. Sammlung von Daten, die Aufgrund gemeinsamer, verknüpfender Eigenschaften dem gleichen System angehören Auf versch. Rechnern im Netzwerk verteilt sind Wobei jeder Rechner seine eigene Datenbank besitzt Autonom lokal Aufgaben abwickeln kann

21 Institut für Softwarewissenschaft - Universität WienP.Brezany 21 Verteiltes Datenbanksystem - gleichzeitige Benutzung der Rechenleistung mehrerer Rechner - Engpaß in zentralen Datenbanksystemen bei Zugriff auf die Daten wird vermieden, da die Daten verteilt sind (ggf. repliziert) - Daten werden von einem Datenbanksystem verwaltet - Verteilungstransparenz - Grundlage: 4-Ebenen-Schema-Architektur

22 Institut für Softwarewissenschaft - Universität WienP.Brezany 22 Verteiltes Datenbanksystem 4 - Ebenen - Schema - Architektur externes Schema 1externes Schema N konzeptionelles Schema lokales konzept. Schema lokales internes Schema...

23 Institut für Softwarewissenschaft - Universität WienP.Brezany 23 Multidatenbanksystem - Ein MDBS ist ein Verbund von mehreren Datenbanksystemen. - Das Konzeptionelle Schema repräsentiert nur den Teil von Daten, den die lokalen DBMS teilen wollen. - Auf jedes DBS können lokale Anwendungen zugreifen. - Jedes DBS kann Daten enthalten, welche keine Beziehung zu Daten anderer DBS haben.

24 Institut für Softwarewissenschaft - Universität WienP.Brezany 24 Multidatenbanksystem Modell mit globalem konzeptionellem Schema LES GES GKS LKS 1LKS n LIS 1 LIS n...

25 Institut für Softwarewissenschaft - Universität WienP.Brezany 25 Design Entwurfsmethodik top-down: von den Anforderungen zum Systementwurf; geeignet für Neuentwicklungen. bottom-up: Integration bestehender Datenbanken zu einer verteilten; typisch bei heterogenen Datenbanken. Datenverteilung Fragmentierung der Daten zur Bildung logischer Einheiten, Verteilung der Fragmente auf den Sites: Allokation aller Fragmente an jeder Site (volle Replikation) oder jedes Fragment an mehr als einer Site (partielle Replikation) oder jedes Fragment an genau einer Site (Partitionierung).

26 Institut für Softwarewissenschaft - Universität WienP.Brezany 26 Die Trennung von Fragmentierung und Allokation dient der Vereinfachung des Entwurfs. Globales Schema: Definition der Relationen eines vDBS ohne Berücksichtigung der Verteilung, Fragmentierungsschema: Definition der Abbildung zwischen globalen Relationen und Fragmenten, Allokationsschema: Definition der Abbildung zwischen Fragmenten und Sites. Der Zugriff zu den Daten soll hinsichtlich Fragmentierung, Lokation, und Replikation transparent sein.

27 Institut für Softwarewissenschaft - Universität WienP.Brezany 27 R1 R2 R3 R4 R1,1 R2,1 R1,2 R2,2 R3,3 R4,3 Globale Relation Fragmente Allokation an den Sites S1 S2 S3 Fragmente und ihre Allokation R

28 Institut für Softwarewissenschaft - Universität WienP.Brezany 28 Beispiel: horizontale Fragmentierung

29 Institut für Softwarewissenschaft - Universität WienP.Brezany 29 Beispiel: abgeleitete horizontale Fragmentierung

30 Institut für Softwarewissenschaft - Universität WienP.Brezany 30 Beispiel: vertikale Fragmentierung

31 Institut für Softwarewissenschaft - Universität WienP.Brezany 31 Sei F = {F1,..., Fn} eine Menge von Fragmenten, S = {S1,..., Sm} ein Netzwerk gegeben durch die Menge seiner Sites, und Q = {Q1,..., Qp} die Menge der relevanten Anwendungen. Allokationsproblem: Was ist die „optimale“ Zuordnung von F zu S bzgl. Q? Optimaltätskriterium: Minimalität der Kosten gegeben durch die Speicherkosten der Fi an den Sites Sj, der Anfragekosten für Fi an Site Sj, der Änderungskosten der Fi an allen Sites an den sie gespeichert sind, und die Kosten der Datenkommunikation. Performanz im Sinne von Antwortzeiten oder Systemdurchsatz. Allokation

32 Institut für Softwarewissenschaft - Universität WienP.Brezany 32 A Typical Federated System Architecture Catalog: registers wrappers Data: caches query reults

33 Institut für Softwarewissenschaft - Universität WienP.Brezany 33 Integration von Datenbanken in das Grid Grid-enabled version of JDBC/ODBC - The core set of functionality offered by JDBC/ODBC does not include a number of operations to fulfill Grid database requirements. Better solution: Service-based approach shown in the next slide, with a service wrapper placed between the Grid and the DBS Two possible approaches:

34 Institut für Softwarewissenschaft - Universität WienP.Brezany 34 Integrating Databases into the Grid (2)

35 Institut für Softwarewissenschaft - Universität WienP.Brezany 35 Federating Database Systems Across the Grid A Grid application interfacing directly to a set of DBS

36 Institut für Softwarewissenschaft - Universität WienP.Brezany 36 Federating Database Systems Across the Grid (2) The virtual database service provides the illusion that a singe DB is accessed. The services can be transient (Grid-enabled) or persistent (operated independently of the Grid).

37 Institut für Softwarewissenschaft - Universität WienP.Brezany 37 Database Database Service (GDS) Entdeckung des DB services Die Beschreibung der DB services mußt publiziert (registriert) werden: –Inhalt der DB –Details über DB Operationen –usw. Registry Look-up gibt Grid Service Handle (GSH) zurück. GSH ist ein global eindeutiger Name für jeden einzigen service Fall (instance).

38 Institut für Softwarewissenschaft - Universität WienP.Brezany 38 Database Statements DB statements ermöglichen Abfragen (queries), Modifikationen (updates) und Ladungen (loads) an ein DB für Ausführung zu schicken. Grundlegendes database statement interface query (IN queryNotation, IN query, OPTIN expires, OUT resultHandle, OUT fail) update (....) bulkLoad (....) schemaUpdate (....) z.B. queryNotation = “SQL92“ expires – Beschränkung von Ressourcen-Anwendung

39 Institut für Softwarewissenschaft - Universität WienP.Brezany 39 Distributed Query Service The role of a distributed query service is to allow individual queries to access multiple DB, thereby allowing the system to take responsibility for query optimization and efficient evaluation. Setting up a distributed query service

40 Institut für Softwarewissenschaft - Universität WienP.Brezany 40 Distributed Query Service (2) Using up a distributed query service

41 Institut für Softwarewissenschaft - Universität WienP.Brezany 41 Database Services in OGSA DB services bekommen zusätzliche Eingeschaften, when sie mit OGSA integriert werden. Life cycles – OGSA unterscheidet zwischen: –persistent service: er wird außerhalb der Grid-Service-Umgebung hergestellt; er kann durch standard Grid-Service-Konventionen benutzt werden. –transient Grid service: er wird innerhalb von OGSA von factory hergestellt. Es ist möglich seine Lebensspane (lifespan) zu spezifizieren. Auch schema, Datenbank, usw. kann spezifiziert werden. Es ist notwendig zu ermöglichen, dass DB Authoriesierungsfunktionalität innerhalb von OGSA zugreifbar ist.

42 Institut für Softwarewissenschaft - Universität WienP.Brezany 42 Creating and Using a Grid Data Service


Herunterladen ppt "Institut für Softwarewissenschaft - Universität WienP.Brezany 1 Verteilte und föderierte Datenbanken und das Grid Peter Brezany Institut für Softwarewissenschaft."

Ähnliche Präsentationen


Google-Anzeigen