Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

KIT – University of the State of Baden-Wuerttemberg and National Research Center of the Helmholtz Association SOFTWARE DESIGN AND QUALITY GROUP INSTITUTE.

Ähnliche Präsentationen


Präsentation zum Thema: "KIT – University of the State of Baden-Wuerttemberg and National Research Center of the Helmholtz Association SOFTWARE DESIGN AND QUALITY GROUP INSTITUTE."—  Präsentation transkript:

1 KIT – University of the State of Baden-Wuerttemberg and National Research Center of the Helmholtz Association SOFTWARE DESIGN AND QUALITY GROUP INSTITUTE FOR PROGRAM STRUCTURES AND DATA ORGANIZATION, FACULTY OF INFORMATICS Datenbankframeworks in der Cloud Seminar Datenbankanwendungen im Cloud Computing Referent: Markus Oelsner Datum: Betreuerin: Jutta Mülle

2 Software Design and Quality Group Institute for Program Structures and Data Organization Markus Oelsner – Datenbankframeworks in der Cloud Motivation Datenmenge drastisch gestiegen Probleme bei traditionellen Datenbanken Anforderungen: Starke Flexibilität Hohe Anwendbarkeit Hohe Leistungsfähigkeit Skalierbarkeit Hohe Verfügbarkeit Lösung: verteilte Datenbanksysteme

3 Software Design and Quality Group Institute for Program Structures and Data Organization Markus Oelsner – Datenbankframeworks in der Cloud Datenbankframeworks in der Cloud 1.Google BigTable 2.Amazon (3 Angebote) 3.Apache Hadoop HBase

4 Software Design and Quality Group Institute for Program Structures and Data Organization Markus Oelsner – Datenbankframeworks in der Cloud

5 Software Design and Quality Group Institute for Program Structures and Data Organization Markus Oelsner – Datenbankframeworks in der Cloud 1. Google BigTable Verteiltes Datenbanksystem für sehr große Datenmengen (Petabytes) Kein offizielles Cloud Service Angebot Nutzung:

6 Software Design and Quality Group Institute for Program Structures and Data Organization Markus Oelsner – Datenbankframeworks in der Cloud 1. Google BigTable A Bigtable is a sparse, distributed, persistent, multi-dimensional sorted map Daten werden über Zeilen- und Spaltenindizes abgelegt Bigtable: A Distributed Storage System for Structured Data Fay Chang, Jeffrey Dean, Sanjay Gehmawat, usw

7 Software Design and Quality Group Institute for Program Structures and Data Organization Markus Oelsner – Datenbankframeworks in der Cloud 1. Google BigTable Zeilen: Strings mit maximaler Länge von 64 kB Lexikographische Sortierung Dynamische Unterteilen der Tabelle in Bereiche -> Tablets

8 Software Design and Quality Group Institute for Program Structures and Data Organization Markus Oelsner – Datenbankframeworks in der Cloud 1. Google BigTable Spalten: Gruppierung in Spaltenfamilie family:qualifier (beide strings) Zugangskontrolle und Speicherung als Spaltenfamilien

9 Software Design and Quality Group Institute for Program Structures and Data Organization Markus Oelsner – Datenbankframeworks in der Cloud 1. Google BigTable Zeitstempel: Verschiedene Versionen der Zellen 64 Bit Integer Einzigartigkeit Automatisches Löschen der Versionen

10 Software Design and Quality Group Institute for Program Structures and Data Organization Markus Oelsner – Datenbankframeworks in der Cloud 1. Google BigTable Tablets enthalten zusammenhängende Bereiche ca. 100 MB pro Tablet ca. 100 Tablets pro Server -> Lastbalancierung -> schnelle Recovery-Durchführung

11 Software Design and Quality Group Institute for Program Structures and Data Organization Markus Oelsner – Datenbankframeworks in der Cloud 1. Google BigTable Tablet-Verhalten Wird in GFS gespeichert Dateiformat SSTable Änderungen werden in Memtable gespeichert Ältere Updates in SSTable Minor Compaction Memtable SSTable Major Compaction alle SSTables + Memtable eine SSTable

12 Software Design and Quality Group Institute for Program Structures and Data Organization Markus Oelsner – Datenbankframeworks in der Cloud 1. Google BigTable Implementierung Ein Master-Server und viele Tablet-Server Master-Server Zuweisung von Tablets zu Tablet-Servern Load-Balancing Steuert Erzeugung und Änderung der Tabellen und Spalten Tablet-Server Verwaltet Menge von Tablets Dynamisches Hinzufügen oder Entfernen im Cluster verarbeitet Lese- und Schreibanfragen Splittet Tablets

13 Software Design and Quality Group Institute for Program Structures and Data Organization Markus Oelsner – Datenbankframeworks in der Cloud 1. Google BigTable 3-Stufen-Hierarchie Wurzel Tablett Verweis auf Metadaten Tablets In Chubby File Nicht teilbar Metadaten Tablet Verweis auf BenutzerTablets User Tablets

14 Software Design and Quality Group Institute for Program Structures and Data Organization Markus Oelsner – Datenbankframeworks in der Cloud 1. Google BigTable Funktionen und Schnittstellen: Unterstützt keine gewöhnliche SQL Sprache Bietet Funktionen zum Erstellen, Ändern und Löschen von Tabellen, Spaltenfamilien und Metadaten Noch weitere komplexe Features Abfrage für App Engine: GQL Query Class Query Class

15 Software Design and Quality Group Institute for Program Structures and Data Organization Markus Oelsner – Datenbankframeworks in der Cloud

16 Software Design and Quality Group Institute for Program Structures and Data Organization Markus Oelsner – Datenbankframeworks in der Cloud 2. Amazon

17 Software Design and Quality Group Institute for Program Structures and Data Organization Markus Oelsner – Datenbankframeworks in der Cloud 2. Amazon Verschiedene Angebote um Datenbank bei Amazon zu betreiben 1.Amazon Simple DB 2.Amazon RDS 3.Relationale Datenbank in Amazon EC2

18 Software Design and Quality Group Institute for Program Structures and Data Organization Markus Oelsner – Datenbankframeworks in der Cloud 2. Amazon 3.1. Amazon Simple DB Einfach strukturiert Hoch zuverlässig Keine relationale Datenbank Skalierbar Schnell Flexibel Kompatibel mit anderen AWS Für Speicherung kleiner Datenmengen Erschwinglich

19 Software Design and Quality Group Institute for Program Structures and Data Organization Markus Oelsner – Datenbankframeworks in der Cloud 2. Amazon 3.2. Amazon RDS Einfach bereitzustellen Relationale Datenbank Bietet Zugriff auf MySQL Schnittstelle Skalierbar Zuverlässig Kompatibel mit anderen AWS erschwinglich

20 Software Design and Quality Group Institute for Program Structures and Data Organization Markus Oelsner – Datenbankframeworks in der Cloud 2. Amazon 3.3. Relationale Datenbank in Amazon EC2 Eigene Relationale Datenbank für eigene Anforderungen Wird auf Amazon EC2 ausgeführt und auf Amazon EBS gespeichert Vollen Zugriff auf verschiedene APIs wie MySQL, Oracle, Postgre SQL, Sybase, MicrosoftSQL, IBM DB2

21 Software Design and Quality Group Institute for Program Structures and Data Organization Markus Oelsner – Datenbankframeworks in der Cloud

22 Software Design and Quality Group Institute for Program Structures and Data Organization Markus Oelsner – Datenbankframeworks in der Cloud 3. Apache Hadoop HBase Open Source-Plattform Programmiersprache: Java Eigenschaften, Architektur und Implementierung sehr ähnlich zu BigTable

23 Software Design and Quality Group Institute for Program Structures and Data Organization Markus Oelsner – Datenbankframeworks in der Cloud 3. Apache Hadoop HBase Unterschiede zu BigTable: Andere Terminologien verwendet kein Chubby Lock Service HDFS Speicherung anstatt GFS Speicherung der Tablets/Regions anders Mehrere Schnittstellen: Java API, Thrift Server, REST Server, C++ Bibliothek, HBase Shell Keine Zugriffskontrollen für Spaltenfamilien Größere Tablets/Regionen

24 Software Design and Quality Group Institute for Program Structures and Data Organization Markus Oelsner – Datenbankframeworks in der Cloud Zusammenfassung Es gibt viele verschiedene Angebote, man muss Sie nur nach seinen derzeitigen und seinen künftigen Anforderungen auswählen.

25 Software Design and Quality Group Institute for Program Structures and Data Organization Markus Oelsner – Datenbankframeworks in der Cloud Vielen Dank für Ihre Aufmerksamkeit!


Herunterladen ppt "KIT – University of the State of Baden-Wuerttemberg and National Research Center of the Helmholtz Association SOFTWARE DESIGN AND QUALITY GROUP INSTITUTE."

Ähnliche Präsentationen


Google-Anzeigen