Datenbankframeworks in der Cloud

Präsentation zum Thema: "Datenbankframeworks in der Cloud"—  Präsentation transkript:

1 Datenbankframeworks in der Cloud
Seminar “Datenbankanwendungen im Cloud Computing” Referent: Markus Oelsner Datum: Betreuerin: Jutta Mülle

2 Datenmenge drastisch gestiegen Probleme bei traditionellen Datenbanken
Motivation Datenmenge drastisch gestiegen Probleme bei traditionellen Datenbanken Anforderungen: Starke Flexibilität Hohe Anwendbarkeit Hohe Leistungsfähigkeit Skalierbarkeit Hohe Verfügbarkeit Lösung: verteilte Datenbanksysteme Markus Oelsner – Datenbankframeworks in der Cloud

3 Datenbankframeworks in der Cloud
Google BigTable Amazon (3 Angebote) Apache Hadoop HBase Markus Oelsner – Datenbankframeworks in der Cloud

4 Markus Oelsner – Datenbankframeworks in der Cloud

5 Verteiltes Datenbanksystem für sehr große Datenmengen (Petabytes)
1. Google BigTable Verteiltes Datenbanksystem für sehr große Datenmengen (Petabytes) Kein offizielles Cloud Service Angebot Nutzung: Markus Oelsner – Datenbankframeworks in der Cloud

6 Daten werden über Zeilen- und Spaltenindizes abgelegt
1. Google BigTable „A Bigtable is a sparse, distributed, persistent, multi-dimensional sorted map“ Daten werden über Zeilen- und Spaltenindizes abgelegt Bigtable: A Distributed Storage System for Structured Data Fay Chang, Jeffrey Dean, Sanjay Gehmawat, usw Markus Oelsner – Datenbankframeworks in der Cloud

7 1. Google BigTable Zeilen: Strings mit maximaler Länge von 64 kB
Lexikographische Sortierung Dynamische Unterteilen der Tabelle in Bereiche > Tablets Markus Oelsner – Datenbankframeworks in der Cloud

8 1. Google BigTable Spalten:
Gruppierung in Spaltenfamilie family:qualifier (beide strings) Zugangskontrolle und Speicherung als Spaltenfamilien Markus Oelsner – Datenbankframeworks in der Cloud

9 1. Google BigTable Zeitstempel: Verschiedene Versionen der Zellen
64 Bit Integer Einzigartigkeit Automatisches Löschen der Versionen Markus Oelsner – Datenbankframeworks in der Cloud

10 1. Google BigTable Tablets enthalten zusammenhängende Bereiche
ca. 100 MB pro Tablet ca. 100 Tablets pro Server -> Lastbalancierung -> schnelle Recovery-Durchführung Markus Oelsner – Datenbankframeworks in der Cloud

11 1. Google BigTable Tablet-Verhalten Wird in GFS gespeichert
Dateiformat SSTable Änderungen werden in Memtable gespeichert Ältere Updates in SSTable Minor Compaction Memtable  SSTable Major Compaction alle SSTables + Memtable  eine SSTable Markus Oelsner – Datenbankframeworks in der Cloud

12 1. Google BigTable Implementierung
Ein Master-Server und viele Tablet-Server Master-Server Zuweisung von Tablets zu Tablet-Servern Load-Balancing Steuert Erzeugung und Änderung der Tabellen und Spalten Tablet-Server Verwaltet Menge von Tablets Dynamisches Hinzufügen oder Entfernen im Cluster verarbeitet Lese- und Schreibanfragen Splittet Tablets Markus Oelsner – Datenbankframeworks in der Cloud

13 1. Google BigTable 3-Stufen-Hierarchie Wurzel Tablett Metadaten Tablet
Verweis auf Metadaten Tablets In Chubby File Nicht teilbar Metadaten Tablet Verweis auf BenutzerTablets User Tablets Markus Oelsner – Datenbankframeworks in der Cloud

14 Funktionen und Schnittstellen:
1. Google BigTable Funktionen und Schnittstellen: Unterstützt keine gewöhnliche SQL Sprache Bietet Funktionen zum Erstellen, Ändern und Löschen von Tabellen, Spaltenfamilien und Metadaten Noch weitere komplexe Features Abfrage für App Engine: GQL Query Class Query Class Markus Oelsner – Datenbankframeworks in der Cloud

15 Markus Oelsner – Datenbankframeworks in der Cloud

16 2. Amazon Markus Oelsner – Datenbankframeworks in der Cloud

17 Verschiedene Angebote um Datenbank bei Amazon zu betreiben
Amazon Simple DB Amazon RDS Relationale Datenbank in Amazon EC2 Markus Oelsner – Datenbankframeworks in der Cloud

18 2. Amazon 3.1. Amazon Simple DB Einfach strukturiert Hoch zuverlässig
Keine relationale Datenbank Skalierbar Schnell Flexibel Kompatibel mit anderen AWS Für Speicherung kleiner Datenmengen Erschwinglich Markus Oelsner – Datenbankframeworks in der Cloud

19 2. Amazon 3.2. Amazon RDS Einfach bereitzustellen
Relationale Datenbank Bietet Zugriff auf MySQL Schnittstelle Skalierbar Zuverlässig Kompatibel mit anderen AWS erschwinglich Markus Oelsner – Datenbankframeworks in der Cloud

20 3.3. Relationale Datenbank in Amazon EC2
Eigene Relationale Datenbank für eigene Anforderungen Wird auf Amazon EC2 ausgeführt und auf Amazon EBS gespeichert Vollen Zugriff auf verschiedene APIs wie MySQL, Oracle, Postgre SQL, Sybase, MicrosoftSQL, IBM DB2 Markus Oelsner – Datenbankframeworks in der Cloud

21 Markus Oelsner – Datenbankframeworks in der Cloud

22 Open Source-Plattform Programmiersprache: Java
3. Apache Hadoop HBase Open Source-Plattform Programmiersprache: Java Eigenschaften, Architektur und Implementierung sehr ähnlich zu BigTable Markus Oelsner – Datenbankframeworks in der Cloud

23 Unterschiede zu BigTable:
3. Apache Hadoop HBase Unterschiede zu BigTable: Andere Terminologien verwendet kein Chubby Lock Service HDFS Speicherung anstatt GFS Speicherung der Tablets/Regions anders Mehrere Schnittstellen: Java API, Thrift Server, REST Server, C++ Bibliothek, HBase Shell Keine Zugriffskontrollen für Spaltenfamilien Größere Tablets/Regionen Markus Oelsner – Datenbankframeworks in der Cloud

24 Zusammenfassung Es gibt viele verschiedene Angebote, man muss Sie nur nach seinen derzeitigen und seinen künftigen Anforderungen auswählen. Markus Oelsner – Datenbankframeworks in der Cloud

25 Vielen Dank für Ihre Aufmerksamkeit!
Markus Oelsner – Datenbankframeworks in der Cloud