Datenbankframeworks in der Cloud Seminar “Datenbankanwendungen im Cloud Computing” Referent: Markus Oelsner Datum: 29.06.2010 Betreuerin: Jutta Mülle

Datenmenge drastisch gestiegen Probleme bei traditionellen Datenbanken Motivation Datenmenge drastisch gestiegen Probleme bei traditionellen Datenbanken Anforderungen: Starke Flexibilität Hohe Anwendbarkeit Hohe Leistungsfähigkeit Skalierbarkeit Hohe Verfügbarkeit Lösung: verteilte Datenbanksysteme Markus Oelsner – Datenbankframeworks in der Cloud

Datenbankframeworks in der Cloud Google BigTable Amazon (3 Angebote) Apache Hadoop HBase Markus Oelsner – Datenbankframeworks in der Cloud

Markus Oelsner – Datenbankframeworks in der Cloud

Verteiltes Datenbanksystem für sehr große Datenmengen (Petabytes) 1. Google BigTable Verteiltes Datenbanksystem für sehr große Datenmengen (Petabytes) Kein offizielles Cloud Service Angebot Nutzung: Markus Oelsner – Datenbankframeworks in der Cloud

Daten werden über Zeilen- und Spaltenindizes abgelegt 1. Google BigTable „A Bigtable is a sparse, distributed, persistent, multi-dimensional sorted map“ Daten werden über Zeilen- und Spaltenindizes abgelegt Bigtable: A Distributed Storage System for Structured Data Fay Chang, Jeffrey Dean, Sanjay Gehmawat, usw Markus Oelsner – Datenbankframeworks in der Cloud

1. Google BigTable Zeilen: Strings mit maximaler Länge von 64 kB Lexikographische Sortierung Dynamische Unterteilen der Tabelle in Bereiche -> Tablets Markus Oelsner – Datenbankframeworks in der Cloud

1. Google BigTable Spalten: Gruppierung in Spaltenfamilie family:qualifier (beide strings) Zugangskontrolle und Speicherung als Spaltenfamilien Markus Oelsner – Datenbankframeworks in der Cloud

1. Google BigTable Zeitstempel: Verschiedene Versionen der Zellen 64 Bit Integer Einzigartigkeit Automatisches Löschen der Versionen Markus Oelsner – Datenbankframeworks in der Cloud

1. Google BigTable Tablets enthalten zusammenhängende Bereiche ca. 100 MB pro Tablet ca. 100 Tablets pro Server -> Lastbalancierung -> schnelle Recovery-Durchführung Markus Oelsner – Datenbankframeworks in der Cloud

1. Google BigTable Tablet-Verhalten Wird in GFS gespeichert Dateiformat SSTable Änderungen werden in Memtable gespeichert Ältere Updates in SSTable Minor Compaction Memtable  SSTable Major Compaction alle SSTables + Memtable  eine SSTable Markus Oelsner – Datenbankframeworks in der Cloud

1. Google BigTable Implementierung Ein Master-Server und viele Tablet-Server Master-Server Zuweisung von Tablets zu Tablet-Servern Load-Balancing Steuert Erzeugung und Änderung der Tabellen und Spalten Tablet-Server Verwaltet Menge von Tablets Dynamisches Hinzufügen oder Entfernen im Cluster verarbeitet Lese- und Schreibanfragen Splittet Tablets Markus Oelsner – Datenbankframeworks in der Cloud

1. Google BigTable 3-Stufen-Hierarchie Wurzel Tablett Metadaten Tablet Verweis auf Metadaten Tablets In Chubby File Nicht teilbar Metadaten Tablet Verweis auf BenutzerTablets User Tablets Markus Oelsner – Datenbankframeworks in der Cloud

Funktionen und Schnittstellen: 1. Google BigTable Funktionen und Schnittstellen: Unterstützt keine gewöhnliche SQL Sprache Bietet Funktionen zum Erstellen, Ändern und Löschen von Tabellen, Spaltenfamilien und Metadaten Noch weitere komplexe Features Abfrage für App Engine: GQL Query Class Query Class Markus Oelsner – Datenbankframeworks in der Cloud

Markus Oelsner – Datenbankframeworks in der Cloud

2. Amazon Markus Oelsner – Datenbankframeworks in der Cloud

Verschiedene Angebote um Datenbank bei Amazon zu betreiben Amazon Simple DB Amazon RDS Relationale Datenbank in Amazon EC2 Markus Oelsner – Datenbankframeworks in der Cloud

2. Amazon 3.1. Amazon Simple DB Einfach strukturiert Hoch zuverlässig Keine relationale Datenbank Skalierbar Schnell Flexibel Kompatibel mit anderen AWS Für Speicherung kleiner Datenmengen Erschwinglich Markus Oelsner – Datenbankframeworks in der Cloud

2. Amazon 3.2. Amazon RDS Einfach bereitzustellen Relationale Datenbank Bietet Zugriff auf MySQL Schnittstelle Skalierbar Zuverlässig Kompatibel mit anderen AWS erschwinglich Markus Oelsner – Datenbankframeworks in der Cloud

3.3. Relationale Datenbank in Amazon EC2 Eigene Relationale Datenbank für eigene Anforderungen Wird auf Amazon EC2 ausgeführt und auf Amazon EBS gespeichert Vollen Zugriff auf verschiedene APIs wie MySQL, Oracle, Postgre SQL, Sybase, MicrosoftSQL, IBM DB2 Markus Oelsner – Datenbankframeworks in der Cloud

Markus Oelsner – Datenbankframeworks in der Cloud

Open Source-Plattform Programmiersprache: Java 3. Apache Hadoop HBase Open Source-Plattform Programmiersprache: Java Eigenschaften, Architektur und Implementierung sehr ähnlich zu BigTable Markus Oelsner – Datenbankframeworks in der Cloud

Unterschiede zu BigTable: 3. Apache Hadoop HBase Unterschiede zu BigTable: Andere Terminologien verwendet kein Chubby Lock Service HDFS Speicherung anstatt GFS Speicherung der Tablets/Regions anders Mehrere Schnittstellen: Java API, Thrift Server, REST Server, C++ Bibliothek, HBase Shell Keine Zugriffskontrollen für Spaltenfamilien Größere Tablets/Regionen Markus Oelsner – Datenbankframeworks in der Cloud

Zusammenfassung Es gibt viele verschiedene Angebote, man muss Sie nur nach seinen derzeitigen und seinen künftigen Anforderungen auswählen. Markus Oelsner – Datenbankframeworks in der Cloud

Vielen Dank für Ihre Aufmerksamkeit! Markus Oelsner – Datenbankframeworks in der Cloud