Seminar zur Nebenläufigkeit in verteilten Systemen Kodierungsverfahren vorgestellt von Jens Brauckmann

Seminar zur Nebenläufigkeit in verteilten Systemen Kodierungsverfahren vorgestellt von Jens Brauckmann -Vorgeschlagen von Gagan Agrawal und Pankaj Jalote Coding-Based Replication Schemes for Distributed Systems IEEE Transaction on Paralleland Distributed Systems, März zusätzlich zur Synchronisation der Zugriffe auf replizierte Datenbestände auch Reduktion des Speicherplatzbedarfs -Kein Verzicht auf Verfügbarkeitsvorteile -Erhöhte Datensicherheit - nicht wie bei Zeugen durch weglassen einer Dateikopie sondern durch verteilte Speicherung von Dateistücken Kodierungsverfahren

Seminar zur Nebenläufigkeit in verteilten Systemen Kodierungsverfahren vorgestellt von Jens Brauckmann Grundidee: N Stücke N M Möglichkeiten diejenigen M Rechner zu wählen von denen Rekonstruiert werden soll |d| m Größe d Datei d M Stücken N > M (Redundanz) Rechner 1 Rechner 2 Rechner 3 Rechner 4 Rechner 5

Seminar zur Nebenläufigkeit in verteilten Systemen Kodierungsverfahren vorgestellt von Jens Brauckmann Codierung von M. O. Rabin aus seinem Artikel Efficient dispersal of information for security, load balancing and fault-tolerance von Eine Datei F mit den Zeichen F= b 1 …. b x wird in N Vektoren der Länge M unterteilt. Diese Vektoren werden als Matrix (n, m) geschrieben und mit einer Linear unabhängigen Transformationsmatrix (m,n) multipliziert (z.B.Vandermonde Matrix). c 11 … c 1n c n1 … c nn b 1 … b m b m+1 …b 2m a a 1n a m1... a mn x= Die Ergebnismatrix C besteht aus N Vectoren die als Dateistücke auf verschiedenen Computern abgelegt werden können. Für die Rekonstruktion werden lediglich M dieser N Vectoren benötigt: Zunächst werden die Vectoren entsprechend ihrem auftreten in der Matrix C sortiert. Anschließend wird die Transformationsmatrix entsprechen der vorhandenen Dateistücke gekürzt und invertiert. Multipliziert man nun die invertierte Transformationsmatrix mit der Matrix C erhält man die Ursprungsmatrix (die letztlich nur ein Abbild der Datei ist). B = C x A

Seminar zur Nebenläufigkeit in verteilten Systemen Kodierungsverfahren vorgestellt von Jens Brauckmann d = Datei M = Anzahl der benötigten Stücke für Rekonstruktion N = Anzahl der Stück in die unterteilt worden ist Bedingung:N > M Dateigrösse: |d|/M Replikationsgrad: n Bedingung: (n N) n-N = Anzahl der Replikationsstücke Anstelle von n vollen Dateikopien reduziert sich der Speicherbedarf um einen Faktor M. Höhere Verfügbarkeit aber verkomplizierter leicht den Synchronisationsalgorithmus Analog zum Votierungsverfahren hat jedes Dateistück eine Versionsnummer, Stimmgewicht und es gibt ein Lese- / Schreib- Quorum mit den Werten für gewichtetes Voten.

Seminar zur Nebenläufigkeit in verteilten Systemen Kodierungsverfahren vorgestellt von Jens Brauckmann Quorumbegriff: minimal hinreichendes Quorum: gegenseitiger Ausschluss konkurrierender Zugriffe sicherstellen das aktuelle Versionsnummer identifiziert werden kann QU L mh = max ( M, QU L ) QU s mh = max ( k, QU s ) mit k M k= Anzahl der Dateistücke auf denen eine Operation ausgeführt werden muss maximal notwendiges Quorum: Worstcase um sicher zu stellen das M paarweise verschiedene aktuelle Dateistücke vorliegen QU L mn = n – k + M QU s mn = max ( QU s, n – N + k) M = Anzahl der benötigten Stücke für Rekonstruktion n = Replikationsgrad QU L = Grenzwert für Lesenoperation QU S = Grenzwert für Schreibzugriff

Seminar zur Nebenläufigkeit in verteilten Systemen Kodierungsverfahren vorgestellt von Jens Brauckmann Beispiel: N = 10 M = 3 n = 12 QU L = 4 QU S = 9 mit QU L + QU S 12 Jeder Teilnehmer hat ein Stimmgewicht von 1 k = 10 Dateistücke für Fortschreibung Es ergibt sich: QU L mh = 4 QU L mn = 5 QU s mh = 10 QU s mn = 12 QU L mh = max ( M, QU L ) QU s mh = max ( k, QU s ) QU L mn = n – k + M QU s mn = max ( QU s, n – N + k) (7) (4)(8)(9) k kann nicht beliebig abgesenkt werden

Seminar zur Nebenläufigkeit in verteilten Systemen Kodierungsverfahren vorgestellt von Jens Brauckmann Dynamische Neuordnung: Bei Write-Operation mit mindestens x Dateifragmenten bei denen weniger als m verschiedene, aber insgesamt mehr als k Dateifragmente vorhanden sind, werden die Dateifragmente neu verteilt. Die x Dateifragemente werden mit den m nötigen Teilen überschrieben. Damit ändert sich die benötigte Anzahl von Dateistücken um eine Schreiboperation durchführen zu können und somit auch die maximal benötigten Quoren-Grenzen. QU L mn = n – k + Mändert sich zu QU L mn = n –QU S mh + M [QU s mh = max ( k, QU s ) ] Und QU s mn = max ( QU s, n – N + k)ändert sich zu QU s mn = max (QU S mh, QU s mn )

Seminar zur Nebenläufigkeit in verteilten Systemen Kodierungsverfahren vorgestellt von Jens Brauckmann Verfügbarkeit: p = Wahrscheinlichkeit mit der Dateifragment erreichbar ist Warscheinlichkeit für eine Quorum- erreichung

Seminar zur Nebenläufigkeit in verteilten Systemen Kodierungsverfahren vorgestellt von Jens Brauckmann Benötigter Speicherplatz pro System ( Fehlerwarscheinlichkeit p = 0.90 )

Seminar zur Nebenläufigkeit in verteilten Systemen Kodierungsverfahren vorgestellt von Jens Brauckmann Speicherplatz und Fehlerwarscheinlichkeit ( Verfügbarkeit bei )

Seminar zur Nebenläufigkeit in verteilten Systemen Kodierungsverfahren vorgestellt von Jens Brauckmann Bandbreite für write-Operationen und Verfügbarkeit (p = 0.90 )

Seminar zur Nebenläufigkeit in verteilten Systemen Kodierungsverfahren vorgestellt von Jens Brauckmann Bandbreite für Read-Operationen und Verfügbarkeit ( p = 0.90 )

Seminar zur Nebenläufigkeit in verteilten Systemen Kodierungsverfahren vorgestellt von Jens Brauckmann Verfügbarkeit: Kodierungsverfahren mit udate sites cardinality

Seminar zur Nebenläufigkeit in verteilten Systemen Kodierungsverfahren vorgestellt von Jens Brauckmann Zusammenfassung: Höhere Sicherheit durch Fragmentierung und Codierungsverfahren nach Rabin Steigende oder sinkende Anzahl von Teilnehmern läst sich einfach durch Anpassung des Replikationsgrades und damit der Quorum-Grenzen anpassen Benötigter Speicherplatz ist stark reduziert (besser als bei Zeugen und reiner Fragmentierung) Nachteil: erhöhte Bandbreite bei Read-Operationen