Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Seminar - Informationsverwaltung in Sensornetzwerken Approximative Aggregatberechnung Sebastian Trapp 11.12.2006 1 Informationsverwaltung in Sensornetzwerken.

Ähnliche Präsentationen


Präsentation zum Thema: "Seminar - Informationsverwaltung in Sensornetzwerken Approximative Aggregatberechnung Sebastian Trapp 11.12.2006 1 Informationsverwaltung in Sensornetzwerken."—  Präsentation transkript:

1 Seminar - Informationsverwaltung in Sensornetzwerken Approximative Aggregatberechnung Sebastian Trapp Informationsverwaltung in Sensornetzwerken Seminarvortrag Approximative Aggregatberechnung Sebastian Trapp Wintersemester 2006/2007 Universität Karlsruhe IPD Böhm

2 Seminar - Informationsverwaltung in Sensornetzwerken Approximative Aggregatberechnung Sebastian Trapp Überblick Ziel Verfahren zur Erstellung Duplikat-sensitiver Aggregate unter Berücksichtigung der Widrigkeiten eines Sensornetzwerkes -minimale Datenübertragung -in-Network Verarbeitung mit minimalem Rechenaufwand im Knoten -funktionsfähig mit jedem best-effort Routing Protokoll Vorgehensweise Motivation Einführung FM Sketche Anwendung der Sketche auf SUM Aggregate Evaluation

3 Seminar - Informationsverwaltung in Sensornetzwerken Approximative Aggregatberechnung Sebastian Trapp Warum ein neuer Ansatz? Die herkömmlichen Anfragesysteme für Sensornetzwerke funktionieren schnell und energieeffizient Beispiel: TAG Anfrage wird im Netz geflutet Antwort erfolgt über einen Spannbaum sehr gut für MIN, MAX, COUNT, AVG, SUM, S 5 3 8

4 Seminar - Informationsverwaltung in Sensornetzwerken Approximative Aggregatberechnung Sebastian Trapp Nachteile von TAG Knoten und Verbindungen in Sensornetzwerken sind nicht sehr zuverlässig Knoten versagen aus Energiemangel Drahtlose Kommunikation nicht zuverlässig -Objekte zwischen Knoten stören Verbindung -Umwelteinflüsse stellen große Ausfallgefahr dar Ausfall eines Knotens oder einer Verbindung führt zum Verlust eines gesamten Teilbaumes S 5 3 8

5 Seminar - Informationsverwaltung in Sensornetzwerken Approximative Aggregatberechnung Sebastian Trapp Alternative zum Spannbaum Multi-Path Routing Knoten verschickt Daten an alle Eltern (=Knoten einer höheren Ebene) Daten werden über verschiedene Pfade zum Ziel geleitet Funktioniert für MIN, MAX,... Funktioniert nicht ohne weiteres für COUNT, AVG, SUM,... -Werte fließen mehrfach in das Aggregat ein S MAXSUM

6 Seminar - Informationsverwaltung in Sensornetzwerken Approximative Aggregatberechnung Sebastian Trapp Duplikat-insensitiv mit Multi-Path Jeder Knoten sendet an alle seine Eltern folgende Daten: Seine gemessenen Daten, verknüpft mit seiner ID erhaltene Daten seiner Kinder Anfragesteller am Sink wertet die Daten aus durch Multi-Path Routing sehr zuverlässig Duplikat insensitiv Nachteile: großer Sendeaufwand keine In-Network Verarbeitung minimale Datenübertragung -Ziel in Sensornetzen- verfehlt S 5 3 8

7 Seminar - Informationsverwaltung in Sensornetzwerken Approximative Aggregatberechnung Sebastian Trapp Anforderungen Anfragesystem soll folgende Bedingungen erfüllen: In-Network Processing -nur Aggregat wird gesendet -kleine Datenmenge Duplikat-insentitive Verarbeitung -Multi-Path Routing nutzen Wir betrachten nun das Duplikat sensitive Aggregat COUNT

8 Seminar - Informationsverwaltung in Sensornetzwerken Approximative Aggregatberechnung Sebastian Trapp Distinct Counting Problem Ein kleiner Ausflug Erfassen der Anzahl der unterschiedlichen Messwerte Definition Finde die Anzahl n der unterschiedlichen Elemente in einer Mehrfachmenge M = {x 1, x 2,...} Aufwand: Exakte Lösung: - (n) Approximierte Lösung (FM Sketch) - (log n) [Flajolet, Martin, 1984]

9 Seminar - Informationsverwaltung in Sensornetzwerken Approximative Aggregatberechnung Sebastian Trapp FM Sketche Ein FM Sketch ist ein binäres Bitmap Bezeichnung üblicherweise S(M) Länge k im Anwendungsfall 16 bzw. 32 Bit Repräsentiert die Anzahl der verschiedenen eingefügten Werte Algorithmus zum Einfügen eines Wertes Wert wird durch eine Hash-Funktion umgewandelt im Hash-Wert wird Position i des ersten 1-bits ermittelt das i-te Bit von S(M) wird auf 1 gesetzt

10 Seminar - Informationsverwaltung in Sensornetzwerken Approximative Aggregatberechnung Sebastian Trapp FM Sketch Beispiel Einfügen eines Wertes -Wert wird durch eine Hash-Funktion umgewandelt -im Hash-Wert wird Position i des ersten 1-bits ermittelt -das i-te Bit von S(M) wird auf 1 gesetzt Menge {40,17,12,17} hash(x) = x 2 (Binärdarstellung) S(M) = hash(40) = hash(17) = hash(12) =

11 Seminar - Informationsverwaltung in Sensornetzwerken Approximative Aggregatberechnung Sebastian Trapp Eigenschaften der FM Sketche Vereinigung von zwei Mehrfachmengen ist ein bitweises OR ihrer FM Sketche keine teure Berechnung konstanter Speicherbedarf S(M) - der Sketch - ist eindeutig bestimmt durch die verschiedenen Elemente von M Duplikate oder Reihenfolge haben keinen Einfluss Eine Einfügeoperation ist in O(1) Zeit realisierbar

12 Seminar - Informationsverwaltung in Sensornetzwerken Approximative Aggregatberechnung Sebastian Trapp Beispiel Vereinigung zweier Mengen {40, 17} U {12, 17} = {40, 17, 12, 17} Reihenfolge und Duplikate spielen keine Rolle {40, 17} = {17, 40, 17} OR=>

13 Seminar - Informationsverwaltung in Sensornetzwerken Approximative Aggregatberechnung Sebastian Trapp Aussage des Sketches Hashfunktion optimalerweise zufällig verteilt Wahrscheinlichkeit, dass Bit z bei einer Einfügung gesetzt wird p(z) = 2 -z Wahrscheinlichkeit, dass Bit z gesetzt ist, nach n Einfügungen p(z) = n * 2 -z Theoretisch: nach 2 7 = 128 Einfügungen Position der ersten 0 (R n ) ist 7 R n lässt Schluss zu auf Anzahl der eingefügten Werte n => R n = log 2 n RnRn

14 Seminar - Informationsverwaltung in Sensornetzwerken Approximative Aggregatberechnung Sebastian Trapp Sketch Eigenschaften Ein FM Sketch enthält also: Präfix aus 1en Postfix aus 0en eine zufällige Verteilung in der Mitte Abschätzungen Präfix R n Postfix

15 Seminar - Informationsverwaltung in Sensornetzwerken Approximative Aggregatberechnung Sebastian Trapp Sketch zu COUNT Approximation des Aggregatwertes n Anzahl der verschiedenen gezählten Elemente finde Position R n des ersten 0-bits im Sketch Erwartungswert R n =

16 Seminar - Informationsverwaltung in Sensornetzwerken Approximative Aggregatberechnung Sebastian Trapp Sketch Beispiel COUNT S COUNT hash(8) = hash(1) = hash(6) = hash(1) = hash(3) =

17 Seminar - Informationsverwaltung in Sensornetzwerken Approximative Aggregatberechnung Sebastian Trapp Sketch Beispiel SUM SUM S for i = 1 to 8 { insert (random_number) }

18 Seminar - Informationsverwaltung in Sensornetzwerken Approximative Aggregatberechnung Sebastian Trapp Summen Sketche COUNT - zählen der unterschiedlichen Elemente SUM - summieren der Werte c i jedes Elementes SUM mit COUNT realisieren -Zählen von c i verschiedenen Elementen -also c i Einfügeoperationen in den Sketch pro Element -Anzahl der unterschiedlichen, gezählten Werte im Sketch ist gesuchte Summe Gleiche Genauigkeit wie COUNT bei O(c i ) Aufwand für INSERT Schlechte Skalierbarkeit linearer Aufwand bei großen Zahlen nicht hinnehmbar

19 Seminar - Informationsverwaltung in Sensornetzwerken Approximative Aggregatberechnung Sebastian Trapp Effiziente Summen Sketche I Erinnerung mit einer sehr großen Wahrscheinlichkeit enthält ein Sketch -Präfix der Länge aus Einsen -Postfix aus Nullen beginnend an Stelle k Wir wollen c i verschiedene Elemente einfügen Setzen der ersten Bits auf 1 -Anzahl der Bits die mit sehr großer Wahrscheinlichkeit 1 sind Setzen der Bits ab k auf 0 -danach folgen mit großer Wahrscheinlichkeit nur Nullen -k als Länge des Bitmaps ausreichend k

20 Seminar - Informationsverwaltung in Sensornetzwerken Approximative Aggregatberechnung Sebastian Trapp Effiziente Summen Sketche II Wahrscheinlichkeit, dass Bits größer als gesetzt werden ist binomial verteilt Daher Nehme einen zufälligen Wert m aus der Binomialverteilung -man geht davon aus, dass m Elemente die Grenze erreicht hätten Füge m Elemente ein -betrachte jedoch erst die Bits ab Position k hash(x)=

21 Seminar - Informationsverwaltung in Sensornetzwerken Approximative Aggregatberechnung Sebastian Trapp Laufzeitabschätzung Einfügen eines Wertes mit Quantität braucht Zeit Ermittlung der Binomialverteilung ist aufwändig Fließkomma Operationen oder Platz für vorberechnete Tabellen beides nicht vorhanden auf Sensorknoten Verwendung von Approximativem Algorithmus - Wert aus der Binomialverteilung benötigt - Zeit - Platz [ Li, Kollios, Byers ] Erwartungswert und Varianz entsprechend COUNT Varianz groß: Abweichungen von Faktor 2 möglich => Varianz verbessern

22 Seminar - Informationsverwaltung in Sensornetzwerken Approximative Aggregatberechnung Sebastian Trapp Varianz verbessern Modifikation des FM Sketches PCSA - Probabilistic Counting with Stochastic Averaging Wert wird in m verschiedene Bitmaps eingetragen -diese m Bitmaps sind das zu versendende Paket Zerlegung: c i = q i m + r i q i werden zu jedem Bitmap hinzugefügt r i zu einem zufälligen Vorteil: Verbesserte Varianz Nachteil: pro INSERT Zeit

23 Seminar - Informationsverwaltung in Sensornetzwerken Approximative Aggregatberechnung Sebastian Trapp Analyse - TAG vs Sketch Szenario mit 10% Link Verlust Rate und COUNT Anfrage TAG Platzbedarf -2 Byte Baum -nur 36,9 % der Knoten werden gezählt Sketch Platzbedarf -16 Bit Sketch: 2 Byte -PCSA: z.B.: 20*2 Byte Multi-Path Routing -99% der Knoten werden gezählt

24 Seminar - Informationsverwaltung in Sensornetzwerken Approximative Aggregatberechnung Sebastian Trapp Platzbedarf TAG 2 Byte Daten FM Sketch 16 bit Sketch -2 Byte Mit PCSA -20 * 2 Byte Komprimierung auf 30% (ca. 20 Byte)

25 Seminar - Informationsverwaltung in Sensornetzwerken Approximative Aggregatberechnung Sebastian Trapp Experimentelle Evaluation TAG vs Sketch Link Verlust Rate 5 % 30 x 30 Gitter Grafik aus dem Paper...

26 Seminar - Informationsverwaltung in Sensornetzwerken Approximative Aggregatberechnung Sebastian Trapp Zusammenfassung Standardverfahren (TAG,...) Effizient bei geringen Fehlerraten Multi-Path nur für Duplikat-insensitive Aggregate FM Sketche Multi-Path-Routing für Duplikat-sensitive Anfragen robust bei moderatem Verbindungsverlust hohe Effizienz und Zuverlässigkeit in der Anwendung Quellen: -Approximate Aggregation Techniques for Sensor Databases von Considine, Li, Kollios and Byers - Probabilistic Counting Algorithms for Data Base Applications von Philippe Flajolet und G. Nigel Martin, 1985


Herunterladen ppt "Seminar - Informationsverwaltung in Sensornetzwerken Approximative Aggregatberechnung Sebastian Trapp 11.12.2006 1 Informationsverwaltung in Sensornetzwerken."

Ähnliche Präsentationen


Google-Anzeigen