Vortrag zur Diplomarbeit in der Arbeitsgruppe Datenbanken und Informationssysteme Entwurf und Analyse eines effizienten verteilten Benachrichtigungssystems Sven Bittner, 9. Januar 2004 Betreuung durch Dr. Annika Hinze und Prof. Dr.-Ing. Heinz F. Schweppe Dr. Annika Hinze und Prof. Dr.-Ing. Heinz F. Schweppe

Sven Bittner - Entwurf und Analyse eines effizienten verteilten Benachrichtigungssystems 2/20 Motivation Benach-richtigungs-system(BS) e 2 : t=30°C e 3 : r=0,2 liter e 4 : r=2 liter e 1 : t=15°C Ereignisse Filterung Effiziente, skalier- bare Filterung Benachrich-tigungen (e 2 ) (e 2 ) (e 1 ) (e 3 ), (e 4 ) (e 3 ), (e 4 ) Profile Abonnenten p 1 =(t>22°C) p 2 =(t<18°C) p 3 =(r>0,1 lit.) Anbieter(Sensoren) Gebäudesteuerung (mittleres Gebäude) >10 4 Profile >10 4 Profile >10 3 Ereignisse/Sekunde >10 3 Ereignisse/Sekunde

Sven Bittner - Entwurf und Analyse eines effizienten verteilten Benachrichtigungssystems 3/20 Gliederung Zentralisierte FilterungZentralisierte Filterung Verteilte FilterungVerteilte Filterung ExperimenteExperimente ZusammenfassungZusammenfassung

Sven Bittner - Entwurf und Analyse eines effizienten verteilten Benachrichtigungssystems 4/20 Gliederung Zentralisierte FilterungZentralisierte Filterung Verteilte FilterungVerteilte Filterung ExperimenteExperimente ZusammenfassungZusammenfassung

Sven Bittner - Entwurf und Analyse eines effizienten verteilten Benachrichtigungssystems 5/20 Zentralisierte Filterung Schnellste Struktur [GS95]Schnellste Struktur [GS95] –Filterbaum über alle Attribute eines Typs –Probleme – Hauptspeicherbedarf sehr groß (breiter Baum) – Nur Gleichheitsoperatoren – Statische Filterstruktur p 4 =(s=1,t=20,r=2) p 5 =(s=2,t=10,r=4) p 6 =(s=2,t=20,r=8) p 7 =(s=2,r=8) p 8 =(s=2,t=20,r=8) t s t r r r r p4p4 p7p7 p 6,7,8 p5p5 p7p * Zentralisierte Filterung Verteilte Filterung Experimente Zusammenfassung

Sven Bittner - Entwurf und Analyse eines effizienten verteilten Benachrichtigungssystems 6/20 Zentralisierte Filterung: Erweiterung {p 5, p 6, p 7, p 8 } {p 7 } {p 7 } {p 6, p 7, p 8 } {p 6, p 7, p 8 } e 5 : (s=2,t=6,r=8) Passende Profile: = {p 7 } * t p 5,7 p 4,6,7,8 p7p r p4p4 p5p5 p 6,7,8 s p4p4 p 5,6,7,8 1 2 Erweiterte Struktur – System PrimAS [Bit02, Bit03]Erweiterte Struktur – System PrimAS [Bit02, Bit03] –Einzelner Knoten je Attribut (Minibaum) –Eigenschaften + Weniger Speicherbedarf (keine breiten Bäume) + Kantenbeschreibung mit Intervallen + Operatoren:, =, Mengentest, Bereichstest + Dynamischer Umbau möglich Zusätzlich: - Optimierung der Auswertungsreihenfolge [HB02] - Optimierung der Auswertungsreihenfolge [HB02] Zentralisierte Filterung Verteilte Filterung Experimente Zusammenfassung

Sven Bittner - Entwurf und Analyse eines effizienten verteilten Benachrichtigungssystems 7/20 Gliederung Zentralisierte FilterungZentralisierte Filterung Verteilte FilterungVerteilte Filterung ExperimenteExperimente ZusammenfassungZusammenfassung

Sven Bittner - Entwurf und Analyse eines effizienten verteilten Benachrichtigungssystems 8/20 Verteilte Filterung BS BS Verteiltes 6 2 Zentrale Filter- komponenten 6 2 Azyklisches Overlaynetz zur Verteilung von Profilen und Ereignissen Zentralisierte Filterung Verteilte Filterung Experimente Zusammenfassung S A Kommunikation mit beliebigen Vermittler

Sven Bittner - Entwurf und Analyse eines effizienten verteilten Benachrichtigungssystems 9/20 VerteilungsstrategienVerteilungsstrategien –Ereignisweiterleitung (EW) [CRW99] Filterung nah bei den AbonnentenFilterung nah bei den Abonnenten Keine Weiterleitung von ProfilenKeine Weiterleitung von Profilen Fluten von EreignissenFluten von Ereignissen Verteilte Filterung: Ereignisweiterleitung BS BS Verteiltes S1S1 e 3 : r=0,2lit. A1A1 p 3 =(r>0,1lit.) p3p3 (e 3 ) Zentralisierte Filterung Verteilte Filterung Experimente Zusammenfassung

Sven Bittner - Entwurf und Analyse eines effizienten verteilten Benachrichtigungssystems 10/20 Verteilte Filterung: Profilweiterleitung –Profilweiterleitung (PW) [CRW99] Filterung nah bei den AnbieternFilterung nah bei den Anbietern Fluten von ProfilenFluten von Profilen Keine Weiterleitung von EreignissenKeine Weiterleitung von Ereignissen BS BS Verteiltes S1S1 e 3 : r=0,2lit. A1A1 p 3 =(r>0,1lit.) p3p3 p3p3 p3p3 p3p3 p3p3 p3p3 (e 3 ) Zentralisierte Filterung Verteilte Filterung Experimente Zusammenfassung

Sven Bittner - Entwurf und Analyse eines effizienten verteilten Benachrichtigungssystems 11/20 –Rendezvousknoten (RK) [PB02] Filterung in spezialisierten ereignistypabhängigen RKFilterung in spezialisierten ereignistypabhängigen RK Gerichtete Weiterleitung der Profile und Ereignisse an RKGerichtete Weiterleitung der Profile und Ereignisse an RK Praxis: Filterung auch in UnterwegsknotenPraxis: Filterung auch in Unterwegsknoten Verteilte Filterung: Rendezvousknoten Filterung von Niederschlags- ereignissen BS BS Verteiltes S1S1 e 3 : r=0,2lit. A1A1 p 3 =(r>0,1lit.) p3p3 (e 3 ) Zentralisierte Filterung Verteilte Filterung Experimente Zusammenfassung

Sven Bittner - Entwurf und Analyse eines effizienten verteilten Benachrichtigungssystems 12/20 –Ausnutzen von Bedeckungen zwischen Profilen Intuitiv: p x > p y (überdeckt) gdw. zu p x genau die oder mehr Ereignisse als zu p y passenIntuitiv: p x > p y (überdeckt) gdw. zu p x genau die oder mehr Ereignisse als zu p y passen –Anwendung Weiterleiten von Profil p x an Nachbarn nur dann, wenn noch kein p y mit p y > p x weitergeleitet wurdeWeiterleiten von Profil p x an Nachbarn nur dann, wenn noch kein p y mit p y > p x weitergeleitet wurde Wenn Profil p x von Nachbarn eintrifft, können alle p y dieses Nachbarn mit p x > p y entfernt werdenWenn Profil p x von Nachbarn eintrifft, können alle p y dieses Nachbarn mit p x > p y entfernt werden –Berechnung Bereichsbasierte Berechnung (aufbauend auf Filterstruktur)Bereichsbasierte Berechnung (aufbauend auf Filterstruktur) –Analyse der Kanten der Minibäume abhängig vom Operator –Bildung der Schnittmenge der Überdeckungen der Attribute Verteilte Filterung: Optimierung Zentralisierte Filterung Verteilte Filterung Experimente Zusammenfassung

Sven Bittner - Entwurf und Analyse eines effizienten verteilten Benachrichtigungssystems 13/20 Gliederung Zentralisierte FilterungZentralisierte Filterung Verteilte FilterungVerteilte Filterung ExperimenteExperimente ZusammenfassungZusammenfassung

Sven Bittner - Entwurf und Analyse eines effizienten verteilten Benachrichtigungssystems 14/20 Experimente Realisierung der verteilten Filtervarianten und der zentralisierten Filterkomponente in Prototyp DASRealisierung der verteilten Filtervarianten und der zentralisierten Filterkomponente in Prototyp DAS Messungen unter Variation zahlreicher ParameterMessungen unter Variation zahlreicher Parameter –Anteil passender Profile –Anteil erfüllender Ereignisse –Vermittlerzahl –Überdeckungen zwischen Profilen –Anzahl Ereignistypen –Lokalitätsverhalten zw. Ereignissen und Profilen –Gesamtprofilanzahl Zentralisierte Filterung Verteilte Filterung Experimente Zusammenfassung

Sven Bittner - Entwurf und Analyse eines effizienten verteilten Benachrichtigungssystems 15/20 Experimente: Auswahl (1) Einfluss der GesamtprofilanzahlEinfluss der Gesamtprofilanzahl Zentralisierte Filterung Verteilte Filterung Experimente Zusammenfassung

Sven Bittner - Entwurf und Analyse eines effizienten verteilten Benachrichtigungssystems 16/20 Experimente: Auswahl (2) Einfluss der erfüllenden EreignisseEinfluss der erfüllenden Ereignisse Zentralisierte Filterung Verteilte Filterung Experimente Zusammenfassung

Sven Bittner - Entwurf und Analyse eines effizienten verteilten Benachrichtigungssystems 17/20 Experimente: Auswahl (3) Einfluss der VermittleranzahlEinfluss der Vermittleranzahl Zentralisierte Filterung Verteilte Filterung Experimente Zusammenfassung

Sven Bittner - Entwurf und Analyse eines effizienten verteilten Benachrichtigungssystems 18/20 Experimente: Fazit Ergebnisse (Überblick)Ergebnisse (Überblick) –Profilweiterleitung Meist beste Filtereffizienz und geringste NetzlastMeist beste Filtereffizienz und geringste Netzlast Jedoch größten SpeicherbedarfJedoch größten Speicherbedarf –Ereignisweiterleitung Sehr hohe NetzlastSehr hohe Netzlast Speicherbedarf optimalSpeicherbedarf optimal Hoher Anteil passender Ereignisse beste FiltereffizienzHoher Anteil passender Ereignisse beste Filtereffizienz Hohe Profilanzahl beste SkalierbarkeitHohe Profilanzahl beste Skalierbarkeit –Rendezvousknoten Unter keiner getesteten Konfiguration bessere Ergebnisse als andere VerfahrenUnter keiner getesteten Konfiguration bessere Ergebnisse als andere Verfahren Zentralisierte Filterung Verteilte Filterung Experimente Zusammenfassung

Sven Bittner - Entwurf und Analyse eines effizienten verteilten Benachrichtigungssystems 19/20 Gliederung Zentralisierte FilterungZentralisierte Filterung Verteilte FilterungVerteilte Filterung ExperimenteExperimente ZusammenfassungZusammenfassung

Sven Bittner - Entwurf und Analyse eines effizienten verteilten Benachrichtigungssystems 20/20 Zusammenfassung Zentrale Filterkomponente PrimAS mit neuer FilterstrukturZentrale Filterkomponente PrimAS mit neuer Filterstruktur Verteiltes Benachrichtigungssystem DAS mit drei verteilten FilteralgorithmenVerteiltes Benachrichtigungssystem DAS mit drei verteilten Filteralgorithmen Experimente: Optimaler Algorithmus abhängig von Systemlast, -nutzung und AnwendungExperimente: Optimaler Algorithmus abhängig von Systemlast, -nutzung und Anwendung System sollte verschiedene Filteralgorithmen unterstützen und dynamisch anpassen System sollte verschiedene Filteralgorithmen unterstützen und dynamisch anpassen Zentralisierte Filterung Verteilte Filterung Experimente Zusammenfassung

Sven Bittner - Entwurf und Analyse eines effizienten verteilten Benachrichtigungssystems 21/20 Literatur [Bit02] S. Bittner: Implementierung eines effizienten Matchingverfahrens für Benachrichtigungssysteme, Studienarbeit, Freie Universität Berlin, Institut für Informatik, September [Bit03] S. Bittner: Entwurf und Analyse eines effizienten verteilten Benachrichtigungssystems. Diplomarbeit, Freie Universität Berlin, Institut für Informatik, September [CRW99] A. Carzaniga, D. S. Rosenblum, A. L. Wolf: Interfaces and Algorithms for a Wide-Area Event Notification Service. Technischer Bericht CU-CS , Universität Colorado, Fachbereich Informatik, Oktober [GS95] J. Gough und G. Smith: Efficient Recognition of Events in a Distributed System. In: Proceedings of the 18th Australasian Computer Science Conference (ACSC-18), Adelaide, Australien, Februar [HB02] A. Hinze und S. Bittner: Efficient Distribution-Based Event Filtering. In: Proceedings of the International Conference on Distributed Computing Systems Workshops (ICDCSW´02), Wien, Österreich, Juli [PB02] P. Pietzuch, J. Bacon: Hermes: A Distributed Event-Based Middleware Architecture. In: Proceedings of the International Conference on Distributed Computing Systems Workshops (ICDCSW´02), Wien, Österreich, Juli 2002.