Effiziente Filterung in zentralisierten und verteilten Benachrichtigungssystemen Sven Bittner, 7. November 2003 Arbeitsgruppe Datenbanken und Informationssysteme,

Präsentation zum Thema: "Effiziente Filterung in zentralisierten und verteilten Benachrichtigungssystemen Sven Bittner, 7. November 2003 Arbeitsgruppe Datenbanken und Informationssysteme,"—  Präsentation transkript:

1 Effiziente Filterung in zentralisierten und verteilten Benachrichtigungssystemen Sven Bittner, 7. November 2003 Arbeitsgruppe Datenbanken und Informationssysteme, Prof. Schweppe, Freie Universität Berlin

2 Sven Bittner - Effiziente Filterung in zentralisierten und verteilten Benachrichtigungssystemen 2/15 Motivation Benach-richtigungs-system(BS) e 2 : t=30°C e 3 : r=0,2 liter e 4 : r=2 liter e 1 : t=15°C Ereignisse Filterung Effiziente, skalier- bare Filterung Benachrich-tigungen (e 2 ) (e 2 ) (e 1 ) (e 3 ), (e 4 ) (e 3 ), (e 4 ) Profile Abonnenten p 1 =(t>22°C) p 2 =(t<18°C) p 3 =(r>0,1 lit.) Anbieter(Sensoren) Gebäudesteuerung (mittleres Gebäude) >10 4 Profile >10 4 Profile >10 3 Ereignisse/Sekunde >10 3 Ereignisse/Sekunde

3 Sven Bittner - Effiziente Filterung in zentralisierten und verteilten Benachrichtigungssystemen 3/15 Gliederung Zentralisierte FilterungZentralisierte Filterung Verteilte FilterungVerteilte Filterung ExperimenteExperimente ZusammenfassungZusammenfassung

4 Sven Bittner - Effiziente Filterung in zentralisierten und verteilten Benachrichtigungssystemen 4/15 Zentralisierte Filterung Schnellste Struktur [GS95]Schnellste Struktur [GS95] –Filterbaum über alle Attribute eines Typs –Probleme – Hauptspeicherbedarf sehr groß – Nur Gleichheitsoperatoren – Statische Filterstruktur p 4 =(s=1,t=20,r=2) p 5 =(s=2,t=10,r=4) p 6 =(s=2,t=20,r=8) p 7 =(s=2,r=8) p 8 =(s=2,t=20,r=8) t s t r r r r p4p4 p7p7 p 6,7,8 p5p5 p7p7 1 2 20 10 20 * 2 4 8 8 8 Zentralisierte Filterung Verteilte Filterung Experimente Zusammenfassung

5 Sven Bittner - Effiziente Filterung in zentralisierten und verteilten Benachrichtigungssystemen 5/15 Zentralisierte Filterung: Erweiterung {p 5, p 6, p 7, p 8 } {p 7 } {p 7 } {p 6, p 7, p 8 } {p 6, p 7, p 8 } e 5 : (s=2,t=6,r=8) Passende Profile: = {p 7 } 10 20 * t p 5,7 p 4,6,7,8 p7p7 2 4 8 r p4p4 p5p5 p 6,7,8 s p4p4 p 5,6,7,8 1 2 Erweiterte Struktur [Bit02,Bit03] – System PrimASErweiterte Struktur [Bit02,Bit03] – System PrimAS –Einzelner Knoten je Attribut (Minibaum) –Eigenschaften + Weniger Speicherbedarf (keine breiten Bäume) + Kantenbeschreibung mit Intervallen + Dynamischer Umbau möglich + Operatoren:, =, Mengentest, Bereichstest Zusätzlich: - Optimierung der Auswertungsreihenfolge [HB02] - Optimierung der Auswertungsreihenfolge [HB02] Zentralisierte Filterung Verteilte Filterung Experimente Zusammenfassung

6 Sven Bittner - Effiziente Filterung in zentralisierten und verteilten Benachrichtigungssystemen 6/15 Verteilte Filterung 1 3 4 5 BS BS Verteiltes 6 2 Zentrale Filter- komponenten 6 2 Azyklisches Overlaynetz Zentralisierte Filterung Verteilte Filterung Experimente Zusammenfassung S A Kommunikation mit beliebigen Vermittler

7 Sven Bittner - Effiziente Filterung in zentralisierten und verteilten Benachrichtigungssystemen 7/15 VerteilungsstrategienVerteilungsstrategien –Ereignisweiterleitung (EW) Filterung nah bei den AbonnentenFilterung nah bei den Abonnenten Kein Verbreiten von ProfilenKein Verbreiten von Profilen Fluten von EreignissenFluten von Ereignissen Verteilte Filterung: Ereignisweiterleitung 1 3 4 5 6 2 BS BS Verteiltes S1S1 e 3 : r=0,2lit. A1A1 p 3 =(r>0,1lit.) p3p3 (e 3 ) Zentralisierte Filterung Verteilte Filterung Experimente Zusammenfassung

8 Sven Bittner - Effiziente Filterung in zentralisierten und verteilten Benachrichtigungssystemen 8/15 Verteilte Filterung: Profilweiterleitung –Profilweiterleitung (PW) Filterung nah bei AnbieternFilterung nah bei Anbietern Fluten von ProfilenFluten von Profilen Keine Weiterleitung von EreignissenKeine Weiterleitung von Ereignissen 1 3 4 5 6 2 BS BS Verteiltes S1S1 e 3 : r=0,2lit. A1A1 p 3 =(r>0,1lit.) p3p3 p3p3 p3p3 p3p3 p3p3 p3p3 (e 3 ) Zentralisierte Filterung Verteilte Filterung Experimente Zusammenfassung

9 Sven Bittner - Effiziente Filterung in zentralisierten und verteilten Benachrichtigungssystemen 9/15 –Rendezvousknoten (RK) Weiterleitung aller Profile und Ereignissen an RKWeiterleitung aller Profile und Ereignissen an RK PraxisPraxis –Vermittler auf Weg von Abonnenten zu RK speichern ebenfalls Profilinformationen –Ereignisse werden auch auf dem Weg zum RK gefiltert Verteilte Filterung: Rendezvousknoten Filterung von Niederschlags- ereignissen 1 3 4 5 6 2 BS BS Verteiltes S1S1 e 3 : r=0,2lit. A1A1 p 3 =(r>0,1lit.) p3p3 (e 3 ) Zentralisierte Filterung Verteilte Filterung Experimente Zusammenfassung

10 Sven Bittner - Effiziente Filterung in zentralisierten und verteilten Benachrichtigungssystemen 10/15 Experimente Realisierung der verteilten Filtervarianten und der zentralisierten Filterkomponente in Prototyp DASRealisierung der verteilten Filtervarianten und der zentralisierten Filterkomponente in Prototyp DAS Messungen unter Variation zahlreicher ParameterMessungen unter Variation zahlreicher Parameter –Anteil passender Profile –Anteil passender Ereignisse –Vermittlerzahl –Überdeckungen zwischen Profilen –Anzahl Ereignistypen –Lokalitätverhalten zw. Ereignissen und Profilen –Gesamtprofilanzahl Zentralisierte Filterung Verteilte Filterung Experimente Zusammenfassung

11 Sven Bittner - Effiziente Filterung in zentralisierten und verteilten Benachrichtigungssystemen 11/15 Experimente: Auswahl (1) Einfluss der GesamtprofilanzahlEinfluss der Gesamtprofilanzahl Zentralisierte Filterung Verteilte Filterung Experimente Zusammenfassung

12 Sven Bittner - Effiziente Filterung in zentralisierten und verteilten Benachrichtigungssystemen 12/15 Experimente: Auswahl (2) Einfluss erfüllende EreignisseEinfluss erfüllende Ereignisse Zentralisierte Filterung Verteilte Filterung Experimente Zusammenfassung

13 Sven Bittner - Effiziente Filterung in zentralisierten und verteilten Benachrichtigungssystemen 13/15 Experimente: Auswahl (3) Einfluss VermittlerEinfluss Vermittler Zentralisierte Filterung Verteilte Filterung Experimente Zusammenfassung

14 Sven Bittner - Effiziente Filterung in zentralisierten und verteilten Benachrichtigungssystemen 14/15 Experimente: Fazit Ergebnisse (Überblick)Ergebnisse (Überblick) –Profilweiterleitung Meist beste Filtereffizienz und NetzlastMeist beste Filtereffizienz und Netzlast Jedoch größten SpeicherbedarfJedoch größten Speicherbedarf –Ereignisweiterleitung Sehr hohe NetzlastSehr hohe Netzlast Speicherbedarf optimalSpeicherbedarf optimal Hoher Anteil passender Ereignisse beste FiltereffizienzHoher Anteil passender Ereignisse beste Filtereffizienz Hohe Profilanzahl beste SkalierbarkeitHohe Profilanzahl beste Skalierbarkeit –Rendezvousknoten Unter keiner getesteten Konfiguration bessere Ergebnisse als andere VerfahrenUnter keiner getesteten Konfiguration bessere Ergebnisse als andere Verfahren Zentralisierte Filterung Verteilte Filterung Experimente Zusammenfassung

15 Sven Bittner - Effiziente Filterung in zentralisierten und verteilten Benachrichtigungssystemen 15/15 Zusammenfassung Zentrale Filterkomponente PrimAS mit neuer FilterstrukturZentrale Filterkomponente PrimAS mit neuer Filterstruktur Verteiltes Benachrichtigungssystem DAS mit drei verteilten FilteralgorithmenVerteiltes Benachrichtigungssystem DAS mit drei verteilten Filteralgorithmen Experimente: Optimaler Algorithmus abhängig von Systemlast, -nutzung und AnwendungExperimente: Optimaler Algorithmus abhängig von Systemlast, -nutzung und Anwendung System sollte verschiedene Filteralgorithmen unterstützen und dynamisch anpassen System sollte verschiedene Filteralgorithmen unterstützen und dynamisch anpassen Zentralisierte Filterung Verteilte Filterung Experimente Zusammenfassung

16 Sven Bittner - Effiziente Filterung in zentralisierten und verteilten Benachrichtigungssystemen 16/15 Literatur [Bit02] S.Bittner: Implementierung eines effizienten Matchingverfahrens für Benachrichtigungssysteme, Studienarbeit, Freie Universität Berlin, Institut für Informatik, September 2002. [Bit03] S.Bittner: Entwurf und Analyse eines effizienten verteilten Benachrichtigungssystems. Diplomarbeit, Freie Universität Berlin, Institut für Informatik, September 2003. [GS95] J. Gough und G. Smith: Efficient Recognition of Events in a Distributed System. In: Proceedings of the 18th Australasian Computer Science Conference (ACSC-18), Adelaide, Australien, 1.-3. Februar 1995. [HB02] A. Hinze und S. Bittner: Efficient Distribution-Based Event Filtering. In: Proceedings of Internation Conference of Distributed Computing Systems Workshops (ICDCSW´02), Wien, Österreich, 2.-5. Juli 2002.