Vorlesung Informatik 2 Algorithmen und Datenstrukturen (23 –Persistente und vergessliche Datenstrukturen) Prof. Th. Ottmann.

Präsentation zum Thema: "Vorlesung Informatik 2 Algorithmen und Datenstrukturen (23 –Persistente und vergessliche Datenstrukturen) Prof. Th. Ottmann."—  Präsentation transkript:

1 Vorlesung Informatik 2 Algorithmen und Datenstrukturen (23 –Persistente und vergessliche Datenstrukturen) Prof. Th. Ottmann

2 Übersicht Motivation: Vergessliche und persistente Strukturen
Beispiele: Arrays, Suchbäume, Z-stratifizierte Suchbäume, Relaxierung Methoden zur Persistenzsicherung: Struktur-Kopier-, Pfad-Kopier-, DSST-Methode Anwendung: Punktlokalisation Vergessliche Strukturen: Randomisierte und eindeutige Strukturen, insbesondere Sprung-Listen Praktisches Beispiel zeitabhängiger Datenströme: Aufzeichnung und Wiedergabe von Whiteboard Daten, insbesondere Handschrift

3 Motivation Eine Struktur zur Speicherung einer Menge von Schlüsseln heißt vergesslich, wenn aus der Gestalt der Struktur nicht auf die Erzeugungshistorie geschlossen werden kann. Eine Struktur heißt persistent, wenn neben der aktuellen auch frühere Versionen existieren. Partiell persistent: Modifikationen nur bei aktueller, Zugriff (Suche) auch bei früheren Versionen möglich. Voll persistent: Zugriff und Modifikation für alle Versionen Konfluent persistent: Mehrere frühere Versionen können zu neuer aktueller Version verknüpft werden.

4 Beispiel: Arrays Array: 2 4 8 15 17 43 47 ……
Eindeutige Struktur, daher vergesslich! Suchen: In Zeit O( log n) möglich, binäres Suchen Update (Einfügen, Entfernen): W(n) Aber Vorsicht: Speicherbelegung könnte dennoch von Erzeugungshistorie abhängen!

5 Beispiel: Natürliche Suchbäume
Nur teilweise vergesslich! Einfügereihenfolge teilweise rekonstruierbar. Entfernte Schlüssel nicht sichtbar. Suchen, Einfügen. Entfernen von Schlüsseln: W(n) Zeit 1 3 5 7 3 1 5 7 1, 3, 5, 7 5, 1, 3, 7

6 Beispiel: Balancierte Suchbäume
10 6 15 2 9 11 23 2 5 7 10 11 15 20 30 5 6 7 9 20 23 Problem: (Zu) viele Updates auf einmal (Z.B. bei der Aufzeichnung von Handschrift) Nicht genügend Zeit zur sequentiellen Bearbeitung Lösung: Relaxiert balancierte Suchbäume: Update und Rebalancierungs-Operationen werden nebenläufig ausgeführt!

7 Stratifizierte Suchbäume
….. … … . … …

8 Beispiel

9 Beispiel

10 Einfügen ….. x p … … . . . . … ….. … Füge neuen Schlüssel ganz unten ein und deponiere einen „push-up-request“

11 Iterierte Folge von Einfügungen

12 Beseitigung eines Push-up-requests (1)
Push-up-request führt entweder zu einer lokalen strukturellen Änderung mit konstantem Aufwand (Fall 1) oder zu einer Verschiebung des Push-up-requests auf das nächst höhere Niveau ohne Strukturänderung (Fall2) Fall1 [Genug Platz auf nächster Schicht] 2 3 1 4 3 1 4 1 2 3 1 2 2 3 1 2 3 4 1 2 3 4

13 Beseitigung eines Push-up-requests (2)
Fall2 [Nächste Schicht voll] 1 4 5 1 4 5 2 3 2 3 Schaffe ggfs. neue Schicht an der Spitze

14 Entfernen ….. . … … … … … … Deponiere für jede Entfernung einen Lösch-Vermerk. Beseitige Lösch-Vermerke.

15 Beseitigung eines Löschvermerks
Fall 1 [genügend Knoten auf unterster Schicht] Fall 2 [unterste Schicht zu dünn] Deponiere „pull-down-request“ p q q

16 Beseitigung von Pull-down-requests (1)
Fall1 [genügend Knoten auf nächster Schicht] Endliche Strukturänderung und Halt! p 1 2 3 p 1 2 3 1 2 p 3 4 p 1 2 3 4 p 1 2 3 4 1 2 p 3 4

17 Beseitigung von Pull-down-requests (2)
Fall2 [nicht genügend Knoten auf nächster Schicht] q q p p Verschiebe Pull-down-request auf nächst höhere Schicht, ohne strukturelle Änderungen

18 Z-stratifizierte Bäume: Beobachtungen
Einfüge-, Entferne- und Rebalancierungs-Operationen (Beseitigung von , ) lassen sich beliebig verzahnen. Die amortisierten Umstrukturierungskosten pro Einfügung und Entfernung sind konstant. Erzeugungshistorie ist aus aktueller Version teilweise erkennbar (Einfügereihenfolge und entfernte Schlüssel sind teilweise sichtbar) Aber: Update Operationen beziehen sich stets nur auf aktuelle Version Z-stratifizierte Bäume sind nicht persistent

19 Übersicht Motivation: Vergessliche und persistente Strukturen
Beispiele: Arrays, Suchbäume, Z-stratifizierte Suchbäume Methoden zur Persistenzsicherung: Struktur-Kopier-, Pfad-Kopier-, DSST-Methode Anwendung: Punktlokalisitation Vergessliche Strukturen: Randomisierte und eindeutige Strukturen, insbesondere Sprung-Listen Praktisches Beispiel zeitabhängiger Datenströme: Aufzeichnung und Wiedergabe von Whiteboard Daten, insbesondere Handschrift

20 Einfache Strategien zur Persistenz-Erhaltung
Kopiere gesamte Struktur vor jeder Update-Operation, liefert volle Persistenz zum Preis von W(n) Zeit pro Update und Platz W(m n) für m Updates auf Strukturen der Größe n. (Struktur-Kopier-Methode) Tue nichts sondern speichere ein log-File der Updates! Um auf Version i zuzugreifen, führe zunächst die i ersten Updates auf der Anfangsstruktur aus, um Version i zu erzeugen. (i) Zeit per Zugriff, O(m) Platz für m Operationen. Hybrid-Ansatz: Speichere die gesamte Folge der Updates und zusätzlich jede k-te Version für ein geeignetes k. Folge: Zeit oder Platzbedarf nimmt mindestens um Faktor sqr(m) zu! Gibt es bessere Methoden? …. Für Suchbäume ….

21 Persistente Suchbäume (1)
Pfadkopiermethode Version 0: 5 7 1 3

22 Persistente Suchbäume (1)
Pfad-Kopier-Methode 1 Version 1: Einfüge (2) 5 5 1 7 1 3 3 2

23 Persistente Suchbäume (1)
Pfad-Kopier-Methode 1 2 Version 1: Einfüge (2) Version 2: Einfüge (4) 5 5 5 1 1 7 1 3 3 3 2 4

24 Persistente Suchbäume (1)
Pfad-Kopier-Methode 1 2 Version 1: Einfüge (2) Version 2: Einfüge (4) 5 5 5 1 1 7 1 3 3 3 2 4 Umstrukturierungs-Kosten O(log n) pro Update Operation

25 Persistente Suchbäume (2)
DSST-Methode: Erweitere jeden Knoten um Modifikationsfeld mit Zeitstempel k t: rp lp rp Modifikationsfelder sind anfangs leer werden v.u.n.o. gefüllt ? alle Versionen ab Zeit t alle Versionen vor Zeit t

26 DSST Methode 5 1 7 3 Version 0

27 DSST Methode 5 1 7 3 Version 0: 1 lp 2

28 DSST Methode 5 1 7 3 3 Version 1: Einfüge (2) Version 2: Einfüge (4) 2
1 lp 2 4

29 DSST Methode 5 1 7 3 3 Version 1: Einfüge (2) Version 2: Einfüge (4) 2
2 rp 3 3 Version 1: Einfüge (2) Version 2: Einfüge (4) 1 lp 2 4 Die amortisierten Kosten (Zeit und Platz) pro Update Operation sind O(1)

30 Übersicht Motivation: Vergessliche und persistente Strukturen
Beispiele: Arrays, Suchbäume, Z-stratifizierte Suchbäume, Relaxierung Methoden zur Persistenzsicherung: Struktur-Kopier-, Pfad-Kopier-, DSST-Methode Anwendung: Punktlokalisation Vergessliche Strukturen: Randomisierte und eindeutige Strukturen, insbesondere Sprung-Listen Praktisches Beispiel zeitabhängiger Datenströme: Aufzeichnung und Wiedergabe von Whiteboard Daten, insbesondere Handschrift

31 Anwendung: Planare Punktlokalisation
Suppose that the Euclidian plane is subdivided into polygons by n line segments that intersect only at their endpoints. Given such polygonal subdivision and an on-line sequence of query points in the plane, the planar point location problem, is to determine for each query point the polygon containing it. Measure an algorithm by three parameters: 1) The preprocessing time. 2) The space required for the data structure. 3) The time per query.

32 Planar point location -- example

33 Planar point location -- example

34 Solving planar point location (Cont.)
Partition the plane into vertical slabs by drawing a vertical line through each endpoint. Within each slab the lines are totally ordered. Allocate a search tree per slab containing the lines at the leaves with each line associate the polygon above it. Allocate another search tree on the x-coordinates of the vertical lines

35 Solving planar point location (Cont.)
To answer query first find the appropriate slab Then search the slab to find the polygon

36 Planar point location -- example

37 Planar point location -- analysis
Query time is O(log n) How about the space ? (n2) And so could be the preprocessing time

38 Planar point location -- bad example
Total # lines O(n), and number of lines in each slab is O(n).

39 Planar point location & persistence
So how do we improve the space bound ? Key observation: The lists of the lines in adjacent slabs are very similar. Create the search tree for the first slab. Then obtain the next one by deleting the lines that end at the corresponding vertex and adding the lines that start at that vertex How many insertions/deletions are there alltogether ? 2n

40 Planar point location & persistence (cont)
Updates should be persistent since we need all search trees at the end. Partial persistence is enough Well, we already have the path copying method, lets use it. What do we get ? O(nlogn) space and O(nlog n) preprocessing time. We shall improve the space bound to O(n).

41 Übersicht Motivation: Vergessliche und persistente Strukturen
Beispiele: Arrays, Suchbäume, Z-stratifizierte Suchbäume Methoden zur Persistenzsicherung: Struktur-Kopier-, Pfad-Kopier-, DSST-Methode Anwendung: Punktlokalisation Vergessliche Strukturen: Randomisierte und eindeutige Strukturen, insbesondere Sprung-Listen Praktisches Beispiel zeitabhängiger Datenströme: Aufzeichnung und Wiedergabe von Whiteboard Daten, insbesondere Handschrift

42 Strategien für vergessliche Strukturen
Mache die Struktur eindeutig: Mengeneindeutigkeit: Für jede Menge von n Schlüsseln gibt es genau eine Struktur, die sie speichert. Die Speicherung ist ordnungseindeutig, d.h. die Knoten der Struktur sind angeordnet und die Schlüssel sind der Größe nach in den Knoten mit aufsteigenden Nummern gespeichert. Randomisiere die Struktur: Sichere, dass der Erwartungswert für das Auftreten einer Struktur, die eine Menge M von Schlüsseln speichert, unabhängig davon ist, wie M entstanden ist. Beobachtung: Die Zuweisung von Speicheradressen zu Zeigern muss randomisiert erfolgen!

43 Beispiel für eine randomisierte Struktur
Z-stratifizierter Suchbaum ….. … … . Wähle auf jeder Schicht eine Zufällige Verteilung der Bäume aus Z . . . … ….. … Einfügen ? Entfernen ?

44 Mengen- und ordnungseindeutige Strukturen
Untere Schranken? Annahmen: Wörterbuch der Größe n wird repräsentiert durch Graph mit n Knoten Knotengrad endlich (fest), feste Ordnung der Knoten, i-ter Knoten speichert i-ten Schlüssel. Operationen zur Veränderung von Graphen: Schaffen | Entfernen von Knoten Pointer change Austausch von Schlüsseln Satz: Für jede mengen- und ordnungs-eindeutige Repräsentation von Wörterbüchern gilt, daß wenigstens eine der drei Operationen Suchen, Einfügen und Entfernen Zeit W(n1/3) kostet.

45 Sprung-Listen (Halbdynamische) 2-Ebenen Sprung-Listen
2-Ebenen-Sprung-Liste der Größe n tail i 2i n (n - 1)/i i Suchen: O(i) = O( ) Zeit Einfügen: Entfernen: 2 3 5 7 8 10 11 12 14 17 19 O( ) Zeit

46 3-Ebenen Sprung-Listen
level 2 i 2i i 2 i 2 +i 2 i 2 Suche(x): bestimme x durch Nachlaufen der level-2-Zeiger unter i2 Schlüsseln, die x enthalten können, level-1-Zeiger unter i Schlüsseln, die x enthalten können, level-0-Zeiger unter i Schlüsseln Suchzeit: O(i) = O(n1/3)

47 3-Ebenen Sprung-Listen
level 2 i 2i i 2 i 2 +i 2 i 2 Update erfordert Änderung von 2 Zeigern auf level 0 Änderung von i Zeigern auf level 1 Änderung aller i Zeiger auf level 2 Update Zeit: O(i) = O(n1/3)

48 c-Ebenen Sprung-Liste
Sei Lower levels: level 0: alle Zeiger mit Länge 1: ... level j: alle Zeiger mit Länge ij-1: level c/2 : ... Upper levels: level j: verbinde in einer Liste die Knoten 1, 1·ij-1+1, 2· ij-1+1, 3· ij-1+1, ... level c:

49 c-Ebenen Sprung-Liste
Satz: Für jedes sind c-Ebenen Sprung-Listen eine größen- und ordnungseindeutige Repräsentation von Wörterbüchern mit folgenden Eigenschaften: Platzbedarf O(c·n) Suchzeit O(c·n1/c) Updatezeit , falls n gerade , falls n ungerade

50 Übersicht Motivation: Vergessliche und persistente Strukturen
Beispiele: Arrays, Suchbäume, Z-stratifizierte Suchbäume Methoden zur Persistenzsicherung: Struktur-Kopier-, Pfad-Kopier-, DSST-Methode Vergessliche Strukturen: Randomisierte und eindeutige Strukturen, insbesondere Sprung-Listen Praktisches Beispiel zeitabhängiger Datenströme: Aufzeichnung und Wiedergabe von Whiteboard Daten, insbesondere Handschrift

51 Zeitabhängige Daten beim Presentation Recording
Input media Whiteboard TouchScreen Tablet PC Data sources Author Audience Lightweight content creation Recorded learning module Document

52 Aufzeichnungs Technologie
Low End: Digitale Tafelbilder und Audio/Video- Aufzeichnung einer Tafel- und Kreide Vorlesung. (Real audio/video + hi-res. digital images) High End: Direkte Aufzeichnung einer Computerpräsentation (mit Whiteboard und Daten Projektor für die Zuhörer, Stifteingabe, Tablet PC, Wacom Tablet ...) Software: RealPresenter, Camtasia, ..., AOF)

53 Dozent im Hörsaal

54 Integrierte Hardware Lösung

55 Cintiq Tablet (Wacom) Stifteingabe, großes Display
Augenkontakt mit Zuhörern

56 Datenströme

57 Random Acess Fähigkeit
Zugriff auf ink-Object sj zum Zeitpunkt tj erfordert die sofortige Darstellung von sj sowie aller ink-Objekte seit t0

58 Whiteboard Daten Whiteboard Datenstrom erfordert
Schnelles Einfügen, Entfernen graphischer Objekte (Linien, Kreise, pen-traces, …) in sehr großer Zahl, Partiell persistente Speicherung mit, Zugriff (Ausgabe und „Rendering“) aller Daten zu gegebenem Zeitpunkt, Synchronisierbarkeit (als slave) mit Audiostrom (master). Problem: Finde eine geeignete Speicherungsform für Whiteboarddatenstrom!

59 Postprocessing Whiteboard-Strom wird nach der Struktur-Kopier-Methode persistent gemacht: Für jeden Zeitpunkt t wird die Liste aller zu diesem Zeitpunkt sichtbaren Objekte berechnet und für direkten Zugriff gespeichert Nachteil: Hohes Datenvolumen Vorteil: Visible Scrolling Speicherung und Darstellung von Handschrift: Finde guten Kompromiss zwischen: Datenvolumen Zugriffskosten (Zeit) und dynamischer Wiedergabe (visible scrolling) Natürlichkeit (persönliche Note) Skalierbarkeit (Vektor- vs. Rasterdarstellung)