Exploiting Random Walks for Learning Algorithmisches Lernen WS 2001/02 Referent: Fabian Wleklinski

19. Februar 2002Exploiting Random Walks for Learning2 Motivation Peter L. Bartlett, Paul Fischer, Klaus-Uwe Höffgen: Exploiting Random Walks for Learning Fischer; Höffgen: Informatik II, Dortmund (Prof. Dr. Ingo Wegener) Algorithmen ermitteln einige Konzeptklassen als erste: RSE boolean Treshold 2-term DNF

19. Februar 2002Exploiting Random Walks for Learning3 Gliederung 1.Algorithmisches Lernen 2.PAC-Lernen 3.Hypercube-Irrfahrten 4.Mistake Bound Model 5.Bsp: Schwellwertfunktionen 6.Prob. mistake Bound Model 7.Bounded Mistake Rate Model 8.Modell-Vergleiche 9.Zusammenfassung & Ausblick 10.Literatur

19. Februar 2002Exploiting Random Walks for Learning4 Algorithmisches Lernen deterministischer Lernalgorithmus A Abbildung von der Menge aller kategorisierten Beispielfolgen auf die Menge aller Hypothesen

19. Februar 2002Exploiting Random Walks for Learning5 Algorithmisches Lernen Einige Algorithmen haben -Parameter Performance-Parameter [0,1] reguliert die Leistung des Algorithmus (Korrektheit der Hypothese) polynomialzeit-Algorithmus darf abhängig von 1/ mehr Zeit benötigen

19. Februar 2002Exploiting Random Walks for Learning6 Algorithmisches Lernen Lernalgorithmus ist zeitpolynomiell, wenn Rechenzeit für eine Vorhersage polynomiell ist 1.zur Größe der Beispiele und 2.ggf. zum Kehrwert des Performance-Parameters

19. Februar 2002Exploiting Random Walks for Learning7 Algorithmisches Lernen sam()-Funktion Eingabe unendlich lange Beispielfolge x Länge t Konzept f Ausgabe Beispielfolge der Länge t, Klassifizierungen Beispiele x 1 bis x t Klassifizierunge n f(x 1 ) bis f(x t )

19. Februar 2002Exploiting Random Walks for Learning8 Gliederung 1.Algorithmisches Lernen 2.PAC-Lernen 3.Hypercube-Irrfahrten 4.Mistake Bound Model 5.Bsp: Schwellwertfunktionen 6.Prob. mistake Bound Model 7.Bounded Mistake Rate Model 8.Modell-Vergleiche 9.Zusammenfassung & Ausblick 10.Literatur

19. Februar 2002Exploiting Random Walks for Learning9 PAC-Lernen Eingabe: Vertrauensparameter, Fehlerparameter, Beispiellänge n Ermittle Anzahl anzufordernder Beispiele s := s(,, n) Wiederhole s mal: Fordere Beispiel an: (Wert,Klassifikation) Bestimme Hypothese h Klassifikation=1 Wert ist im zu lernenden Konept

19. Februar 2002Exploiting Random Walks for Learning10 PAC-Lernen Genauer: Fehler soll mit großer Wahrscheinlichkeit klein sein: Ws D [ fehler D (c,h c ) ] 1- czu erlernendes Konzept h c erlernte Hypothese fehler D Abweichung zwischen c und h c DVerteilung auf n

19. Februar 2002Exploiting Random Walks for Learning11 PAC-Lernen (effizientes) Lernen von DNFs? Allgemein nicht möglich! Aber möglich unter bestimmten Einschränkungen: Membership-Queries uniforme Verteilungen Begrenzung für Anzahl der Terme/Disjunktionen Begrenzung für Anzahl der Attribute/Konjunktionen...

19. Februar 2002Exploiting Random Walks for Learning12 PAC-Lernen Viele Erweiterungen des PAC-Modells Aldous und Vazirani: A Markovian extension of Valiants learning model Freund: Efficient learning of typical finite automata from random walks Lernen von Irrfahrt-DFAs ohne Membership-Queries Nachteile des PAC-Modells? Beispiele müssen unabhängig gezogen werden! aber in der Praxis oft Zusammenhänge zwischen aufeinanderfolgenden Beispielen! z.B. Flugbahn eines Flugkörpers Hypercube- Irrfahrten!

19. Februar 2002Exploiting Random Walks for Learning13 Gliederung 1.Algorithmisches Lernen 2.PAC-Lernen 3.Hypercube-Irrfahrten 4.Mistake Bound Model 5.Bsp: Schwellwertfunktionen 6.Prob. mistake Bound Model 7.Bounded Mistake Rate Model 8.Modell-Vergleiche 9.Zusammenfassung & Ausblick 10.Literatur

19. Februar 2002Exploiting Random Walks for Learning14 Hypercube-Irrfahrten Engl: Random Walks P. Bartlett, P. Fischer, K. Höffgen: Exploiting Random Walks for Learning Proceedings of the 7th ACM conference on computational learning theory, 1994, pp Was ist eine Hypercube-Irrfahrt?... folgt!

19. Februar 2002Exploiting Random Walks for Learning15 Hypercube-Irrfahrten n-dimens. Würfel 2 n Ecken Im Beispiel: n=3 Wandern auf den Kanten Aufeinanderfolgende Beispiele: maximal ein Bit kippt Hamming-Abstand 1 Entspricht z.B. div. physikalischen Prozessen (0,1,0) (0,0,0) (1,0,0) (1,1,0) (0,1,1) (0,0,1) (1,0,1) (1,1,1)

19. Februar 2002Exploiting Random Walks for Learning16 Hypercube-Irrfahrten (0,1,0) (0,0,0) (1,0,0) (1,1,0) (0,1,1) (0,0,1) (1,0,1) (1,1,1) Bartlett, Fischer, Höffgen: Mächtigkeit dieser Zusatzinformationen? DFAs lernbar? RSEs lernbar? Schwellwertfunktione n lernbar?

19. Februar 2002Exploiting Random Walks for Learning17 Hypercube-Irrfahrten Formale Beschreibung einer Irrfahrt bestimmte Übergänge sind unmöglich: Ws=0! wir betrachten nur uniforme Irrfahrten! d.h. jeder mögliche Übergang ist gleichwahrscheinlich!

19. Februar 2002Exploiting Random Walks for Learning18 Gliederung 1.Algorithmisches Lernen 2.PAC-Lernen 3.Hypercube-Irrfahrten 4.Mistake Bound Model 5.Bsp: Schwellwertfunktionen 6.Prob. mistake Bound Model 7.Bounded Mistake Rate Model 8.Modell-Vergleiche 9.Zusammenfassung & Ausblick 10.Literatur

19. Februar 2002Exploiting Random Walks for Learning19 Mistake Bound Model Algorithmus A soll für alle Beispielfolgen und alle Konzepte maximal N Fehler machen.

19. Februar 2002Exploiting Random Walks for Learning20 Mistake Bound Model Mistake-Indicator-Function M Eingabe Lernalgorithmus A, Konzept f, Beispielfolge x, Performance-Parameter, Länge t Ausgabe 1wenn A das t-te Beispiel falsch klassifiziert (nach Verarbeitung von t-1 Beispielen)

19. Februar 2002Exploiting Random Walks for Learning21 Mistake Bound Model Fehleranzahl-Funktion Eingabe Lernalgorithmus A, Konzept f, Beispielfolge x Ausgabe Anzahl der fehlerhaften Arbeitshypothesen (Sofern die Summe konvergiert...) Hier ist wieder die Mistake-Indicator- Function!

19. Februar 2002Exploiting Random Walks for Learning22 Mistake Bound Model Fehlerschranken-Funktion Maximum der Fehleranzahl für jede gültige Eingabe x aus X n und für jedes Konzept f aus F n Eingabe Konzeptklasse F n, Beispielmenge X n, Algorithmus A Ausgabe Anzahl der Zeitpunkte, zu denen A nach der Verarbeitung von t Beispielen eine falsche Arbeitshypothese benutzt. Hier ist wieder die Fehleranzahl- Funktion!

19. Februar 2002Exploiting Random Walks for Learning23 Mistake Bound Model Fehlerschrankenlernbarkeit engl: mistake bound learnable Konzeptklasse F ist fehlerschrankenlernbar, wenn es einen Algorithmus A gibt, der effizient ist dessen Fehlerschranke nur polynomial zur Beispiellänge n wächst. D.h. es gibt einen Alg. A, der für jedes Konzept aus F und jede Beispielfolge maximal N Fehler macht!

19. Februar 2002Exploiting Random Walks for Learning24 Mistake Bound Model exakte Fehlerschrankenlernbarkeit engl: exactly mistake bound learnable Eine Konzeptklasse F ist exakt fehlerschrankenlernbar Alg. A: 1.A ist fehlerbeschränkt 2.A weiß jederzeit, ob sich die Arbeitshypothese exakt einem Konzept angepasst hat 3.A kann aus der Arbeitshypothese die exakte Repräsentation des Konzeptes in Polynomialzeit berechnen 4.A gibt nur dann eine Hypothese zurück, wenn er diese endgültig ist – aber niemals eine Arbeitshypothese!

19. Februar 2002Exploiting Random Walks for Learning25 Mistake Bound Model Anwendungen? Beispiele? Bartlett, Fischer und Höffgen schlagen Mistake-Bound-Lernalgorithmen vor für boolesche Schwellwertfunktionen kommt gleich...! zweitermige RSE siehe Original-Paper!

19. Februar 2002Exploiting Random Walks for Learning26 Gliederung 1.Algorithmisches Lernen 2.PAC-Lernen 3.Hypercube-Irrfahrten 4.Mistake Bound Model 5.Bsp: Schwellwertfunktionen 6.Prob. mistake Bound Model 7.Bounded Mistake Rate Model 8.Modell-Vergleiche 9.Zusammenfassung & Ausblick 10.Literatur

19. Februar 2002Exploiting Random Walks for Learning27 Bsp: Schwellwertfunktionen Konfiguration: Gewichtsvektor w, Schwellwert Eingabe: Eingabevektor x Ausgabe: 1wenn Schwellwert überschritten, 0sonst

19. Februar 2002Exploiting Random Walks for Learning28 Bsp: Schwellwertfunktionen Algorithmus A macht für jedes Beispiel Y t : errate Klassifikation von Y t : 1wenn Y t w Schwellwert 0sonst erhalte korrekte Klassifikation korrigiere ggf. Arbeitshypothese h c

19. Februar 2002Exploiting Random Walks for Learning29 Bsp: Schwellwertfunktionen Algorithmus A: klassifiziere das 1-te Beispiel als 0 klassifiziere jedes weitere Beispiel wie das vorherige wenn Fehler: merke den Fehler (z.B. in einem Array)

19. Februar 2002Exploiting Random Walks for Learning30 Bsp: Schwellwertfunktionen falls A einen Fehler gemacht hat, dann wurde der Schwellwert von unten kommend erreicht, oder der Schwellwert von oben kommend unterschritten. A erlangt im Fehlerfall zwei Informationen: Das aktuelle Beispiel berührt den Schwellwert, und das vorhergehende Beispiel berührte ihn ebenfalls! A lernt aus jedem Fehler! A lernt eigentlich ausschließlich aus Fehlern ;-)

19. Februar 2002Exploiting Random Walks for Learning31 Bsp: Schwellwertfunktionen l i sei die (korrekte) Klassifikation des i- ten Beispiels w Y t-1 muß entweder, oder ( -1) sein! w Y t-1 = l t-1 -1 w Y t muß gegenteilig klassifiziert sein! w Y t = -l t-1 Gewichts - vektor w aktuelles Beispiel Y t Schwellwert

19. Februar 2002Exploiting Random Walks for Learning32 Bsp: Schwellwertfunktionen A formuliert die Gleichungen w Y t-1 +(1-l t-1 )= 0 w Y t +(l t-1 )= 0 A merkt sich diese Gleichungen in einem Array!

19. Februar 2002Exploiting Random Walks for Learning33 Bsp: Schwellwertfunktionen Was bedeuten die Gleichungen in dem Array S ? z.B. ((1,1,1,1,1,1,1,1),-1,0) S w (1,1,1,1,1,1,1,1) - = 0 Bedeutung: Wenn Du ein Beispiel (1,1,1,1,1,1,1,1) bekommst, dieses mit dem Gewichtsvektor multiplizierst, und darauf (-1) addierst, dann ist die Aussage, das Beispiel überschreitet den Schwellwert nicht: falsch! Es werden also falsche Aussagen gespeichert!

19. Februar 2002Exploiting Random Walks for Learning34 Bsp: Schwellwertfunktionen Algorithmus A kann also jede Aussage überprüfen, bevor er sie macht! A macht keinen Fehler zweimal! Mehr als das! A verwendet S als Vektorraum! z.B.s 1 =((1,1,1,1,1,1,1,1),-1,0) S, s 2 =((1,0,1,0,1,0,1,0),-1,0) S s 1 - s 2 span(S) ((0,1,0,1,0,1,0,1),0,0) S Neue Aussage: Wenn Du ein Beispiel (0,1,0,1,0,1,0,1) bekommst, dieses mit dem Gewichtsvektor multiplizierst, dann ist die Aussage, das Beispiel überschreitet den Schwellwert nicht: falsch!

19. Februar 2002Exploiting Random Walks for Learning35 Bsp: Schwellwertfunktionen Hier der vollständige Algorithmus in Pseudocode: IF (Y t,-1,l t-1 ) INSIDE span(s) THEN predict 1-l t-1 ELSE predict l t-1 IF l t-1 != l t THEN add(Y t,-1,l t-1 ) to S

19. Februar 2002Exploiting Random Walks for Learning36 Bsp: Schwellwertfunktionen Hier noch einmal in natürlichsprachlicher Schreibweise: IF (Aussage) INSIDE (Falschaussagen) THEN mache gegenteilige Aussage ELSE mache Aussage IF (Fehler gemacht) THEN merke neue Falschaussage

19. Februar 2002Exploiting Random Walks for Learning37 Bsp: Schwellwertfunktionen S = Menge linear unabhängiger Gleichungen Zielkonzept kann berechnet werden, sobald n+1 Gleichungen bekannt! d.h. maximal n+1 Fehler! Resumee: Boolesche Schwellwertfunktionen sind über Irrfahrten im Mistake Bound Model mit n+1 Fehlern exakt lernbar!

19. Februar 2002Exploiting Random Walks for Learning38 Gliederung 1.Algorithmisches Lernen 2.PAC-Lernen 3.Hypercube-Irrfahrten 4.Mistake Bound Model 5.Bsp: Schwellwertfunktionen 6.Prob. mistake Bound Model 7.Bounded Mistake Rate Model 8.Modell-Vergleiche 9.Zusammenfassung & Ausblick 10.Literatur

19. Februar 2002Exploiting Random Walks for Learning39 Probab. Mistake Bound Model Mistake Bound Model Algorithmus A soll für alle Beispielfolgen und alle Konzepte maximal N Fehler machen. Probabilistic Mistake Bound Model Algorithmus A soll für fast alle Beispielfolgen und fast alle Konzepte maximal N Fehler machen. Neu: Vertrauens-Parameter beeinflusst, auf welche Arbeitshypothese sich A nach der Verarbeitung einiger Beispiele festgelegt hat!

19. Februar 2002Exploiting Random Walks for Learning40 Probab. Mistake Bound Model Annahme: Ein Beispielpfad x wird durch einen stochastischen Prozess P erzeugt Prozessmenge Pn Gesamtheit aller Prozesse Gewisse Prozessabläufe sind wahrscheinlicher als andere Verteilung P ist gegeben! Notation: P{x : [Prädikat]} Wahrscheinlichkeit für Erfüllung von [Prädikat] durch x, gegeben Verteilung P.

19. Februar 2002Exploiting Random Walks for Learning41 Probab. Mistake Bound Model Fehlerschranke wird zur -Vertrauens- Fehlerschranke! Nimm unter allen Fehlerschranken, die mit Ws. oder weniger überschritten werden, die kleinste! Aussage von N: Der Lernalgorithmus A macht nur N Fehler. Allerdings gibt es mit Wahrscheinlichkeit einige Ausrutscher. Hier kommt die Verteilung ins Spiel!

19. Februar 2002Exploiting Random Walks for Learning42 Probab. Mistake Bound Model probabilistische Fehlerschrankenlernbarkeit engl: probably mistake bound learnable Eine Konzeptklasse F ist probabilistisch fehlerschrankenlernbar Lernalg. A: A lernt F, A läuft in Polynomialzeit, Fehlerschranke von A wächst polynomiell mit der Länge der Beispiele sowie mit 1 /.

19. Februar 2002Exploiting Random Walks for Learning43 Probab. Mistake Bound Model Welche Fehlerschranke besitzt der beste Lernalgorithmus A für eine Konzeptklasse? betrachte das Minimum der Fehlerschranken! für einen bestimmten Vertrauensparameter, für eine bestimmte Konzeptklasse F n, für eine bestimmte Verteilung p n, und für alle Lernalgorithmen A

19. Februar 2002Exploiting Random Walks for Learning44 Probab. Mistake Bound Model exakte prob. Fehlerschrankenlernbarkeit siehe exakte Fehlerschrankenlernbarkeit! engl: exactly probably mistake bound learnable Eine Konzeptklasse F ist exakt probabilistisch fehlerschrankenlernbar Alg. A: 1.A ist probabilistisch fehlerbeschränkt 2.A weiß jederzeit, ob sich die Arbeitshypothese exakt einem Konzept angepasst hat 3.A kann aus der Arbeitshypothese die exakte Repräsentation des Konzeptes in Polynomialzeit berechnen 4.A gibt nur dann eine Hypothese zurück, wenn er diese endgültig ist – aber niemals eine Arbeitshypothese!

19. Februar 2002Exploiting Random Walks for Learning45 Probab. Mistake Bound Model Anwendungen? Beispiele? Bartlett, Fischer und Höffgen schlagen probabilistischen Mistake-Bound- Lernalgorithmus für zweitermige DNFs vor siehe Original-Paper! lernt 2-term DNFs exakt! Erläuterung zu platzintensiv! Statt dessen: warum sollte eine Lernalgorithmus in diesem Model lernen?...

19. Februar 2002Exploiting Random Walks for Learning46 Probab. Mistake Bound Model WENN j: Y t+1 befriedigt E(j){ sage_vorher 1; WENN fehler: S:=S x j } SONST { sage_vorher 0; WENN fehler: tue nichts; } d.h. A lernt nichts aus diesem Fehler!

19. Februar 2002Exploiting Random Walks for Learning47 Probab. Mistake Bound Model Probabilismus entsteht z.B. durch: Fehler, aus denen nicht gelernt wird, die aber u.U. weitere Fehler provozieren, aus denen gelernt werden kann

19. Februar 2002Exploiting Random Walks for Learning48 Gliederung 1.Algorithmisches Lernen 2.PAC-Lernen 3.Hypercube-Irrfahrten 4.Mistake Bound Model 5.Bsp: Schwellwertfunktionen 6.Prob. mistake Bound Model 7.Bounded Mistake Rate Model 8.Modell-Vergleiche 9.Zusammenfassung & Ausblick 10.Literatur

19. Februar 2002Exploiting Random Walks for Learning49 Bounded Mistake Rate Model Probabilistic Mistake Bound Model Algorithmus A darf für wenige Beispielfolgen und wenige Konzepte eine Fehlerschranke überschreiten. Bounded Mistake Rate Model Algorithmus A darf ab bestimmter Beispiellänge ein jedes Beispiel nur noch selten falsch kategorisieren. Was bedeutet dieser Unterschied? Erklärung folgt....!

19. Februar 2002Exploiting Random Walks for Learning50 Bounded Mistake Rate Model Erweiterung des Mistake-Indicator M Erinnerung: M gibt für Zeitpunkt t 0 bzw. 1 zurück Neu: Einbeziehung der Verteilung! Aber was geschieht hier eigentlich?! Hier tritt erstmalig der Erwartungswert auf! Hier begegnet uns wieder der Mistake- Indicator!

19. Februar 2002Exploiting Random Walks for Learning51 Bounded Mistake Rate Model Der erweiterte Mistake-Indicator ist die Wahrscheinlichkeit (0;1) mit der ein Algorithmus A zum Zeitpunkt t für die Konzeptklasse Fn einen Fehler macht! Dabei wird das Maximum über alle Konzepte und Prozesse betrachtet!

19. Februar 2002Exploiting Random Walks for Learning52 Bounded Mistake Rate Model F n im Bounded Mistake Rate Model lernbar: Es gibt einen Algorithmus A, der F n lernt, und ab einem bestimmten Zeitpunkt nur noch sehr selten Fehler macht.

19. Februar 2002Exploiting Random Walks for Learning53 Bounded Mistake Rate Model Anwendungen? Beispiele? Gut geeignet für stationäre Prozesse! Bartlett, Fischer und Höffgen demonstrieren diesen Algorithmus nicht Die Suche mit google nach bounded mistake rate bringt 5 Treffer... ;-) => keine Anwendungen (?)

19. Februar 2002Exploiting Random Walks for Learning54 Gliederung 1.Algorithmisches Lernen 2.PAC-Lernen 3.Hypercube-Irrfahrten 4.Mistake Bound Model 5.Bsp: Schwellwertfunktionen 6.Prob. mistake Bound Model 7.Bounded Mistake Rate Model 8.Modell-Vergleiche 9.Zusammenfassung & Ausblick 10.Literatur

19. Februar 2002Exploiting Random Walks for Learning55 Modell-Vergleiche Gegenüberstellung: 1.Mistake Bound Model 2.prob. Mistake Bound Model 3.Bounded Mistake Rate Model Vergleich zwischen #1 und #2: Jeder Alg. A, der aus X in #1 lernt, tut das auch in #2! Fehlerschrank e im Mistake Bound Model Fehlerschranke im prob. Mistake Bound Model

19. Februar 2002Exploiting Random Walks for Learning56 Modell- Vergleiche Vergleich zwischen #2 und #3: Aus jedem Alg. A, der aus X in 2. lernt, lässt sich ein Alg. A konstruieren, der aus X in 3. lernt!

19. Februar 2002Exploiting Random Walks for Learning57 Gliederung 1.Algorithmisches Lernen 2.PAC-Lernen 3.Hypercube-Irrfahrten 4.Mistake Bound Model 5.Bsp: Schwellwertfunktionen 6.Prob. mistake Bound Model 7.Bounded Mistake Rate Model 8.Modell-Vergleiche 9.Zusammenfassung & Ausblick 10.Literatur

19. Februar 2002Exploiting Random Walks for Learning58 Zusammenfassung & Ausblick Drei PAC-Erweiterungen vorgestellt Anpassungen für stochastische Prozesse exakte Hypothesenrepräsenen können gefunden werden wichtig für Implementierungen der Hyp.! Beispielabfolge birgt Informationsgehalt! ähnlich zu Membership-Queries!

19. Februar 2002Exploiting Random Walks for Learning59 Zusammenfassung & Ausblick Weiterentwicklungen Ersetzen der Irrfahrten durch andere Pfade, z.B. paarweises Bit-Kippen: ·jedes Bit kann nur mit Partnerbit gekippt werden mehrfach-Bit-Kippen: ·konstante Anzahl beliebiger Bits muss gekippt werden Erforschung der Beziehung zu Membership Queries

19. Februar 2002Exploiting Random Walks for Learning60 Gliederung 1.Algorithmisches Lernen 2.PAC-Lernen 3.Hypercube-Irrfahrten 4.Mistake Bound Model 5.Bsp: Schwellwertfunktionen 6.Prob. mistake Bound Model 7.Bounded Mistake Rate Model 8.Modell-Vergleiche 9.Zusammenfassung & Ausblick 10.Literatur

19. Februar 2002Exploiting Random Walks for Learning61 Literatur Peter L. Bartlett, Paul Fischer, Klaus-Uwe Höffgen: Exploiting Random Walks for Learning Prof. Dr. Georg Schnitger: Skript Algorithmisches Lernen, April 2001 Ron Rivest: Machine Learning Funda Ergtin, S. Ravi Kumar, Ronitt Rubinfeld: On Learning Bounded-Width Branching Programs

19. Februar 2002Exploiting Random Walks for Learning62 Literatur Vasant Honavar: Artificial Intelligence COM S 673 Lecture Notes Week 9 s/cs673/spring96/Notes/week9.ps s/cs673/spring96/Notes/week9.ps Nader H. Bshouty, Jeffrey C. Jackson: Learning DNF over the Uniform Distribution Using a Quantum Example Oracle bin/dbq/article/ bin/dbq/article/29312

19. Februar 2002Exploiting Random Walks for Learning63 Kontakt & Downloads Fabian Wleklinski: Folien und Ausarbeitung in div. Formaten verfügbar unter: Hauptstudium/seminare/ algorithmisches_lernen/FW/list.php3 Hauptstudium/seminare/ algorithmisches_lernen/FW/list.php3

19. Februar 2002Exploiting Random Walks for Learning64 Ende Das wars! Vielen Dank für Eure Aufmerksamkeit!