Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

1 Transduktoren für die Sprachverarbeitung: Komposition zweier Transduktoren Karin Haenelt 28.5.2010.

Ähnliche Präsentationen


Präsentation zum Thema: "1 Transduktoren für die Sprachverarbeitung: Komposition zweier Transduktoren Karin Haenelt 28.5.2010."—  Präsentation transkript:

1 1 Transduktoren für die Sprachverarbeitung: Komposition zweier Transduktoren Karin Haenelt

2 Themen Einführung Algorithmus für endlich-sequentielle Transduktoren Beispiele Beispiel 1: Erläuterung der Konstruktion Beispiel 2: Gewichtete Transduktoren Beispiel 3: Linguistische Anwendung: Lexika und Regeln Komposition von Transduktoren mit ε-Transitionen ungewichtete Transduktoren gewichtete Transduktoren Filter zur Eliminierung redundanter Pfade Komplexität © Karin Haenelt, Transduktoren: Komposition

3 Einführung Komposition © Karin Haenelt, Transduktoren: Komposition das gute Beispiel dete nomn adje [NP NP] NP ΣΔΩ

4 Einführung Komposition © Karin Haenelt, Transduktoren: Komposition

5 Einführung Komposition, Beispiel © Karin Haenelt, Transduktoren: Komposition dasguteBeispiel [NPNPNP] dasguteBeispiel deteadjenomn [NPNPNP] deteadjenomn

6 Themen Einführung Algorithmus für endlich-sequentielle Transduktoren Beispiele Beispiel 1: Erläuterung der Konstruktion Beispiel 2: Gewichtete Transduktoren Beispiel 3: Linguistische Anwendung: Lexika und Regeln Komposition von Transduktoren mit ε-Transitionen ungewichtete Transduktoren gewichtete Transduktoren Filter zur Eliminierung redundanter Pfade Komplexität © Karin Haenelt, Transduktoren: Komposition

7 Prinzip des Algorithmus für endlich-sequentielle Transduktoren Generalisierung der klassischen Zustandspaar-Konstruktion zur Intersektion von Akzeptoren (Hopcroft und Ullman, 1979) statt Schnitt der Eingaben: Schnitt der Ausgabe von T 1 mit Eingabe von T 2 © Karin Haenelt, Transduktoren: Komposition

8 Prinzip des Algorithmus für endlich-sequentielle Transduktoren Zustände der Komposition R S zweier Transduktoren R und S sind Paare eines R-Zustandes und eines S-Zustandes es gelten folgende Bedingungen Startzustand ist das Paar der Startzustände von R und S Endzustände sind Paare von Endzuständen aus R und S es gibt eine Transition t von (r,s) nach (r,s) für jedes Paar von Transitionen t R von r nach r und t S von s nach s, wenn das Ausgabeetikett von t R dem Eingabeetikett von t S entspricht © Karin Haenelt, Transduktoren: Komposition Mohri, Pereira,Riley(1997:273)

9 Prinzip des Algorithmus für endlich-sequentielle Transduktoren Eingabe von t ist das Eingabeetikett von t R, Ausgabe ist das Ausgabeetikett von t S Gewicht von t ist das - Produkt der Gewichte von t R und t S, wenn die Gewichte Wahrscheinlichkeiten entsprechen (Operation durch den verwendeten Semiring bestimmt ) Transitionen mit ε-Kanten bedürfen einer Sonderbehandlung (s. Folien weiter hinten) © Karin Haenelt, Transduktoren: Komposition Mohri, Pereira,Riley(1997:273)

10 Komposition Endlich-subsequentielle Transduktoren Sei f : Σ* Δ* eine sequentielle (oder p-subsequentielle) Funktion g : Δ* Ω* eine sequentielle (oder q-subsequentielle) Funktion dann ist g f sequentiell (oder pq-subsequentiell) © Karin Haenelt, Transduktoren: Komposition Mohri (1997:273)

11 Komposition Endlich-subsequentielle Transduktoren Definition des pq-subsequentiellen Transduktors © Karin Haenelt, Transduktoren: Komposition Mohri (1997:273)

12 Themen Einführung Algorithmus für endlich-sequentielle Transduktoren Beispiele Beispiel 1: Erläuterung der Konstruktion Beispiel 2: Gewichtete Transduktoren Beispiel 3: Linguistische Anwendung: Lexika und Regeln Komposition von Transduktoren mit ε-Transitionen ungewichtete Transduktoren gewichtete Transduktoren Filter zur Eliminierung redundanter Pfade Komplexität © Karin Haenelt, Transduktoren: Komposition

13 Komposition Endlich-subsequentielle Transduktoren Beispiel © Karin Haenelt, Transduktoren: Komposition dasguteBeispiel [NPNPNP] dasguteBeispiel deteadjenomn [NPNPNP] deteadjenomn x x:y z yz das:[NP Beispiel:NP gute:NP

14 Komposition Endlich-subsequentielle Transduktoren Beispiel © Karin Haenelt, Transduktoren: Komposition

15 Komposition Endlich-subsequentielle Transduktoren Beispiel © Karin Haenelt, Transduktoren: Komposition Berechnung von δ 3 für Zustand [0,0]

16 Komposition Endlich-subsequentielle Transduktoren Beispiel © Karin Haenelt, Transduktoren: Komposition Berechnung von σ 3 für Zustand [0,0]

17 Berechnung von ρ 3 für Zustand [3,3] Komposition Endlich-subsequentielle Transduktoren Beispiel

18 Komposition Endlich-subsequentielle Transduktoren Beispiel © Karin Haenelt, Transduktoren: Komposition Ergebnis der Konstruktion

19 Themen Einführung Algorithmus für endlich-sequentielle Transduktoren Beispiele Beispiel 1: Erläuterung der Konstruktion Beispiel 2: Gewichtete Transduktoren Beispiel 3: Linguistische Anwendung: Lexika und Regeln Komposition von Transduktoren mit ε-Transitionen ungewichtete Transduktoren gewichtete Transduktoren Filter zur Eliminierung redundanter Pfade Komplexität © Karin Haenelt, Transduktoren: Komposition

20 Komposition Beispiel © Karin Haenelt, Transduktoren: Komposition [0.6] a:b [0.1] c:a [0.3] a:a [0.4] b:a [0.2] b:b [0.5] 10 2 [0.7] b:c [0.3] a:b [0.6] a:b [0.4] [1.3] a:c [0.4] c:b [0.9] a:b [0.8] c:b [0.7] a:b [1.0] 0,0 1,1 1,2 3,2 (Mohri/Riley, 2002: I,20)

21 Komposition Beispiel © Karin Haenelt, Transduktoren: Komposition ,1 3,0 1,0 0,11,1 0,21,2 2,1 3,2 0,31,3 2,3 3,3 0,0 2,0 2,2 [0.7] [0.6] a:b [0.1] b:c [0.3] a:a [0.4] a:b [0.4] a:a [0.4] a:b [0.6] c:a [0.3] a:b [0.4] Zustandsmenge und gemeinsame Pfade bei Schnitt der Ausgabe von mit der Eingabe von a:b [0.6] c:a [0.3]

22 Komposition Beispiel lazy implementation: Konstruktion mit Zustand (0,0) beginnen, nur dann weitere Zustände hinzufügen, wenn sie Ergebnis einer Transition sind, die von einem bereits hinzugefügten Zustand ausgeht © Karin Haenelt, Transduktoren: Komposition

23 Themen Einführung Algorithmus für endlich-sequentielle Transduktoren Beispiele Beispiel 1: Erläuterung der Konstruktion Beispiel 2: Gewichtete Transduktoren Beispiel 3: Linguistische Anwendung: Lexika und Regeln Komposition von Transduktoren mit ε-Transitionen ungewichtete Transduktoren gewichtete Transduktoren Filter zur Eliminierung redundanter Pfade Komplexität © Karin Haenelt, Transduktoren: Komposition

24 Komposition Beispiel © Karin Haenelt, Transduktoren: Komposition r0r0 r1r1 r2r2 r3r3 r4r4 r5r5 s # :e ^: z,x z,s,x #,other z,s,x ^: # other ^:s z,s,x other #,other Regel für die Einfügung von –e im Plural der englischen Nomina, die auf x,s,z enden (foxes) Jurafsky/Martin, 2000, S. 78

25 Komposition Beispiel © Karin Haenelt, Transduktoren: Komposition q0q0 q1q1 q2q2 q3q3 q4q4 q5q5 s # :e ^: z,x z,s,x #,other z,s,x ^: # other ^:s z,s,x other #,other +N+PL l0l0 l1l1 l2l2 l5l5 l6l6 l7l7 l8l8 l9l9 f f o o x x^s# l3l3 l4l4 c c a a t t Regel Lexikon

26 Komposition Beispiel © Karin Haenelt, Transduktoren: Komposition ε:e +N:ε o:o *:* f:f *:* 3,0 1,00,0 2,0 7,0 5,04,0 6,0 9,0 8,0 3,1 1,10,1 2,1 7,1 5,14,1 6,1 9,1 8,1 3,2 1,20,2 2,2 7,2 5,24,2 6,2 9,2 8,2 3,3 1,30,3 2,3 7,3 5,34,3 6,3 9,3 8,3 3,4 1,40,4 2,4 7,4 5,44,4 6,4 9,4 8,4 3,5 1,50,5 2,5 7,5 5,54,5 6,5 9,5 8,5 x:x +Pl:^ ^:ε ε:s s:s ε:# #:#

27 Komposition Beispiel © Karin Haenelt, Transduktoren: Komposition r1r1 r2r2 r3r3 r4r4 r5r5 s # z,x z,s,x #,other z,s,x ^:ε other s z,s,x other #,other +N+PL l0l0 l1l1 l2l2 l5l5 l6l6 l7l7 l8l8 l9l9 f f o o x x ^s# l3l3 l4l4 c c a a t t Regel Lexikon r0r0 # ^:ε ε:e f:f *:* o:o *:* x:x +N:ε+Pl:^ ^:εε:e ε:s s:s ε:# #:# 0,0 1,0 2,05,1 6,1 7,27,3 8,4 9,0 Regel Lexikon

28 Komposition Beispiel © Karin Haenelt, Transduktoren: Komposition N+PL l0r0l0r0 l1r0l1r0 l2r0l2r0 l5r1l5r1 l6r1l6r1 l7r2l7r2 l7r3l7r3 l8r4l8r4 f f o o x xεes l3r0l3r0 l4r0l4r0 c c a a t t +N+PL l6r0l6r0 l7r0l7r0 l8r1l8r1 s# l5r0l5r0 l9r0l9r0 # komponierter Gesamtautomat ε ε ε

29 Komposition Beispiel Komposition von Lexikonautomat und Regelautomat zu einem integrierten Gesamtautomaten Zustandsübergang (q 0, other, q 0 ) am Beginn des Regelautomaten behandelt alle Eingaben, die von der Regel nicht betroffen sind und daher identisch transduziert werden; diese Behandlung hat den Effekt, dass bei Komposition mit dem Lexikonautomaten der gesamte Lexemteil mit diesem Zustandsübergang komponiert wird; auf diese Weise werden die Relationen des Lexikons mit dem Regelautomaten verkettet. Ergebnis der Komposition: Lexikonautomat mit pfadspezifisch komponierten Endungen Komposition mit Regelautomaten kann zu Vervielfachungen von Teilen des Regelautomaten führen © Karin Haenelt, Transduktoren: Komposition

30 Themen Einführung Algorithmus für endlich-sequentielle Transduktoren Beispiele Beispiel 1: Erläuterung der Konstruktion Beispiel 2: Gewichtete Transduktoren Beispiel 3: Linguistische Anwendung: Lexika und Regeln Komposition von Transduktoren mit ε-Transitionen ungewichtete Transduktoren gewichtete Transduktoren Filter zur Eliminierung redundanter Pfade Komplexität © Karin Haenelt, Transduktoren: Komposition

31 Komposition von Transduktoren mit ε-Transitionen ungewichtete Transduktoren Eingabe- oder Ausgabeetikett eines Transduktors kann ε sein. Bedeutung: null move: kein Vorrücken zum nächsten Zustand je nachdem, wann die ε-Transitionen im 1. oder 2. Transduktor gewählt werden, ergeben sich im komponierten Transduktor verschiedene Variationen eines Pfades, die dieselbe Transduktion darstellen ein ungewichteter Transduktor ist auch mit diesen Variationen eines Pfades korrekt © Karin Haenelt, Transduktoren: Komposition Mohri, Pereira, Riley, 1996

32 Komposition von Transduktoren mit ε-Transitionen gewichtete Transduktoren ein gewichteter Transduktor ist mit verschiedenen Variationen eines Pfades nicht korrekt: das Gesamtgewicht einer Beobachtung ist die Summe der Gewichte der Einzelpfade für diese Beobachtung Gesamtgewicht würde durch Anzahl der Variationen eines Pfades beeinflusst Eliminierung der Pfadvariationen erforderlich © Karin Haenelt, Transduktoren: Komposition Mohri, Pereira, Riley, 1996

33 Komposition von Transduktoren mit ε-Transitionen Beispiel © Karin Haenelt, Transduktoren: Komposition das:dsehr:εgute:εBeispiel:n d:[ε:NPn:] das:dsehr:ε 2 gute:ε 2 Beispiel:n d:[ε 1 :NPn:] ε:ε 1 ε2:εε2:εε2:εε2:εε2:εε2:εε2:εε2:ε A B A B abgeleitete Transduktoren mit expliziter Form der Null-Bewegungen Basis vgl. Mohri, Pereira, Riley, 1996

34 Komposition von Transduktoren mit ε-Transitionen Beispiel © Karin Haenelt, Transduktoren: Komposition das:dBeispiel:n d:[ε 1 :NPn:] ε:ε 1 A B sehr:ε 2 gute:ε 2 ε2:εε2:εε2:εε2:εε2:εε2:εε2:εε2:ε vgl. Mohri, Pereira, Riley, 1996

35 Komposition von Transduktoren mit ε-Transitionen Beispiel © Karin Haenelt, Transduktoren: Komposition das:dBeispiel:n d:[ε 1 :NPn:] ε:ε 1 A B sehr:ε 2 gute:ε 2 ε2:εε2:εε2:εε2:εε2:εε2:εε2:εε2:ε 2 vgl. Mohri, Pereira, Riley, 1996

36 Komposition von Transduktoren mit ε-Transitionen Beispiel © Karin Haenelt, Transduktoren: Komposition das:dBeispiel:n d:[ε 1 :NPn:] ε:ε 1 A B Null-Ausgabe und korrespondierende Null-Bewegung sehr:ε 2 gute:ε 2 ε2:εε2:εε2:εε2:εε2:εε2:εε2:εε2:ε Null-Bewegung und korrespondierende Null-Eingabe 2 1 Null-Ausgabe und korrespondierende Null-Eingabe vgl. Mohri, Pereira, Riley, 1996

37 Komposition von Transduktoren mit ε-Transitionen Beispiel © Karin Haenelt, Transduktoren: Komposition das:[ sehr:NP gute:εsehr:ε gute:εsehr:ε Beispiel:] ε:NP vgl. Mohri, Pereira, Riley, 1996

38 Beispiel:] Komposition von Transduktoren mit ε-Transitionen Problem bei gewichteten Transduktoren © Karin Haenelt, Transduktoren: Komposition das:[ sehr:NP 4 3 gute:εsehr:ε gute:εsehr:ε ε:NP Die verschiedenen Pfade sind hier entstanden durch Komposition nicht durch unterschiedliche Beobachtungen Folge: unkorrekte Berechnung der Gewichte in gewichteten Transduktoren (Gewicht einer Beobachtung: Summe der Gewichte der verschiedenen Pfade für eine Beobachtung) Mohri, Pereira, Riley, 1996

39 Themen Einführung Algorithmus für endlich-sequentielle Transduktoren Beispiele Beispiel 1: Erläuterung der Konstruktion Beispiel 2: Gewichtete Transduktoren Beispiel 3: Linguistische Anwendung: Lexika und Regeln Komposition von Transduktoren mit ε-Transitionen ungewichtete Transduktoren gewichtete Transduktoren Filter zur Eliminierung redundanter Pfade Komplexität © Karin Haenelt, Transduktoren: Komposition

40 Komposition von Transduktoren mit ε-Transitionen Filter zur Eliminierung redundanter Pfade behält nur eine Variante der Verwendung von ε-Transitionen bei angewendet auf die abgeleitete Variante mit expliziter Darstellung von Nullbewegungen: A und B darstellbar als Transduktor verschiedene Varianten möglich auf der nächsten Folie folgende Variante führt oft zu Ergebnis mit den wenigsten Transitionen hat meistens die beste Zeiteffizienz © Karin Haenelt, Transduktoren: Komposition Mohri, Pereira, Riley, 1996

41 Komposition von Transduktoren mit ε-Transitionen Filter zur Eliminierung redundanter Pfade © Karin Haenelt, Transduktoren: Komposition Beispiel:] das:[ sehr:NP 4 3 gute:εsehr:ε gute:εsehr:ε ε:NP x:xε2:ε2ε2:ε2 ε2:ε2ε2:ε2 ε1:ε1ε1:ε1 ε2:ε1ε2:ε1 ε2:ε2ε2:ε2 ε1:ε1ε1:ε1 ε1:ε1ε1:ε1 ε2:ε2ε2:ε ε2:ε1ε2:ε1 ε2:ε2ε2:ε2 ε1:ε1ε1:ε1 - x:x Ausgabe(A) = Eingabe(B) - rücke vor in A und in B - bleibe im Filter in Zustand 0 - ε 1 :ε 1 ε-Transition in A - rücke vor in A (Zustand 1) - Wiederholung bis Fall x:x -ε 2 :ε 2 ε-Transition in B - rücke vor in B (Zustand 2) - Wiederholung bis Fall x:x ε1:ε1ε1:ε1 ε2:ε2ε2:ε2 Mohri, Pereira, Riley, 1996

42 Themen Einführung Algorithmus für endlich-sequentielle Transduktoren Beispiele Beispiel 1: Erläuterung der Konstruktion Beispiel 2: Gewichtete Transduktoren Beispiel 3: Linguistische Anwendung: Lexika und Regeln Komposition von Transduktoren mit ε-Transitionen ungewichtete Transduktoren gewichtete Transduktoren Filter zur Eliminierung redundanter Pfade Komplexität © Karin Haenelt, Transduktoren: Komposition

43 Komplexität Algorithmus Platz: komponierter Transduktor: Q 3 : Q 1 x Q 2 Zeit: lazy implementation möglich Vergleich komponierter Transduktor : Einzeltransduktoren Platz komponierter Transduktor kann sehr viel größer sein als die Einzeltransduktoren (möglicherweise zu groß) in der Praxis oft nicht alle Zustandspaare aus Q 1 x Q 2 Zeit: komponierter Transduktor: nur einmal zu durchlaufen Einzeltransduktoren je einzeln zu durchlaufen © Karin Haenelt, Transduktoren: Komposition

44 Vielen Dank Für Verbesserungshinweise danke ich Frank Tobian Versionen , , , © Karin Haenelt, Transduktoren: Komposition

45 Literatur Jean Berstel und Dominique Perrin (2004). Algorithms on Words. In: M.Lothaire (ed). (2004). Applied Combinatorics on Words. mlv.fr/~berstel/Lothaire/Lothaire3/appcowC1.ps (version )http://www-igm.univ- mlv.fr/~berstel/Lothaire/Lothaire3/appcowC1.ps Hopcroft, John E. und Jeffrey D. Ullman (1979). Introduction to Automata Theory, Languages and Computation. Addison Wesley, Reading, MA. Jurafsky, Daniel und James H. Martin (2000): Speech and Language Processing. An Introduction to Natural Language Processing, Computational Linguistics and Speech Recognition. New Jersey: Prentice Hall. S Karttunen, Lauri (2003): Finite-State Technology. In: Ruslan Mitkov (Hg.): The Oxford Handbook of Computational Linguistics. Oxford University Press. © Karin Haenelt, Transduktoren: Komposition

46 Literatur Mohri, Mehryar (1997): Finite State Transducers in Language and Speech Processing. In: Computational Linguistics, 23, 2, 1997, S Mohri, Mehryar und Michael Riley (2002). Weighted Finite-State Transducers in Speech Recognition (Tutorial). Teil 1: Teil 2: 1: 2: Mohri, Mehryar, Fernando Pereira und Michael Riley (1996). Weighted Finite-State Transducers in Speech Recognition. 12th European Conference on Artificial Intelligence. John Wiley & Sons, Ltd. © Karin Haenelt, Transduktoren: Komposition

47 Copyright © Karin Haenelt, 2003, 2004, 2005, 2006, 2010 All rights reserved. The German Urheberrecht (esp. § 2, § 13, § 63, etc.). shall be applied to these slides. In accordance with these laws these slides are a publication which may be quoted and used for non-commercial purposes, if the bibliographic data is included as described below.Urheberrecht Please quote correctly. If you use the presentation or parts of it for educational and scientific purposes, please observe the laws (copyright, Urheberrecht, etc.) Please include the bibliographic data (author, title, date, page, URL) in your publication (book, paper, course slides, etc.). Deletion or omission of the footer (with name, data and copyright sign) is not permitted Bibliographic data. Karin Haenelt. Transduktoren für die Sprachverarbeitung. Komposition von Transduktoren ( ) For commercial use: No commercial use is allowed without written permission from the author. In case you are interested in commercial use please contact the author. Court of Jurisdiction is Darmstadt, Germany


Herunterladen ppt "1 Transduktoren für die Sprachverarbeitung: Komposition zweier Transduktoren Karin Haenelt 28.5.2010."

Ähnliche Präsentationen


Google-Anzeigen