Transduktoren für die Sprachverarbeitung: Komposition zweier Transduktoren Karin Haenelt 28.5.2010

Themen Einführung Algorithmus für endlich-sequentielle Transduktoren Beispiele Beispiel 1: Erläuterung der Konstruktion Beispiel 2: Gewichtete Transduktoren Beispiel 3: Linguistische Anwendung: Lexika und Regeln Komposition von Transduktoren mit ε-Transitionen ungewichtete Transduktoren gewichtete Transduktoren Filter zur Eliminierung redundanter Pfade Komplexität © Karin Haenelt, Transduktoren: Komposition 28.5.2010

Einführung Komposition das gute Beispiel dete nomn adje [NP NP] NP Σ Δ Ω © Karin Haenelt, Transduktoren: Komposition 28.5.2010

Einführung Komposition © Karin Haenelt, Transduktoren: Komposition 28.5.2010

Einführung Komposition, Beispiel [NP NP NP] das gute Beispiel [NP NP NP] dete adje nomn das gute Beispiel dete adje nomn © Karin Haenelt, Transduktoren: Komposition 28.5.2010

Themen Einführung Algorithmus für endlich-sequentielle Transduktoren Beispiele Beispiel 1: Erläuterung der Konstruktion Beispiel 2: Gewichtete Transduktoren Beispiel 3: Linguistische Anwendung: Lexika und Regeln Komposition von Transduktoren mit ε-Transitionen ungewichtete Transduktoren gewichtete Transduktoren Filter zur Eliminierung redundanter Pfade Komplexität © Karin Haenelt, Transduktoren: Komposition 28.5.2010

Prinzip des Algorithmus für endlich-sequentielle Transduktoren Generalisierung der klassischen Zustandspaar-Konstruktion zur Intersektion von Akzeptoren (Hopcroft und Ullman, 1979) statt Schnitt der Eingaben: Schnitt der Ausgabe von T1 mit Eingabe von T2 © Karin Haenelt, Transduktoren: Komposition 28.5.2010

Prinzip des Algorithmus - 1 - für endlich-sequentielle Transduktoren Zustände der Komposition R ○ S zweier Transduktoren R und S sind Paare eines R-Zustandes und eines S-Zustandes es gelten folgende Bedingungen Startzustand ist das Paar der Startzustände von R und S Endzustände sind Paare von Endzuständen aus R und S es gibt eine Transition t von (r,s) nach (r‘,s‘) für jedes Paar von Transitionen tR von r nach r‘ und tS von s nach s‘, wenn das Ausgabeetikett von tR dem Eingabeetikett von tS entspricht Mohri , Pereira,Riley(1997:273) © Karin Haenelt, Transduktoren: Komposition 28.5.2010

Prinzip des Algorithmus - 2 - für endlich-sequentielle Transduktoren Eingabe von t ist das Eingabeetikett von tR, Ausgabe ist das Ausgabeetikett von tS Gewicht von t ist das ⊗-Produkt der Gewichte von tR und tS, wenn die Gewichte Wahrscheinlichkeiten entsprechen (Operation ⊗ durch den verwendeten Semiring bestimmt) Transitionen mit ε-Kanten bedürfen einer Sonderbehandlung (s. Folien weiter hinten) Mohri , Pereira,Riley(1997:273) © Karin Haenelt, Transduktoren: Komposition 28.5.2010

Komposition Endlich-subsequentielle Transduktoren Sei f : Σ*→Δ* eine sequentielle (oder p-subsequentielle) Funktion g : Δ*→Ω* eine sequentielle (oder q-subsequentielle) Funktion dann ist g ○ f sequentiell (oder pq-subsequentiell) Mohri (1997:273) © Karin Haenelt, Transduktoren: Komposition 28.5.2010

Komposition Endlich-subsequentielle Transduktoren Definition des pq-subsequentiellen Transduktors Mohri (1997:273) © Karin Haenelt, Transduktoren: Komposition 28.5.2010

Themen Einführung Algorithmus für endlich-sequentielle Transduktoren Beispiele Beispiel 1: Erläuterung der Konstruktion Beispiel 2: Gewichtete Transduktoren Beispiel 3: Linguistische Anwendung: Lexika und Regeln Komposition von Transduktoren mit ε-Transitionen ungewichtete Transduktoren gewichtete Transduktoren Filter zur Eliminierung redundanter Pfade Komplexität © Karin Haenelt, Transduktoren: Komposition 28.5.2010

Komposition Endlich-subsequentielle Transduktoren Beispiel 1 - 1 - [NP NP NP] 0 0 1 0 2 0 3 0 yz 0 0 1 1 2 2 3 3 das gute Beispiel das:[NP 0 1 x:y 1 1 2 1 3 1 [NP NP NP] gute:NP 1 2 3 z dete adje nomn 0 2 1 2 2 2 3 2 dete adje nomn x Beispiel:NP 1 2 3 das gute Beispiel 0 3 1 3 2 3 3 3 © Karin Haenelt, Transduktoren: Komposition 28.5.2010

Komposition Endlich-subsequentielle Transduktoren Beispiel 1 - 2 - © Karin Haenelt, Transduktoren: Komposition 28.5.2010

Komposition Endlich-subsequentielle Transduktoren Beispiel 1 - 3 - Berechnung von δ3 für Zustand [0,0] © Karin Haenelt, Transduktoren: Komposition 28.5.2010

Komposition Endlich-subsequentielle Transduktoren Beispiel 1 - 4 - Berechnung von σ3 für Zustand [0,0] © Karin Haenelt, Transduktoren: Komposition 28.5.2010

Komposition Endlich-subsequentielle Transduktoren Beispiel 1 - 5 - Berechnung von ρ3 für Zustand [3,3]

Komposition Endlich-subsequentielle Transduktoren Beispiel 1 - 6 - Ergebnis der Konstruktion © Karin Haenelt, Transduktoren: Komposition 28.5.2010

Themen Einführung Algorithmus für endlich-sequentielle Transduktoren Beispiele Beispiel 1: Erläuterung der Konstruktion Beispiel 2: Gewichtete Transduktoren Beispiel 3: Linguistische Anwendung: Lexika und Regeln Komposition von Transduktoren mit ε-Transitionen ungewichtete Transduktoren gewichtete Transduktoren Filter zur Eliminierung redundanter Pfade Komplexität © Karin Haenelt, Transduktoren: Komposition 28.5.2010

Komposition Beispiel 2 - 1 - c:a [0.3] 1 a:b [0.1] a:a [0.4] 3 [0.6] [1.3] a:c [0.4] c:b [0.9] a:b [0.8] c:b [0.7] a:b [1.0] 0,0 1,1 1,2 b:a [0.2] b:b [0.5] 2 3,2 1 2 [0.7] b:c [0.3] a:b [0.6] a:b [0.4] (Mohri/Riley, 2002: I,20) © Karin Haenelt, Transduktoren: Komposition 28.5.2010

Komposition Beispiel 2 - 2 - Zustandsmenge und gemeinsame Pfade bei Schnitt der Ausgabe von mit der Eingabe von 0,0 1,0 2,0 3,0 a:b [0.1] b:c [0.3] 0,1 1,1 2,1 3,1 c:a [0.3] a:a [0.4] a:b [0.4] a:b [0.4] [0.6] c:a [0.3] 0,2 1,2 2,2 3,2 a:b [0.6] [0.7] a:a [0.4] a:b [0.6] 0,3 1,3 2,3 3,3 © Karin Haenelt, Transduktoren: Komposition 28.5.2010

Komposition Beispiel 2 - 3 - lazy implementation: Konstruktion mit Zustand (0,0) beginnen, nur dann weitere Zustände hinzufügen, wenn sie Ergebnis einer Transition sind, die von einem bereits hinzugefügten Zustand ausgeht © Karin Haenelt, Transduktoren: Komposition 28.5.2010

Themen Einführung Algorithmus für endlich-sequentielle Transduktoren Beispiele Beispiel 1: Erläuterung der Konstruktion Beispiel 2: Gewichtete Transduktoren Beispiel 3: Linguistische Anwendung: Lexika und Regeln Komposition von Transduktoren mit ε-Transitionen ungewichtete Transduktoren gewichtete Transduktoren Filter zur Eliminierung redundanter Pfade Komplexität © Karin Haenelt, Transduktoren: Komposition 28.5.2010

Komposition Beispiel 3 - 1 - Regel für die Einfügung von –e im Plural der englischen Nomina, die auf x,s,z enden („foxes“) other ^: r5 # other z,s,x z,s,x s ^: z,s,x ^: :e r0 r1 r2 r3 s r4 #,other z,x # #,other Jurafsky/Martin, 2000, S. 78 © Karin Haenelt, Transduktoren: Komposition 28.5.2010

Komposition Beispiel 3 - 2 - Regel q0 q1 q2 q3 q4 q5 s # :e ^: z,x z,s,x #,other other Lexikon +N +PL l0 l1 l2 l5 l6 l7 l8 l9 f o x ^ s # l3 l4 c a t © Karin Haenelt, Transduktoren: Komposition 28.5.2010

Komposition Beispiel 3 - 3 - 0,0 *:* 1,0 *:* 2,0 3,0 4,0 5,0 6,0 7,0 8,0 9,0 f:f o:o x:x x:x 0,1 1,1 2,1 3,1 4,1 5,1 6,1 7,1 8,1 9,1 ^:ε +N:ε #:# +Pl:^ ε:# 0,2 1,2 2,2 3,2 4,2 5,2 6,2 7,2 8,2 9,2 ε:e 0,3 1,3 2,3 3,3 4,3 5,3 6,3 7,3 8,3 9,3 s:s ε:s 0,4 1,4 2,4 3,4 4,4 5,4 6,4 7,4 8,4 9,4 0,5 1,5 2,5 3,5 4,5 5,5 6,5 7,5 8,5 9,5 © Karin Haenelt, Transduktoren: Komposition 28.5.2010

Komposition Beispiel 3 - 4 - ^:ε Regel other r5 # z,s,x other z,s,x s ^:ε z,s,x ^:ε ε:e s r0 r1 r2 r3 r4 #,other z,x #,other # Lexikon f o x l1 l2 f o x ^ s # l0 l5 l6 l7 l8 l9 c a t +N +PL l3 l4 c a t Regel ○ Lexikon *:* *:* x:x ^:ε ε:e s:s #:# 0,0 1,0 2,0 5,1 6,1 7,2 7,3 8,4 9,0 f:f o:o x:x +N:ε +Pl:^ ε:s ε:# © Karin Haenelt, Transduktoren: Komposition 28.5.2010

Komposition Beispiel 3 - 5 - komponierter Gesamtautomat f o x ε ε e s # l0r0 l1r0 l2r0 l5r1 l6r1 l7r2 l7r3 l8r4 l9r0 f o x +N +PL c a t ε ε s # l3r0 l4r0 l5r0 l6r0 l7r0 l8r1 c a t +N +PL © Karin Haenelt, Transduktoren: Komposition 28.5.2010

Komposition Beispiel 3 - 6 - von Lexikonautomat und Regelautomat zu einem integrierten Gesamtautomaten Zustandsübergang (q0, other, q0) am Beginn des Regelautomaten behandelt alle Eingaben, die von der Regel nicht betroffen sind und daher identisch transduziert werden; diese Behandlung hat den Effekt, dass bei Komposition mit dem Lexikonautomaten der gesamte Lexemteil mit diesem Zustandsübergang komponiert wird; auf diese Weise werden die Relationen des Lexikons mit dem Regelautomaten verkettet. Ergebnis der Komposition: Lexikonautomat mit pfadspezifisch komponierten Endungen Komposition mit Regelautomaten kann zu Vervielfachungen von Teilen des Regelautomaten führen © Karin Haenelt, Transduktoren: Komposition 28.5.2010

Themen Einführung Algorithmus für endlich-sequentielle Transduktoren Beispiele Beispiel 1: Erläuterung der Konstruktion Beispiel 2: Gewichtete Transduktoren Beispiel 3: Linguistische Anwendung: Lexika und Regeln Komposition von Transduktoren mit ε-Transitionen ungewichtete Transduktoren gewichtete Transduktoren Filter zur Eliminierung redundanter Pfade Komplexität © Karin Haenelt, Transduktoren: Komposition 28.5.2010

Komposition von Transduktoren mit ε-Transitionen ungewichtete Transduktoren Eingabe- oder Ausgabeetikett eines Transduktors kann ε sein. Bedeutung: null move: kein Vorrücken zum nächsten Zustand je nachdem, wann die ε-Transitionen im 1. oder 2. Transduktor gewählt werden, ergeben sich im komponierten Transduktor verschiedene Variationen eines Pfades, die dieselbe Transduktion darstellen ein ungewichteter Transduktor ist auch mit diesen Variationen eines Pfades korrekt Mohri, Pereira, Riley, 1996 © Karin Haenelt, Transduktoren: Komposition 28.5.2010

Komposition von Transduktoren mit ε-Transitionen gewichtete Transduktoren ein gewichteter Transduktor ist mit verschiedenen Variationen eines Pfades nicht korrekt: das Gesamtgewicht einer Beobachtung ist die Summe der Gewichte der Einzelpfade für diese Beobachtung Gesamtgewicht würde durch Anzahl der Variationen eines Pfades beeinflusst Eliminierung der Pfadvariationen erforderlich Mohri, Pereira, Riley, 1996 © Karin Haenelt, Transduktoren: Komposition 28.5.2010

Komposition von Transduktoren mit ε-Transitionen Beispiel Basis A das:d sehr:ε gute:ε Beispiel:n 1 2 3 4 B d:[ ε:NP n:] 1 2 3 abgeleitete Transduktoren mit expliziter Form der Null-Bewegungen ε:ε1 ε:ε1 ε:ε1 ε:ε1 ε:ε1 A‘ das:d sehr:ε2 gute:ε2 Beispiel:n 1 2 3 4 ε2:ε ε2:ε ε2:ε ε2:ε B‘ d:[ ε1:NP n:] 1 2 3 vgl. Mohri, Pereira, Riley, 1996 © Karin Haenelt, Transduktoren: Komposition 28.5.2010

Komposition von Transduktoren mit ε-Transitionen Beispiel ε:ε1 ε:ε1 ε:ε1 ε:ε1 ε:ε1 A‘ das:d sehr:ε2 gute:ε2 Beispiel:n 1 2 3 4 ε2:ε ε2:ε ε2:ε ε2:ε B‘ d:[ ε1:NP n:] 1 2 3 vgl. Mohri, Pereira, Riley, 1996 © Karin Haenelt, Transduktoren: Komposition 28.5.2010

Komposition von Transduktoren mit ε-Transitionen Beispiel ε:ε1 ε:ε1 ε:ε1 ε:ε1 ε:ε1 A‘ das:d sehr:ε2 gute:ε2 Beispiel:n 1 2 3 4 ε2:ε ε2:ε ε2:ε ε2:ε B‘ d:[ ε1:NP n:] 1 2 3 vgl. Mohri, Pereira, Riley, 1996 © Karin Haenelt, Transduktoren: Komposition 28.5.2010

Komposition von Transduktoren mit ε-Transitionen Beispiel ε:ε1 ε:ε1 ε:ε1 ε:ε1 ε:ε1 A‘ das:d sehr:ε2 gute:ε2 Beispiel:n 1 2 3 4 Null-Ausgabe und 1 korrespondierende Null-Eingabe Null-Bewegung und korrespondierende Null-Eingabe 2 3 1 4 5 6 4 ε2:ε ε2:ε ε2:ε ε2:ε Null-Ausgabe und B‘ d:[ ε1:NP n:] 2 3 5 6 korrespondierende Null-Bewegung 1 2 3 vgl. Mohri, Pereira, Riley, 1996 © Karin Haenelt, Transduktoren: Komposition 28.5.2010

Komposition von Transduktoren mit ε-Transitionen Beispiel 0 0 1 0 2 0 3 0 4 0 das:[ sehr:ε 2 1 gute:ε 0 1 1 1 3 1 4 1 ε:NP sehr:NP ε:NP ε:NP 0 2 1 2 sehr:ε 2 2 gute:ε 3 2 4 2 Beispiel:] 0 3 1 3 2 3 3 3 4 3 vgl. Mohri, Pereira, Riley, 1996 © Karin Haenelt, Transduktoren: Komposition 28.5.2010

Komposition von Transduktoren mit ε-Transitionen Problem bei gewichteten Transduktoren 0 0 das:[ sehr:ε 1 1 2 1 gute:ε 3 1 ε:NP sehr:NP ε:NP ε:NP 1 2 sehr:ε 2 2 gute:ε 3 2 Beispiel:] 4 3 Die verschiedenen Pfade sind hier entstanden durch Komposition nicht durch unterschiedliche Beobachtungen Folge: unkorrekte Berechnung der Gewichte in gewichteten Transduktoren (Gewicht einer Beobachtung: Summe der Gewichte der verschiedenen Pfade für eine Beobachtung) Mohri, Pereira, Riley, 1996 © Karin Haenelt, Transduktoren: Komposition 28.5.2010

Themen Einführung Algorithmus für endlich-sequentielle Transduktoren Beispiele Beispiel 1: Erläuterung der Konstruktion Beispiel 2: Gewichtete Transduktoren Beispiel 3: Linguistische Anwendung: Lexika und Regeln Komposition von Transduktoren mit ε-Transitionen ungewichtete Transduktoren gewichtete Transduktoren Filter zur Eliminierung redundanter Pfade Komplexität © Karin Haenelt, Transduktoren: Komposition 28.5.2010

Komposition von Transduktoren mit ε-Transitionen Filter zur Eliminierung redundanter Pfade behält nur eine Variante der Verwendung von ε-Transitionen bei angewendet auf die abgeleitete Variante mit expliziter Darstellung von Nullbewegungen: A‘ und B‘ darstellbar als Transduktor verschiedene Varianten möglich auf der nächsten Folie folgende Variante führt oft zu Ergebnis mit den wenigsten Transitionen hat meistens die beste Zeiteffizienz Mohri, Pereira, Riley, 1996 © Karin Haenelt, Transduktoren: Komposition 28.5.2010

Komposition von Transduktoren mit ε-Transitionen Filter zur Eliminierung redundanter Pfade x:x ε2:ε2 ε2:ε2 sehr:ε 0 0 das:[ 1 1 2 1 gute:ε 3 1 ε1:ε1 ε2:ε1 ε1:ε1 ε1:ε1 ε:NP sehr:NP ε:NP ε:NP ε2:ε2 ε2:ε2 x:x 1 2 sehr:ε 2 2 gute:ε 3 2 Beispiel:] 4 3 x:x Ausgabe(A) = Eingabe(B) rücke vor in A und in B bleibe im Filter in Zustand 0 ε1:ε1 ε-Transition in A rücke vor in A (Zustand 1) Wiederholung bis Fall x:x ε2:ε2 ε-Transition in B rücke vor in B (Zustand 2) ε1:ε1 ε2:ε1 2 1 ε1:ε1 x:x x:x x:x ε2:ε2 ε2:ε2 Mohri, Pereira, Riley, 1996 © Karin Haenelt, Transduktoren: Komposition 28.5.2010

Themen Einführung Algorithmus für endlich-sequentielle Transduktoren Beispiele Beispiel 1: Erläuterung der Konstruktion Beispiel 2: Gewichtete Transduktoren Beispiel 3: Linguistische Anwendung: Lexika und Regeln Komposition von Transduktoren mit ε-Transitionen ungewichtete Transduktoren gewichtete Transduktoren Filter zur Eliminierung redundanter Pfade Komplexität © Karin Haenelt, Transduktoren: Komposition 28.5.2010

Komplexität Algorithmus Platz: komponierter Transduktor: Q3: Q1 x Q2 Zeit: lazy implementation möglich Vergleich komponierter Transduktor : Einzeltransduktoren Platz komponierter Transduktor kann sehr viel größer sein als die Einzeltransduktoren (möglicherweise zu groß) in der Praxis oft nicht alle Zustandspaare aus Q1 x Q2 Zeit: komponierter Transduktor: nur einmal zu durchlaufen Einzeltransduktoren je einzeln zu durchlaufen © Karin Haenelt, Transduktoren: Komposition 28.5.2010

Vielen Dank Für Verbesserungshinweise danke ich Frank Tobian Versionen 28.5.2010,11.5.2009, 95.6.2005, 115.1.2003 © Karin Haenelt, Transduktoren: Komposition 28.5.2010

Literatur Jean Berstel und Dominique Perrin (2004). Algorithms on Words. In: M.Lothaire (ed). (2004). Applied Combinatorics on Words. http://www-igm.univ-mlv.fr/~berstel/Lothaire/Lothaire3/appcowC1.ps (version 06.04.2004) Hopcroft, John E. und Jeffrey D. Ullman (1979). Introduction to Automata Theory, Languages and Computation. Addison Wesley, Reading, MA. Jurafsky, Daniel und James H. Martin (2000): Speech and Language Processing. An Introduction to Natural Language Processing, Computational Linguistics and Speech Recognition. New Jersey: Prentice Hall. S. 21-56. Karttunen, Lauri (2003): Finite-State Technology. In: Ruslan Mitkov (Hg.): The Oxford Handbook of Computational Linguistics. Oxford University Press. © Karin Haenelt, Transduktoren: Komposition 28.5.2010

Literatur Mohri, Mehryar (1997): Finite State Transducers in Language and Speech Processing. In: Computational Linguistics, 23, 2, 1997, S. 269-311. http://citeseer.nj.nec.com/mohri97finitestate.html Mohri, Mehryar und Michael Riley (2002). Weighted Finite-State Transducers in Speech Recognition (Tutorial). Teil 1: http://www.research.att.com/~mohri/postscript/icslp.ps, Teil 2: http://www.research.att.com/~mohri/postscript/icslp-tut2.ps Mohri, Mehryar, Fernando Pereira und Michael Riley (1996). Weighted Finite-State Transducers in Speech Recognition. 12th European Conference on Artificial Intelligence. John Wiley & Sons, Ltd. © Karin Haenelt, Transduktoren: Komposition 28.5.2010

Copyright © Karin Haenelt, 2003, 2004, 2005, 2006, 2010 All rights reserved. The German Urheberrecht (esp. § 2, § 13, § 63 , etc.). shall be applied to these slides. In accordance with these laws these slides are a publication which may be quoted and used for non-commercial purposes, if the bibliographic data is included as described below. Please quote correctly. If you use the presentation or parts of it for educational and scientific purposes, please observe the laws (copyright, Urheberrecht, etc.) Please include the bibliographic data (author, title, date, page, URL) in your publication (book, paper, course slides, etc.). Deletion or omission of the footer (with name, data and copyright sign) is not permitted Bibliographic data. Karin Haenelt. Transduktoren für die Sprachverarbeitung. Komposition von Transduktoren. 28.5.2010 (1 15.01.2003) http://kontext.fraunhofer.de/haenelt/kurs/folien/Haenelt_Fst-Komposition.pdf For commercial use: No commercial use is allowed without written permission from the author. In case you are interested in commercial use please contact the author. Court of Jurisdiction is Darmstadt, Germany