Präsentation herunterladen
Die Präsentation wird geladen. Bitte warten
1
Transduktoren für die Sprachverarbeitung: Komposition zweier Transduktoren
Karin Haenelt
2
Themen Einführung Algorithmus für endlich-sequentielle Transduktoren
Beispiele Beispiel 1: Erläuterung der Konstruktion Beispiel 2: Gewichtete Transduktoren Beispiel 3: Linguistische Anwendung: Lexika und Regeln Komposition von Transduktoren mit ε-Transitionen ungewichtete Transduktoren gewichtete Transduktoren Filter zur Eliminierung redundanter Pfade Komplexität © Karin Haenelt, Transduktoren: Komposition
3
Einführung Komposition
das gute Beispiel dete nomn adje [NP NP] NP Σ Δ Ω © Karin Haenelt, Transduktoren: Komposition
4
Einführung Komposition
© Karin Haenelt, Transduktoren: Komposition
5
Einführung Komposition, Beispiel
[NP NP NP] das gute Beispiel [NP NP NP] dete adje nomn das gute Beispiel dete adje nomn © Karin Haenelt, Transduktoren: Komposition
6
Themen Einführung Algorithmus für endlich-sequentielle Transduktoren
Beispiele Beispiel 1: Erläuterung der Konstruktion Beispiel 2: Gewichtete Transduktoren Beispiel 3: Linguistische Anwendung: Lexika und Regeln Komposition von Transduktoren mit ε-Transitionen ungewichtete Transduktoren gewichtete Transduktoren Filter zur Eliminierung redundanter Pfade Komplexität © Karin Haenelt, Transduktoren: Komposition
7
Prinzip des Algorithmus für endlich-sequentielle Transduktoren
Generalisierung der klassischen Zustandspaar-Konstruktion zur Intersektion von Akzeptoren (Hopcroft und Ullman, 1979) statt Schnitt der Eingaben: Schnitt der Ausgabe von T1 mit Eingabe von T2 © Karin Haenelt, Transduktoren: Komposition
8
Prinzip des Algorithmus - 1 - für endlich-sequentielle Transduktoren
Zustände der Komposition R ○ S zweier Transduktoren R und S sind Paare eines R-Zustandes und eines S-Zustandes es gelten folgende Bedingungen Startzustand ist das Paar der Startzustände von R und S Endzustände sind Paare von Endzuständen aus R und S es gibt eine Transition t von (r,s) nach (r‘,s‘) für jedes Paar von Transitionen tR von r nach r‘ und tS von s nach s‘, wenn das Ausgabeetikett von tR dem Eingabeetikett von tS entspricht Mohri , Pereira,Riley(1997:273) © Karin Haenelt, Transduktoren: Komposition
9
Prinzip des Algorithmus - 2 - für endlich-sequentielle Transduktoren
Eingabe von t ist das Eingabeetikett von tR, Ausgabe ist das Ausgabeetikett von tS Gewicht von t ist das ⊗-Produkt der Gewichte von tR und tS, wenn die Gewichte Wahrscheinlichkeiten entsprechen (Operation ⊗ durch den verwendeten Semiring bestimmt) Transitionen mit ε-Kanten bedürfen einer Sonderbehandlung (s. Folien weiter hinten) Mohri , Pereira,Riley(1997:273) © Karin Haenelt, Transduktoren: Komposition
10
Komposition Endlich-subsequentielle Transduktoren
Sei f : Σ*→Δ* eine sequentielle (oder p-subsequentielle) Funktion g : Δ*→Ω* eine sequentielle (oder q-subsequentielle) Funktion dann ist g ○ f sequentiell (oder pq-subsequentiell) Mohri (1997:273) © Karin Haenelt, Transduktoren: Komposition
11
Komposition Endlich-subsequentielle Transduktoren Definition des pq-subsequentiellen Transduktors
Mohri (1997:273) © Karin Haenelt, Transduktoren: Komposition
12
Themen Einführung Algorithmus für endlich-sequentielle Transduktoren
Beispiele Beispiel 1: Erläuterung der Konstruktion Beispiel 2: Gewichtete Transduktoren Beispiel 3: Linguistische Anwendung: Lexika und Regeln Komposition von Transduktoren mit ε-Transitionen ungewichtete Transduktoren gewichtete Transduktoren Filter zur Eliminierung redundanter Pfade Komplexität © Karin Haenelt, Transduktoren: Komposition
13
Komposition Endlich-subsequentielle Transduktoren Beispiel 1 - 1 -
[NP NP NP] 0 0 1 0 2 0 3 0 yz 0 0 1 1 2 2 3 3 das gute Beispiel das:[NP 0 1 x:y 1 1 2 1 3 1 [NP NP NP] gute:NP 1 2 3 z dete adje nomn 0 2 1 2 2 2 3 2 dete adje nomn x Beispiel:NP 1 2 3 das gute Beispiel 0 3 1 3 2 3 3 3 © Karin Haenelt, Transduktoren: Komposition
14
Komposition Endlich-subsequentielle Transduktoren Beispiel 1 - 2 -
© Karin Haenelt, Transduktoren: Komposition
15
Komposition Endlich-subsequentielle Transduktoren Beispiel 1 - 3 -
Berechnung von δ3 für Zustand [0,0] © Karin Haenelt, Transduktoren: Komposition
16
Komposition Endlich-subsequentielle Transduktoren Beispiel 1 - 4 -
Berechnung von σ3 für Zustand [0,0] © Karin Haenelt, Transduktoren: Komposition
17
Komposition Endlich-subsequentielle Transduktoren Beispiel 1 - 5 -
Berechnung von ρ3 für Zustand [3,3]
18
Komposition Endlich-subsequentielle Transduktoren Beispiel 1 - 6 -
Ergebnis der Konstruktion © Karin Haenelt, Transduktoren: Komposition
19
Themen Einführung Algorithmus für endlich-sequentielle Transduktoren
Beispiele Beispiel 1: Erläuterung der Konstruktion Beispiel 2: Gewichtete Transduktoren Beispiel 3: Linguistische Anwendung: Lexika und Regeln Komposition von Transduktoren mit ε-Transitionen ungewichtete Transduktoren gewichtete Transduktoren Filter zur Eliminierung redundanter Pfade Komplexität © Karin Haenelt, Transduktoren: Komposition
20
Komposition Beispiel 2 - 1 -
c:a [0.3] 1 a:b [0.1] a:a [0.4] 3 [0.6] [1.3] a:c [0.4] c:b [0.9] a:b [0.8] c:b [0.7] a:b [1.0] 0,0 1,1 1,2 b:a [0.2] b:b [0.5] 2 3,2 1 2 [0.7] b:c [0.3] a:b [0.6] a:b [0.4] (Mohri/Riley, 2002: I,20) © Karin Haenelt, Transduktoren: Komposition
21
Komposition Beispiel 2 - 2 -
Zustandsmenge und gemeinsame Pfade bei Schnitt der Ausgabe von mit der Eingabe von 0,0 1,0 2,0 3,0 a:b [0.1] b:c [0.3] 0,1 1,1 2,1 3,1 c:a [0.3] a:a [0.4] a:b [0.4] a:b [0.4] [0.6] c:a [0.3] 0,2 1,2 2,2 3,2 a:b [0.6] [0.7] a:a [0.4] a:b [0.6] 0,3 1,3 2,3 3,3 © Karin Haenelt, Transduktoren: Komposition
22
Komposition Beispiel 2 - 3 -
lazy implementation: Konstruktion mit Zustand (0,0) beginnen, nur dann weitere Zustände hinzufügen, wenn sie Ergebnis einer Transition sind, die von einem bereits hinzugefügten Zustand ausgeht © Karin Haenelt, Transduktoren: Komposition
23
Themen Einführung Algorithmus für endlich-sequentielle Transduktoren
Beispiele Beispiel 1: Erläuterung der Konstruktion Beispiel 2: Gewichtete Transduktoren Beispiel 3: Linguistische Anwendung: Lexika und Regeln Komposition von Transduktoren mit ε-Transitionen ungewichtete Transduktoren gewichtete Transduktoren Filter zur Eliminierung redundanter Pfade Komplexität © Karin Haenelt, Transduktoren: Komposition
24
Komposition Beispiel 3 - 1 -
Regel für die Einfügung von –e im Plural der englischen Nomina, die auf x,s,z enden („foxes“) other ^: r5 # other z,s,x z,s,x s ^: z,s,x ^: :e r0 r1 r2 r3 s r4 #,other z,x # #,other Jurafsky/Martin, 2000, S. 78 © Karin Haenelt, Transduktoren: Komposition
25
Komposition Beispiel 3 - 2 -
Regel q0 q1 q2 q3 q4 q5 s # :e ^: z,x z,s,x #,other other Lexikon +N +PL l0 l1 l2 l5 l6 l7 l8 l9 f o x ^ s # l3 l4 c a t © Karin Haenelt, Transduktoren: Komposition
26
Komposition Beispiel 3 - 3 -
0,0 *:* 1,0 *:* 2,0 3,0 4,0 5,0 6,0 7,0 8,0 9,0 f:f o:o x:x x:x 0,1 1,1 2,1 3,1 4,1 5,1 6,1 7,1 8,1 9,1 ^:ε +N:ε #:# +Pl:^ ε:# 0,2 1,2 2,2 3,2 4,2 5,2 6,2 7,2 8,2 9,2 ε:e 0,3 1,3 2,3 3,3 4,3 5,3 6,3 7,3 8,3 9,3 s:s ε:s 0,4 1,4 2,4 3,4 4,4 5,4 6,4 7,4 8,4 9,4 0,5 1,5 2,5 3,5 4,5 5,5 6,5 7,5 8,5 9,5 © Karin Haenelt, Transduktoren: Komposition
27
Komposition Beispiel 3 - 4 -
^:ε Regel other r5 # z,s,x other z,s,x s ^:ε z,s,x ^:ε ε:e s r0 r1 r2 r3 r4 #,other z,x #,other # Lexikon f o x l1 l2 f o x ^ s # l0 l5 l6 l7 l8 l9 c a t +N +PL l3 l4 c a t Regel ○ Lexikon *:* *:* x:x ^:ε ε:e s:s #:# 0,0 1,0 2,0 5,1 6,1 7,2 7,3 8,4 9,0 f:f o:o x:x +N:ε +Pl:^ ε:s ε:# © Karin Haenelt, Transduktoren: Komposition
28
Komposition Beispiel 3 - 5 -
komponierter Gesamtautomat f o x ε ε e s # l0r0 l1r0 l2r0 l5r1 l6r1 l7r2 l7r3 l8r4 l9r0 f o x +N +PL c a t ε ε s # l3r0 l4r0 l5r0 l6r0 l7r0 l8r1 c a t +N +PL © Karin Haenelt, Transduktoren: Komposition
29
Komposition Beispiel 3 - 6 -
von Lexikonautomat und Regelautomat zu einem integrierten Gesamtautomaten Zustandsübergang (q0, other, q0) am Beginn des Regelautomaten behandelt alle Eingaben, die von der Regel nicht betroffen sind und daher identisch transduziert werden; diese Behandlung hat den Effekt, dass bei Komposition mit dem Lexikonautomaten der gesamte Lexemteil mit diesem Zustandsübergang komponiert wird; auf diese Weise werden die Relationen des Lexikons mit dem Regelautomaten verkettet. Ergebnis der Komposition: Lexikonautomat mit pfadspezifisch komponierten Endungen Komposition mit Regelautomaten kann zu Vervielfachungen von Teilen des Regelautomaten führen © Karin Haenelt, Transduktoren: Komposition
30
Themen Einführung Algorithmus für endlich-sequentielle Transduktoren
Beispiele Beispiel 1: Erläuterung der Konstruktion Beispiel 2: Gewichtete Transduktoren Beispiel 3: Linguistische Anwendung: Lexika und Regeln Komposition von Transduktoren mit ε-Transitionen ungewichtete Transduktoren gewichtete Transduktoren Filter zur Eliminierung redundanter Pfade Komplexität © Karin Haenelt, Transduktoren: Komposition
31
Komposition von Transduktoren mit ε-Transitionen ungewichtete Transduktoren
Eingabe- oder Ausgabeetikett eines Transduktors kann ε sein. Bedeutung: null move: kein Vorrücken zum nächsten Zustand je nachdem, wann die ε-Transitionen im 1. oder 2. Transduktor gewählt werden, ergeben sich im komponierten Transduktor verschiedene Variationen eines Pfades, die dieselbe Transduktion darstellen ein ungewichteter Transduktor ist auch mit diesen Variationen eines Pfades korrekt Mohri, Pereira, Riley, 1996 © Karin Haenelt, Transduktoren: Komposition
32
Komposition von Transduktoren mit ε-Transitionen gewichtete Transduktoren
ein gewichteter Transduktor ist mit verschiedenen Variationen eines Pfades nicht korrekt: das Gesamtgewicht einer Beobachtung ist die Summe der Gewichte der Einzelpfade für diese Beobachtung Gesamtgewicht würde durch Anzahl der Variationen eines Pfades beeinflusst Eliminierung der Pfadvariationen erforderlich Mohri, Pereira, Riley, 1996 © Karin Haenelt, Transduktoren: Komposition
33
Komposition von Transduktoren mit ε-Transitionen Beispiel
Basis A das:d sehr:ε gute:ε Beispiel:n 1 2 3 4 B d:[ ε:NP n:] 1 2 3 abgeleitete Transduktoren mit expliziter Form der Null-Bewegungen ε:ε1 ε:ε1 ε:ε1 ε:ε1 ε:ε1 A‘ das:d sehr:ε2 gute:ε2 Beispiel:n 1 2 3 4 ε2:ε ε2:ε ε2:ε ε2:ε B‘ d:[ ε1:NP n:] 1 2 3 vgl. Mohri, Pereira, Riley, 1996 © Karin Haenelt, Transduktoren: Komposition
34
Komposition von Transduktoren mit ε-Transitionen Beispiel
ε:ε1 ε:ε1 ε:ε1 ε:ε1 ε:ε1 A‘ das:d sehr:ε2 gute:ε2 Beispiel:n 1 2 3 4 ε2:ε ε2:ε ε2:ε ε2:ε B‘ d:[ ε1:NP n:] 1 2 3 vgl. Mohri, Pereira, Riley, 1996 © Karin Haenelt, Transduktoren: Komposition
35
Komposition von Transduktoren mit ε-Transitionen Beispiel
ε:ε1 ε:ε1 ε:ε1 ε:ε1 ε:ε1 A‘ das:d sehr:ε2 gute:ε2 Beispiel:n 1 2 3 4 ε2:ε ε2:ε ε2:ε ε2:ε B‘ d:[ ε1:NP n:] 1 2 3 vgl. Mohri, Pereira, Riley, 1996 © Karin Haenelt, Transduktoren: Komposition
36
Komposition von Transduktoren mit ε-Transitionen Beispiel
ε:ε1 ε:ε1 ε:ε1 ε:ε1 ε:ε1 A‘ das:d sehr:ε2 gute:ε2 Beispiel:n 1 2 3 4 Null-Ausgabe und 1 korrespondierende Null-Eingabe Null-Bewegung und korrespondierende Null-Eingabe 2 3 1 4 5 6 4 ε2:ε ε2:ε ε2:ε ε2:ε Null-Ausgabe und B‘ d:[ ε1:NP n:] 2 3 5 6 korrespondierende Null-Bewegung 1 2 3 vgl. Mohri, Pereira, Riley, 1996 © Karin Haenelt, Transduktoren: Komposition
37
Komposition von Transduktoren mit ε-Transitionen Beispiel
0 0 1 0 2 0 3 0 4 0 das:[ sehr:ε 2 1 gute:ε 0 1 1 1 3 1 4 1 ε:NP sehr:NP ε:NP ε:NP 0 2 1 2 sehr:ε 2 2 gute:ε 3 2 4 2 Beispiel:] 0 3 1 3 2 3 3 3 4 3 vgl. Mohri, Pereira, Riley, 1996 © Karin Haenelt, Transduktoren: Komposition
38
Komposition von Transduktoren mit ε-Transitionen Problem bei gewichteten Transduktoren
0 0 das:[ sehr:ε 1 1 2 1 gute:ε 3 1 ε:NP sehr:NP ε:NP ε:NP 1 2 sehr:ε 2 2 gute:ε 3 2 Beispiel:] 4 3 Die verschiedenen Pfade sind hier entstanden durch Komposition nicht durch unterschiedliche Beobachtungen Folge: unkorrekte Berechnung der Gewichte in gewichteten Transduktoren (Gewicht einer Beobachtung: Summe der Gewichte der verschiedenen Pfade für eine Beobachtung) Mohri, Pereira, Riley, 1996 © Karin Haenelt, Transduktoren: Komposition
39
Themen Einführung Algorithmus für endlich-sequentielle Transduktoren
Beispiele Beispiel 1: Erläuterung der Konstruktion Beispiel 2: Gewichtete Transduktoren Beispiel 3: Linguistische Anwendung: Lexika und Regeln Komposition von Transduktoren mit ε-Transitionen ungewichtete Transduktoren gewichtete Transduktoren Filter zur Eliminierung redundanter Pfade Komplexität © Karin Haenelt, Transduktoren: Komposition
40
Komposition von Transduktoren mit ε-Transitionen Filter zur Eliminierung redundanter Pfade
behält nur eine Variante der Verwendung von ε-Transitionen bei angewendet auf die abgeleitete Variante mit expliziter Darstellung von Nullbewegungen: A‘ und B‘ darstellbar als Transduktor verschiedene Varianten möglich auf der nächsten Folie folgende Variante führt oft zu Ergebnis mit den wenigsten Transitionen hat meistens die beste Zeiteffizienz Mohri, Pereira, Riley, 1996 © Karin Haenelt, Transduktoren: Komposition
41
Komposition von Transduktoren mit ε-Transitionen Filter zur Eliminierung redundanter Pfade
x:x ε2:ε2 ε2:ε2 sehr:ε 0 0 das:[ 1 1 2 1 gute:ε 3 1 ε1:ε1 ε2:ε1 ε1:ε1 ε1:ε1 ε:NP sehr:NP ε:NP ε:NP ε2:ε2 ε2:ε2 x:x 1 2 sehr:ε 2 2 gute:ε 3 2 Beispiel:] 4 3 x:x Ausgabe(A) = Eingabe(B) rücke vor in A und in B bleibe im Filter in Zustand 0 ε1:ε1 ε-Transition in A rücke vor in A (Zustand 1) Wiederholung bis Fall x:x ε2:ε2 ε-Transition in B rücke vor in B (Zustand 2) ε1:ε1 ε2:ε1 2 1 ε1:ε1 x:x x:x x:x ε2:ε2 ε2:ε2 Mohri, Pereira, Riley, 1996 © Karin Haenelt, Transduktoren: Komposition
42
Themen Einführung Algorithmus für endlich-sequentielle Transduktoren
Beispiele Beispiel 1: Erläuterung der Konstruktion Beispiel 2: Gewichtete Transduktoren Beispiel 3: Linguistische Anwendung: Lexika und Regeln Komposition von Transduktoren mit ε-Transitionen ungewichtete Transduktoren gewichtete Transduktoren Filter zur Eliminierung redundanter Pfade Komplexität © Karin Haenelt, Transduktoren: Komposition
43
Komplexität Algorithmus Platz: komponierter Transduktor: Q3: Q1 x Q2
Zeit: lazy implementation möglich Vergleich komponierter Transduktor : Einzeltransduktoren Platz komponierter Transduktor kann sehr viel größer sein als die Einzeltransduktoren (möglicherweise zu groß) in der Praxis oft nicht alle Zustandspaare aus Q1 x Q2 Zeit: komponierter Transduktor: nur einmal zu durchlaufen Einzeltransduktoren je einzeln zu durchlaufen © Karin Haenelt, Transduktoren: Komposition
44
Vielen Dank Für Verbesserungshinweise danke ich Frank Tobian Versionen
, , , © Karin Haenelt, Transduktoren: Komposition
45
Literatur Jean Berstel und Dominique Perrin (2004). Algorithms on Words. In: M.Lothaire (ed). (2004). Applied Combinatorics on Words. (version ) Hopcroft, John E. und Jeffrey D. Ullman (1979). Introduction to Automata Theory, Languages and Computation. Addison Wesley, Reading, MA. Jurafsky, Daniel und James H. Martin (2000): Speech and Language Processing. An Introduction to Natural Language Processing, Computational Linguistics and Speech Recognition. New Jersey: Prentice Hall. S Karttunen, Lauri (2003): Finite-State Technology. In: Ruslan Mitkov (Hg.): The Oxford Handbook of Computational Linguistics. Oxford University Press. © Karin Haenelt, Transduktoren: Komposition
46
Literatur Mohri, Mehryar (1997): Finite State Transducers in Language and Speech Processing. In: Computational Linguistics, 23, 2, 1997, S Mohri, Mehryar und Michael Riley (2002). Weighted Finite-State Transducers in Speech Recognition (Tutorial). Teil 1: Teil 2: Mohri, Mehryar, Fernando Pereira und Michael Riley (1996). Weighted Finite-State Transducers in Speech Recognition. 12th European Conference on Artificial Intelligence. John Wiley & Sons, Ltd. © Karin Haenelt, Transduktoren: Komposition
47
Copyright © Karin Haenelt, 2003, 2004, 2005, 2006, 2010 All rights reserved. The German Urheberrecht (esp. § 2, § 13, § 63 , etc.). shall be applied to these slides. In accordance with these laws these slides are a publication which may be quoted and used for non-commercial purposes, if the bibliographic data is included as described below. Please quote correctly. If you use the presentation or parts of it for educational and scientific purposes, please observe the laws (copyright, Urheberrecht, etc.) Please include the bibliographic data (author, title, date, page, URL) in your publication (book, paper, course slides, etc.). Deletion or omission of the footer (with name, data and copyright sign) is not permitted Bibliographic data. Karin Haenelt. Transduktoren für die Sprachverarbeitung. Komposition von Transduktoren ( ) For commercial use: No commercial use is allowed without written permission from the author. In case you are interested in commercial use please contact the author. Court of Jurisdiction is Darmstadt, Germany
Ähnliche Präsentationen
