Transduktoren für die Sprachverarbeitung

Präsentation zum Thema: "Transduktoren für die Sprachverarbeitung"—  Präsentation transkript:

1 Transduktoren für die Sprachverarbeitung
Determinisierung / Sequentialisierung nicht-sequentieller Transduktoren Karin Haenelt

2 Determinisierung: Definition
Wir nennen einen Algorithmus, der es ermöglicht, einen nicht-sequentiellenTransduktor in einen endlich-subsequentiellen Transduktor zu überführen, Determinisierung (Mohri 1996) Ziel Zusammenfassung aller Startzustände zu einem Startzustand Zusammenfassung aller ausgehenden Kanten mit demselben Symbol zu einer einzigen Kante Eliminierung von Epsilonkanten

3 Beispiel 1 nicht-sequentieller Transduktor b r e c h 1 2 3 4 5 b r a c
1 2 3 4 5 b r a c h r i n g 6 7 8 9 r a c h r e n n 10 11 12 13 r a n n endlich-subsequentieller Transduktor ech b r 2,ε 6,ε 10,ε ε 3,e 7,i 11,e ε ε 4,ec 8,in 5,ech 9,ing 0,ε 1,ε b r a c h ing en n 12,ε 13,ε n n

4 Beispiel 2 nicht-sequentieller Transduktor b r e c h 1 2 3 4 5 b r a c
1 2 3 4 5 b r a c h i n g 6 7 8 a c c r e n n 9 10 11 12 r a n n a u 13 14 a u endlich-subsequentieller Transduktor 3,e 6,i 10,e 13,a ech b r 2,ε 9,ε 4,ec 7,in 5,ech 8,ing 0,ε 1,ε b r a c h ing en 11,ε n 12,ε n n au 14,ε u

5 Prinzip Kombination der lokal ambigen Pfade zu einem Pfad, der keine Ausgabe erzeugt Verzögerung der Ausgabe bis zur Auflösung der Ambiguität Verzögerte Ausgabe kann mit einer Mehrzeichen-Ausgabe an einer Kante zusammengefasst werden 1 b 2 3 4 5 e h r c a 6 7 8 9 i g n 0,ε 1,ε b r a h c ech ing 3,e 7,i 4,ec 8,in 5,ech 9,ing 2,ε 6,ε

6 Konstruktion ähnlich wie Potenzmengen-Konstruktion zur Determinisierung nicht-deterministischer Automaten mit lazy implementation hier zusätzlich: Verzögerung der Ausgabe, falls zu einer Eingabe verschiedene Ausgaben vorkommen neue Zustände gebildet aus Mengen von Paaren (stateT1,string) stateT1: Zustand in T1 string: weitergereichte, d.h. verzögerte Ausgabe 4,ec 8,in {(4,ec),(8,in)}

7 Notationskonventionen, 1
Mohri, 1996

8 Notationskonventionen, 2
Mohri, 1996

9 Notationskonventionen, 3
Abkürzungen Zustände einer zusammengefassten Zustandsmenge in T2 für die Eingabe a in T1 definiert ist 3,e c:c 7,i c:n alle Elemente des Repräsentanten {(3,e),(7,i)}, in denen gemäß T1 Eingabe c definiert ist J1(c) = {(3,e),(7,i)} Kanten einer zusammengefassten Zustandsmenge in T2 für die Eingabe a mit Zielzustand q‘ in T1 definiert ist 3,e 4 c:c 7,i 8 c:n alle Kanten des Repräsentanten {(3,e),(7,i)}, in denen gemäß T1 Eingabe c mit Zielzustand q‘ definiert ist J2(c) = {(3,e,4),(7,i,8)},

10 DETERMINIZATION_TRANSDUCER(T1,T2), Mohri 1996
Algorithmus DETERMINIZATION_TRANSDUCER(T1,T2), Mohri 1996 Mohri, 1996 Eberhard/Niemann/Sejane, 2004

11 Algorithmus: Struktur DETERMINIZATION_TRANSDUCER(T1,T2), Mohri 1996
Startzustände vereinigen 2 Repräsentant für Startzustände in Queue 3 Schleife über Queue 4-14 Endzustände 7 verzögerte Ausgabe als Endausgabe 8 Ausgabe berechnen 10 Repräsentant für Zielzustand berechnen 11 Repräsentant für Zielzustand in Queue 12 nächster Repräsentant aus Queue 14 Mohri, 1996 Eberhard/Niemann/Sejane, 2004

12 Kern des Determinisierungsalgorithmus
DETERMINIZATION_TRANSDUCER(T1,T2), Mohri 1996

13 Zustandsübergänge für {(0,ε)}
1 b Zustandsübergänge für {(0,ε)}

14 Zustandsübergänge für {(0,ε)}
1 b Zustandsübergänge für {(0,ε)} Zustand q‘, verzögerte Ausgabe) bisher verzögerter Ausgabe w, verkettet mit aktueller Ausgabe wird links abgeschnitten von [längste gemeinsame Ausgabe]-1∙angesammelte Gesamtausgabe [σ2(q2,a)]-1 w σ1(q1,a,q1’))

15 Transitionen für {(3,e),(7,i),(11,e)}, c
4 h 5 c h b r 2,ε 6,ε 10,ε 3,e 7,i 11,e 4,ec 8,in 0,ε 1,ε 7 n 8 g 9 c h b r a c 11 n 12 n 13 n n

16 Beispiel 1 nicht-sequentieller Transduktor b r e c h 1 2 3 4 5 b r a c
1 2 3 4 5 b r a c h r i n g 6 7 8 9 r a c h r e n n 10 11 12 13 r a n n p-subsequentieller Transduktor ech b r 2,ε 6,ε 10,ε 3,e 7,i 11,e 4,ec 8,in 5,ech 9,ing 0,ε 1,ε b r a c h ing en n 12,ε 13,ε n n

17 σ2(q2,c) für {(3,e),(7,i),(11,e)}

18 σ2(q2,c) für {(3,e),(7,i),(11,e)} längstes gemein- sames Präfix von

19 Erweiterung des Algorithmus für endlich-subsequentielle Transduktoren
nicht nur eine, sondern endlich viele Endausgaben Endausgabe muss eine Menge sein Mohri, 1996

20 Komplexität des subsequentiellen Transduktors
Zeit allgemeine Form der Komplexitätskurve ist linear Laufzeit hängt nur von der Länge der Eingabezeichenreihe ab nicht von der Größe des Automaten keine Ambiguitäten zu verwalten

21 Komplexität des subsequentiellen Transduktors
Platz theoretisch können Transduktoren mit mehr als 2Q Zuständen entstehen (Anzahl der Teilmengen, die aus n Zuständen gebildet werden kann, beträgt 2n, zusätzlich: Kombinationen mit verzögerten Ausgaben) kommt in der Praxis der Sprachverarbeitung kaum vor, da durch Abfolgebeschränkungen der Zeichen zur Modellierung menschlicher Sprachen (Laute, Buchstaben, Worte, Kategorien) nicht jeder Zustand mit jedem anderen durch eine Kante verbunden werden kann. die Anzahl und Länge der Ambiguitäten praktisch begrenzt ist praktisch sind die entstehenden endlich-subsequentiellen Transduktoren oft kleiner als die originalen nicht-sequentiellen Transduktoren daher lazy implementation sinnvoll (Zustände nur bilden, wenn sie das Ergebnis einer Transition sind, die von einem bereits hinzugefügten Zustand ausgehen)

22 Komplexität: Beispiel 1
(Mohri, 1996)

23 Komplexität: Beispiel 2
Word lattice W1: Which flights leave Detroit and arrive at Saint- Petersburg around nine a.m.? Word lattice W2: Determinisierung von W1 Word lattice W3: Minimierung von W2 Mohri, 1997

24 Ersparnis durch Determinisierung
Ein gewichteter Transduktor word lattice für die Spracherkennung auf einem Wörter Lexikon für den Satz Which flights leave Detroit and arrive at Saint-Petersburg around nine am? (Mohri, 1997: 32ff. über ARPA ATIS) Zustände Übergänge Pfade WL 106 359 83 Mio. WL determiniert 38 51 18 WL determiniert und minimiert 25 33 Folie von:Eberhard/Niemann/Sejane, 2004: 26

25 Komplexität: Determinisierungsalgorithmus
zeitbestimmender Faktor des Algorithmus: Hashing-Methode, mit der festgestellt wird, ob ein erzeugter Repräsentant eines Zustandes neu oder bekannt ist: if ( is a new state)then ENQUEUE(Q, )

26 Determinisierbarkeit
alle azyklischen Transduktoren können determinisiert werden zyklische Transduktoren können determinisiert werden, wenn die Zyklen eine Twins-Property haben für nicht-determinisierbare Transduktoren können deterministische Bi-Maschinen konstruiert werden

27 Twins-Property / Zwillingseigenschaft
Choffrut, 1977, 1978 allgemeiner Algorithmus Nachweis der Entscheidbarkeit Allauzen/Mohri Algorithmus auf der Basis der Komposition von Transduktoren und einer Charakterisierung der Twins-Property über die Kombinatorik von Worten

28 Zwillingseigenschaft
Mohri, 1997:310

29 Zwillingseigenschaft
q1 und q2 sind Geschwister, wenn sie vom Startzustand über dieselbe Zeichenreihe x erreicht werden können wenn es am Zustand q1 und q2 einen Zyklus mit Eingabe y gibt Zwei Geschwister q1 und q2 sind Zwillinge wenn die Minimalausgabe einer Schleife mit Eingabe y bei q1 und q2 identisch ist ein Tranduktor T hat die Zwillingseigenschaft, wenn alle Geschwister Zwillinge sind Allauzen/Mohri, 2003

30 Nicht-sequentialisierbare Transduktoren
Allauzen/Mohri 2003

31 Nicht-sequentialisierbare Transduktoren
Beispiel für eine Funktion, für die es keinen sequentiellen Transduktor gibt: x:a x:a 1 2 x:a x:b x:b 3 4 x:b Bedingung für sequentielle Funktion (Theorem von Ginsburg und Rose, 1966): wenn u eine Zeichenkette ist, muss es auch einen Wert von f(u) geben, der nur von u abhängig ist. Mohri, 1997:303

32 BiMaschinen Geeignet zur Aufteilung eines funktionalen aber nicht sequentiellen Transduktors Zwei sequentielle Transduktoren, die in Serie angewendet werden 1. Hälfte der Bi-Maschine verarbeitet Eingabe von links nach rechts 2. Hälfte der Bi-Maschine verarbeitet Ausgabe der 1. Hälfte von rechts nach links Karttunen 2003:353

33 BiMaschine: Beispiel Nicht-sequentieller Transduktor 1. Hälfte
x:a x1:a x:a 1 2 x:x2 x2:b x:a x:x1 x:b 1 2 1 x:b x:x1 x1:b 3 4 x:b x2:a x:x1 x:x2 x:x1 1 2 1 b:x1 b:x2 b:x1 1 1 Mohri, 1997:304

34 Vielen Dank Für das Aufspüren von Fehlern in früheren Versionen und für Verbesserungsvorschläge danke ich Simone Eberhardt, Arndt Faulhaber, Julian Kunkel, Katja Niemann, Ineta Sejane Versionen , , , , ,

35 Literatur Allauzen, Cyril und Mehryar Mohri (2003). Efficient Algorithms for Testing the Twins Property. In: Journal of Automata, Languages and Combinatorics 8, 2, S Choffrut, Christian (1978). Contributions à l’étude de quelques familles remarquables de fonctions rationelles. PhD thesis (thèse de doctorat d’État), Université Paris 7, LITP: Paris. Choffrut, Christian (1977). Une charactérisation des fonctions séquentielles et des fonctions sous-séquentielles en tant que relations rationelles. In: Theoretical Computer Science, 5, S Eberhard, Simone; Niemann, Katja und Ineta Sejane (2004). Determinisierung von Transduktoren. Seminarrreferat bzw. pdf Haenelt, Karin (2004). Determinisierung von Transducern. Eine Erläuterung des Algorithmus von Mohri. Haenelt, Karin (2004). Operationen auf endlichen Automaten und Transduktoren. Definitionen, Algorithmen, Erläuterungen und Beispiele – eine Übersicht.

36 Literatur Karttunen, Lauri (2003): Finite-State Technology. In: Ruslan Mitkov (Hg.): The Oxford Handbook of Computational Linguistics. Oxford University Press. Mohri, Mehryar (1997): Finite State Transducers in Language and Speech Processing. In: Computational Linguistics, 23, 2, 1997, S Mohri, Mehryar (1996): On some Applications of finite-state automata theory to natural language processing. In: Journal of Natural Language Egineering, 2, S Mohri, Mehryar und Michael Riley (2002). Weighted Finite-State Transducers in Speech Recognition (Tutorial). Teil 1: Teil 2: