Transduktoren für die Sprachverarbeitung

Transduktoren für die Sprachverarbeitung
Karin Haenelt

Themen Einführung Äquivalenzen: Transduktoren und reguläre Relationen
Definitionen Transduktoren mit bestimmten Eigenschaften sequentielle Transduktoren sequentiell, subsequentiell, endlich-subsequentiell Operationen auf Transduktoren Abgeschlossenheit, Entscheidbarkeit Bidirektionalität Anhang: Grundlagen: Relationen Anhang: Äquivalenz von Mealy- und Moore-Automaten © Karin Haenelt, Transduktoren,

Akzeptoren - Transduktoren
1 S q t 2 3 a 5 dt 4 tt tt 1 [ʃ] S q [t] t 2 3 [a] a dt 4 Grundkonzept: reguläre Mengen Akzeptor Erkenner Grundkonzept: Relationen zwischen regulären Mengen Transduktor Erkenner Generator Übersetzer © Karin Haenelt, Transduktoren,

Transduktor: Betrachtungsweisen
Erkenner Betrachtung: beide Bänder werden gelesen berechnete Information: Entscheidung, ob die Paare von Zeichenketten akzeptiert werden oder nicht. Generator Betrachtung: beide Bänder werden geschrieben berechnete Information: Aufzählung der akzeptierten Paare von Zeichenketten. Übersetzer Betrachtung: ein Band wird gelesen, ein Band wird geschrieben berechnete Information: Aufzählung aller möglichen Zeichenketten, welche zusammen mit den gelesenen Zeichenketten, akzeptiert werden © Karin Haenelt, Transduktoren,

Akzeptoren – Transduktoren: Äquivalenzen
Endliche Akzeptoren reguläre Mengen - Reguläre Sprachen Reguläre Ausdrücke über Symbole spezifizieren akzeptieren sind äquivalent Endliche Transduktoren reguläre Relationen - Reguläre Sprachpaare Reguläre Ausdrücke über Symbolpaare spezifizieren akzeptieren sind äquivalent © Karin Haenelt, Transduktoren,

Transduktor: Äquivalenzen
Endliche Transduktoren sind äquivalent zu regulären Relationen Zu jedem endlichen Transduktor lässt sich eine äquivalente reguläre Relation konstruieren und umgekehrt. Ein Transduktor ist ein endlicher Automat, der zwei reguläre Sprachen in Relation zueinander setzt und eine reguläre Relation repräsentiert © Karin Haenelt, Transduktoren,

Reguläre Relationen Formulierung 1:
Das Cartesische Produkt zweier regulärer Mengen L1 und L2 heißt reguläre Relation Formulierung 2: Seien 1, 2 Alphabete formaler Sprachen. Dann ist die Menge der regulären Relationen folgendermaßen bestimmt Die leere Menge ist eine reguläre Relation (x,y) für alle x,y 12 ist eine reguläre Relation Wenn R, R1 und R2 reguläre Relationen sind, dann sind R1  R2 = {(x1x2,y1y2) | (x1,y1)  R1, (x2,y,2)  R2 } R1  R2 = {(x,y) | (x,y)  R1  (x,y)  R2 } R* = i=0 Ri reguläre Relationen Nichts sonst ist eine reguläre Relation © Karin Haenelt, Transduktoren,

Reguläre Relationen Beispiele
gemäß Formulierung 1: Cartesisches Produkt zweier regulärer Mengen (gab·st) : (geb·en) gemäß Formulierung 2: reguläre Relation (gab:geb) · (st:en) © Karin Haenelt, Transduktoren,

Reguläre Relationen / Reguläre Ausdrücke über Symbolpaare
© Karin Haenelt, Transduktoren,

Reguläre Ausdrücke über Symbolpaare
Reguläre Ausdrücke über Symbole (gab) (ε | st) Reguläre Ausdrücke über Symbolpaare (gab:geb) {(ε:en), (st:en)} (g:g · a:e · b:b) · {(ε:e · ε:n) ,(s:e · t:n)} © Karin Haenelt, Transduktoren,

T = ( Q, Σ, Δ, q0, F, δ, σ, w,λ, ρ) Notation

Transduktor: Definition

Transduktor: Darstellung
die Kanten sind Elemente der Menge Q ×Σ×Δ×+×Q haben die Form (p,i,o,w,q) p  Q Ausgangszustand i  Σ Eingabe-Etikett (input label) o  Δ Ausgabe-Etikett (output label) w  + Gewicht (weight) q  Q Zielzustand graphische Darstellung obere Sprache oder untere Sprache © Karin Haenelt, Transduktoren,

Transduktor: zu Grunde liegender Automat
Sei T = ( Q, Σ, Δ, q0, F, δT, σ ) ein endlicher Transduktor, dann ist A = ( Q, X, q0, F, δA) der zu Grunde liegende Automat, wenn gilt: (qi, (x,y), qj)  δA und  qi, qj mit qj  δ(qi,x) und y = σ(qi, x, qj) X ist die Vereinigung aller solcher Paare (x,y) in T Transduktor T Zu Grunde liegender Automat A 1 2 3 4 (s,s) (a,i) (n,n) (g,g) s i n g 1 2 3 4 s a n g (q1, (a,i), q2)  δA und q2  δ(q1,a) und i = σ(q1, a, q2) (Def. vgl. Hanneforth (2002: 3) © Karin Haenelt, Transduktoren,

Transduktor: Identitätstransduktor
Der Identitätstransduktor T = ID (A) eines endlichen Automaten A = ( Q,Σ, q0, F, δ) ist wie folgt definiert: T = ( Q, Σ, Σ, q0, F, δ, σ ) mit σ(qi, x, qj) = x für alle x  Σ, qi,qj  Q, für die gilt: qj  δ(qi,x) A = ( Q,Σ, q0, F, δ) T = ( Q, Σ, Σ, q0, F, δ, σ ) m a c h m a c h m a c h (Def. vgl. Hanneforth (2002: 3) © Karin Haenelt, Transduktoren,

Transduktor: Projektionen
Erste und zweite Projektion Die erste Projektion π1(T) eines normalisierten Transduktors T = ( Q, Σ, Δ, q0, F, δ, σ ) ist der Automat A = ( Q, Σ, q0, F, δ) Die zweite Projektion π2(T) eines normalisierten1 Transduktors T = ( Q, Σ, Δ, q0, F, δT, σ ) ist der Automat A = ( Q, Δ, q0, F, δA) mit (qi, y, qj)  δA, wenn  qi, qj, x mit y = σ(qi, x, qj) und qj  δT(qi,x) w i e g o ε T w o g ε π1(T): A = ( Q, Σ, q0, F, δ) w i e g π2(T): A = ( Q, Δ, q0, F, δA) (Def. vgl. Hanneforth (2002: 3) © Karin Haenelt, Transduktoren,

Durch Transduktoren berechenbare Relationen
R(T) = { (a,b)  Σ*Δ* und (a,b) ist das Etikett eines erfolgreichen Pfades in T} Transduktoren können reguläre (auch: rationale) Relationen berechnen Eine rationale Relation, die eine (partielle Funktion) darstellt, heißt rationale Funktion © Karin Haenelt, Transduktoren,

Sprache eines Transduktors
Die Sprache L(T) eines Transduktors T = (Q, q0, F, Σ, Δ, δ, σ) ist die reguläre Relation {(u,v)  (Σ*, Δ*) |  qf F, so dass gilt: qf δ*(q0,u) und σ*(q0,u) = v } δ* ist die bekannte Erweiterung von δ auf Zeichenreihen über Σ σ* ist die entsprechend erweiterte Ausgabefunktion vgl. (Hanneforth, 2002: 4) © Karin Haenelt, Transduktoren,

Transduktionsabbildung
Die Transduktionsabbildung T: Σ*→2Δ* eines Transduktors T ist wie folgt definiert: T (u) = { v  Δ* | (u,v)  L(T) } w i e g T (wog) = { wieg, wog } w o g ε o g o g © Karin Haenelt, Transduktoren,

Erweiterte Funktionen δ* und σ*
Grundfunktionen für Zeichen erweiterte Funktionen für Zeichenreihen eine Zeichenreihe w* wird von T akzeptiert g.d.w.*(q0,w) F; die Ausgabe ist dann *(q0,w) © Karin Haenelt, Transduktoren,

Erweiterte Funktion σ* : Beispiel
erweiterte Funktionen σ* für Zeichenreihen a u s 1 2 3 e i n © Karin Haenelt, Transduktoren,

Transduktoren mit bestimmten Eigenschaften

Transduktoren: Ausgabestelle
Zwei klassische Modelle: Moore-Maschine (1956): Ausgabe am Zustand Mealy-Maschine (1955): Ausgabe bei Transition © Karin Haenelt, Transduktoren,

Moore-Maschine 1 2 q0 q1 q2 1 1 1 Hopcroft/Ullmann 1988:43
1 2 1 q0 q1 q2 1 1 Hopcroft/Ullmann 1988:43 © Karin Haenelt, Transduktoren,

Mealy-Maschine 0:y 0:n p0 1:n 0:n q0 1:n p1 1:y
© Karin Haenelt, Transduktoren, Hopcroft/Ullmann 1988:43

Äquivalenz von Mealy und Moore-Maschine
Beide Typen produzieren dieselben Abbildungen zwischen Eingabe und Ausgabe Äquivalente Maschinen konstruierbar © Karin Haenelt, Transduktoren,

Transduktoren mit literalen Kantenetiketten
literaler / normalisierter Transduktor jede Eingabekante und jede Ausgabekante ist mit einem Buchstaben etikettiert oder mit ε Definition. Ein Transduktor T heißt literal oder normalisiert, wenn gilt σ: Q x (Σ  {ε}) → Δ  {ε} Lemma. Jeder Transduktor, dessen Transduktion nicht ε enthält, kann normalisiert werden. normalisiert nicht normalisiert 1 [ʃ] S q [t] t 2 3 [a] a 6 d 4 7 5 1 [ʃ] S q [t] t 2 3 [a] a 5 dt 4 tt © Karin Haenelt, Transduktoren,

Transduktoren als Funktion bzw. Relation
funktionaler Transduktor Für jede Eingabezeichenreihe gibt es höchstens eine Ausgabezeichenreihe f(könn)=kann Definition. Ein Transduktor T heißt funktional, wenn gilt: | T(x) |  1 für alle x  * T heißt in diesem Fall auch rationale Funktion ambiger / relationaler Transduktor Für eine Eingabezeichenreihe gibt es mehr als eine Ausgabezeichenreihe f(brach)= {brech, bring} Definition. Ein Transduktor T heißt relational, wenn gilt: | T(x) | > 1 für mindestens ein x  * T heißt in diesem Fall auch rationale Relation © Karin Haenelt, Transduktoren,

Transduktoren als Relation
einfach endlich ambiger Transduktor Definition. Ein Transduktor T heißt einfach endlich ambig, wenn gilt: T(x) ist endlich für alle x  * Beispiel: ein Transduktor mit an → (b | c)n unendlich ambiger Transduktor Definition. Ein Transduktor T heißt unendlich ambig, wenn er nicht einfach endlich ambig ist. Beispiel: ein Transduktor mit a → b c* uniform endlich ambiger Transduktor Definition. Ein Transduktor T heißt uniform endlich ambig, wenn es eine ganze Zahl N gibt, so dass gilt: | T(x) |  N für alle x  * Beispiel: ein Transduktor mit a → (b | c) vgl. (Hanneforth, 2002: 5) © Karin Haenelt, Transduktoren,

synchroner Transduktor
Relation zwischen Eingabe und Ausgabe ist längenerhaltend jede Eingabekante und jede Ausgabekante ist mit einem Buchstaben etikettiert, d.h. keine ε-Kante Definition. Ein Transduktor T heißt synchron, wenn gilt |T (x) | = |x| synchroner Transduktor asynchroner Transduktor w i e g w o g w o g w o g ε © Karin Haenelt, Transduktoren,

Sequentielle Transduktoren
… betrachten wir etwas ausführlicher, da sie in der Verarbeitungspraxis eine bedeutende Rolle spielen Eingabeseite deterministisch: sequentieller Transduktor In jedem Zustand gibt es höchstens eine ausgehende Kante mit einem gegebenen Element des Eingabealphabets Eingabe: leere Kette nicht zulässig Ausgabe: leere Kette möglich Eingabe:Ausgabe nicht notwendigerweise 1 Zeichen :1 Zeichen (nicht notwendigerweise längenerhaltend) ein einziger Startzustand © Karin Haenelt, Transduktoren,

bidirektional sequentiell unidirektional sequentiell unidirektional sequentiell unidirektional sequentiell 1 1 1 1 x:a x:a x:a x:a y:b 2 y:a 2 y: 2 x:b 2 © Karin Haenelt, Transduktoren,

p q i o/w sequentiell : QQ  : Q* | + | *+ p q i o/w x subsequentiell wie sequentiell  wie sequentiell  : F * eine Endausgabe p q i a/w o1/w o2/w endlich-subsequentiell wie sequentiell  wie sequentiell  : F (*)p, p  endlich viele Endausgaben p q i o1/w r o2/w nicht sequentiell  : Q(ε)2Q  : Q(ε)  Q 2* | 2+ | 2*+ © Karin Haenelt, Transduktoren,

Endlich-subsequentielle Transduktoren
Generalisierung sequentieller Transduktoren maximal endlich viele Ausgabeketten pro Endzustand 1-subsequentielle Transduktoren = subsequentielle Transduktoren ermöglicht Behandlung einer ambigen Relation in einem nicht-ambigen Automaten © Karin Haenelt, Transduktoren,

Sequentielle Transduktoren: Beispiel
nicht-sequentieller Transduktor 1 b 2 3 4 5 e h r c a 6 7 8 9 i g n endlich- subsequentieller Transduktor 1 b 2 3 4 5 r a h c ech ing ältere Bezeichnung: p-subsequentieller Transduktor © Karin Haenelt, Transduktoren,

Sequentielle Transduktoren: Zeit-Komplexität
Berechnung für eine gegebene Eingabe hängt nur von der Länge der Eingabe ab, nicht von der Größe des Transduktors Berechnung folgt dem Pfad, der durch die Eingabezeichenreihe definiert ist, erzeugt die korrespondierende Ausgabe © Karin Haenelt, Transduktoren,

Operationen auf Transduktoren
rationale Operationen analog zu Akzeptoren Vereinigung, Konkatenation, Hüllenbildung Operationen für Transduktoren Projektion Komposition … Optimierung Determinisierung (hier: Sequentialisierung) © Karin Haenelt, Transduktoren,

Abgeschlossenheit endliche Transduktoren sind generell abgeschlossen unter Verkettung, Vereinigung, Hüllenbildung Komposition Invertierung endliche Transduktoren sind nicht generell abgeschlossen unter Differenz Komplementation 1) 2) Intersektion 1) (anb*,cn) (a*bn,cn) ergibt (anbn,cn) abgeschlossen für 1) synchrone FSTs (kein ε, Relation längenerhaltend) 2) endlich-subsequentielle FSTs © Karin Haenelt, Transduktoren,

Entscheidbarkeit es ist entscheidbar, ob ein Transduktor
subsequentiell ist und ob er sequentiell ist eine rationale Funktion realisiert determinisiert werden kann Seien 1,2 Alphabete mit mindestens zwei Buchstaben und R,S 12. Es ist nicht entscheidbar, ob R  S = Ø R  S R = S (d.h. zwei Transduktoren äquivalent sind) R = 12 (12)\R endlich ist R erkennbar ist (Berstel, 1979:90) © Karin Haenelt, Transduktoren,

Bidirektionalität Transduktoren sind inhärent bidirektional:
repräsentierte Relationen sind Abbildungen von oberer Sprache zu unterer Sprache und umgekehrt Anwendungsinteressen in einigen Fällen ist Abbildung nur in einer Richtung erwünscht in anderen Fällen ist Abbildung in beide Richtungen erwünscht Morphologie: Analyse und Generierung Text:Speech und Speech:Text © Karin Haenelt, Transduktoren,

Bidirektionalität: Beispiel
Lexikalischer Transduktor bildet flektierte Formen auf Lemmata ab erzeugt zu Lemmata flektierte Formen v e a +VBZ:s 3 4 5 l e +VB:ε 1 2 6 7 8 9 a:ε v:f e:ε +VBD:t Sigma: a,e,f,l,s,t,v,+VB,+VBD,+VBZ VB: Verb VBZ: Verb –s-Form VBD: Verb Präteritum Beispiel aus: © Karin Haenelt, Transduktoren,

Bidirektionalität: Linguistische Adäquatheit
Automaten repräsentieren Regelsysteme, die eine Sprache generieren, die nicht zu 100% einer menschlichen Sprache entspricht es handelt sich um Annäherungen die Annäherungen werden der Analyse- und der Generierungsseite zuweilen unterschiedlich gerecht Beispiel: Kreativität Analyse: produktive Regeln sollen zugelassen werden „be“{Nomn}{Verbendung}: „besteuern“, „besendern“, „besaiten“, „bewalden“ Generierung: Eigenkreationen des Systems möglicherweise unerwünscht: „begelden“, „berechnern“ © Karin Haenelt, Transduktoren,

Relation: Grundbegriffe
geordnetes Paar (a1, a2) zwei Elemente in festgelegter Reihenfolge n-Tupel (a1, …, an) n Elemente in festgelegter Reihenfolge Projektionen eines geordneten Paares Sei X = (a, b) ein geordnetes Paar © Karin Haenelt, Transduktoren,

Cartesisches Produkt Seien A1, ..., An Mengen. Das Cartesische Produkt (direktes Produkt, Kreuzprodukt) von A1, ..., An ist die Menge A1 x A2 := { (a1,a2) | a1  A1 und a2  A2} bzw. A1 x ... x An := { (a1,...,an) | a1  A1 , ..., und an  An} Jede Teilmenge des Cartesischen Produktes zweier Mengen A x B ist eine Korrespondenz Korrespondenzen: Beziehungen zwischen Elemente verschiedener Mengen Relationen: Beziehungen zwischen Elementen einer Menge die Literatur zu endlichen Automaten vernachlässigt den Unterschied und spricht nur von Relationen © Karin Haenelt, Transduktoren,

Jede Teilmenge R des Cartesischen Produktes zweier Mengen A x B ist eine Relation A mach mach B säng m a c h s n g i w e o ε ... sang sing sing sung wieg wog wog geordnetes Paar: (säng,sing) Cartesisches Produkt: {(mach,mach), (mach,sing), (mach,wieg), (mach,wog), (säng,mach), (säng,sing), (säng,wieg), (säng,wog),… (wog,mach), (wog,sing), (wog,wieg), (wog,wog)} Relation R AB „hat den kanonischen Stamm“: {(mach,mach), (säng,sing), (sang,sing), (sing,sing), (sung,sing), (wog,wieg), (wog,wog)} © Karin Haenelt, Transduktoren,

Äquivalenz von Mealy- und Moore-Maschine
1 0:y n n n 1 p0 q0:n p0:n p1:n 0:n q0 1:n 0:n 1 1 p1 q0:y p0:y p1:y 1:n y y y nicht erreichbar, d.h. tilgbar 1:y 1 1 Hopcroft/Ullmann 1988:45/46 © Karin Haenelt, Transduktoren,

Äquivalenz von Mealy- und Moore-Maschine

Vielen Dank für das Aufspüren von Fehlern in früheren Versionen und für Verbesserungsvorschläge danke ich Simone Eberhard Katja Niemann Christian Roth Ineta Sejane © Karin Haenelt, Transduktoren,

Literatur Jean Berstel (1979). Transductions and Context-Free Languages. Stuttgart: Teubner. Jean Berstel und Dominique Perrin (2004). Algorithms on Words. In: M.Lothaire (ed). (2004). Applied Combinatorics on Words. (version ) Eberhard, Simone; Niemann, Katja und Ineta Sejane (2004). Determinisierung von Transduktoren. Seminarrreferat bzw. pdf Jurafsky, Daniel und James H. Martin (2000): Speech and Language Processing. An Introduction to Natural Language Processing, Computational Linguistics and Speech Recognition. New Jersey: Prentice Hall. S Haenelt, Karin (2004). Determinisierung von Transducern. Eine Erläuterung des Algorithmus von Mohri. Haenelt, Karin (2004). Operationen auf endlichen Automaten und Transduktoren. Definitionen, Algorithmen, Erläuterungen und Beispiele – eine Übersicht. Hanneforth, Thomas (2002 ). Finite-State Techniken: Transduktoren. Kursfolien Universität Potsdam. © Karin Haenelt, Transduktoren,

Literatur Hopcroft, John E. Rajeev Motwani und Jeffrey D. Ullman (2001): Introduction to Automata Theory, Languages and Computation. Addison-Wesley. Hopcroft, John E. und Jeffrey D. Ullman. Einführung in die Automatentheorie, formale Sprachen und Komplexitätstheorie. Bonn u. a. : Addison-Wesley, 1988 (engl. Original Introduction to automata theory, languages and computation). Karttunen, Lauri (2003): Finite-State Technology. In: Ruslan Mitkov (Hg.): The Oxford Handbook of Computational Linguistics. Oxford University Press. Mohri, Mehryar (1997): Finite State Transducers in Language and Speech Processing. In: Computational Linguistics, 23, 2, 1997, S Mohri, Mehryar (1996): On some Applications of finite-state automata theory to natural language processing. In: Journal of Natural Language Egineering, 2, S Mohri, Mehryar und Michael Riley (2002). Weighted Finite-State Transducers in Speech Recognition (Tutorial). Teil 1: Teil 2: Starke, Peter H. (1969). Abstrakte Automaten. VEB Deutscher Verlag der Wissenschaften. Berlin XEROX Finite State Compiler © Karin Haenelt, Transduktoren,

Versionen 4.0: 3.4: , 3.3: , 3.2: , 3.1: , 3.0: 2.0: 1.3: , , , , , 1.2: , , , , , 1.1: 1.0: © Karin Haenelt, Transduktoren,

Copyright © Karin Haenelt, 2003, 2004, 2005, 2006, 2007, 200, All rights reserved. The German Urheberrecht (esp. § 2, § 13, § 63 , etc.). shall be applied to these slides. In accordance with these laws these slides are a publication which may be quoted and used for non-commercial purposes, if the bibliographic data is included as described below. Please quote correctly. If you use the presentation or parts of it for educational and scientific purposes, please observe the laws (copyright, Urheberrecht, etc.) Please include the bibliographic data (author, title, date, page, URL) in your publication (book, paper, course slides, etc.). Deletion or omission of the footer (with name, data and copyright sign) is not permitted Bibliographic data. Karin Haenelt. Transduktoren für die Sprachverarbeitung. Kursfolien ( ) For commercial use: No commercial use is allowed without written permission from the author. In case you are interested in commercial use please contact the author. Court of Jurisdiction is Darmstadt, Germany © Karin Haenelt, Transduktoren,

Transduktoren für die Sprachverarbeitung

Ähnliche Präsentationen

Präsentation zum Thema: "Transduktoren für die Sprachverarbeitung"— Präsentation transkript:

Ähnliche Präsentationen

Über Projekt

Feedback

Anmelden

Anmeldung über soziales Netzwerk:

Transduktoren für die Sprachverarbeitung

Ähnliche Präsentationen

Präsentation zum Thema: "Transduktoren für die Sprachverarbeitung"— Präsentation transkript:

Ähnliche Präsentationen

Über Projekt

Feedback