Transduktoren für die Sprachverarbeitung

Slides:



Advertisements
Ähnliche Präsentationen
Developing your Business to Success We are looking for business partners. Enterprise Content Management with OS|ECM Version 6.
Advertisements

Anzahl der ausgefüllten und eingesandten Fragebögen: 211
Baumautomaten Christian Klein Betreuer : Tim Priesnitz
Christian Schindelhauer
Vorlesung: 1 Betriebliche Informationssysteme 2003 Prof. Dr. G. Hellberg Studiengang Informatik FHDW Vorlesung: Betriebliche Informationssysteme Teil3.
LS 2 / Informatik Datenstrukturen, Algorithmen und Programmierung 2 (DAP2)
Telefonnummer.
Modelle und Methoden der Linearen und Nichtlinearen Optimierung (Ausgewählte Methoden und Fallstudien) U N I V E R S I T Ä T H A M B U R G November 2011.
Modelle und Methoden der Linearen und Nichtlinearen Optimierung (Ausgewählte Methoden und Fallstudien) U N I V E R S I T Ä T H A M B U R G November 2011.
Christian Schindelhauer
1 JIM-Studie 2010 Jugend, Information, (Multi-)Media Landesanstalt für Kommunikation Baden-Württemberg (LFK) Landeszentrale für Medien und Kommunikation.
Stoyan Mutafchiev Betreuer: Ilhan, Tim
WS Algorithmentheorie 02 - Polynomprodukt und Fast Fourier Transformation Prof. Dr. Th. Ottmann.
Grundkurs Theoretische Informatik, Folie 2.1 © 2006 G. Vossen,K.-U. Witt Grundkurs Theoretische Informatik Kapitel 2 Gottfried Vossen Kurt-Ulrich Witt.
Endliche Automaten Einführung in den Themenbereich
Reguläre Sprachen Karin Haenelt.
Endliche Automaten Akzeptoren
1 Endliche Automaten in der Sprachtechnologie Einführung Karin Haenelt
1 Abstrakte Operatoren für komplexe reguläre Ausdrücke Karin Haenelt
Formale Grundlagen der Faktenextraktion mit endlichen Automaten
Endliche Automaten Überführung regulärer Ausdrücke in endliche Automaten Karin Haenelt
Reguläre Ausdrücke Karin Haenelt
© Karin Haenelt 2006, Äquivalenzen Reg.Ausdrücke, Reg.Sprachen, EA ( ) 1 Reguläre Sprachen Karin Haenelt.
1 Endliche Automaten in der Sprachtechnologie Kursthemen Karin Haenelt
© Karin Haenelt, Modellierung Menschlicher.Sprachen mit Regulären Ausdrücken, Modellierung menschlicher Sprachen mit Regulären Ausdrücken.
Parsing regulärer Ausdrücke
Mathematische Grundlagen
© Karin Haenelt 2006, Operationen auf Akzeptoren und Transduktoren, ( ) 1 Operationen auf endlichen Akzeptoren und Transduktoren.
Endliche Automaten in der Sprachtechnologie
© Karin Haenelt 2005, Endliche Automaten: Alphabet, Zeichenreihe, Sprache, Endliche Automaten Grundlagen: Alphabet, Zeichenreihe, Sprache.
Transduktoren für die Sprachverarbeitung
Transduktoren für die Sprachverarbeitung: Komposition zweier Transduktoren Karin Haenelt
© Karin Haenelt, Transduktoren, Transduktoren für die Sprachverarbeitung Vereinigung von Transduktoren Karin Haenelt Karin Haenelt, Transduktoren,
Vorlesung: 1 Betriebliche Informationssysteme 2003 Prof. Dr. G. Hellberg Studiengang Informatik FHDW Vorlesung: Betriebliche Informationssysteme Teil2.
Christian Schindelhauer
Christian Schindelhauer
Christian Schindelhauer
Christian Schindelhauer
Theoretische Informatik 2
Rechneraufbau & Rechnerstrukturen, Folie 12.1 © W. Oberschelp, G. Vossen W. Oberschelp G. Vossen Kapitel 12.
Formale Sprachen Grundbegriffe für formale Sprachen
20:00.
„Küsse deine Freunde“ – FlexKom-App teilen
Grenzen der Regularität
für Weihnachten oder als Tischdekoration für das ganze Jahr
Syntaxanalyse Bottom-Up und LR(0)
PROCAM Score Alter (Jahre)
Ertragsteuern, 5. Auflage Christiana Djanani, Gernot Brähler, Christian Lösel, Andreas Krenzin © UVK Verlagsgesellschaft mbH, Konstanz und München 2012.
Vorlesung Mai 2000 Konstruktion des Voronoi-Diagramms II
Formale Sprachen Reguläre Sprachen Rudolf FREUND, Marian KOGLER.
Symmetrische Blockchiffren DES – der Data Encryption Standard
1 (C)2006, Hermann Knoll, HTW Chur, FHO Quadratische Reste Definitionen: Quadratischer Rest Quadratwurzel Anwendungen.
Zahlentheorie und Zahlenspiele Hartmut Menzer, Ingo Althöfer ISBN: © 2014 Oldenbourg Wissenschaftsverlag GmbH Abbildungsübersicht / List.
MINDREADER Ein magisch - interaktives Erlebnis mit ENZO PAOLO
1 (C)2006, Hermann Knoll, HTW Chur, FHO Quadratische Reste Definitionen: Quadratischer Rest Quadratwurzel Anwendungen.
Schutzvermerk nach DIN 34 beachten 20/05/14 Seite 1 Grundlagen XSoft Lösung :Logische Grundschaltung IEC-Grundlagen und logische Verknüpfungen.
Automaten, formale Sprachen und Berechenbarkeit II SoSe 2004 Prof. W. Brauer Teil 3: Potenzreihen und kontextfreie Sprachen (Vgl. Buch von A. Salomaa)
Folie Beispiel für eine Einzelauswertung der Gemeindedaten (fiktive Daten)
1 Albert-Ludwigs-Universität Freiburg Rechnernetze und Telematik Prof. Dr. Christian Schindelhauer Informatik III Christian Schindelhauer Wintersemester.
1 Albert-Ludwigs-Universität Freiburg Rechnernetze und Telematik Prof. Dr. Christian Schindelhauer Informatik III Christian Schindelhauer Wintersemester.
Christian Schindelhauer Wintersemester 2006/07 3. Vorlesung
Arne Vater Wintersemester 2006/ Vorlesung
Christian Schindelhauer Wintersemester 2006/07 2. Vorlesung
1 Albert-Ludwigs-Universität Freiburg Rechnernetze und Telematik Prof. Dr. Christian Schindelhauer Informatik III Christian Schindelhauer Wintersemester.
Numbers Greetings and Good-byes All about Me Verbs and Pronouns
Wintersemester 2005 / Vorlesung
Datum:17. Dezember 2014 Thema:IFRS Update zum Jahresende – die Neuerungen im Überblick Referent:Eberhard Grötzner, EMA ® Anlass:12. Arbeitskreis Internationale.
Einführung in die Volkswirtschaftslehre, Mikroökonomie und Wettbewerbspolitik Lothar Wildmann ISBN: © 2014 Oldenbourg Wissenschaftsverlag.
1 Medienpädagogischer Forschungsverbund Südwest KIM-Studie 2014 Landesanstalt für Kommunikation Baden-Württemberg (LFK) Landeszentrale für Medien und Kommunikation.
Inhalt Einordnung und Funktion der lexikalische Analyse Grundlagen
 Präsentation transkript:

Transduktoren für die Sprachverarbeitung Karin Haenelt 16.5.2010

Themen Einführung Äquivalenzen: Transduktoren und reguläre Relationen Definitionen Transduktoren mit bestimmten Eigenschaften sequentielle Transduktoren sequentiell, subsequentiell, endlich-subsequentiell Operationen auf Transduktoren Abgeschlossenheit, Entscheidbarkeit Bidirektionalität Anhang: Grundlagen: Relationen Anhang: Äquivalenz von Mealy- und Moore-Automaten © Karin Haenelt, Transduktoren, 16.5.2010

Akzeptoren - Transduktoren 1 S q t 2 3 a 5 dt 4 tt tt 1 [ʃ] S q [t] t 2 3 [a] a dt 4 Grundkonzept: reguläre Mengen Akzeptor Erkenner Grundkonzept: Relationen zwischen regulären Mengen Transduktor Erkenner Generator Übersetzer © Karin Haenelt, Transduktoren, 16.5.2010

Transduktor: Betrachtungsweisen Erkenner Betrachtung: beide Bänder werden gelesen berechnete Information: Entscheidung, ob die Paare von Zeichenketten akzeptiert werden oder nicht. Generator Betrachtung: beide Bänder werden geschrieben berechnete Information: Aufzählung der akzeptierten Paare von Zeichenketten. Übersetzer Betrachtung: ein Band wird gelesen, ein Band wird geschrieben berechnete Information: Aufzählung aller möglichen Zeichenketten, welche zusammen mit den gelesenen Zeichenketten, akzeptiert werden © Karin Haenelt, Transduktoren, 16.5.2010

Themen Einführung Äquivalenzen: Transduktoren und reguläre Relationen Definitionen Transduktoren mit bestimmten Eigenschaften sequentielle Transduktoren sequentiell, subsequentiell, endlich-subsequentiell Operationen auf Transduktoren Abgeschlossenheit, Entscheidbarkeit Bidirektionalität Anhang: Grundlagen: Relationen Anhang: Äquivalenz von Mealy- und Moore-Automaten © Karin Haenelt, Transduktoren, 16.5.2010

Akzeptoren – Transduktoren: Äquivalenzen Endliche Akzeptoren reguläre Mengen - Reguläre Sprachen Reguläre Ausdrücke über Symbole spezifizieren akzeptieren sind äquivalent Endliche Transduktoren reguläre Relationen - Reguläre Sprachpaare Reguläre Ausdrücke über Symbolpaare spezifizieren akzeptieren sind äquivalent © Karin Haenelt, Transduktoren, 16.5.2010

Transduktor: Äquivalenzen Endliche Transduktoren sind äquivalent zu regulären Relationen Zu jedem endlichen Transduktor lässt sich eine äquivalente reguläre Relation konstruieren und umgekehrt. Ein Transduktor ist ein endlicher Automat, der zwei reguläre Sprachen in Relation zueinander setzt und eine reguläre Relation repräsentiert © Karin Haenelt, Transduktoren, 16.5.2010

Reguläre Relationen Formulierung 1: Das Cartesische Produkt zweier regulärer Mengen L1 und L2 heißt reguläre Relation Formulierung 2: Seien 1, 2 Alphabete formaler Sprachen. Dann ist die Menge der regulären Relationen folgendermaßen bestimmt Die leere Menge ist eine reguläre Relation (x,y) für alle x,y 12 ist eine reguläre Relation Wenn R, R1 und R2 reguläre Relationen sind, dann sind R1  R2 = {(x1x2,y1y2) | (x1,y1)  R1, (x2,y,2)  R2 } R1  R2 = {(x,y) | (x,y)  R1  (x,y)  R2 } R* = i=0 Ri reguläre Relationen Nichts sonst ist eine reguläre Relation © Karin Haenelt, Transduktoren, 16.5.2010

Reguläre Relationen Beispiele gemäß Formulierung 1: Cartesisches Produkt zweier regulärer Mengen (gab·st) : (geb·en) gemäß Formulierung 2: reguläre Relation (gab:geb) · (st:en) © Karin Haenelt, Transduktoren, 16.5.2010

Reguläre Relationen / Reguläre Ausdrücke über Symbolpaare © Karin Haenelt, Transduktoren, 16.5.2010

Reguläre Ausdrücke über Symbolpaare Reguläre Ausdrücke über Symbole (gab) (ε | st) Reguläre Ausdrücke über Symbolpaare (gab:geb) {(ε:en), (st:en)} (g:g · a:e · b:b) · {(ε:e · ε:n) ,(s:e · t:n)} © Karin Haenelt, Transduktoren, 16.5.2010

Themen Einführung Äquivalenzen: Transduktoren und reguläre Relationen Definitionen Transduktoren mit bestimmten Eigenschaften sequentielle Transduktoren sequentiell, subsequentiell, endlich-subsequentiell Operationen auf Transduktoren Abgeschlossenheit, Entscheidbarkeit Bidirektionalität Anhang: Grundlagen: Relationen Anhang: Äquivalenz von Mealy- und Moore-Automaten © Karin Haenelt, Transduktoren, 16.5.2010

T = ( Q, Σ, Δ, q0, F, δ, σ, w,λ, ρ) Notation © Karin Haenelt, Transduktoren, 2.5.2009

Transduktor: Definition © Karin Haenelt, Transduktoren, 16.5.2010

Transduktor: Darstellung die Kanten sind Elemente der Menge Q ×Σ×Δ×+×Q haben die Form (p,i,o,w,q) p  Q Ausgangszustand i  Σ Eingabe-Etikett (input label) o  Δ Ausgabe-Etikett (output label) w  + Gewicht (weight) q  Q Zielzustand graphische Darstellung obere Sprache oder untere Sprache © Karin Haenelt, Transduktoren, 16.5.2010

Transduktor: zu Grunde liegender Automat Sei T = ( Q, Σ, Δ, q0, F, δT, σ ) ein endlicher Transduktor, dann ist A = ( Q, X, q0, F, δA) der zu Grunde liegende Automat, wenn gilt: (qi, (x,y), qj)  δA und  qi, qj mit qj  δ(qi,x) und y = σ(qi, x, qj) X ist die Vereinigung aller solcher Paare (x,y) in T Transduktor T Zu Grunde liegender Automat A 1 2 3 4 (s,s) (a,i) (n,n) (g,g) s i n g 1 2 3 4 s a n g (q1, (a,i), q2)  δA und q2  δ(q1,a) und i = σ(q1, a, q2) (Def. vgl. Hanneforth (2002: 3) © Karin Haenelt, Transduktoren, 16.5.2010

Transduktor: Identitätstransduktor Der Identitätstransduktor T = ID (A) eines endlichen Automaten A = ( Q,Σ, q0, F, δ) ist wie folgt definiert: T = ( Q, Σ, Σ, q0, F, δ, σ ) mit σ(qi, x, qj) = x für alle x  Σ, qi,qj  Q, für die gilt: qj  δ(qi,x) A = ( Q,Σ, q0, F, δ) T = ( Q, Σ, Σ, q0, F, δ, σ ) m a c h m a c h m a c h (Def. vgl. Hanneforth (2002: 3) © Karin Haenelt, Transduktoren, 16.5.2010

Transduktor: Projektionen Erste und zweite Projektion Die erste Projektion π1(T) eines normalisierten Transduktors T = ( Q, Σ, Δ, q0, F, δ, σ ) ist der Automat A = ( Q, Σ, q0, F, δ) Die zweite Projektion π2(T) eines normalisierten1 Transduktors T = ( Q, Σ, Δ, q0, F, δT, σ ) ist der Automat A = ( Q, Δ, q0, F, δA) mit (qi, y, qj)  δA, wenn  qi, qj, x mit y = σ(qi, x, qj) und qj  δT(qi,x) w i e g o ε T w o g ε π1(T): A = ( Q, Σ, q0, F, δ) w i e g π2(T): A = ( Q, Δ, q0, F, δA) (Def. vgl. Hanneforth (2002: 3) © Karin Haenelt, Transduktoren, 16.5.2010

Durch Transduktoren berechenbare Relationen R(T) = { (a,b)  Σ*Δ* und (a,b) ist das Etikett eines erfolgreichen Pfades in T} Transduktoren können reguläre (auch: rationale) Relationen berechnen Eine rationale Relation, die eine (partielle Funktion) darstellt, heißt rationale Funktion © Karin Haenelt, Transduktoren, 16.5.2010

Sprache eines Transduktors Die Sprache L(T) eines Transduktors T = (Q, q0, F, Σ, Δ, δ, σ) ist die reguläre Relation {(u,v)  (Σ*, Δ*) |  qf F, so dass gilt: qf δ*(q0,u) und σ*(q0,u) = v } δ* ist die bekannte Erweiterung von δ auf Zeichenreihen über Σ σ* ist die entsprechend erweiterte Ausgabefunktion vgl. (Hanneforth, 2002: 4) © Karin Haenelt, Transduktoren, 16.5.2010

Transduktionsabbildung Die Transduktionsabbildung T: Σ*→2Δ* eines Transduktors T ist wie folgt definiert: T (u) = { v  Δ* | (u,v)  L(T) } w i e g T (wog) = { wieg, wog } w o g ε o g o g © Karin Haenelt, Transduktoren, 16.5.2010

Erweiterte Funktionen δ* und σ* Grundfunktionen für Zeichen erweiterte Funktionen für Zeichenreihen eine Zeichenreihe w* wird von T akzeptiert g.d.w.*(q0,w) F; die Ausgabe ist dann *(q0,w) © Karin Haenelt, Transduktoren, 16.5.2010

Erweiterte Funktion σ* : Beispiel erweiterte Funktionen σ* für Zeichenreihen a u s 1 2 3 e i n © Karin Haenelt, Transduktoren, 16.5.2010

Themen Einführung Äquivalenzen: Transduktoren und reguläre Relationen Definitionen Transduktoren mit bestimmten Eigenschaften sequentielle Transduktoren sequentiell, subsequentiell, endlich-subsequentiell Operationen auf Transduktoren Abgeschlossenheit, Entscheidbarkeit Bidirektionalität Anhang: Grundlagen: Relationen Anhang: Äquivalenz von Mealy- und Moore-Automaten © Karin Haenelt, Transduktoren, 16.5.2010

Transduktoren mit bestimmten Eigenschaften © Karin Haenelt, Transduktoren, 16.5.2010

Transduktoren: Ausgabestelle Zwei klassische Modelle: Moore-Maschine (1956): Ausgabe am Zustand Mealy-Maschine (1955): Ausgabe bei Transition © Karin Haenelt, Transduktoren, 16.5.2010

Moore-Maschine 1 2 q0 q1 q2 1 1 1 Hopcroft/Ullmann 1988:43 1 2 1 q0 q1 q2 1 1 Hopcroft/Ullmann 1988:43 © Karin Haenelt, Transduktoren, 16.5.2010

Mealy-Maschine 0:y 0:n p0 1:n 0:n q0 1:n p1 1:y © Karin Haenelt, Transduktoren, 16.5.2010 Hopcroft/Ullmann 1988:43

Äquivalenz von Mealy und Moore-Maschine Beide Typen produzieren dieselben Abbildungen zwischen Eingabe und Ausgabe Äquivalente Maschinen konstruierbar © Karin Haenelt, Transduktoren, 16.5.2010

Transduktoren mit literalen Kantenetiketten literaler / normalisierter Transduktor jede Eingabekante und jede Ausgabekante ist mit einem Buchstaben etikettiert oder mit ε Definition. Ein Transduktor T heißt literal oder normalisiert, wenn gilt σ: Q x (Σ  {ε}) → Δ  {ε} Lemma. Jeder Transduktor, dessen Transduktion nicht ε enthält, kann normalisiert werden. normalisiert nicht normalisiert 1 [ʃ] S q [t] t 2 3 [a] a 6 d 4 7 5 1 [ʃ] S q [t] t 2 3 [a] a 5 dt 4 tt © Karin Haenelt, Transduktoren, 16.5.2010

Transduktoren als Funktion bzw. Relation funktionaler Transduktor Für jede Eingabezeichenreihe gibt es höchstens eine Ausgabezeichenreihe f(könn)=kann Definition. Ein Transduktor T heißt funktional, wenn gilt: | T(x) |  1 für alle x  * T heißt in diesem Fall auch rationale Funktion ambiger / relationaler Transduktor Für eine Eingabezeichenreihe gibt es mehr als eine Ausgabezeichenreihe f(brach)= {brech, bring} Definition. Ein Transduktor T heißt relational, wenn gilt: | T(x) | > 1 für mindestens ein x  * T heißt in diesem Fall auch rationale Relation © Karin Haenelt, Transduktoren, 16.5.2010

Transduktoren als Relation einfach endlich ambiger Transduktor Definition. Ein Transduktor T heißt einfach endlich ambig, wenn gilt: T(x) ist endlich für alle x  * Beispiel: ein Transduktor mit an → (b | c)n unendlich ambiger Transduktor Definition. Ein Transduktor T heißt unendlich ambig, wenn er nicht einfach endlich ambig ist. Beispiel: ein Transduktor mit a → b c* uniform endlich ambiger Transduktor Definition. Ein Transduktor T heißt uniform endlich ambig, wenn es eine ganze Zahl N gibt, so dass gilt: | T(x) |  N für alle x  * Beispiel: ein Transduktor mit a → (b | c) vgl. (Hanneforth, 2002: 5) © Karin Haenelt, Transduktoren, 16.5.2010

synchroner Transduktor Relation zwischen Eingabe und Ausgabe ist längenerhaltend jede Eingabekante und jede Ausgabekante ist mit einem Buchstaben etikettiert, d.h. keine ε-Kante Definition. Ein Transduktor T heißt synchron, wenn gilt |T (x) | = |x| synchroner Transduktor asynchroner Transduktor w i e g w o g w o g w o g ε © Karin Haenelt, Transduktoren, 16.5.2010

Themen Einführung Äquivalenzen: Transduktoren und reguläre Relationen Definitionen Transduktoren mit bestimmten Eigenschaften sequentielle Transduktoren sequentiell, subsequentiell, endlich-subsequentiell Operationen auf Transduktoren Abgeschlossenheit, Entscheidbarkeit Bidirektionalität Anhang: Grundlagen: Relationen Anhang: Äquivalenz von Mealy- und Moore-Automaten © Karin Haenelt, Transduktoren, 16.5.2010

Sequentielle Transduktoren … betrachten wir etwas ausführlicher, da sie in der Verarbeitungspraxis eine bedeutende Rolle spielen Eingabeseite deterministisch: sequentieller Transduktor In jedem Zustand gibt es höchstens eine ausgehende Kante mit einem gegebenen Element des Eingabealphabets Eingabe: leere Kette nicht zulässig Ausgabe: leere Kette möglich Eingabe:Ausgabe nicht notwendigerweise 1 Zeichen :1 Zeichen (nicht notwendigerweise längenerhaltend) ein einziger Startzustand © Karin Haenelt, Transduktoren, 16.5.2010

Sequentielle Transduktoren bidirektional sequentiell unidirektional sequentiell unidirektional sequentiell unidirektional sequentiell 1 1 1 1 x:a x:a x:a x:a y:b 2 y:a 2 y: 2 x:b 2 © Karin Haenelt, Transduktoren, 16.5.2010

Sequentielle Transduktoren p q i o/w sequentiell : QQ  : Q* | + | *+ p q i o/w x subsequentiell wie sequentiell  wie sequentiell  : F * eine Endausgabe p q i a/w o1/w o2/w endlich-subsequentiell wie sequentiell  wie sequentiell  : F (*)p, p  endlich viele Endausgaben p q i o1/w r o2/w nicht sequentiell  : Q(ε)2Q  : Q(ε)  Q 2* | 2+ | 2*+ © Karin Haenelt, Transduktoren, 16.5.2010

Endlich-subsequentielle Transduktoren Generalisierung sequentieller Transduktoren maximal endlich viele Ausgabeketten pro Endzustand 1-subsequentielle Transduktoren = subsequentielle Transduktoren ermöglicht Behandlung einer ambigen Relation in einem nicht-ambigen Automaten © Karin Haenelt, Transduktoren, 16.5.2010

Sequentielle Transduktoren: Beispiel nicht-sequentieller Transduktor 1 b 2 3 4 5 e h r c a 6 7 8 9 i g n endlich- subsequentieller Transduktor 1 b 2 3 4 5 r a h c ech ing ältere Bezeichnung: p-subsequentieller Transduktor © Karin Haenelt, Transduktoren, 16.5.2010

Sequentielle Transduktoren: Zeit-Komplexität Berechnung für eine gegebene Eingabe hängt nur von der Länge der Eingabe ab, nicht von der Größe des Transduktors Berechnung folgt dem Pfad, der durch die Eingabezeichenreihe definiert ist, erzeugt die korrespondierende Ausgabe © Karin Haenelt, Transduktoren, 16.5.2010

Themen Einführung Äquivalenzen: Transduktoren und reguläre Relationen Definitionen Transduktoren mit bestimmten Eigenschaften sequentielle Transduktoren sequentiell, subsequentiell, endlich-subsequentiell Operationen auf Transduktoren Abgeschlossenheit, Entscheidbarkeit Bidirektionalität Anhang: Grundlagen: Relationen Anhang: Äquivalenz von Mealy- und Moore-Automaten © Karin Haenelt, Transduktoren, 16.5.2010

Operationen auf Transduktoren rationale Operationen analog zu Akzeptoren Vereinigung, Konkatenation, Hüllenbildung Operationen für Transduktoren Projektion Komposition … Optimierung Determinisierung (hier: Sequentialisierung) © Karin Haenelt, Transduktoren, 16.5.2010

Themen Einführung Äquivalenzen: Transduktoren und reguläre Relationen Definitionen Transduktoren mit bestimmten Eigenschaften sequentielle Transduktoren sequentiell, subsequentiell, endlich-subsequentiell Operationen auf Transduktoren Abgeschlossenheit, Entscheidbarkeit Bidirektionalität Anhang: Grundlagen: Relationen Anhang: Äquivalenz von Mealy- und Moore-Automaten © Karin Haenelt, Transduktoren, 16.5.2010

Abgeschlossenheit endliche Transduktoren sind generell abgeschlossen unter Verkettung, Vereinigung, Hüllenbildung Komposition Invertierung endliche Transduktoren sind nicht generell abgeschlossen unter Differenz Komplementation 1) 2) Intersektion 1) (anb*,cn) (a*bn,cn) ergibt (anbn,cn) abgeschlossen für 1) synchrone FSTs (kein ε, Relation längenerhaltend) 2) endlich-subsequentielle FSTs © Karin Haenelt, Transduktoren, 16.5.2010

Entscheidbarkeit es ist entscheidbar, ob ein Transduktor subsequentiell ist und ob er sequentiell ist eine rationale Funktion realisiert determinisiert werden kann Seien 1,2 Alphabete mit mindestens zwei Buchstaben und R,S 12. Es ist nicht entscheidbar, ob R  S = Ø R  S R = S (d.h. zwei Transduktoren äquivalent sind) R = 12 (12)\R endlich ist R erkennbar ist (Berstel, 1979:90) © Karin Haenelt, Transduktoren, 16.5.2010

Themen Einführung Äquivalenzen: Transduktoren und reguläre Relationen Definitionen Transduktoren mit bestimmten Eigenschaften sequentielle Transduktoren sequentiell, subsequentiell, endlich-subsequentiell Operationen auf Transduktoren Abgeschlossenheit, Entscheidbarkeit Bidirektionalität Anhang: Grundlagen: Relationen Anhang: Äquivalenz von Mealy- und Moore-Automaten © Karin Haenelt, Transduktoren, 16.5.2010

Bidirektionalität Transduktoren sind inhärent bidirektional: repräsentierte Relationen sind Abbildungen von oberer Sprache zu unterer Sprache und umgekehrt Anwendungsinteressen in einigen Fällen ist Abbildung nur in einer Richtung erwünscht in anderen Fällen ist Abbildung in beide Richtungen erwünscht Morphologie: Analyse und Generierung Text:Speech und Speech:Text © Karin Haenelt, Transduktoren, 16.5.2010

Bidirektionalität: Beispiel Lexikalischer Transduktor bildet flektierte Formen auf Lemmata ab erzeugt zu Lemmata flektierte Formen v e a +VBZ:s 3 4 5 l e +VB:ε 1 2 6 7 8 9 a:ε v:f e:ε +VBD:t Sigma: a,e,f,l,s,t,v,+VB,+VBD,+VBZ VB: Verb VBZ: Verb –s-Form VBD: Verb Präteritum Beispiel aus: http://www.xrce.xerox.com/competencies/content-analysis/fsCompiler/fsnetwork.html © Karin Haenelt, Transduktoren, 16.5.2010

Bidirektionalität: Linguistische Adäquatheit Automaten repräsentieren Regelsysteme, die eine Sprache generieren, die nicht zu 100% einer menschlichen Sprache entspricht es handelt sich um Annäherungen die Annäherungen werden der Analyse- und der Generierungsseite zuweilen unterschiedlich gerecht Beispiel: Kreativität Analyse: produktive Regeln sollen zugelassen werden „be“{Nomn}{Verbendung}: „besteuern“, „besendern“, „besaiten“, „bewalden“ Generierung: Eigenkreationen des Systems möglicherweise unerwünscht: „begelden“, „berechnern“ © Karin Haenelt, Transduktoren, 16.5.2010

Themen Einführung Äquivalenzen: Transduktoren und reguläre Relationen Definitionen Transduktoren mit bestimmten Eigenschaften sequentielle Transduktoren sequentiell, subsequentiell, endlich-subsequentiell Operationen auf Transduktoren Abgeschlossenheit, Entscheidbarkeit Bidirektionalität Anhang: Grundlagen: Relationen Anhang: Äquivalenz von Mealy- und Moore-Automaten © Karin Haenelt, Transduktoren, 16.5.2010

Relation: Grundbegriffe geordnetes Paar (a1, a2) zwei Elemente in festgelegter Reihenfolge n-Tupel (a1, …, an) n Elemente in festgelegter Reihenfolge Projektionen eines geordneten Paares Sei X = (a, b) ein geordnetes Paar © Karin Haenelt, Transduktoren, 16.5.2010

Relation: Grundbegriffe Cartesisches Produkt Seien A1, ..., An Mengen. Das Cartesische Produkt (direktes Produkt, Kreuzprodukt) von A1, ..., An ist die Menge A1 x A2 := { (a1,a2) | a1  A1 und a2  A2} bzw. A1 x ... x An := { (a1,...,an) | a1  A1 , ..., und an  An} Jede Teilmenge des Cartesischen Produktes zweier Mengen A x B ist eine Korrespondenz Korrespondenzen: Beziehungen zwischen Elemente verschiedener Mengen Relationen: Beziehungen zwischen Elementen einer Menge die Literatur zu endlichen Automaten vernachlässigt den Unterschied und spricht nur von Relationen © Karin Haenelt, Transduktoren, 16.5.2010

Relation: Grundbegriffe Jede Teilmenge R des Cartesischen Produktes zweier Mengen A x B ist eine Relation A mach mach B säng m a c h s n g i w e o ε ... sang sing sing sung wieg wog wog geordnetes Paar: (säng,sing) Cartesisches Produkt: {(mach,mach), (mach,sing), (mach,wieg), (mach,wog), (säng,mach), (säng,sing), (säng,wieg), (säng,wog),… (wog,mach), (wog,sing), (wog,wieg), (wog,wog)} Relation R AB „hat den kanonischen Stamm“: {(mach,mach), (säng,sing), (sang,sing), (sing,sing), (sung,sing), (wog,wieg), (wog,wog)} © Karin Haenelt, Transduktoren, 16.5.2010

Themen Einführung Äquivalenzen: Transduktoren und reguläre Relationen Definitionen Transduktoren mit bestimmten Eigenschaften sequentielle Transduktoren sequentiell, subsequentiell, endlich-subsequentiell Operationen auf Transduktoren Abgeschlossenheit, Entscheidbarkeit Bidirektionalität Anhang: Grundlagen: Relationen Anhang: Äquivalenz von Mealy- und Moore-Automaten © Karin Haenelt, Transduktoren, 16.5.2010

Äquivalenz von Mealy-Maschine und Moore-Maschine Vgl. Hopcroft/Ullmann 1988:43 © Karin Haenelt, Transduktoren, 16.5.2010

Äquivalenz von Mealy- und Moore-Maschine 1 0:y n n n 1 p0 q0:n p0:n p1:n 0:n q0 1:n 0:n 1 1 p1 q0:y p0:y p1:y 1:n y y y nicht erreichbar, d.h. tilgbar 1:y 1 1 Hopcroft/Ullmann 1988:45/46 © Karin Haenelt, Transduktoren, 16.5.2010

Äquivalenz von Mealy- und Moore-Maschine © Karin Haenelt, Transduktoren, 16.5.2010

Vielen Dank für das Aufspüren von Fehlern in früheren Versionen und für Verbesserungsvorschläge danke ich Simone Eberhard Katja Niemann Christian Roth Ineta Sejane © Karin Haenelt, Transduktoren, 16.5.2010

Literatur Jean Berstel (1979). Transductions and Context-Free Languages. Stuttgart: Teubner. Jean Berstel und Dominique Perrin (2004). Algorithms on Words. In: M.Lothaire (ed). (2004). Applied Combinatorics on Words. http://www-igm.univ-mlv.fr/~berstel/Lothaire/Lothaire3/appcowC1.ps (version 06.04.2004) Eberhard, Simone; Niemann, Katja und Ineta Sejane (2004). Determinisierung von Transduktoren. Seminarrreferat 28.06.2004. http://kontext.fraunhofer.de/haenelt/kurs/Referate/Eberhard_Niemann_Sejane_S2004/AlgorithmusMohri.ppt bzw. pdf Jurafsky, Daniel und James H. Martin (2000): Speech and Language Processing. An Introduction to Natural Language Processing, Computational Linguistics and Speech Recognition. New Jersey: Prentice Hall. S. 21-56. Haenelt, Karin (2004). Determinisierung von Transducern. Eine Erläuterung des Algorithmus von Mohri. http://kontext.fraunhofer.de/haenelt/kurs/folien/FstDetermMohri.pdf Haenelt, Karin (2004). Operationen auf endlichen Automaten und Transduktoren. Definitionen, Algorithmen, Erläuterungen und Beispiele – eine Übersicht. http://kontext.fraunhofer.de/haenelt/kurs/folien/FSOperationenDef.pdf Hanneforth, Thomas (2002 ). Finite-State Techniken: Transduktoren. Kursfolien Universität Potsdam. http://www.ling.uni-potsdam.de/kurse/EndlicheTechniken/Transduktoren.pdf © Karin Haenelt, Transduktoren, 16.5.2010

Literatur Hopcroft, John E. Rajeev Motwani und Jeffrey D. Ullman (2001): Introduction to Automata Theory, Languages and Computation. Addison-Wesley. http://www-db.stanford.edu/~ullman/ialc.html Hopcroft, John E. und Jeffrey D. Ullman. Einführung in die Automatentheorie, formale Sprachen und Komplexitätstheorie. Bonn u. a. : Addison-Wesley, 1988 (engl. Original Introduction to automata theory, languages and computation). Karttunen, Lauri (2003): Finite-State Technology. In: Ruslan Mitkov (Hg.): The Oxford Handbook of Computational Linguistics. Oxford University Press. Mohri, Mehryar (1997): Finite State Transducers in Language and Speech Processing. In: Computational Linguistics, 23, 2, 1997, S. 269-311. http://citeseer.nj.nec.com/mohri97finitestate.html Mohri, Mehryar (1996): On some Applications of finite-state automata theory to natural language processing. In: Journal of Natural Language Egineering, 2, S. 1-20. Mohri, Mehryar und Michael Riley (2002). Weighted Finite-State Transducers in Speech Recognition (Tutorial). Teil 1: http://www.research.att.com/~mohri/postscript/icslp.ps, Teil 2: http://www.research.att.com/~mohri/postscript/icslp-tut2.ps Starke, Peter H. (1969). Abstrakte Automaten. VEB Deutscher Verlag der Wissenschaften. Berlin XEROX Finite State Compiler http://www.xrce.xerox.com/competencies/content-analysis/fsCompiler/fsnetwork.html © Karin Haenelt, Transduktoren, 16.5.2010

Versionen 4.0: 16.5.2010 3.4: 2.5.2009, 3.3: 15.07.2008, 3.2: 18.05.2008, 3.1: 17.05.2007, 3.0: 12.05.2007 2.0: 27.05.2006 1.3: 05.06.2005, 31.05.2005, 30.05.2005, 29.05.2005, 25.05.2005, 1.2: 24.05.2004, 17.05.2004, 28.04.2004, 18.02.2004,15.02.2004, 1.1: 30.05.2003 1.0: 15.01.2003 © Karin Haenelt, Transduktoren, 16.5.2010

Copyright © Karin Haenelt, 2003, 2004, 2005, 2006, 2007, 200,. 2009 All rights reserved. The German Urheberrecht (esp. § 2, § 13, § 63 , etc.). shall be applied to these slides. In accordance with these laws these slides are a publication which may be quoted and used for non-commercial purposes, if the bibliographic data is included as described below. Please quote correctly. If you use the presentation or parts of it for educational and scientific purposes, please observe the laws (copyright, Urheberrecht, etc.) Please include the bibliographic data (author, title, date, page, URL) in your publication (book, paper, course slides, etc.). Deletion or omission of the footer (with name, data and copyright sign) is not permitted Bibliographic data. Karin Haenelt. Transduktoren für die Sprachverarbeitung. Kursfolien. 16.5.2010 (1 15.01.2003) http://kontext.fraunhofer.de/haenelt/kurs/folien/Haenelt_FST.pdf For commercial use: No commercial use is allowed without written permission from the author. In case you are interested in commercial use please contact the author. Court of Jurisdiction is Darmstadt, Germany © Karin Haenelt, Transduktoren, 16.5.2010