Einführung in die Computerlinguistik

Präsentation zum Thema: "Einführung in die Computerlinguistik"—  Präsentation transkript:

1 Einführung in die Computerlinguistik
Im Rahmen des Seminars Grundkurs Linguistik Heinrich-Heine-Universität Düsseldorf, WS 2007/2008 Gastdozent: Christof Rumpf, Diese Präsentation finden Sie unter:

2 Computerlinguistik in Düsseldorf
Computerlinguistik ist an der Heinrich-Heine-Universität Düsseldorf eine von drei Abteilungen im Institut für Sprache und Information Allgemeine Sprachwissenschaft (Linguistik) Computerlinguistik Informationswissenschaft Studiengänge BA, MA Linguistik (mit Schwerpunkt Computerlinguistik) BA, MA Informationswissenschaft und Sprachtechnologie Einführung in die Computerlinguistik

3 Was ist Computerlinguistik?
Computerlinguistik (CL) ist ein interdisziplinäres Fachgebiet zwischen den Gebieten Linguistik linguistics computational Informatik computer science linguistics In der CL geht es um die maschinelle (algorithmische) Verarbeitung natürlicher Sprache. CL ist eine der Säulen der sogen. Künstlichen Intelligenz. Einführung in die Computerlinguistik

4 Einführung in die Computerlinguistik
Anwendungen der CL ausgewählte Maschinelle Übersetzung z.B. automatische Übersetzung von geschriebenem oder gesprochenem Chinesisch ins Deutsche (siehe z.B. Information Retrieval Auffinden von Dokumenten (Texten) in grossen Dokumentsammlungen aufgrund des Inhalts (z.B. alle Einführungen in die CL) Informationsextraktion Gewinnung von strukturierter Information (Relationen) aus unstrukturierter Information (Texten) Beispiel: Wer hat JFK erschossen? Szenario: Dialogsysteme z.B. Fahrplanauskunftssysteme, Diagnosesysteme (Medizin, Technik) etc. (die Liste lässt sich noch rahmensprengend verlängern) Einführung in die Computerlinguistik

5 Einführung in die Computerlinguistik
Methoden der CL Symbolische Methoden Parsing ist die Analyse natürlicher Sprache anhand von Grammatiken auf Basis der Theorie der Automaten und formalen Sprachen. Grammatikformalismen basieren auf formalen Logiken zur Repräsentation und Verarbeitung linguistischen Wissens (Inferenz). Statistische Methoden Statistische Modelle über grossen Textmengen (Korpora) basieren auf Wahrscheinlichkeitstheorie und evt. Informationstheorie. Hybride Methoden (gemischte Methoden) Statistisches Parsing verbindet z.B. symbolische und statistische Methoden Subsymbolische Methoden Neuronale Netze sind heute weitgehend bedeutungslos geworden. Einführung in die Computerlinguistik

6 Einführung in die Computerlinguistik
Probleme der CL Ambiguität (Mehrdeutigkeit) führt zur Explosion der Analysen: Polysemie: Bank (Gebäude, Institution, Sitzgelegenheit) Komposita: Aluminiumherstellung z.B. alu+mini+umher+stellung (+11) Skopus: ((alte Männer) und Frauen) vs. (alte (Männer und Frauen)) PP-Zuordnung: Peter kauft das Auto mit Heckspoiler. Peter kauft das Auto mit Kreditkarte. Peter kauft das Auto mit Gabi. Robustheit erfordert Fehlertoleranz und vollständiges Wissen mangelnde Fehlertoleranz unvollständige Lexika behindern die Funktionsfähigkeit unvollständige Grammatiken von CL-Anwendungen Dilemma: je robuster (vollständiger), desto mehr Ambiguitäten. Präpositionalphrase Einführung in die Computerlinguistik

7 Wie komplex ist eine Sprache?
Um entscheiden zu können, welche Mittel man zur Lösung eines Problems benötigt, muss man sich über die Komplexität des Problems klar werden. In der Theorie der Automaten und formalen Sprachen werden Sprachen in eine Komplexitätshierarchie gebracht: Typ 0: rekursiv aufzählbar komplexer Typ 1: kontextsensitiv Typ 2: kontextfrei Typ 3: regulär einfacher Natürliche Sprache gilt als schwach kontextsensitiv. Den Sprachklassen werden Automatenklassen zugeordnet. Chomsky-Hierarchie Einführung in die Computerlinguistik

8 Die Chomsky-Hierarchie
Sprache Automat Grammatik Erkennung Abhängigkeit Biology rekursiv aufzählbar Turing Maschine unbeschränkt Baa  e unentscheidbar beliebig Unknown kontext- sensitiv Linear gebunden kontext-sensitiv At  aA NP-vollständig überkreuzt Pseudoknots, etc. kontext- frei Kellerautomat (Stapel) kontextfrei S  gSc polynomiell eingebettet Orthodox 2o Structure regulär Endlicher Automat regulär A  cA linear strikt lokal Central Dogma nach D. Searls Einführung in die Computerlinguistik

9 Einführung in die Computerlinguistik
Endliche Automaten Endliche Automaten sind die einfachste Automatenklasse. Sie bestehen aus Zuständen, die mit beschrifteten Übergängen verbunden sind (Übergangsfunktion). Eine Kette von Symbolen aus einem Alphabet S gilt als akzeptiert, wenn beginnend mit dem Startzustand die ganze Kette verarbeitet werden kann und der Automat sich dann in einem Endzustand befindet. start Der abgebildete Automat erkennt Sprachen, deren Ketten die Teilkette skr enthalten. z.B. für ein Alphabet S = {a,b,c,s,k,r }, L = S*skrS*, wobei S* die Menge aller Ketten ist, die sich aus beliebigen Symbolen aus dem Alphatet S zusammensetzt. Der Stern heisst Kleenscher Stern. Beispielsweise ist aabcskrab  L, aber aabcska  L. Einführung in die Computerlinguistik

10 Kontextfreie Grammatiken
Kontextfreie Grammatiken sind neben den einfacheren regulären Grammatiken die wichtigsten Grammatiken für die Computerlinguistik. Die Regeln einer kontextfreien Grammatik definieren zwei Relationen: Unmittelbare Dominanz zwischen Mutterkategorie und Tochterkategorien Lineare Präzedenz zwischen Schwesterkategorien Hier ist eine kontexfreie Grammatik für ein Fragment der deutschen Sprache: S → NP VP NP → Det N VP → V NP Det → Jeder Det → eine N → Mann N → Frau V → liebt Legende S Satz NP Nominalphrase VP Verbalphrase Det Determiner (Artikel) N Nomen (Substantiv) V Verb Einführung in die Computerlinguistik

11 Parsing engl. to parse: „grammatisch zerlegen“
Ein Parser ist ein Automat, der auf Basis einer Grammatik für eine Kette einen Ableitungsbaum (parse tree) erzeugt. S NP VP Det N V NP Jeder Mann liebt Det N eine Frau Grammatik & „Jeder Mann liebt eine Frau“ Einführung in die Computerlinguistik

12 Deklarativ vs. Prozedural
Eine Grammatik ist eine deklarative Beschreibung der wohlgeformten Syntaxbäume einer Sprache. Eine deklarative Beschreibung stellt einen logischen Sachverhalt dar. Ein Algorithmus ist eine Folge von Anweisungen (eine Prozedur), wie man in endlich vielen Schritten von einem Ausgangszustand (zu lösendes Problem) zu einem Zielzustand (gelöstes Problem) kommt. Ein Parser verwendet einen Algorithmus, um Grammatiken zu interpretieren: eine prozedurale Parsingstrategie. Einführung in die Computerlinguistik

13 Einführung in die Computerlinguistik
Parsingstrategien Parsingstrategien unterscheiden sich durch die Reihenfolge, in der bei der Konstruktion des Syntaxbaums die Knoten im Baum besucht werden (Traversierung). top-down bottom-up left-corner depth-first breadth-first left-to-right right-to-left Einführung in die Computerlinguistik

14 Beispielgrammatik (CFPSG)
Syntax S → NP VP NP → Det N NP → NP Conj NP1 VP → V NP Det → e2 Lexikon Det → the Conj → and N → dog N → cat V → chases 1 nicht für top-down-Parser 2 nicht für bottom-up-Parser Einführung in die Computerlinguistik

15 Top-Down-Traversierung
top-down depth-first left-to-right S1 NP VP7 D N V NP10 D N13 the dog chased the cat14 Einführung in die Computerlinguistik

16 Problem: Linksrekursion
Top-Down-Strategie gerät bei linksrekursiven Regeln in Endlosschleifen (Endlosberechnungen): NP  NP Conj NP Die erste NP auf der linken Regelseite kann beliebig oft mit der gleichen Regel expandiert werden. Auswege: Linksrekursion vermeiden (unbefriedigend) Bottom-Up- oder Left-Corner-Strategie Einführung in die Computerlinguistik

17 Bottom-Up-Traversierung
NP VP13 D N V NP12 D N11 the dog chased the cat10 Einführung in die Computerlinguistik

18 Shift-Reduce-Algorithmus
Der Shift-Reduce-Algorithmus verfolgt eine Bottom-Up-Strategie. Shift: lege ein Wort aus der Eingabekette auf einen Stapel. Reduce: reduziere den Stapel mit Hilfe der Grammatik soweit wie möglich. Falls die Eingabekette noch Wörter enthält, gehe zu Shift, sonst halte. Einführung in die Computerlinguistik

19 Shift-Reduce-Beispiel
Einführung in die Computerlinguistik

20 Problem: Leere Kategorien
Bottom-Up-Strategie loopt (Endlosschleife) bei leeren Kategorien, weil zwischen zwei Konstituenten beliebig viele leere Kategorien eingesetzt werden können. Det  . Auswege Leere Kategorien vermeiden (für manche unbefriedigend). Oder eine andere Parsing-Strategie: Left-Corner-Parsing mit Linking (wer wissen möchte, wie das funktioniert, soll Computerlinguistik studieren!) Einführung in die Computerlinguistik

21 Klassifikationsprobleme
Viele Probleme der Text- bzw. Sprachtechnologie sind Klassifikationsprobleme, z.B: Satzgrenzenerkennung Frau Dr. X. hatte am 31. Jan € auf der Bank. Am 1. Feb. waren es weniger. Wortartenerkennung TimeN fliesV likeA anD arrowN. vs TimeN fliesN likeV anD arrowN. Term- bzw. Named-Entity-Erkennung z.B. Personen-, Währungs-, Datums-, oder Ortsbezeichnungen Wortsinndisambiguierung Das Geld liegt auf der Bank. Peter sitzt auf der Bank. Einführung in die Computerlinguistik

22 Automatische Klassifikation
Ein Klassifikator ist eine Wahrscheinlichkeitsfunktion p(a|b) p(a|b) ist die Wahrscheinlichkeit von Klasse a im Kontext b p(Institutioni |Das Geld liegt auf der Banki) = 0,6 p(Gebäudei |Das Geld liegt auf der Banki) = 0,1 p(Sitzmöbeli |Das Geld liegt auf der Banki) = 0, ,0 Klassifikatoren können aus Trainingstexten automatisch gelernt werden: Maschinelles Lernen Das Lernen basiert i.d.R. auf dem Zählen der gemeinsamen Vorkommen von Klassen mit Kontextmerkmalen Einführung in die Computerlinguistik

23 Einführung in die Computerlinguistik
Markov-Modelle Markov-Modelle sind gewichtete endliche Automaten. Markov-Modelle reduzieren die komplexen Zusammenhänge einer Kette von Ereignissen (z.B. Wörter in einem Text). Markov-Modelle zur Wortartenerkennung: Kombination aus zwei Wahrscheinlichkeitsfunktionen: Wie häufig kommt ein Wort mit einer Wortart vor? Wie häufig folgt eine Wortart auf eine andere? TimeN fliesV likeA anD arrowN. vs TimeN fliesN likeV anD arrowN. Einführung in die Computerlinguistik

24 Beruf ComputerlinguistIn
Computerlinguistische Arbeit erfordert Wissen aus mehreren Bereichen: Linguistik Informatik Mathematik Philosophie Logik Informationswissenschaft Je nach Spezialisierung kann der Schwerpunkt einzelner ComputerlinguistInnen stark auf bestimmte der genannten Bereiche verlagert sein. Sofern es um bestimmte Anwendungsdomänen geht, können natürlich weitere Fachbereiche involviert sein: Philologie(n), Biologie, Soziologie, Forensik, Kryptologie, … Einführung in die Computerlinguistik