Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

WS 05/06Automatische Akquisition linguistischen Wissens1 1.Acquisition Bottleneck 2.Praktische Einteilung in syntagmatische und paradigmatische Relationen.

Ähnliche Präsentationen


Präsentation zum Thema: "WS 05/06Automatische Akquisition linguistischen Wissens1 1.Acquisition Bottleneck 2.Praktische Einteilung in syntagmatische und paradigmatische Relationen."—  Präsentation transkript:

1 WS 05/06Automatische Akquisition linguistischen Wissens1 1.Acquisition Bottleneck 2.Praktische Einteilung in syntagmatische und paradigmatische Relationen Trennung von Kookkurrenzmaßen und Ähnlichkeitsmassen 3.Evaluierung 4.Implementierungsdetails und LSA Referat: LSA

2 WS 05/06Automatische Akquisition linguistischen Wissens2 1. Ansatz der getrennten Ebenen Anstatt wie bislang Ähnlichkeit in einem Schritt und damit entsprechend dem Kontiguitätsprinzip zu berechnen, wird hier zweistufig vorgegangen Erste Stufe ist, Kontextinformation sammeln für jedes Wort Diese dann nutzen, um für jedes Wort eine Art Bedeutungsfeatures zu haben, mit Hilfe derer mit anderen Wörtern verglichen werden kann Dies entspricht der Unterscheidung zwischen syntagmatischen und paradigmatischen Relationen –Syntagmatisch ist das miteinander Vorkommen –Paradigmatisch ist das ähnlichsein durch ähnliche Kontexte Oder wie bei LSA beides in einem Schritt

3 WS 05/06Automatische Akquisition linguistischen Wissens Acquisition Bottleneck Sämtliche Algorithmen sind darauf ausgerichtet, möglichst viel Wissen zu extrahieren Einschränkung: Möglichst wenig Handarbeit soll investiert werden –Bisher stets in Form von Tagging, Mustern usw. Ultimatives Ziel: Sprachunabhängige Algorithmen, die 100% Recall und Precision haben, also alles herausfinden und dabei keine Fehler machen, ohne das die jeweils neue Sprache überhaupt (vom Menschen) angeschaut wird. In der Praxis: Je weniger Handarbeit hineingesteckt wird (kleinere Trainingsmengen, weniger Regeln, weniger Hypothesen), umso schlechter die ohnehin schlechten Ergebnisse

4 WS 05/06Automatische Akquisition linguistischen Wissens Eingesetzte Standardquellen Fast jeder Algorithmus geht von einem Grundformreduzierten und Wortartmarkierten Korpus aus: –Tagger (Brill, TNT, …): benötigt (grosse) Trainingsmengen: PennTreeBank, Negra, Susanne, … –Grundformreduzierer: benötigt Morphologieregeln für die Sprache Manche Algorithmen würden ohne getaggten Korpus gar nicht funktionieren: Hyperonyme (Hearst 92), Vergleiche von Wörtern (Resnik 99), Meronyme: (Berland & Charniak 99) uvm., da sie explizit Tripel wie z.B. (x,subj-of,y) untersuchen Bootstrapalgorithmen sind an der Grenze: –benötigen zwar oft sprachspezifisches Wissen, aber –in so geringen Mengen, dass es im Grunde nichts ausmacht

5 WS 05/06Automatische Akquisition linguistischen Wissens Weitere eingesetzte Quellen Ausser den Standardquellen gibt es weitere Quellen, die für automatische Verfahren genutzt werden, wie –Wortähnlichkeiten mit Hilfe von WordNet (Jiang & Conrath 97) –Disambiguierung mit Hilfe von WordNet, Wörterbüchern und anderen Nachschlagewerken (Lesk 86) und fast alle nachfolgenden Autoren –Automatische Uebersetzung anhand von Wörterbüchern –Komplexe Lexikale Netze für klassische Computerlinguistik (DRT, RST, usw.) –Umfangreiche Grammatikregelsammlungen zum Parsin usw. Erst wenn es gelingt, die entsprechenden Ressourcen auch automatisch zu extrahieren, können diese Verfahren vollautomatisch genannt werden.

6 WS 05/06Automatische Akquisition linguistischen Wissens Lokale vs. globale Information (Wdh.) Es kann eine einfach Einteilung beim Betrachten eines Satzes vorgenommen werden: lokale Information: Mit diesem Satz soll irgendwas konkretes gesagt werden –Es werden Wörter in einem teils ungewöhnlichen Zusammenhang gebraucht globale Information: Dieser Satz soll verständlich sein –Es werden erklärende, verschönernde, Bedeutungsähnliche (falls Zuhörer das eine oder andere nicht kennt, oder um Stimmung besonders gut auszumalen) usw. Wörter eingefügt: All was sweet and mellow and peaceful in the golden evening light, and yet as I looked at them my soul shared none of the peace of nature but quivered at the vagueness and the terror of that interview which every instant was bringing nearer. (A. C. Doyle: The hound of Baskervilles) reine Information: It is evening, I feel terror in anticipation of the interview.

7 WS 05/06Automatische Akquisition linguistischen Wissens Messen von lokalem Miteinanderauftreten Die meisten Maße bereits in Referaten abgehandelt, aber hier noch einmal ein Überblick Dabei zunächst die einfachen Maße, die aus verschiedenen Bereichen kommen und sich anbieten Danach Wiederholung der Kontingenztabelle Anschliessend Wiederholung Signifikanzteste Kurze Beschreibung von log-likelihood und Poissonabschätzung Anschließend verschiedene Maße für Ähnlichkeit

8 WS 05/06Automatische Akquisition linguistischen Wissens8 2. Baseline, einfache Masse Am einfachsten ist als Baseline die reine Anzahl gemeinsamer Auftreten zu nehmen: jedoch ignoriert das die Häufigkeiten der beteiligten Wörter A und B, also könnte man einfach das Tanimoto (oder auch Jaccard) Mass nehmen: Alternativ gibt es auch den Dice Koeffizienten, der etwas ähnliches macht:

9 WS 05/06Automatische Akquisition linguistischen Wissens Motivation für Masse Problematisch an bisher vorgestellten Massen ist die fehlende Begründung, warum gerade so und nicht anders Weiterhin ist Normierung gegen Korpusgrösse nicht vorhanden Statistische Fundierung unterscheidet vier Fälle: – A tritt mit B auf (die Anzahl jeweils) – A tritt auf, aber B nicht – A tritt nicht auf, aber B – Weder A noch B treten auf Die contingency table:

10 WS 05/06Automatische Akquisition linguistischen Wissens Signifikanztest t-score, Chi-square-test müssen nun als nächstes benutzt werden, um festzustellen, ob jedes Wort A von jedem anderem Wort B unabhängig sind Da jedoch in Wirklichkeit kein einziges Wort unabhängig von allen anderen ist, ist viel mehr interessant, –welche Wörter signifikant abhängig sind voneinander (associated) –welche von Ihnen wie stark signifikant abhängig sind -> ranking Optional nach dem Signifikanztest wird in der Statistik noch berechnet, um wie viel die beobachteten Daten von der theoretisch im Falle der Unabhängigkeit angenommenen Wahrscheinlichkeit (und damit konkret erwarteten Häufigkeit) abweichen

11 WS 05/06Automatische Akquisition linguistischen Wissens Log-likelihood-test (Dunning 93) schlägt statistisch fundierte Vorgehensweise vor Es handelt sich um Versuche: –Jeder Satz ist ein Versuch, –jedes Ergebnis unabhängig von vorhergehenden –Die Wahrscheinlichkeiten der einzelnen Wörter sind konstant –A und B treten in einem Satz maximal 1 mal auf Parameter: –k ist die Anzahl der gemeinsamen Auftreten, also –n ist die Anzahl der Versuche (Sätze) Die Wahrscheinlichkeit, ein bestimmtes k zu beobachten (Binomialverteilt):

12 WS 05/06Automatische Akquisition linguistischen Wissens Log-likelihood II Für np(1-p)>5 (die Varianz) nähert sich diese Verteilung der Normalverteilung Der Vorschlag ist, den generellen likelihood-test zu benutzen, der daraus besteht, den Quotienten zu bestimmen: –Quotient zwischen dem maximalen Wert der likelihood Funktion unter der Nullhypothese und dem maximalen Wert der likelihood Funktion mit den beobachteten Werten: –Es gibt zwei binomiale Verteilungen, für Wort A und B jeweils, also sind die beobachteten Werte (für gemeinsames Auftreten miteinander multipliziert): –während die Nullhypothese p1=p2 setzt und der Quotient demzufolge lautet:

13 WS 05/06Automatische Akquisition linguistischen Wissens Log-likelihood III Die Maxima der Funktionen werden jeweils in den folgenden Fällen erreicht: Damit läßt sich likelihood umschreiben zu: mit Man nimmt dann den Logarithmus des Quotienten, wodurch sich ergibt:

14 WS 05/06Automatische Akquisition linguistischen Wissens Poisson Verteilung (Quasthoff & Wolff 02) beschreiben ein Verfahren, welches statt der Binomialverteilung die Poissonverteilung zur Beschreibung gemeinsamer Auftreten nimmt. (Holtsberg & Willners 01) geben einen Beweis, dass die Poissonverteilung die Binomialverteilung approximiert Dieses Verfahren testet nicht, sondern geht direkt davon aus, dass es signifikante gemeinsame Auftreten gibt Es berechnet nur, (wie auch likelihood) das Mass der Abweichung vom erwarteten gemeinsamen Auftreten gemäß der Unabhängigkeitshypothese Der negative Logarithmus wird genommen, um aus einer Wahrscheinlichkeit (eine bestimmte Anzahl von Auftreten zu beobachten) einen Signifikanzwert zu erhalten

15 WS 05/06Automatische Akquisition linguistischen Wissens Poisson Verteilung II Es ergibt sich demnach direkt eine Signifikanzformel: Für k>10 gibt es für k! eine Approximation: Dadurch ergibt sich Approximationsformel: Allerdings kann man k! auch durch die Stirlingsche Formel approximieren: dabei für grosse k: Und somit ergibt sich einfache Signifikanzformel:

16 WS 05/06Automatische Akquisition linguistischen Wissens Poisson Verteilung: Vergleiche Wie sehr unterscheiden sich diese zwei Approximationen? –Beispiel: Für na=4000 und nb=2000 und n=24Mio ergibt sich für steigendes k folgendes Bild: –Wie sehr unterscheidet sich eine (die erste) der Approximationen von der log-likelihood Funktion, fuer die es ja eine Approximation sein soll?

17 WS 05/06Automatische Akquisition linguistischen Wissens17 3. Berechnung von Wortähnlichkeiten Die Berechnung von signifikanten Kookkurrenzen ist syntagmatischer Natur – alles was im weiteren Sinne nebeneinander stehen kann Das Ergebnis ist eine Art Kontextwissen – Diese Menge von signifikanten Kookkurrenzen ist der allgemeine Kontext eines Wortes Ähnliche Wörter müsste man demzufolge erhalten, wenn man Wörter mittels ihres allgemeinen Kontexts vergleicht. bedeutet dabei der Kontextvektor des Wortes A Welcher genau Kontext genommen wird, ist dabei zunächst irrelevant, hat aber Einfluss auf die Ergebnisqualität

18 WS 05/06Automatische Akquisition linguistischen Wissens Baseline Das einfachste Mittel, zwei Wörter A und B über ihre Kontexte miteinander zu vergleichen, ist, zu untersuchen, wie viele Wörter ihre Kontexte jeweils gemeinsam haben Die Vektorschreibweise führt zu folgender Formalisierung: mit Probleme: –Signifikanzen der Kookkurrenzen, bzw. das Profil des Kontexts wird nicht berücksichtigt –Häufigere Wörter haben mehr Kookkurrenzen, sind somit ähnlicher zu allen andere Wörtern

19 WS 05/06Automatische Akquisition linguistischen Wissens Dice und Jaccard Weiterhin läßt sich wieder der Dice- Koeffizient bestimmten: Oder auch der Jaccard-Koeffizient (bzw. Tanimoto-Mass) Probleme: Motiviation, sowie Mass selbst scheint ungeklärt

20 WS 05/06Automatische Akquisition linguistischen Wissens Abstand und Ähnlichkeit Da Abstand = 1-Ähnlichkeit und Vektoren eigentlich Punkte in einem n-dimensionalen Raum darstellen, kann entweder Winkel zwischen Vektoren oder Abstand zwischen Punkten als Ähnlichkeit berechnet werden, daher: Winkel zwischen den Vektoren: L1-norm-abstand zwischen den zwei Punkten (City-Block- Metrik): L2-norm-abstand zwischen den zwei Punkten (euklidischer Abstand):

21 WS 05/06Automatische Akquisition linguistischen Wissens Visualisierung der Abstände x y Es wird allerdings oft auch Ähnlichkeit für C und D berechnet, obwohl sie in unterschiedlichen Dimensionen liegen (nur cos liefert in diesem Fall 0)

22 WS 05/06Automatische Akquisition linguistischen Wissens22 4. Evaluierung Wenn es so viele (und noch mehr) Möglichkeiten gibt, Kookkurrenzen zu berechnen und jeweils die derart erhaltenen Kontextinformationen miteinander zu vergleichen – welche ist besser? Andere Frage – Welche macht was? Evaluierungsmöglichkeiten: –Psycholinguistische Tests (Miller & Charles 91) –Vokabulartests, TOEFL und andere (Rapp 02) –Applikationsbasiert –Künstliche Wörter (Synonyme, ambige Wörter (Manning & Schütze 99)) –Gold-standard (Grefenstette 94)

23 WS 05/06Automatische Akquisition linguistischen Wissens Gold-standard Unter Gold-standard versteht man eine allgemein bekannte Ressource, deren Qualität jedem bekannt ist, gegen die getestet wird In diesem Fall GermaNet, organisiert nach: –Synonymen –Links verschiedener Art zwischen Synonymen, dabei: Oberbegriffe (Hyperonyme) Unterbegriffe (Hyponyme) Antonyme see also Pertainyme aus Oberbegriffen lassen sich noch Kohyponyme ableiten usw.

24 WS 05/06Automatische Akquisition linguistischen Wissens Gold-standard Evaluierung verläuft dann folgender maßen: Ergebnis einer Maßkombination: –Dollar: Finanzaufwendung Umschuldungsaktion US-Dollar Schilling Franc Ecu Jahresvolumen Pesete Mark Lire Gulden schätzungsweise uS-Dollar Pfund napp Finanzierungsvolumen Welche Wörter sind laut GermaNet sinnvoll? –Dollar: (meine Erwartung) Hyperonyme: Währungseinheit, Währung, … Kohyponyme: DM, Pesos, Yen, … … Wie viele der sinnvollen Wörter wurden in den top5, 10 oder 50 der Ergebnismenge gefunden? Realität zu Dollar (GermaNet)Dollar

25 WS 05/06Automatische Akquisition linguistischen Wissens Recall vs. Precision Recall ist demnach die Anzahl der wieder gefundenen Sinnvollen Items Precision ist demnach die Anzahl der sinnvollen Items von den top5, 10 oder 50. Wenn also 2 Synonyme von 20, 2 Kohyponyme von 40 und ein Antonym von 2 innerhalb der top 5 Items gefunden wurden, dann: –Precision: (2+2+1)/5 = 100% –absoluter Recall: (2+2+1)/( ) = 5/62 = 8.06% –oder: Recall Relationsbasiert: (2/20 + 2/40 + 1/2)/3 = 21,6% Es ist aber auch möglich, pro Relation Precision und Recall anzugeben (Synonyme): –Precision: 2/5 = 40%, Recall 2/20 = 10%

26 WS 05/06Automatische Akquisition linguistischen Wissens Konkreter Versuchsaufbau Gerechnet wurde ein Korpus mit 100Mio laufenden Wörtern, das ergibt ca. 7 Mio Sätze Grundform reduziert –Da sonst Vergleichbarkeit mit prinzipiell Grundformreduzierten Daten in GermaNet nicht gewährleistet Zum Evaluieren wurden nur Wörter genommen, die in allen Kombinationen mindestens 50 Kookkurrenzen, bzw. ähnliche Wörter besaßen, Beispiele: –… Grad Graf Graffe Graffiti Grafik Grafs Grafschaft Graham Gral Gram Gramm Grammatik … Diese Bedingung wurde von Wörtern erfüllt

27 WS 05/06Automatische Akquisition linguistischen Wissens Versuchsaufbau: Daten Als Kookkurrenzmasse wurden vergleichsweise genutzt: –baseline, dice, jaccard, mutinf, poiss1, poiss2, logl Als Vergleiche jeweils wurden benutzt (200, 50, 100, minAnz. 2): –anzahl, anzahl_norm, dice, jaccard, city, euklid, cos Dadurch ergibt sich Matrix (entweder total oder pro Relation): baselineloglmutinfpoiss1jaccardpoiss2dice kollok_sig anzahl anzahl_norm city cos dice euklid jaccard

28 WS 05/06Automatische Akquisition linguistischen Wissens Ergebnisse insgesamt: Precision Precision in Prozent für alle Relationen absolut zusammengerechnet, für top5:

29 WS 05/06Automatische Akquisition linguistischen Wissens Ergebnisse insgesamt: Recall Recall in Prozent für alle Relationen absolut zusammengerechnet, für top5:

30 WS 05/06Automatische Akquisition linguistischen Wissens Recall und Precision im Vergleich bei wachsendem Fenster

31 WS 05/06Automatische Akquisition linguistischen Wissens Ergebnisse: Vergleich von Relationen

32 WS 05/06Automatische Akquisition linguistischen Wissens Einfluss der Fenstergröße Größere Fenster bevorzugen eher länger wirkende Abhängigkeiten, die entsprechend eher inhaltlicher Natur sind –Ein Elefant, welcher gewöhnlicherweise mit anderen Tieren im Zoo zu finden ist, … Kleinere Fenster bevorzugen grammatische Eigenschaften und resultieren in Grammatischen Gemeinsamkeiten –Ein Elefant, welcher gewöhnlicherweise mit anderen Tieren im Zoo zu finden ist, … Bislang keine Tests, die dieses vergleichend aufzeigen würden

33 WS 05/06Automatische Akquisition linguistischen Wissens33 Zusammenfassung Ergebnisse derzeit noch nicht für vollautomatische Zwecke ausreichend Weitere Forschung notwendig, die spezifischer auf erkennbare Strukturen eingeht Offenbar ist Vereinfachung aus bag-of-words zu stark, jedoch auch nicht sinnfrei Ergebnisse können als Baseline verwendet werden, um bessere oder feinere Methoden dagegen zu testen Außerdem diese Ergebnisse bereits für IR, IR usw. einsetzbar, da besser als simple vector space modell

34 WS 05/06Automatische Akquisition linguistischen Wissens34 5. Referat: LSA

35 WS 05/06Automatische Akquisition linguistischen Wissens35


Herunterladen ppt "WS 05/06Automatische Akquisition linguistischen Wissens1 1.Acquisition Bottleneck 2.Praktische Einteilung in syntagmatische und paradigmatische Relationen."

Ähnliche Präsentationen


Google-Anzeigen