1/17 Ein Computermodell zur Bestimmung von Begriffstypen Christof Rumpf Heinrich-Heine-Universität Tag der Forschung

2/17 FOR 600, Projekt A5 DFG-Forschergruppe FOR 600: – Funktionalbegriffe und Frames Projekt A5: –Automatische Klassifikation von Nomen nach Begriffstyp Projektleiter: –Prof. Dr. James Kilbury (Computerlinguistik) –Prof. Dr. Sebastian Löbner (Linguistik)

3/17 Gegenstand des Projekts A5 Problem – Automatische Klassifikation von Nomen nach Begriffstyp aufgrund morphosyntaktischer Kontextmerkmale. Methode –Erlernen eines statistischen Modells für die Klassifikation mit annotierten Texten, in denen Begriffstyp und Kontextmerkmale vermerkt sind.

4/17 Begriffstypen Beispiele: Sie ist Mutter Sortalbegriff, 1-stellig Seine Mutter Funktionalsbegriff, 2-stellig Seine Schwester Relationalbegriff, 2-stellig Der Pabst Funktionalbegriff, 1-stellig

5/17 Kontextuelle Merkmale Morphologische Eigenschaften –Deadjektivische Nomen sind häufig funktional: Grösse, Intelligenz, … –ebenso deverbale Nomen: Krümmung, Dauer, … –und Komposita mit: -wert, -grad, -grösse, … Grammatische Besonderheiten –Possessivkonstruktionen: seine Mutter (2-stellig) –Definitheit: der, die, das (FB) vs. ein, eine (RB) –Subkategorisierung: bestimmte Verben verlangen FB als Komplement, z.B. messen, bestimmen, betragen

6/17 Annotierung von Korpora Software zur automatischen Annotierung kontextueller Merkmale durch morphologische und syntaktische Analyse Manuelle Annotierung von Begriffstypen Dieses PDAT Lehr- und Lernbuch NN_SB ist VAFIN der ARTDEF Versuch NN_RB1, $, eine ARTUNDEF Einführung NN_RB1 in APPR die ARTDEF Semantik NN_FB1 zu PTKZU bieten VVINF, $, die PRELS einerseits ADV die ARTDEF wichtigsten ADJA Themen NN_RB1

7/17 Automatische Klassifikation Gegeben: –Trainingssample = {(a 1,b 1 ),…,(a n,b n )} –Klassen a i {f 1, f 2, f 3, r 1, r 2, r 3 } –Kontexte b i = {m 1,…,m m } –Merkmale m i = {art=def, art=indef, art=none, poss=true, …} Gesucht: –Klassifikator p(a|b) –Maximales Argument a = arg max a p(a|b)

8/17 Klassifikator berechnen Einfachste Möglichkeit: Nachteile: –Es werden nur die Kontexte in gelernt –Unterschiedliche Evidenz einzelner Merkmale bleibt unberücksichtigt

9/17 Maximum Entropie Modell Dekompositon der Kontexte in einzelne Merkmale Berechnung der Gewichte (Evidenz) einzelner Merkmale oder deren Kombination für jede Klasse über alle Kontexte Entropie: Anzahl der benötigten Bits zur Darstellung von Ereignissen eines bestimmten Typs (Münze werfen: 1 Bit, Würfeln: 2 ½ Bit) Prinzip der maximalen Entropie: Stecke nur die Information ins Modell, die sicher, bzw. faktisch gegeben ist.

10/17 Kontextuelle und binäre Merkmale Die Gewichte für kontextuelle Merkmale werden in ME-Modellen indirekt über binäre Merkmale bestimmt –Einfache binäre Merkmale –Komplexe binäre Merkmale

11/17 Maximum Entropie Framework Wobei j > 0 das Gewicht für Merkmal f j ist, k die Gesamtzahl der binären Merkmale und Z(b) eine Normalisierungskonstante, die sicherstellt, dass a p(a|b) = 1

12/17 Generalized Iterative Scaling Es gibt kein analytisches Verfahren zur Bestimmung der Gewichte. Es gibt mehrere iterative Näherungsverfahren zur Bestimmung der Gewichte, die zu einer korrekten Verteilung p(a|b) konvergieren und dabei das Prinzip der maximalen Entropie einhalten. Wir verwenden Generalized Iterative Scaling (GIS): ist der Erwartungswert für Merkmal f j im Trainingskorpus ist der Erwartungswert für Merkmal f j in der letzten Iteration Die Konstante C ist die Gesamtzahl der aktiven binären Merkmale über alle Kontexte

13/17 Berechnung der Erwartungswerte

14/17 Implementierung Wir haben eine Implementierung des Maximum Entropie Frameworks in Prolog, bei der die kontextuellen als auch die binären Merkmale als Bitvektoren dargestellt werden. Jedem Kontextmerkmal entspricht eine Position im Vektor: cf i = 2 i-1 Sei die Bitvektorrepräsentation von Merkmal f j und die Bitvektorrepräsentation von Kontext b i, dann gilt Es ist damit sehr einfach und effizient festzustellen, ob eine Merkmal in einem Kontext aktiv ist, oder nicht.

15/17 Beispiel-Input t(f1, [tnr=3, tok=semantik, gen=fem, num=sg, cas=nom, art=def]). t(r2, [tnr=8, tok=teil#gebiet, gen=neu, num=sg, cas=nom, art=def, poss=true]). t(f1, [tnr=12, tok=linguistik, gen=fem, num=sg, cas=gen, art=def]). t(f2, [tnr=19, tok=bedeutung, gen=fem, num=sg, cas=dat, art=none]). t(r2, [tnr=26, tok=art, gen=fem, num=sg, cas=nom, art=indef, poss=true, von=true]). t(f2, [tnr=30, tok=definition, gen=fem, num=sg, cas=dat, art=none]). t(r2, [tnr=36, tok=freund, gen=msc, num=sg, cas=dat, art=def]). t(so, [tnr=47, tok=buch, gen=neu, num=sg, cas=nom, art=none]). t(r2, [tnr=53, tok=hand, gen=fem, num=sg, cas=dat, art=def]). t(f2, [tnr=71, tok=autor, gen=msc, num=sg, cas=acc, art=none]). t(r2, [tnr=76, tok=einführung, gen=fem, num=sg, cas=dat, art=indef]). t(f2, [tnr=87, tok=gegenstand, gen=msc, num=sg, cas=nom, art=def]). t(so, [tnr=92, tok=wissenschaft, gen=fem, num=sg, cas=nom, art=none]). t(so, [tnr=101, tok=begriff, gen=msc, num=sg, cas=nom, art=none]). t(r2, [tnr=111, tok=anwendung, gen=fem, num=pl, cas=acc, art=none]). t(f2, [tnr=120, tok=bereich, gen=msc, num=sg, cas=acc, art=def, poss=true]). t(f1, [tnr=124, tok=semantik, gen=fem, num=sg, cas=gen, art=def]). t(f2, [tnr=136, tok=bedeutung, gen=fem, num=sg, cas=nom, art=none]). t(f2, [tnr=140, tok=bedeutung, gen=fem, num=sg, cas=nom, art=none, poss=true, von=true]).

16/17 Beispiel-Output (A|B) p~(A|B) pn500(A|B) context features (f2|1161) def acc fem pl (r2|1162) ind acc fem pl (r2|1164) nar acc fem pl (f2|1169) def dat fem pl (r2|1169) def dat fem pl (f2|1220) nar nom fem pl (r2|1220) nar nom fem pl (so|1220) nar nom fem pl (f2|5265) def dat fem pl pos (r2|5265) def dat fem pl pos

17/17 Fazit und Ausblick Das Maximum Entropie Framework erlaubt eine feine Analyse der Evidenz, die ein Kontextmerkmal für die Klassifikation liefert. Die Auswahl der richtigen Merkmale ist essentiell für den Erfolg der automatischen Klassifikation. Unser Forschungsgegenstand besteht in erster Linie in der Untersuchung dieser Merkmale.