Dokumentverarbeitung und Textzusammenfassung

Präsentation zum Thema: "Dokumentverarbeitung und Textzusammenfassung"—  Präsentation transkript:

1 Dokumentverarbeitung und Textzusammenfassung
Prof. Dr. Manfred Stede AG Angewandte Computerlinguistik Institut für Linguistik Universität Potsdam

2 Informationsextraktion
19 March. A bomb went off this morning near a power tower in San Salvador leaving a large part of the city without energy, but no casualties have been reported. According to unofficial sources, the bomb allegedly detonated by urban guerrilla commandos blew up a power tower in the northwestern part of San Salvador at 0650.  INCIDENT TYPE DATE LOCATION PERPETRATOR PHYSICAL TARGET HUMAN TARGET EFFECT ON PHYS. TARGET Manfred Stede

3 Informationsextraktion
19 March. A bomb went off this morning near a power tower in San Salvador leaving a large part of the city without energy, but no casualties have been reported. According to unofficial sources, the bomb allegedly detonated by urban guerrilla commandos blew up a power tower in the northwestern part of San Salvador at 0650.  INCIDENT TYPE bombing DATE March 19 LOCATION El Salvador: San Salvador PERPETRATOR urban guerilla commandos PHYSICAL TARGET power tower HUMAN TARGET - EFFECT ON PHYS. TARGET destroyed Manfred Stede

4 Informationsextraktion
19 March. A bomb went off this morning near a power tower in San Salvador leaving a large part of the city without energy, but no casualties have been reported. According to unofficial sources, the bomb allegedly detonated by urban guerrilla commandos blew up a power tower in the northwestern part of San Salvador at 0650.  INCIDENT TYPE bombing DATE March 19 LOCATION El Salvador: San Salvador PERPETRATOR urban guerilla commandos PHYSICAL TARGET power tower HUMAN TARGET - EFFECT ON PHYS. TARGET destroyed Manfred Stede

5 Automatische Zusammenfassung
Ziel: Aus langem Text erstelle kurzen Text System bietet Kurzfassung an, Leser/in kann dann entscheiden, ob Originaldokument lesenswert ist „gisting“, z.B. für mobile Applikationen Web-Recherche - schnell Überblick verschaffen Problem: Identifizieren der „wichtigen“ Informationen ...unabhängig von der inhaltlichen Domäne!  Techniken der Informationsextraktion nicht verwendbar Manfred Stede

6 Grundlage: Statistik (Luhn 58)
TF/IDF Gewichtung Idee: „wichtige“ Wörter sind im fraglichen Text häufig, im gesamten Textbestand jedoch selten Sei N: Anzahl aller Texte Sei Df(w): Anzahl der Dokumente (document frequency), in denen Wort w vorkommt Idf(w) := log(N / Df(w)) (inverted document frequency) Sei Tf(w) die Häufigkeit des Wortes w (term frequency) im Text Tf(w) * Idf(w): Maß für die Gewichtung des Wortes w im Text Ermittele die „wichtigen“ Wörter des Textes nach Tf*Idf Wähle diejenigen Sätze aus, in denen die wichtigen Wörter am häufigsten auftreten. Fertig ist die Zusammenfassung!  Zusammenfassung = Extraktion Manfred Stede

7

8 1. Einleitung: RIU Die zur World of TUI gehörende RIU-Gruppe besticht weltweit durch sehr gute Anlagen der gehoben Preis- und Qualitätsklasse mit herausragendem Service. Daher versuche ich eigentlich immer meinen Erholungsurlaub in einem der Hotels dieser Kette zu genießen. 2. Lage: Hotel RIU Gran Canaria Das 4****-Hotel liegt im Süden Gran Canarias, bei Maspalomas. Zu den bekannten Dünen sind es etwa 1000 Meter entlang der neuen und sehr sauberen Küstenpromenade, die erst 2002 fertig gestellt wurde. Den Leuchturm erreicht man bereits nach 700 Meter. Dort befindet sich auch der nächste Geldautomat der Deutschen Bank. Zwischen Leuchtturm und Hotel liegt ein recht großes Einkaufszentrum mit Supermarkt, Apotheke usw. 3. Die Hotelanlage Das Hotel wurde 2000 eröffnet, so das die Einrichtung noch nicht abgenutzt ist. Die Außenfassade wirk zwar ziemlich luxuriös, allerdings herrscht trotzdem eine überraschend ungezwungene Atmosphäre. Da das Hotel auch eine eigene Kinderanimation bietet, findet man viele Familien in der Anlage. Die Kinder stören aber den Erholungsbetrieb nicht, da das Hotel sehr weitläufig ist. Besonders bemerkenswert finde ich hier die sehr großzügige Poolanlage mit 3 großen Pools, einer davon für Kinder. In dier poolanlage befindet sich auch das Poolrestaurant und zusätzlich noch eine Bar. <...> 6. Preise Das Hotel ist zwar recht teuer, aber das Geld auf jeden Fall wert. Man kommt deutlich günstiger wenn man über ein Reiseunternehmen bucht (TUI). 7. Meine Meinung Der Aufenthalt im RIU Gran Canaria gehört zweifelslos zu meinen schönsten Urlauben und ich überlege bereits ob ich dort nicht nächstes Weihnachten wieder verbringen sollte. Von der Qualität des Services her ist das Hotel auf jedem Fall 5***** Sterne wert.

9 ..... 1560506043 Minibar 1149846558 Fazit 1067714661 Supermarkt
Aerobic Sauna Tischtennis Albatros Gartenanlage Salate Luxor Bungalows Strand Balkon Boccia Billard Hotel Verpflegung RIU Aufpreis Urlauber Badezimmer Abendessen Müsli Volleyball Liegestühle Fußball Ausflug Haan Diskothek Schlafzimmer Raucher Kleiderschrank Dinar Bakschisch Zimmer Kreta ..... Manfred Stede

10 1. Einleitung: RIU Die zur World of TUI gehörende RIU-Gruppe besticht weltweit durch sehr gute Anlagen der gehoben Preis- und Qualitätsklasse mit herausragendem Service. Daher versuche ich eigentlich immer meinen Erholungsurlaub in einem der Hotels dieser Kette zu genießen. 2. Lage: Hotel RIU Gran Canaria Das 4****-Hotel liegt im Süden Gran Canarias, bei Maspalomas. Zu den bekannten Dünen sind es etwa 1000 Meter entlang der neuen und sehr sauberen Küstenpromenade, die erst 2002 fertig gestellt wurde. Den Leuchturm erreicht man bereits nach 700 Meter. Dort befindet sich auch der nächste Geldautomat der Deutschen Bank. Zwischen Leuchtturm und Hotel liegt ein recht großes Einkaufszentrum mit Supermarkt, Apotheke usw. 3. Die Hotelanlage Das Hotel wurde 2000 eröffnet, so das die Einrichtung noch nicht abgenutzt ist. Die Außenfassade wirk zwar ziemlich luxuriös, allerdings herrscht trotzdem eine überraschend ungezwungene Atmosphäre. Da das Hotel auch eine eigene Kinderanimation bietet, findet man viele Familien in der Anlage. Die Kinder stören aber den Erholungsbetrieb nicht, da das Hotel sehr weitläufig ist. Besonders bemerkenswert finde ich hier die sehr großzügige Poolanlage mit 3 großen Pools, einer davon für Kinder. In dier poolanlage befindet sich auch das Poolrestaurant und zusätzlich noch eine Bar. <...> 6. Preise Das Hotel ist zwar recht teuer, aber das Geld auf jeden Fall wert. Man kommt deutlich günstiger wenn man über ein Reiseunternehmen bucht (TUI). 7. Meine Meinung Der Aufenthalt im RIU Gran Canaria gehört zweifelslos zu meinen schönsten Urlauben und ich überlege bereits ob ich dort nicht nächstes Weihnachten wieder verbringen sollte. Von der Qualität des Services her ist das Hotel auf jedem Fall 5***** Sterne wert.

11 Mögliche Extrakt-Probleme
Pronomina In Deutschland sind 5 Mio Menschen arbeitslos. Der Bundeskanzler handelt aber nicht. Er hat ein Konjunkturprogramm abgelehnt. Temporale und lokale Anaphern In Deutschland sind 5 Mio Menschen arbeitslos. Am vergangenen Montag beriet der Bundeskanzler sich mit den Ministerpräsidenten der Länder. Am nächsten Tag traf Schröder den Arbeitgeberpräsidenten. Definite NPs In Deutschland sind 5 Mio Menschen arbeitslos. Dies rief gestern auch den Bund der Steuerzahler auf den Plan. Der Vorsitzende forderte ein Vereinfachung des Steuersystems. Manfred Stede

12 Mögliche Extrakt-Probleme
Komparative In Deutschland sind 5 Mio Menschen arbeitslos. Die Erwerbslosenquote stieg um zwei Prozent. Noch höher war der Anstieg in Ostdeutschland. Konnektoren In Deutschland sind 5 Mio Menschen arbeitslos. Wirtschaftsminister Clement stellte gstern ein rasches Hilfsprogramm der Bundesregierung in Aussicht. Dennoch zeigten die Gewerkschaften sich nicht zufrieden. Manfred Stede

13 Mögliche Extrakt-Probleme
Statistisch nicht signifikante Sätze können gleichwohl „wichtig“ sein: Schulze (1994) hat ein Verfahren für die Gewichtung von Termen in Dokumenten vorgeschlagen. Es funktioniert aber nicht. Redundanz: Taucht dieselbe oder sehr ähnliche Information mehrfach im Text auf, wird sie auch mehrfach extrahiert Manfred Stede

14 Beyond extraction: PINK-Projekt SUMMaR
Zusammenfassung verschiedener Dokument-Typen mit statistischer und linguistischer Analyse Technischer Ansatz: „Baukasten“ aus Textanalysemodulen, strikt XML-basiert Rolle der Linguistik: Robuste syntaktische Analyse (Partielle) Ableitung von Ko-Referenz (Partielle) Ableitung der rhetorischen Textstruktur Textsorten-Wissen: Textaufbau, Relevanz-anzeigende Formulierungen Manfred Stede

15 Soll der Steglitzer Kreisel abgerissen werden?
Alles spricht gegen den Steglitzer Kreisel. Selbst wenn man vergisst, dass der olle Schuhkarton in bester Lage einst ein privates Prestigeobjekt war, das der öffentlichen Hand für teures Geld aufgenötigt wurde. Ein Symbol der West-Berliner Filzwirtschaft in den späten sechziger Jahren. Aber lassen wir das ruhig beiseite. Der Kreisel ist Asbest verseucht. Nicht nur hier und da, sondern durch und durch. Zwar könnte man, wie beim Palast der Republik, den Bau bis aufs wackelige Stahlskelett entkleiden und neu aufbauen. Aber das würde mindestens 84 Millionen Euro, vielleicht auch das Doppelte kosten. Was für ein Preis für die Restaurierung eines städtebaulichen Schandflecks, der seit mehr als dreißig Jahren Schatten auf die nette, gutbürgerliche Umgebung wirft. Von allen Seiten versperrt der Kreisel die Sicht. Er ist keine Sehenswürdigkeit. Und für die Mitarbeiter des Bezirks Steglitz, die im Hochhaus arbeiten, kann die Lebensqualität bei einem Umzug in ein anderes Dienstgebäude nur steigen. Der Kreisel ist auch innen hässlich, zudem zugig und Energie verschleudernd. Einzig brauchbar ist die gute Verkehrsanbindung und der Blick aus dem 24. Stock auf den Süden Berlins. Aber beides rechtfertigt es nicht, das marode Gebäude zu sanieren. Für das viele Geld kann man fast zwei neue, wirklich schöne Häuser bauen. Manfred Stede

16 Soll der Steglitzer Kreisel abgerissen werden?
Alles spricht gegen den Steglitzer Kreisel. Selbst wenn man vergisst, dass der olle Schuhkarton in bester Lage einst ein privates Prestigeobjekt war, das der öffentlichen Hand für teures Geld aufgenötigt wurde. Ein Symbol der West-Berliner Filzwirtschaft in den späten sechziger Jahren. Aber lassen wir das ruhig beiseite. Der Kreisel ist Asbest verseucht. Nicht nur hier und da, sondern durch und durch. Zwar könnte man, wie beim Palast der Republik, den Bau bis aufs wackelige Stahlskelett entkleiden und neu aufbauen. Aber das würde mindestens 84 Millionen Euro, vielleicht auch das Doppelte kosten. Was für ein Preis für die Restaurierung eines städtebaulichen Schandflecks, der seit mehr als dreißig Jahren Schatten auf die nette, gutbürgerliche Umgebung wirft. Von allen Seiten versperrt der Kreisel die Sicht. Er ist keine Sehenswürdigkeit. Und für die Mitarbeiter des Bezirks Steglitz, die im Hochhaus arbeiten, kann die Lebensqualität bei einem Umzug in ein anderes Dienstgebäude nur steigen. Der Kreisel ist auch innen hässlich, zudem zugig und Energie verschleudernd. Einzig brauchbar ist die gute Verkehrsanbindung und der Blick aus dem 24. Stock auf den Süden Berlins. Aber beides rechtfertigt es nicht, das marode Gebäude zu sanieren. Für das viele Geld kann man fast zwei neue, wirklich schöne Häuser bauen. Manfred Stede

17 Soll der Steglitzer Kreisel abgerissen werden?
Alles spricht gegen den Steglitzer Kreisel. Selbst wenn man vergisst, dass der olle Schuhkarton in bester Lage einst ein privates Prestigeobjekt war, das der öffentlichen Hand für teures Geld aufgenötigt wurde. Ein Symbol der West-Berliner Filzwirtschaft in den späten sechziger Jahren. Aber lassen wir das ruhig beiseite. Der Kreisel ist Asbest verseucht. Nicht nur hier und da, sondern durch und durch. Zwar könnte man, wie beim Palast der Republik, den Bau bis aufs wackelige Stahlskelett entkleiden und neu aufbauen. Aber das würde mindestens 84 Millionen Euro, vielleicht auch das Doppelte kosten. Was für ein Preis für die Restaurierung eines städtebaulichen Schandflecks, der seit mehr als dreißig Jahren Schatten auf die nette, gutbürgerliche Umgebung wirft. Von allen Seiten versperrt der Kreisel die Sicht. Er ist keine Sehenswürdigkeit. Und für die Mitarbeiter des Bezirks Steglitz, die im Hochhaus arbeiten, kann die Lebensqualität bei einem Umzug in ein anderes Dienstgebäude nur steigen. Der Kreisel ist auch innen hässlich, zudem zugig und Energie verschleudernd. Einzig brauchbar ist die gute Verkehrsanbindung und der Blick aus dem 24. Stock auf den Süden Berlins. Aber beides rechtfertigt es nicht, das marode Gebäude zu sanieren. Für das viele Geld kann man fast zwei neue, wirklich schöne Häuser bauen. Manfred Stede

18 Document Structure Analysis Syntactic Analysis Statistical Analysis
document structure (XML) tokenized text Document Structure Analysis Syntactic Analysis Statistical Analysis dependency structures term relevance sentence relevance structure-based relevance Coreference Analysis coreference chains Summarizer doc info „backbone“

19 Mehrschichtige Repräsentation
STAT/TS-RELEVANT -----PROGRESSION-1-NUC PROGRESSION-1-SAT EXTERN KON-1 INTERN REF-1 REF-{1,2} NP-DEF NP-DEF PIS VVFIN APPR ART NN NN ADV KOUS PIS VFIN KOUS ART ADJ NN Alles spricht gegen den Steglitzer Kreisel. Selbst wenn man vergisst, dass der olle Schuhkarton in Manfred Stede

20 Manfred Stede

21 Manfred Stede

22 Manfred Stede

23 Manfred Stede

24 Manfred Stede

25 Manfred Stede

26 Manfred Stede

27 XML-Toolbox für Dokumentverarbeitung
Komponenten Dokumentstruktur-Repräsentation Statistische Auswertung Robuste syntaktische Analyse Ko-Referenz Analyse Ableitung der Diskursstruktur Anwendungsfelder Text-Zusammenfassung Informationsextraktion Frage-/Antwort Systeme Automatische Übersetzung Manfred Stede

28 Zusammenfassung SUMMaR
Tf/Idf + Textsortenwissen  Liste relevanter Sätze Part-of-speech tagging + robustes parsing Ko-Referenz Analyse  unterspezifizierte referentielle Ketten Konnektoren-Analyse (+ synt. Merkmale)  unterspezifizierte „rhetorische Textstruktur“ Partielle Re-Generierung des Extrakts In Deutschland sind 5 Mio Menschen arbeitslos. { } Schröder traf die Spitzen der Arbeitgeberverbände. {} Der Bundeskanzler kündigte an, die nächste Stufe der Steuerreform vorzuziehen. {} Dennoch mahnte Bsirske an, die Unternehmensgewinne stärker zu besteuern. Manfred Stede

29 Zusammenfassung SUMMaR
Tf/Idf + Textsortenwissen  Liste relevanter Sätze Part-of-speech tagging + robustes parsing Ko-Referenz Analyse  unterspezifizierte referentielle Ketten Konnektoren-Analyse (+ synt. Merkmale)  unterspezifizierte „rhetorische Textstruktur“ Partielle Re-Generierung des Extrakts In Deutschland sind 5 Mio Menschen arbeitslos. { } Schröder traf die Spitzen der Arbeitgeberverbände. {} Der Bundeskanzler kündigte an, die nächste Stufe der Steuerreform vorzuziehen. {} Dennoch mahnte Bsirske an, die Unternehmensgewinne stärker zu besteuern. Manfred Stede

30 Zusammenfassung SUMMaR
Tf/Idf + Textsortenwissen  Liste relevanter Sätze Part-of-speech tagging + robustes parsing Ko-Referenz Analyse  unterspezifizierte referentielle Ketten Konnektoren-Analyse (+ synt. Merkmale)  unterspezifizierte „rhetorische Textstruktur“ Partielle Re-Generierung des Extrakts In Deutschland sind 5 Mio Menschen arbeitslos. { } Bundeskanzler Schröder traf die Spitzen der Arbeitgeberverbände. {} Er kündigte an, die nächste Stufe der Steuerreform vorzuziehen. {} Dennoch mahnte Bsirske an, die Unternehmens-gewinne stärker zu besteuern. Manfred Stede

31 Zusammenfassung SUMMaR
Tf/Idf + Textsortenwissen  Liste relevanter Sätze Part-of-speech tagging + robustes parsing Ko-Referenz Analyse  unterspezifizierte referentielle Ketten Konnektoren-Analyse (+ synt. Merkmale)  unterspezifizierte „rhetorische Textstruktur“ Partielle Re-Generierung des Extrakts In Deutschland sind 5 Mio Menschen arbeitslos. { } Bundeskanzler Schröder traf die Spitzen der Arbeitgeberverbände. {} Er kündigte an, die nächste Stufe der Steuerreform vorzuziehen. {} Dennoch mahnte Bsirske an, die Unternehmens-gewinne stärker zu besteuern. Manfred Stede

32 Zusammenfassung SUMMaR
Tf/Idf + Textsortenwissen  Liste relevanter Sätze Part-of-speech tagging + robustes parsing Ko-Referenz Analyse  unterspezifizierte referentielle Ketten Konnektoren-Analyse (+ synt. Merkmale)  unterspezifizierte „rhetorische Textstruktur“ Partielle Re-Generierung des Extrakts In Deutschland sind 5 Mio Menschen arbeitslos. { } Bundeskanzler Schröder traf die Spitzen der Arbeitgeberverbände. {} Er kündigte an, die nächste Stufe der Steuerreform vorzuziehen. {} Der DGB zeigte sich im Prinzip einverstanden. Dennoch mahnte Bsirske an, die Unternehmensgewinne stärker zu besteuern. Manfred Stede

33 Zusammenfassung SUMMaR
Tf/Idf + Textsortenwissen  Liste relevanter Sätze Part-of-speech tagging + robustes parsing Ko-Referenz Analyse  unterspezifizierte referentielle Ketten Konnektoren-Analyse (+ synt. Merkmale)  unterspezifizierte „rhetorische Textstruktur“ Partielle Re-Generierung des Extrakts In Deutschland sind 5 Mio Menschen arbeitslos. { } Bundeskanzler Schröder traf die Spitzen der Arbeitgeberverbände. {} Er kündigte an, die nächste Stufe der Steuerreform vorzuziehen. {} Der DGB zeigte sich im Prinzip einverstanden. Dennoch mahnte Bsirske an, die Unternehmensgewinne stärker zu besteuern. Manfred Stede

34 Zusammenfassung SUMMaR
Tf/Idf + Textsortenwissen  Liste relevanter Sätze Part-of-speech tagging + robustes parsing Ko-Referenz Analyse  unterspezifizierte referentielle Ketten Konnektoren-Analyse (+ synt. Merkmale)  unterspezifizierte „rhetorische Textstruktur“ Partielle Re-Generierung des Extrakts In Deutschland sind 5 Mio Menschen arbeitslos. { } Bundeskanzler Schröder traf die Spitzen der Arbeitgeberverbände. {} Er kündigte an, die nächste Stufe der Steuerreform vorzuziehen. {} Der DGB zeigte sich im Prinzip einverstanden. Dennoch mahnte Verdi-Chef Bsirske an, die Unternehmensgewinne stärker zu besteuern. Manfred Stede

35 Perspektive: Multi-Document Summarization
Japans Ministerpräsident Koizumi hat bei der Unterhauswahl einen überwätigenden Sieg errungen. Die LDP errang {271/276/296} der 480 Sitze. Erstmals seit 15 Jahren verfügt sie über die absolute Mehrheit.