Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Dokumentverarbeitung und Textzusammenfassung Prof. Dr. Manfred Stede AG Angewandte Computerlinguistik Institut für Linguistik Universität Potsdam.

Ähnliche Präsentationen


Präsentation zum Thema: "Dokumentverarbeitung und Textzusammenfassung Prof. Dr. Manfred Stede AG Angewandte Computerlinguistik Institut für Linguistik Universität Potsdam."—  Präsentation transkript:

1 Dokumentverarbeitung und Textzusammenfassung Prof. Dr. Manfred Stede AG Angewandte Computerlinguistik Institut für Linguistik Universität Potsdam

2 Manfred Stede Informationsextraktion 19 March. A bomb went off this morning near a power tower in San Salvador leaving a large part of the city without energy, but no casualties have been reported. According to unofficial sources, the bomb allegedly detonated by urban guerrilla commandos blew up a power tower in the northwestern part of San Salvador at INCIDENT TYPE DATE LOCATION PERPETRATOR PHYSICAL TARGET HUMAN TARGET EFFECT ON PHYS. TARGET

3 Manfred Stede Informationsextraktion 19 March. A bomb went off this morning near a power tower in San Salvador leaving a large part of the city without energy, but no casualties have been reported. According to unofficial sources, the bomb allegedly detonated by urban guerrilla commandos blew up a power tower in the northwestern part of San Salvador at INCIDENT TYPEbombing DATEMarch 19 LOCATIONEl Salvador: San Salvador PERPETRATORurban guerilla commandos PHYSICAL TARGETpower tower HUMAN TARGET- EFFECT ON PHYS. TARGETdestroyed

4 Manfred Stede Informationsextraktion 19 March. A bomb went off this morning near a power tower in San Salvador leaving a large part of the city without energy, but no casualties have been reported. According to unofficial sources, the bomb allegedly detonated by urban guerrilla commandos blew up a power tower in the northwestern part of San Salvador at INCIDENT TYPEbombing DATEMarch 19 LOCATIONEl Salvador: San Salvador PERPETRATORurban guerilla commandos PHYSICAL TARGETpower tower HUMAN TARGET- EFFECT ON PHYS. TARGETdestroyed

5 Manfred Stede Automatische Zusammenfassung Ziel: Aus langem Text erstelle kurzen Text System bietet Kurzfassung an, Leser/in kann dann entscheiden, ob Originaldokument lesenswert ist gisting, z.B. f ü r mobile Applikationen Web-Recherche - schnell Ü berblick verschaffen Problem: Identifizieren der wichtigen Informationen...unabh ä ngig von der inhaltlichen Dom ä ne! Techniken der Informationsextraktion nicht verwendbar

6 Manfred Stede Grundlage: Statistik (Luhn 58) TF/IDF Gewichtung Idee: wichtige Wörter sind im fraglichen Text häufig, im gesamten Textbestand jedoch selten Sei N: Anzahl aller Texte Sei Df(w): Anzahl der Dokumente (document frequency), in denen Wort w vorkommt Idf(w) := log(N / Df(w)) (inverted document frequency) Sei Tf(w) die Häufigkeit des Wortes w (term frequency) im Text Tf(w) * Idf(w): Maß für die Gewichtung des Wortes w im Text Ermittele die wichtigen Wörter des Textes nach Tf*Idf Wähle diejenigen Sätze aus, in denen die wichtigen Wörter am häufigsten auftreten. Fertig ist die Zusammenfassung! Zusammenfassung = Extraktion

7

8 1. Einleitung: RIU Die zur World of TUI gehörende RIU-Gruppe besticht weltweit durch sehr gute Anlagen der gehoben Preis- und Qualitätsklasse mit herausragendem Service. Daher versuche ich eigentlich immer meinen Erholungsurlaub in einem der Hotels dieser Kette zu genießen. 2. Lage: Hotel RIU Gran Canaria Das 4****-Hotel liegt im Süden Gran Canarias, bei Maspalomas. Zu den bekannten Dünen sind es etwa 1000 Meter entlang der neuen und sehr sauberen Küstenpromenade, die erst 2002 fertig gestellt wurde. Den Leuchturm erreicht man bereits nach 700 Meter. Dort befindet sich auch der nächste Geldautomat der Deutschen Bank. Zwischen Leuchtturm und Hotel liegt ein recht großes Einkaufszentrum mit Supermarkt, Apotheke usw. 3. Die Hotelanlage Das Hotel wurde 2000 eröffnet, so das die Einrichtung noch nicht abgenutzt ist. Die Außenfassade wirk zwar ziemlich luxuriös, allerdings herrscht trotzdem eine überraschend ungezwungene Atmosphäre. Da das Hotel auch eine eigene Kinderanimation bietet, findet man viele Familien in der Anlage. Die Kinder stören aber den Erholungsbetrieb nicht, da das Hotel sehr weitläufig ist. Besonders bemerkenswert finde ich hier die sehr großzügige Poolanlage mit 3 großen Pools, einer davon für Kinder. In dier poolanlage befindet sich auch das Poolrestaurant und zusätzlich noch eine Bar. 6. Preise Das Hotel ist zwar recht teuer, aber das Geld auf jeden Fall wert. Man kommt deutlich günstiger wenn man über ein Reiseunternehmen bucht (TUI). 7. Meine Meinung Der Aufenthalt im RIU Gran Canaria gehört zweifelslos zu meinen schönsten Urlauben und ich überlege bereits ob ich dort nicht nächstes Weihnachten wieder verbringen sollte. Von der Qualität des Services her ist das Hotel auf jedem Fall 5***** Sterne wert.

9 Manfred Stede Minibar Fazit Supermarkt Aerobic Sauna Tischtennis Albatros Gartenanlage Salate Luxor Bungalows Strand Balkon Boccia Billard Hotel Verpflegung RIU Aufpreis Urlauber Badezimmer Abendessen Müsli Volleyball Liegestühle Fußball Ausflug Haan Diskothek Schlafzimmer Raucher Kleiderschrank Dinar Bakschisch Zimmer Kreta.....

10 1. Einleitung: RIU Die zur World of TUI gehörende RIU-Gruppe besticht weltweit durch sehr gute Anlagen der gehoben Preis- und Qualitätsklasse mit herausragendem Service. Daher versuche ich eigentlich immer meinen Erholungsurlaub in einem der Hotels dieser Kette zu genießen. 2. Lage: Hotel RIU Gran Canaria Das 4****-Hotel liegt im Süden Gran Canarias, bei Maspalomas. Zu den bekannten Dünen sind es etwa 1000 Meter entlang der neuen und sehr sauberen Küstenpromenade, die erst 2002 fertig gestellt wurde. Den Leuchturm erreicht man bereits nach 700 Meter. Dort befindet sich auch der nächste Geldautomat der Deutschen Bank. Zwischen Leuchtturm und Hotel liegt ein recht großes Einkaufszentrum mit Supermarkt, Apotheke usw. 3. Die Hotelanlage Das Hotel wurde 2000 eröffnet, so das die Einrichtung noch nicht abgenutzt ist. Die Außenfassade wirk zwar ziemlich luxuriös, allerdings herrscht trotzdem eine überraschend ungezwungene Atmosphäre. Da das Hotel auch eine eigene Kinderanimation bietet, findet man viele Familien in der Anlage. Die Kinder stören aber den Erholungsbetrieb nicht, da das Hotel sehr weitläufig ist. Besonders bemerkenswert finde ich hier die sehr großzügige Poolanlage mit 3 großen Pools, einer davon für Kinder. In dier poolanlage befindet sich auch das Poolrestaurant und zusätzlich noch eine Bar. 6. Preise Das Hotel ist zwar recht teuer, aber das Geld auf jeden Fall wert. Man kommt deutlich günstiger wenn man über ein Reiseunternehmen bucht (TUI). 7. Meine Meinung Der Aufenthalt im RIU Gran Canaria gehört zweifelslos zu meinen schönsten Urlauben und ich überlege bereits ob ich dort nicht nächstes Weihnachten wieder verbringen sollte. Von der Qualität des Services her ist das Hotel auf jedem Fall 5***** Sterne wert.

11 Manfred Stede Mögliche Extrakt-Probleme Pronomina In Deutschland sind 5 Mio Menschen arbeitslos. Der Bundeskanzler handelt aber nicht. Er hat ein Konjunkturprogramm abgelehnt. Temporale und lokale Anaphern In Deutschland sind 5 Mio Menschen arbeitslos. Am vergangenen Montag beriet der Bundeskanzler sich mit den Ministerpräsidenten der Länder. Am nächsten Tag traf Schröder den Arbeitgeberpräsidenten. Definite NPs In Deutschland sind 5 Mio Menschen arbeitslos. Dies rief gestern auch den Bund der Steuerzahler auf den Plan. Der Vorsitzende forderte ein Vereinfachung des Steuersystems.

12 Manfred Stede Mögliche Extrakt-Probleme Komparative In Deutschland sind 5 Mio Menschen arbeitslos. Die Erwerbslosenquote stieg um zwei Prozent. Noch höher war der Anstieg in Ostdeutschland. Konnektoren In Deutschland sind 5 Mio Menschen arbeitslos. Wirtschaftsminister Clement stellte gstern ein rasches Hilfsprogramm der Bundesregierung in Aussicht. Dennoch zeigten die Gewerkschaften sich nicht zufrieden.

13 Manfred Stede Mögliche Extrakt-Probleme Statistisch nicht signifikante Sätze können gleichwohl wichtig sein: Schulze (1994) hat ein Verfahren für die Gewichtung von Termen in Dokumenten vorgeschlagen. Es funktioniert aber nicht. Redundanz: Taucht dieselbe oder sehr ähnliche Information mehrfach im Text auf, wird sie auch mehrfach extrahiert

14 Manfred Stede Beyond extraction: PINK-Projekt SUMMaR Zusammenfassung verschiedener Dokument-Typen mit statistischer und linguistischer Analyse Technischer Ansatz: Baukasten aus Textanalysemodulen, strikt XML-basiert Rolle der Linguistik: Robuste syntaktische Analyse (Partielle) Ableitung von Ko-Referenz (Partielle) Ableitung der rhetorischen Textstruktur Textsorten-Wissen: Textaufbau, Relevanz-anzeigende Formulierungen

15 Manfred Stede Soll der Steglitzer Kreisel abgerissen werden? Alles spricht gegen den Steglitzer Kreisel. Selbst wenn man vergisst, dass der olle Schuhkarton in bester Lage einst ein privates Prestigeobjekt war, das der öffentlichen Hand für teures Geld aufgenötigt wurde. Ein Symbol der West-Berliner Filzwirtschaft in den späten sechziger Jahren. Aber lassen wir das ruhig beiseite. Der Kreisel ist Asbest verseucht. Nicht nur hier und da, sondern durch und durch. Zwar könnte man, wie beim Palast der Republik, den Bau bis aufs wackelige Stahlskelett entkleiden und neu aufbauen. Aber das würde mindestens 84 Millionen Euro, vielleicht auch das Doppelte kosten. Was für ein Preis für die Restaurierung eines städtebaulichen Schandflecks, der seit mehr als dreißig Jahren Schatten auf die nette, gutbürgerliche Umgebung wirft. Von allen Seiten versperrt der Kreisel die Sicht. Er ist keine Sehenswürdigkeit. Und für die Mitarbeiter des Bezirks Steglitz, die im Hochhaus arbeiten, kann die Lebensqualität bei einem Umzug in ein anderes Dienstgebäude nur steigen. Der Kreisel ist auch innen hässlich, zudem zugig und Energie verschleudernd. Einzig brauchbar ist die gute Verkehrsanbindung und der Blick aus dem 24. Stock auf den Süden Berlins. Aber beides rechtfertigt es nicht, das marode Gebäude zu sanieren. Für das viele Geld kann man fast zwei neue, wirklich schöne Häuser bauen.

16 Manfred Stede Soll der Steglitzer Kreisel abgerissen werden? Alles spricht gegen den Steglitzer Kreisel. Selbst wenn man vergisst, dass der olle Schuhkarton in bester Lage einst ein privates Prestigeobjekt war, das der öffentlichen Hand für teures Geld aufgenötigt wurde. Ein Symbol der West-Berliner Filzwirtschaft in den späten sechziger Jahren. Aber lassen wir das ruhig beiseite. Der Kreisel ist Asbest verseucht. Nicht nur hier und da, sondern durch und durch. Zwar könnte man, wie beim Palast der Republik, den Bau bis aufs wackelige Stahlskelett entkleiden und neu aufbauen. Aber das würde mindestens 84 Millionen Euro, vielleicht auch das Doppelte kosten. Was für ein Preis für die Restaurierung eines städtebaulichen Schandflecks, der seit mehr als dreißig Jahren Schatten auf die nette, gutbürgerliche Umgebung wirft. Von allen Seiten versperrt der Kreisel die Sicht. Er ist keine Sehenswürdigkeit. Und für die Mitarbeiter des Bezirks Steglitz, die im Hochhaus arbeiten, kann die Lebensqualität bei einem Umzug in ein anderes Dienstgebäude nur steigen. Der Kreisel ist auch innen hässlich, zudem zugig und Energie verschleudernd. Einzig brauchbar ist die gute Verkehrsanbindung und der Blick aus dem 24. Stock auf den Süden Berlins. Aber beides rechtfertigt es nicht, das marode Gebäude zu sanieren. Für das viele Geld kann man fast zwei neue, wirklich schöne Häuser bauen.

17 Manfred Stede Soll der Steglitzer Kreisel abgerissen werden? Alles spricht gegen den Steglitzer Kreisel. Selbst wenn man vergisst, dass der olle Schuhkarton in bester Lage einst ein privates Prestigeobjekt war, das der öffentlichen Hand für teures Geld aufgenötigt wurde. Ein Symbol der West-Berliner Filzwirtschaft in den späten sechziger Jahren. Aber lassen wir das ruhig beiseite. Der Kreisel ist Asbest verseucht. Nicht nur hier und da, sondern durch und durch. Zwar könnte man, wie beim Palast der Republik, den Bau bis aufs wackelige Stahlskelett entkleiden und neu aufbauen. Aber das würde mindestens 84 Millionen Euro, vielleicht auch das Doppelte kosten. Was für ein Preis für die Restaurierung eines städtebaulichen Schandflecks, der seit mehr als dreißig Jahren Schatten auf die nette, gutbürgerliche Umgebung wirft. Von allen Seiten versperrt der Kreisel die Sicht. Er ist keine Sehenswürdigkeit. Und für die Mitarbeiter des Bezirks Steglitz, die im Hochhaus arbeiten, kann die Lebensqualität bei einem Umzug in ein anderes Dienstgebäude nur steigen. Der Kreisel ist auch innen hässlich, zudem zugig und Energie verschleudernd. Einzig brauchbar ist die gute Verkehrsanbindung und der Blick aus dem 24. Stock auf den Süden Berlins. Aber beides rechtfertigt es nicht, das marode Gebäude zu sanieren. Für das viele Geld kann man fast zwei neue, wirklich schöne Häuser bauen.

18 document structure (XML) tokenized text Statistical AnalysisSyntactic Analysis Document Structure Analysis dependency structures doc info backbone term relevance sentence relevance structure-based relevance Summarizer Coreference Analysis coreference chains

19 Manfred Stede Mehrschichtige Repräsentation Alles spricht gegen den Steglitzer Kreisel. Selbst wenn man vergisst, dass der olle Schuhkarton in PIS VVFIN APPR ART NN NN ADV KOUS PIS VFIN KOUS ART ADJ NN NP-DEF REF-{1,2}REF-1 KON EXTERN INTERN PROGRESSION-1-NUC PROGRESSION-1-SAT STAT/TS-RELEVANT

20 Manfred Stede

21

22

23

24

25

26

27 XML-Toolbox für Dokumentverarbeitung Komponenten Dokumentstruktur-Repräsentation Statistische Auswertung Robuste syntaktische Analyse Ko-Referenz Analyse Ableitung der Diskursstruktur Anwendungsfelder Text-Zusammenfassung Informationsextraktion Frage-/Antwort Systeme Automatische Übersetzung

28 Manfred Stede Zusammenfassung SUMMaR 1. Tf/Idf + Textsortenwissen Liste relevanter Sätze 2. Part-of-speech tagging + robustes parsing 3. Ko-Referenz Analyse unterspezifizierte referentielle Ketten 4. Konnektoren-Analyse (+ synt. Merkmale) unterspezifizierte rhetorische Textstruktur 5. Partielle Re-Generierung des Extrakts In Deutschland sind 5 Mio Menschen arbeitslos. { } Schröder traf die Spitzen der Arbeitgeberverbände. {} Der Bundeskanzler kündigte an, die nächste Stufe der Steuerreform vorzuziehen. {} Dennoch mahnte Bsirske an, die Unternehmensgewinne stärker zu besteuern.

29 Manfred Stede Zusammenfassung SUMMaR 1. Tf/Idf + Textsortenwissen Liste relevanter Sätze 2. Part-of-speech tagging + robustes parsing 3. Ko-Referenz Analyse unterspezifizierte referentielle Ketten 4. Konnektoren-Analyse (+ synt. Merkmale) unterspezifizierte rhetorische Textstruktur 5. Partielle Re-Generierung des Extrakts In Deutschland sind 5 Mio Menschen arbeitslos. { } Schröder traf die Spitzen der Arbeitgeberverbände. {} Der Bundeskanzler kündigte an, die nächste Stufe der Steuerreform vorzuziehen. {} Dennoch mahnte Bsirske an, die Unternehmensgewinne stärker zu besteuern.

30 Manfred Stede Zusammenfassung SUMMaR 1. Tf/Idf + Textsortenwissen Liste relevanter Sätze 2. Part-of-speech tagging + robustes parsing 3. Ko-Referenz Analyse unterspezifizierte referentielle Ketten 4. Konnektoren-Analyse (+ synt. Merkmale) unterspezifizierte rhetorische Textstruktur 5. Partielle Re-Generierung des Extrakts In Deutschland sind 5 Mio Menschen arbeitslos. { } Bundeskanzler Schröder traf die Spitzen der Arbeitgeberverbände. {} Er kündigte an, die nächste Stufe der Steuerreform vorzuziehen. {} Dennoch mahnte Bsirske an, die Unternehmens-gewinne stärker zu besteuern.

31 Manfred Stede Zusammenfassung SUMMaR 1. Tf/Idf + Textsortenwissen Liste relevanter Sätze 2. Part-of-speech tagging + robustes parsing 3. Ko-Referenz Analyse unterspezifizierte referentielle Ketten 4. Konnektoren-Analyse (+ synt. Merkmale) unterspezifizierte rhetorische Textstruktur 5. Partielle Re-Generierung des Extrakts In Deutschland sind 5 Mio Menschen arbeitslos. { } Bundeskanzler Schröder traf die Spitzen der Arbeitgeberverbände. {} Er kündigte an, die nächste Stufe der Steuerreform vorzuziehen. {} Dennoch mahnte Bsirske an, die Unternehmens-gewinne stärker zu besteuern.

32 Manfred Stede Zusammenfassung SUMMaR 1. Tf/Idf + Textsortenwissen Liste relevanter Sätze 2. Part-of-speech tagging + robustes parsing 3. Ko-Referenz Analyse unterspezifizierte referentielle Ketten 4. Konnektoren-Analyse (+ synt. Merkmale) unterspezifizierte rhetorische Textstruktur 5. Partielle Re-Generierung des Extrakts In Deutschland sind 5 Mio Menschen arbeitslos. { } Bundeskanzler Schröder traf die Spitzen der Arbeitgeberverbände. {} Er kündigte an, die nächste Stufe der Steuerreform vorzuziehen. {} Der DGB zeigte sich im Prinzip einverstanden. Dennoch mahnte Bsirske an, die Unternehmensgewinne stärker zu besteuern.

33 Manfred Stede Zusammenfassung SUMMaR 1. Tf/Idf + Textsortenwissen Liste relevanter Sätze 2. Part-of-speech tagging + robustes parsing 3. Ko-Referenz Analyse unterspezifizierte referentielle Ketten 4. Konnektoren-Analyse (+ synt. Merkmale) unterspezifizierte rhetorische Textstruktur 5. Partielle Re-Generierung des Extrakts In Deutschland sind 5 Mio Menschen arbeitslos. { } Bundeskanzler Schröder traf die Spitzen der Arbeitgeberverbände. {} Er kündigte an, die nächste Stufe der Steuerreform vorzuziehen. {} Der DGB zeigte sich im Prinzip einverstanden. Dennoch mahnte Bsirske an, die Unternehmensgewinne stärker zu besteuern.

34 Manfred Stede Zusammenfassung SUMMaR 1. Tf/Idf + Textsortenwissen Liste relevanter Sätze 2. Part-of-speech tagging + robustes parsing 3. Ko-Referenz Analyse unterspezifizierte referentielle Ketten 4. Konnektoren-Analyse (+ synt. Merkmale) unterspezifizierte rhetorische Textstruktur 5. Partielle Re-Generierung des Extrakts In Deutschland sind 5 Mio Menschen arbeitslos. { } Bundeskanzler Schröder traf die Spitzen der Arbeitgeberverbände. {} Er kündigte an, die nächste Stufe der Steuerreform vorzuziehen. {} Der DGB zeigte sich im Prinzip einverstanden. Dennoch mahnte Verdi-Chef Bsirske an, die Unternehmensgewinne stärker zu besteuern.

35 Perspektive: Multi-Document Summarization Japans Ministerpräsident Koizumi hat bei der Unterhauswahl einen überwätigenden Sieg errungen. Die LDP errang {271/276/296} der 480 Sitze. Erstmals seit 15 Jahren verfügt sie über die absolute Mehrheit.


Herunterladen ppt "Dokumentverarbeitung und Textzusammenfassung Prof. Dr. Manfred Stede AG Angewandte Computerlinguistik Institut für Linguistik Universität Potsdam."

Ähnliche Präsentationen


Google-Anzeigen