Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

G.Heyer Sprachprodukttechnologie SS 2001 1 INFORMATION RETRIEVAL (IR) Begriffsbildung für Daten/ Wissen/ Information Daten Syntaktisch definierte Verfahren.

Ähnliche Präsentationen


Präsentation zum Thema: "G.Heyer Sprachprodukttechnologie SS 2001 1 INFORMATION RETRIEVAL (IR) Begriffsbildung für Daten/ Wissen/ Information Daten Syntaktisch definierte Verfahren."—  Präsentation transkript:

1 G.Heyer Sprachprodukttechnologie SS INFORMATION RETRIEVAL (IR) Begriffsbildung für Daten/ Wissen/ Information Daten Syntaktisch definierte Verfahren der Datenverarbeitung Wissen Semantisch begründete Verfahren der Wissensrepräsentation Information Pragmatisch kontrollierte Informationserarbeitung zur informationellen Handlungsabsicherung ("Information ist Wissen in Aktion", im Unterschied zur nachrichtentechnischen Orientierung des Shannonschen Informationsbegriffs)

2 G.Heyer Sprachprodukttechnologie SS Grundprinzip des IR: Gegeben: Informationsbedürfnisse und Informationssammlungen (irgendeiner Art) Ziel des IR: geeignete Abbildungsfunktion, die zu beliebigen Informationsbedürfnissen eine passende Auswahl in der Informationsmenge vornimmt. Dabei spielen unter anderem eine Rolle: Formulierungsprozeß für Informationsbedürfnisse durch den Benutzer oder automatisch durch das System (automatic query formulation) Abbildung des Informationsbedürfnisses auf eine interne Repräsentation Abbildung der Dokumente auf eine interne Repräsentation (z.B. invertierte Datei) Ähnlichkeitsfunktion für die internen Repräsentationen von Dokumenten und Anfragen (Indexierungssprache)

3 G.Heyer Sprachprodukttechnologie SS Definitionen (1) Information Retrieval (IR) is concerned with the representation, storage, organization, and accessing of information items. In principle, no restriction is placed on the type of item handled in information retrieval. In actuality, many of the items found in ordinary retrieval systems are characterized by an emphasis on narrative information. (Salton & McGill 1983:1f.). Information retrieval is concerned with the processes involved in the representation, storage, searching and finding of information which is relevant to a requirement for information desired by a human user (Ingwersen 1992:49).

4 G.Heyer Sprachprodukttechnologie SS Definitionen (2) Im Information Retrieval (IR) werden Informationssysteme in Bezug auf ihre im Prozess des Wissenstransfers vom menschlichen Wissensproduzenten zum Informations- Nachfragenden betrachtet. [... ] Die Darstellungsform des in einem IR-Systems gespeicherten Wissens ist im Prinzip nicht beschränkt (z. B. Texte, multimediale Dokumente, Fakten, Regeln, semantische Netze). Die Unsicherheit (oder die Unvollständigkeit) dieses Wissens resultiert meist aus der begrenzten Repräsentation von dessen Semantik [... ]. Aus dieser Problematik ergibt sich die Notwendigkeit zur Bewertung der Qualität der Antworten eines Informationssystems, wobei in einem weiteren Sinne die Effektivität des Systems in Bezug auf die Unterstützung des Benutzers bei der Lösung seines Anwendungsproblems beurteilt werden sollte. ( GI-FACHGRUPPE IR (1991). Beschreibung von Aufgaben und Zielen, zitiert nach FUHR 1993)

5 G.Heyer Sprachprodukttechnologie SS Definitionen (3) [... ] information science is concerned with, at least in part, the issues of how and why people engage in information-seeking behavior, and of how they use information [... ] (BELKIN 1990 ) The explicit consequences of this view are that: the goal of the IR system is to support the user in her / his entire range of information-seeking behaviors; the user must be considered the central component of the IR system; and interaction [... ] is the central process of IR (BELKIN 1993). [... ] computerized information retrieval has been limited by many factors, such as storage capacitiers, [... ] costs of capturing data, and the practices of the publishing industry. With improvements in technology, we can break through these limitations, and manage large digital libraries of multimedia objects [... ] (FOX 1993).

6 G.Heyer Sprachprodukttechnologie SS Problem

7 G.Heyer Sprachprodukttechnologie SS Modelle des Information Retrieval Formalisierung der IR-Modellierung Ausgangspunkt sind eine Menge von Dokumenten D und eine Menge von Anfragen Q. Von zwei Seiten lässt sich eine Beziehung zwischen Dokumenten und Anfragen herstellen: Benutzerseite: Der Benutzer führt Relevanzbewertungen durch und gibt damit an, welche Dokumente bezüglich einer Anfrage als (nicht) relevant einzuschätzen sind, dargestellt als Menge R der Relevanzbewertungen. Systemseite: Das System selektiert als Antwort auf eine Anfrage Q eine (möglicherweise leere) Untermenge der Dokumente. Dabei kommt eine Retrievalfunktion zum Einsatz.

8 G.Heyer Sprachprodukttechnologie SS System: semantische Repräsentation (D bzw. Q) Für die Verarbeitung der Dokumente und Anfragen werden semantische Repräsentationen verwendet, die durch die Abbil- dungen D (Indexierung) Q (Formalisierung der Anfrage) gewonnen werden. Intern sind Dokumente durch Dokumen- tenbeschreibungen D D, Anfragen durch logische Frage- Repräsentationen Q D dargestellt. Ziel eines IRS: Deckungsgleichheit zwischen und R, d.h. das System soll aus der Dokumentenmenge die und nur die Dokumente selektieren, die der Benutzer bezüglich seiner Anfrage als relevant erachtet. Es ergibt sich folgendes Schema: Relevanz- bewertung R DQDQ DQDQD DDQDDDQD Retrieval- funktion D D Q Q

9 G.Heyer Sprachprodukttechnologie SS Es werden also immer drei Ebenen unterschieden: (ursprüngliche) Fragen und Dokumente (bzw. Antwortmengen) deren Beschreibung (semantische Sicht, formalisierte Anfrage) die interne Beschreibung von Anfragen und Dokumenten (Fragelogik, Objektattribute für Dokumente) Notation: q k Frage q k Frage-Repräsentation q k D (interne) Fragebeschreibung d m Dokument m d m semantische Dokumentbeschreibung d m D Interne Dokumentenrepräsentation Dokumentbeschreibung als Menge/Vektor von Indexierungsgewichten

10 G.Heyer Sprachprodukttechnologie SS Um die Dokumentenbeschreibungen zu erstellen, verwendet man i.d.R. ein Indexierungsvokabular T = {t 1,..., t n }, das aus Grundformen (Termen) besteht (vgl. unten Automatische Indexierung), wo bei die Beschreibung sowohl manuell wie automatisch erstellt werden kann. Üblich sind auch Mischformen, wo zu einer automatischen Indexierung des Volltextes eine manuelle Beschlagwortung hinzukommt.

11 G.Heyer Sprachprodukttechnologie SS Vergleich der wichtigsten IR-Modelle Überblick nach Fuhr 1997:Kap-5.2 ModellBOOLEsches Vector Probability Fuzzy Clustering Retrieval Space BasisBOOLEsche Vektor- Wahrschein- Theorie Vektor- Logikalgebra lichkeits- unscharfer algebra theorie Mengen Bezug zur ( + ) --- Retrieval- qualität Gewichtete Indexierung Gewichtete Anfrageterme + + (+) + Anfrage- struktur BOOLEschlinear linear BOOLEsch N/A Anfrage- modus SuchenSuchen Suchen SuchenBrowsen

12 G.Heyer Sprachprodukttechnologie SS Exsample of Boolean IR system

13 G.Heyer Sprachprodukttechnologie SS Boolesches Retrieval Beim Booleschen Retrieval gibt es keine Indexierungsgewichte, d.h. jeder Term ist einem Dokument zugeordnet oder nicht (0,1), bzw. formal: Die Fragebeschreibungen und Retrievalfunktion lassen sich wie folgt rekursiv aufbauen: Frage- beschreibungen Q D

14 G.Heyer Sprachprodukttechnologie SS Die Retrievalfunktion ergibt sich dann zu: Wertemenge der Retrievalfunktion : {0,1}, d.h. die Anfrage hat ein positives oder negatives Ergebnis. Basis der Bewertung: Dokument-Termvektoren, bei denen für jedes Dokument verzeichnet ist, ob es durch einen Term indexiert ist (1) oder nicht (0).

15 G.Heyer Sprachprodukttechnologie SS Jede Anfrage teilt die Dokumentenbasis in zwei Mengen: Diejenigen Dokumente, die die Retrievalfunktion einer Anfrage zuordnet und diejenigen, die sie ihr nicht zuordnet. Ausgehend von dieser Trennung leiten sich auch die klassischen Bewertungsmaße in der IR-Evaluierung ab (siehe unten ausführlicher). Hohe Mächtigkeit: Man kann zeigen, daß sich für eine Dokumentenmenge D Anfragen konstruieren lassen, die jede beliebige Teilmenge aus D selektieren. Nachteile: Binäre Zuordnung, Komplexität der Booleschen Algebra, kein Ranking formale Anfragesprache

16 G.Heyer Sprachprodukttechnologie SS Die Abarbeitung von Booleschen Anfragen kann über einfache Operationen zum Verschmelzen von Listen (Implementierung von Funktionen für Schnitt- und Vereinigungsmengenbildung) erfolgen; Details im Kap. Implementierung). Praktisches Beispiel nach Salton 1989 Einträge in der invertierten DateiT 1 : {D 1, D 3 } T 2 : {D 1, D 2 } T 3 : {D 2, D 3, D 4 } Abarbeitung:Ergebnis Vereinigung T 1, T 2 {D 1, D 2, D 3 } Schnittmenge mit T 3 {D 1 } Anfrage((T 1 ODER T 2 ) UND NICHT T 3 ) In der Praxis setzt man für die Repräsentation von Mengen Bitvektoren und Hashing-Funktionen ein, für die jeweils die notwendigen Mengenoperationen implementiert sind.

17 G.Heyer Sprachprodukttechnologie SS Das vector space model (vsm) von Salton Seit Anfang der 60 er Jahre von Salton et al. in Harvard/Cornell entwickelt. Implementierung als System Smart Basisidee: Modellierung von Dokumenten wie Anfragen durch einen n-dimensionalen Vektorraum bei n unterschiedlichen Termen in der Indexierungssprache eignet sich durch direkten Interpretation von Anfragen in natürlicher Sprache, daher ein weites Einsatzgebiet (IR, automatische Klassifikation information filtering, routing etc.) Durch die Homomorphie von Anfrage- und Dokument- repräsentation eignen sich z.B. auch Dokument- repräsentationen als Anfragen (um z.B. "ähnliche Dokumente zu finden oder relevance feedback durchzuführen).

18 G.Heyer Sprachprodukttechnologie SS Formale Eigenschaften des vsm Repräsentation von Dokumenten und Anfragen als Vektor: Einfachste Annahme: Binäre Kodierung (0,1) der Terme in den Vektoren, ohne weitere Termgewichtung (wie im Booleschen Modell).

19 G.Heyer Sprachprodukttechnologie SS Bildliche Darstellung eines zweidimensionalen Vektorraumes: a r2 * T 2 T 2 * D r T2T2 DrDr a r1 * T 1 T 1 * D r T1T1

20 G.Heyer Sprachprodukttechnologie SS Die Berechnung der Ähnlichkeit zwischen Dokumenten und Anfragen kann im einfachsten Fall durch Skalarprodukt aus Gewichten und Vektoren in Anfrage und Dokumenten erfolgen: Dabei besteht das Problem, daß man an sich Kenntnis über Term-Term-Korrelationen (T i T j ) benötigt! Folge: (Unzulässige?) Vereinfachung des Modells – man nimmt der Einfachheit halber einen orthogonalen Vektorraum an, für den gilt:

21 G.Heyer Sprachprodukttechnologie SS Das bedeutet, dass eine völlige Unabhängigkeit der Terme (d.h. der Dimensionen des Vektorraums) angenommen wird, eine Annahme, die der Realität mit Sicherheit nicht entspricht. Eine Reihe von Modellen, die auf dem einfachen Vektorraummodell aufsetzen, versuchen diesen Nachteil zu beheben, ohne aber Term-Term-Korrelationen vollständig ausrechnen zu müssen. Dabei wird z.B. die Zahl der Dimensionen des Vektorraums, für die Korrelationen errechnet werden, deutlich reduziert.

22 G.Heyer Sprachprodukttechnologie SS Unter der Annahme orthogonaler Vektoren fällt also die Berechnung der Termkorrelation weg, und es ergibt sich (im einfachsten Fall) das Skalarprodukt der Vektoren als Ähnlichkeitsmaß für den Vergleich von Anfrage und Dokument bzw. Dokument und Dokument: 1. Dokument-Anfrage-Vergleich 2. Dokument-Dokument-Vergleich

23 G.Heyer Sprachprodukttechnologie SS Beispielrechnung zum Vektorraummodell Die nachfolgende Beispielrechnung zum Vekorraummmodell errechnet Anfrage-Dokumentähnlichkeiten ohne und mit Berücksichtigung von Term-Term-Korrelationen (vgl. Salton 1989): Voraussetzungen: Termmenge Dokumentenkollektion Anfrage Dokument-Term-Matrix Term-Term-Korrelationsmatrix Termmenge = {T 1, T 2, T 3 } Dokumente (mit Termgewichten): D 1 = 2T 1 + 3T 2 + 5T 3 D 2 = 3T 1 + 7T 2 + 1T 3

24 G.Heyer Sprachprodukttechnologie SS Anfrage: Q = 0T 1 + 0T 2 + 2T 3 Ähnlichkeitsberechnung (Skalarprodukt) ohne Term-Term- Korrelation: sim(D1, Q) = = 10 sim(D2, Q) = = 2 Zusatzinformation Term-Term-Korrelation: T 1 T 2 T 3 T T T

25 G.Heyer Sprachprodukttechnologie SS Ähnlichkeitsberechnung (Skalarprodukt) mit Term-Term-Korrelation: Zusätzlich zur Berechnung der Termgewichte in Anfrage und Dokument werden deren Produkte mit der jeweiligen Term- Term-Korrelation multipliziert, d.h.: sim(D 1, Q)= (2T 1 + 3T 2 + 5T 3 ) (2T 3 ) = 4 T 1 T T 2 T T 3 T 3 = = 8.8 sim(D 2, Q)= (3T 1 + 7T 2 + 1T 3 ) (2T 3 ) = 6 T 1 T T 2 T T 3 T 3 = = -0.8

26 G.Heyer Sprachprodukttechnologie SS Evaluationskriterien Die Qualität einer Anfrage bemisst sich neben Ihrer Vollständigkeit (und an sich auch der Qualität der enthaltenen Dokumentationseinheiten) vor allem nach ihrer Effektivität, d.h. nach der Möglichkeit, auf ein Informationsbedürfnis die passenden (relevanten) und nur die passenden Einheiten zu finden. Diese Effektivitätsmaße können durch die klassischen Parameter der Retrieval-Evaluierung bestimmt werden, bei der die Dokumentenkollektion nach den Kriterien relevant/ nicht relevant und nachgewiesen/ nicht nachgewiesen aufgeteilt wird.

27 G.Heyer Sprachprodukttechnologie SS Im einzelnen ergeben sich folgende Mengen: Zahl nachgewiesener relevanter Dokumentationseinheitena Zahl nachgewiesener nicht relevanter Dokumentationseinheitend Zahl nicht nachgewiesener relevanter Dokumentationseinheitenb Zahl nicht nachgewiesener nicht relevanter Dokumentationseinheitenc Zahl nachgewiesener Dokumentationseinheitena + b Zahl nicht nachgewiesener Dokumentationseinheiten c + d Zahl relevanter Dokumentationseinheiten a + d Zahl nicht relevanter Dokumentationseinheitenb + c Zahl aller Dokumentationseinheiten a + b + c + d

28 G.Heyer Sprachprodukttechnologie SS Recall und Precision Recall:Verhältnis gefundener relevanter Dokumente zur Gesamtmenge relevanter Dokumente (a/ a+d) Recall: 0 <= r <= 1 Precision:Verhältnis der gefundenen relevanten Dokumente zur Gesamtmenge gefundener Dokumente (a/a+b) Precision: 0 < p <= 1

29 G.Heyer Sprachprodukttechnologie SS Typischer Verlauf eines recall - precision - Graphen:


Herunterladen ppt "G.Heyer Sprachprodukttechnologie SS 2001 1 INFORMATION RETRIEVAL (IR) Begriffsbildung für Daten/ Wissen/ Information Daten Syntaktisch definierte Verfahren."

Ähnliche Präsentationen


Google-Anzeigen