Inhaltserschliessung ein Beispiel A Bibliographic Search by Computer Updating plasma-physics data was a chance to experiment with information and programs.

Präsentation zum Thema: "Inhaltserschliessung ein Beispiel A Bibliographic Search by Computer Updating plasma-physics data was a chance to experiment with information and programs."—  Präsentation transkript:

1 Inhaltserschliessung ein Beispiel A Bibliographic Search by Computer Updating plasma-physics data was a chance to experiment with information and programs of the Technical Information Project at MIT. The computer searched for indicative words in titles of papers that shared bibliographic references and those that referred to papers that have become classics in plasma-physics. Bibliographic, Search, Computer Plasma- Physics, Information, Papers Titel: Abstract: Titel suggeriert: Die 3 häufigsten Wörter des Abstracts:

2 Inverse Dokumentenhäufigkeit idf N: Totalanzahl der Dokumente der Kollektion n k : Anzahl der Dokumente, die Term k enthalten Gewichtung w i k mit idf: tf i k : Häufigkeit von Term k in Dokument i idf k =log +1 w i k =tf i k idf k

3 Termhäufigkeit: Vergleich mit Normtext Vergleiche relative Häufigkeit von Term k in Objekt i mit der relativen Häufigkeit von Term k in einem Normtext: p i k = wo N i : Anzahl token im Objekt i = wo z.B. N Norm = 10 6 Relative Häufigkeit p k von k bezüglich eines Normtextes: pk = pk =

4 Vergleich mit Normtext ein Beispiel Text: Needham, G.A.: „Advanced Integrated Circuits Packaging“, SCP and Solid State Technology, June 1965. N i = 1515

5 Vergleich mit Normtext ein Beispiel Text: Stiles, H.E.: „The Association Factor in Information Retieval“, JACM 8, 1961 N i = 3188

6 Stop List Contains about 250 common words. A typical stop list starts as follows: A ABOUT ACROSS AFTER AFTERWARDS AGAIN AGAINST ALL ALMOST ALONE ALONG ALREADY ALSO ALTHOUGH ALWAYS AMONG AMONGST AN AND ANOTHER ANY ANYHOW ANYONE ANYTHING ANYWHERE ARE AROUND AS AT BE BECAME BECAUSE BECOME BECOMES BECOMING...

7 Wortreduktions-Algorithmen n Wörterbuchbasierte: Ergebnis: im allgemeinen linguistisch korrekter Wortstamm. z.B.: Algorithmus von Lovins n Wörterbuchunabhängige: Ergebnis: reduziertes Wort, d.h. oft Pseudo-Wortstamm, der linguistisch nicht korrekt ist. z.B.: Algorithmus von Porter

8 Suffix List Exerpt from a typical suffix list: ABILITIES ABILITY ABLE ABLED ABLEDLY ABLENESS ABLER ABLES ABLING ABLINGFUL ABLINGLY ABLY ACEOUS ACEOUSLY ACEOUSNESS ACEOUSNESSES ACIDOUS ACIDOUSLY ACIES ACIOUSNESS ACIOUSNESSES ACITIES ACITY ACY AE AGE AGED AGER AGES AGING AGINGFUL AGINGLY AIC AICAL AICALLY AICALS AICISM AICISMS...