Evaluierung von Information Retrieval Systemen Teil 2: TREC – Million Query Track Karin Haenelt /

Inhalt: TREC Million Query Track  Ziele und Aufgaben  Auswahl des Corpus und der Queries  Teilnehmende Systeme  Beurteilungsverfahren  Beurteilungsmethoden  UMass  NEU 2© Karin Haenelt, Evaluierung von IR-Systemen

Million Query Track  erste Durchführung: TREC 2007  Ziele des Tracks 1.Erforschung des ad-hoc-Retrieval in einer sehr großen Dokumentkollektion 2.Untersuchungen der Systemevaluierung, Frage: was ist besser:  viele oberflächliche Beurteilungen oder  wenige gründliche Beurteilungen? 3 (Allan, Carterette, Aslam, Pavlu, Dachev, Kanoulas, 2007) © Karin Haenelt, Evaluierung von IR-Systemen

Million Query Track  Aufgaben der Teilnehmenden 1.Systemlauf von Anfragen gegen eine 426 GB Testkollektion 2.Beurteilung von Dokumenten bezüglich der Relevanz für bestimmte Anfragen kollaboratives online-Verfahren: alle Teilnehmenden beurteilen eine Teilmenge der Dokumente 4 (Allan, Carterette, Aslam, Pavlu, Dachev, Kanoulas, 2007) © Karin Haenelt, Evaluierung von IR-Systemen

Inhalt: TREC Million Query Track  Ziele und Aufgaben  Auswahl des Corpus und der Queries  Teilnehmende Systeme  Beurteilungsverfahren  Beurteilungsmethoden  UMass  NEU 5© Karin Haenelt, Evaluierung von IR-Systemen

Testaufbau Auswahl des Corpus: GOV2-Collection  Sammlung des Webseiten der.gov-Domäne aus dem Jahr 2004  gesammelt von Web-Crawlern  HTML, text, extrahierte Texte aus PDF, Word und Postscript  25 Millionen Dokumente, 426 GB  verteilt durch Universität Glasgow  auf Platte  gegen Beteiligung an Unkosten der Zusammenstellung und der Versendung 6 (Allan, Carterette, Aslam, Pavlu, Dachev, Kanoulas, 2007) © Karin Haenelt, Evaluierung von IR-Systemen

Testaufbau Auswahl der Queries  Sammlung von Anfragen an eine große Internetsuchmaschine  Auswahl von Anfragen mit mindestens einem relevanten Dokument in GOV2-Corpus  ermittelt aus log files der Suchmaschine  Anfragen, die zu einem Click auf ein Dokument aus GOV2-Corpus führten  Clicks bieten keine Garantie, aber gewisse Wahrscheinlichkeit der Relevanz  keine Qualitätskontrolle der Queries (Tippfehler, sprachliche Fehler, …)  Erstellung einer Textdatei mit den Anfragen Beispiel: 32: barack obama internships 7 (Allan, Carterette, Aslam, Pavlu, Dachev, Kanoulas, 2007) © Karin Haenelt, Evaluierung von IR-Systemen

Testaufbau Auswahl der Queries  Short Queries (TREC-Standard): Originalanfragen an die Suchmaschine  Long Queries (TREC-Standard): aus short queries während des Beurteilungsprozesses von Menschen entwickelt 8 (Allan, Carterette, Aslam, Pavlu, Dachev, Kanoulas, 2007) © Karin Haenelt, Evaluierung von IR-Systemen

Einsendungen der Teilnehmenden  Durchlauf der Fragen  Rückgabe der höchstplatzierten Ausgaben für jede der Queries 9 (Allan, Carterette, Aslam, Pavlu, Dachev, Kanoulas, 2007) © Karin Haenelt, Evaluierung von IR-Systemen

Inhalt: TREC Million Query Track  Ziele und Aufgaben  Auswahl des Corpus und der Queries  Teilnehmende Systeme  Beurteilungsverfahren  Beurteilungsmethoden  UMass  NEU 10© Karin Haenelt, Evaluierung von IR-Systemen

Teilnehmende ARSC multisearch system / University of Alaska Fairbanks  Grid Information Retrieval und multisearch-Ansatz: Verteilung einer Anfrage auf mehrere Hosts mit jeweils eigenen Suchmaschinen  Ziel: Schätzung der Anzahl von Hosts, die für Anfragen in der vorgegebenen Zeit befragt werden können  frühere Leistung für ähnliche Anfragen (TREC-Bewertung); qrel: (topic, document, relevance score)  20% der Hosts, die ein relevantes Dokument zu einer Query liefern, enthalten 78% aller relevanten Dokumente  80% der Hosts, die für alle Queries ein relevantes Dokument liefern, enthalten 10 oder weniger relevante Dokumente für eine Query  nur die Hosts mit den meisten relevanten Dokumenten in früheren TRECs durchsucht  Zusammenführung der Ergebnisse (in Entwicklung)  Index- und Suchtechniken aus Lucene verwendet 11 (Allan, Carterette, Aslam, Pavlu, Dachev, Kanoulas, 2007) © Karin Haenelt, Evaluierung von IR-Systemen

Teilnehmende Exegy Inc.  Firma: Entwickler von Ultra-Hochleistungs-Hardware (11-50 Mitarbeitende)  Suche mit Spezialsuchmaschine: Exegy Text Miner (XTM): hybrides System: hardware-software co-design-Architektur  Suche über unindizierte Texte (brute force string search)  relevante Ergebnisse für die meisten Queries  durchschnittliche Precision (nach UMass-Messung) und (nach NEU-Messung)  vollständige Suche über gesamtes unindiziertes Corpus für Fragen in weniger als 2,5 Stunden 12 (Allan, Carterette, Aslam, Pavlu, Dachev, Kanoulas, 2007) © Karin Haenelt, Evaluierung von IR-Systemen

Teilnehmende IBM Haifa  Weiterentwicklung der Ranking-Funktion von Lucene zu üblichen Formeln der TREC-Teilnehmenden:  bessere Dokumentlängennormalisierung  bessere Term-Gewichts-Maße  Query-Parsing  Stoppwortentfernung  Synonym-Expansion  Phrasen-Expansion  deutlich bessere Ergebnisse als mit früheren Lucene-Formeln  ähnliche Ergebnisse wie mit eigener Suchmaschine Juru 13 (Allan, Carterette, Aslam, Pavlu, Dachev, Kanoulas, 2007) © Karin Haenelt, Evaluierung von IR-Systemen

Teilnehmende Universität Amsterdam / Universität Twente  Ziel: Vergleich früherer Terabyte Tracks mit Million Query Track:  Einfluss flacher Pooling-Methoden auf gemessene Effektivität der Retrievalmethoden  Einfluss größerer Themenmenge  Retrieval nach folgenden Methoden  Volltext-Index (mit Vektorraum-Modell und Sprachmodell)  Titel-Index (mit Sprachmodell)  Anker-Text-Index (Text eines Hyperlinks) (mit Sprachmodell) 14 (Allan, Carterette, Aslam, Pavlu, Dachev, Kanoulas, 2007) © Karin Haenelt, Evaluierung von IR-Systemen

Teilnehmende Universität Amsterdam / Universität Twente  Bewertung der Ergebnisse nach Standard-TREC-Verfahren  Bewertung der Ergebnisse nach MQ-Bewertungen (nicht- gesichtete Texte gelten als nicht relevant)  Vergleich:  MQ-Evaluierung ähnliche Ergebnisse wie nach Standard- TREC-Methode  MQ-Evaluierung zeigt stärkere Korrelation mit precision auf den vorderen Rängen 15 (Allan, Carterette, Aslam, Pavlu, Dachev, Kanoulas, 2007) © Karin Haenelt, Evaluierung von IR-Systemen

Teilnehmende University of Melbourne  Vier Retrieval-Varianten 1.topic-only (Originalanfragen) Ähnlichkeitsmaß basierend auf einem Sprachmodell mit Dirichlet-Glättung 2.Anfrage an öffentliche Suchmaschine, Auswahl von Termen aus den 5 höchtplatzierten Dokumenten und Erweiterung der Anfrage um diese Terme 3.impact-based ranking (Anzahl der Zitierungen) 4.Zusammenfassung von 1 und 3 16 (Allan, Carterette, Aslam, Pavlu, Dachev, Kanoulas, 2007) © Karin Haenelt, Evaluierung von IR-Systemen

Teilnehmende  Heilongjiang Institute of Technology, China: verwendet Lemur  Northeastern University: verschiedene Lemur-Standardformeln (tf-idf bm25, tdf-idf log, kl abs, kl dir, inquery, cos, okapi) und Kombination der Ausgabe (Metasuche) mit dem hedge Algorithmus  RMIT: Zettair Dirichlet smoothed language model  SabIR Standard SMART ltu.Lnu  University of Massachusetts Amherst verwendet Indri-Retrieval- System 17 (Allan, Carterette, Aslam, Pavlu, Dachev, Kanoulas, 2007) © Karin Haenelt, Evaluierung von IR-Systemen

Inhalt: TREC Million Query Track  Ziele und Aufgaben  Auswahl des Corpus und der Queries  Teilnehmende Systeme  Beurteilungsverfahren  Beurteilungsmethoden  UMass  NEU 18© Karin Haenelt, Evaluierung von IR-Systemen

Relevanzbeurteilungen Ziel  Ziel:  Erstellung einer kleinen Anzahl von Beurteilungen für eine große Anzahl von Themen  Ergebnis  1700 vom queries beurteilt  frühere TRECs: 50 queries  Bewertende  NIST Gutachter  Teilnehmende 19 (Allan, Carterette, Aslam, Pavlu, Dachev, Kanoulas, 2007) © Karin Haenelt, Evaluierung von IR-Systemen

Relevanzbeurteilungen Beurteilungsverfahren  Bewertungssystem erstellt von University of Massachusetts auf der Basis des Drupal-Content Management Systems 1.Bewertungssystem schlägt 10 zufällig ausgewählte queries vor 2.Bewertende wählen eine dieser 10 queries zur Beurteilung 3.Bewertende erstellen eine TREC-long query ( Beschreibung, narrative Angabe der Relevanzkriterien) 4.Bewertungssystem präsentiert ein Dokument und fragt, ob es für die query relvant ist (highly relevant, relevant, not relevant) 5.Wiederholung von 4. bis zu 40 Dokumenten 20 (Allan, Carterette, Aslam, Pavlu, Dachev, Kanoulas, 2007) © Karin Haenelt, Evaluierung von IR-Systemen

Inhalt: TREC Million Query Track  Ziele und Aufgaben  Auswahl des Corpus und der Queries  Teilnehmende Systeme  Beurteilungsverfahren  Beurteilungsmethoden  UMass  NEU 21© Karin Haenelt, Evaluierung von IR-Systemen

Beurteilungsmethode Standardevaluierungsverfahren der TREC  Aufbau von Datenbanken mit großen Mengen von Relevanzbeurteilungen  Teilnehmende schicken Ergebnisse der Retrievalläufe auf einem Corpus ein  N höchstplatzierte Dokumente aus jedem System kommen in einen Pool und werden von Menschen auf Relevanz untersucht 22© Karin Haenelt, Evaluierung von IR-Systemen

Beurteilungsmethode Standardevaluierungsverfahren der TREC  Pooling&Beurteilungs-Verfahren ungeeignet für  riesige Datenmengen  im besten Fall uneffizient  im schlechtesten Fall nicht machbar  sehr dynamische Kollektionen (Beispiel: Internet) und ständige Evaluierung neuer Algorithmen (Testdaten verschwinden, verlieren an Relevanz, erscheinen neu)  spezifische Aufgaben (sehr hoher Aufwand für Einzelfall) 23© Karin Haenelt, Evaluierung von IR-Systemen

Beurteilungsmethode Minimal Test Collection (MTC)  Ben Carterette, James Allan, and Ramesh K. Sitaraman. Minimal test collections for retrieval evaluation. In: Proceedings of SIGIR, pages ,  James Allan, Ben Carterette, Javed A. Aslam, Virgil Pavlu, Blagovest Dachev, Evangelos Kanoulas (2007). Million Query Track 2007 Overview. Proceedings of TREC  auch UMass-Verfahren genannt (University of Massachusetts Amherst) 24 (Carterette, Allan, Sitamaran, 2006) © Karin Haenelt, Evaluierung von IR-Systemen

Beurteilungsmethode Minimal Test Collection (MTC)  Ziel  Erforschung  eines minimalen Beurteilungsaufwandes  für eine möglichst hohe Konfidenz des Evaluierungsergebnisses  Aufbau einer minimalen Testkollektion zum Vergleich von IR-Systemen 25© Karin Haenelt, Evaluierung von IR-Systemen

Beurteilungsmethode Minimal Test Collection (MTC)  Ansatz: Verbindung von  Evaluierung und  Konstruktion von Testkollektionen 26 (Carterette, Allan, Sitamaran, 2006) © Karin Haenelt, Evaluierung von IR-Systemen

Beurteilungsmethode Minimal Test Collection (MTC)  Methode: neue Sicht auf durchschnittliche Präzision  Schätzung des Grades der Konfidenz durch Definition einer Verteilung über mögliche Dokumentbeurteilungen  ermöglicht Evaluierung von Retrievalsystemen mit minimaler Menge an Beurteilungen  führt zu einem Algorithmus zum Aufbau einer Testkollektion  Studie mit dieser Methode: Bestimmung der Rangfolge einer Menge von Systemen möglich mit  kleiner Gruppe von Beurteilenden  in weniger als drei Stunden mit 95% Konfidenz 27 (Carterette, Allan, Sitamaran, 2006) © Karin Haenelt, Evaluierung von IR-Systemen

Minimal Test Collection (MTC) Methode Grundgedanken 1.Neuartige Sicht auf durchschnittliche Präzision (AP – average precision): Betrachtung im Sinne eines Bernouilli Experiments 2.AP ist normalverteilt über mögliche Mengen von Relevanzbeurteilungen 3.[2.] ermöglicht die Schätzung der Konfidenz einer AP 4.Grad der Konfidenz dient als Abbruchkriterium für den Algorithmus 5.[4.] ermöglicht Verbindung von Evaluierung und Konstruktion einer Testkollektion 28 (Carterette, Allan, Sitamaran, 2006) © Karin Haenelt, Evaluierung von IR-Systemen

Minimal Test Collection (MTC) Methode Grundgedanken 1 1.Neue Sicht auf durchschnittliche Präzision (AP – average precision): Betrachtung des Beitrags einzelner Dokumente zur durchschnittlichen Präzision (AP average precision) als quadratische Gleichung über Bernoulli Experimente X i für die Relevanz eines Dokuments i 29 (Carterette, Allan, Sitamaran, 2006) © Karin Haenelt, Evaluierung von IR-Systemen

Minimal Test Collection (MTC) Methode Grundgedanken 2 2.Betrachtung der Differenz der durchschnittlichen Präzision Δ AP zwischen zwei Systemen s 1 und s 2  Δ AP ist über alle möglichen Relevanzzuordnungen zu allen unbeurteilten Dokumente normalverteilt  Normalverteilung ermöglicht Angabe einer Konfidenz für das beim jeweiligen Fortschritt der Beurteilung erreichte Ergebnis 30 (Carterette, Allan, Sitamaran, 2006) © Karin Haenelt, Evaluierung von IR-Systemen

Minimal Test Collection (MTC) Methode Grundgedanken 3 3.Grad der Beurteilungssicherheit dient als Abbruchkriterium für den Algorithmus 4.→ Verbindung von Evaluation und Konstruktion der Testkollektion 31 (Carterette, Allan, Sitamaran, 2006) © Karin Haenelt, Evaluierung von IR-Systemen

Minimal Test Collection (MTC) Methode Ergebnisse 32 (Carterette, Allan, Sitamaran, 2006) © Karin Haenelt, Evaluierung von IR-Systemen

Minimal Test Collection (MTC) Methode Ergebnisse 33 (Carterette, Allan, Sitamaran, 2006) © Karin Haenelt, Evaluierung von IR-Systemen

Minimal Test Collection (MTC) Methode Evaluierungssystem  ordnet Dokumente iterativ nach ihrem Informationsbeitrag zu einer Differenz der durchschnittlichen Präzision  präsentiert das höchstgeordnete Dokument zur Beurteilung  Neugewichtung und Neuordnung der Dokumente nach einer Beurteilung 34© Karin Haenelt, Evaluierung von IR-Systemen

Auswahl von Dokumente für die Beurteilung Statistical evaluation (statMAP) Methode  beurteilt eine Zufallsmenge von Dokumenten von einer geordneten Liste  erzeugt eine Schätzung der Durchschnittspräzision, R-Präzision und Präzision an Standard-Messpunkten  nicht-zufällig beurteilte Dokumente können in den Schätzprozess einbezogen werden 35 (Allan, Carterette, Aslam, Pavlu, Dachev, Kanoulas, 2007) © Karin Haenelt, Evaluierung von IR-Systemen

Ergebnisse TREC 2007  Vergleich der Ergebnisse  TREC-Standardmethode über Terabyte-Corpus  MTC über MillionQueries-Corpus  statMap über MillionQueries-Corpus  Übereinstimmung in der relativen Ordnung der Systeme  statMap vermutlich bessere Schätzung der mean average precision (MAP)  MTC vermutlich ein korrektes Ranking der Systeme  MTC bessere Konfidenz 36 (Allan, Carterette, Aslam, Pavlu, Dachev, Kanoulas, 2007) © Karin Haenelt, Evaluierung von IR-Systemen

Literatur  James Allan, Ben Carterette, Javed A. Aslam, Virgil Pavlu, Blagovest Dachev, Evangelos Kanoulas (2007). Million Query Track 2007 Overview. Proceedings of TREC  Ben Carterette, James Allan, and Ramesh K. Sitaraman. Minimal test collections for retrieval evaluation. In: Proceedings of SIGIR, pages ,  Eliah Ninyo, Keren Kenzi (o.J.). Minimal Test Collections for Retrieval Evaluation. B. Carterette et al. Test Collections for Retrieval Evaluation-Eli+Keren.ppt Test Collections for Retrieval Evaluation-Eli+Keren.ppt Versionen: 2.1: , 2.0: , 1.0: © Karin Haenelt, Evaluierung von IR-Systemen