Seminar Textmining WS 06/07 Aufgaben V Rankingbewertungen Precision/Recall und Mean Average Precision Als Verbessung vom boolschen Retrieval Vector space Termgewichtungen Hund Katze: Dokument mit 3xHund und 0xKatze gewinnt über Dokument mit 1xHund und 1xKatze (Beispiel rechnen lassen) Seminar Textmining WS 06/07
Bewertung von Rankings Gegeben sind folgend bewertete Antworten: S1: x – x x x - - - - - (10) S2: - - - x - - x x x – (10) S3: x – x – x – x – x – (20) S4: - x – x – x – x - x (30) S5: - - - - - - - x - - (1) Nehmen Sie an, dass es sich um die gleiche Query handelt und um verschiedene IR Systeme. Welches hat beste Precision, Recall, F-value (2PR/(P+R)), Mean Average Precision? Nehmen Sie an, es handelt sich um in IR System und verschiedene Queries. Wie hoch ist Precision, Recall, F-value und Mean Average Precision? Seminar Textmining WS 06/07
Bewertung von Rankings Auflösung: P R F MAP S1: 4/10 4/10 4/10 (1 + 2/3 + 3/4 + 4/5)/10 * 100 = 32.2% S2: 4/10 4/10 4/10 (1/4 + 2/7 + 3/8 + 4/9)/10 * 100 = 13.6% S3: 5/10 5/20 1/3 (1 + 2/3 + 3/5 + 4/7 + 5/9)/20 * 100 = 17% S4: 5/10 5/30 1/4 (1/2 + 2/4 + 3/6 + 4/8 + 5/10)/30 *100 = 8.3% S5: 100% 100% 100% (1/8)/1*100 = 12.5% Nehmen Sie an, es handelt sich um in IR System und verschiedene Queries. Wie hoch ist Precision, Recall, F-value und Mean Average Precision? P=56% R=44.3% F=47.7% MAP=16.72% Seminar Textmining WS 06/07
Seminar Textmining WS 06/07 In diesem Diagramm sind Precision und Recall eingetragen. Welche Kurve ist Precision, welche Recall? Wenn noch F-value eingetragen wäre, wie würde die neue Kurve aussehen? 100% A B Size of top list Seminar Textmining WS 06/07
Berechnung von Ranking Gegeben folgende Dokumente und Terme, sowie eine query. Ranken Sie die Dokumente entsprechend der query. D1: Hund(2) Katze und(4) der(2) die … D2: D3: D4: D5: Q: Der Hund jagt die Katze … unter der Annahme der binären Kodierung: sim(Q,D1)= … … mit Summe aus Termwert und … sim(Q,D1)=… Berechnen Sie die Ähnlichkeit der Dokumente untereinander. Seminar Textmining WS 06/07
Seminar Textmining WS 06/07