Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Seminar Textmining WS 06/07 Aufgaben V Rankingbewertungen Precision/Recall und Mean Average Precision Als Verbessung vom boolschen Retrieval Vector space.

Ähnliche Präsentationen


Präsentation zum Thema: "Seminar Textmining WS 06/07 Aufgaben V Rankingbewertungen Precision/Recall und Mean Average Precision Als Verbessung vom boolschen Retrieval Vector space."—  Präsentation transkript:

1 Seminar Textmining WS 06/07 Aufgaben V Rankingbewertungen Precision/Recall und Mean Average Precision Als Verbessung vom boolschen Retrieval Vector space Termgewichtungen –Hund Katze: –Dokument mit 3xHund und 0xKatze gewinnt über Dokument mit 1xHund und 1xKatze (Beispiel rechnen lassen)

2 Seminar Textmining WS 06/07 Bewertung von Rankings Gegeben sind folgend bewertete Antworten: S1: x – x x x (10) S2: x - - x x x – (10) S3: x – x – x – x – x – (20) S4: - x – x – x – x - x (30) S5: x - - (1) Nehmen Sie an, dass es sich um die gleiche Query handelt und um verschiedene IR Systeme. Welches hat beste Precision, Recall, F-value (2PR/(P+R)), Mean Average Precision? Nehmen Sie an, es handelt sich um in IR System und verschiedene Queries. Wie hoch ist Precision, Recall, F-value und Mean Average Precision?

3 Seminar Textmining WS 06/07 Bewertung von Rankings Auflösung: P R F MAP S1: 4/10 4/10 4/10 (1 + 2/3 + 3/4 + 4/5)/10 * 100 = 32.2% S2: 4/10 4/10 4/10 (1/4 + 2/7 + 3/8 + 4/9)/10 * 100 = 13.6% S3: 5/10 5/20 1/3 (1 + 2/3 + 3/5 + 4/7 + 5/9)/20 * 100 = 17% S4: 5/10 5/30 1/4 (1/2 + 2/4 + 3/6 + 4/8 + 5/10)/30 *100 = 8.3% S5: 100% 100% 100% (1/8)/1*100 = 12.5% Nehmen Sie an, es handelt sich um in IR System und verschiedene Queries. Wie hoch ist Precision, Recall, F-value und Mean Average Precision? P=56% R=44.3% F=47.7% MAP=16.72%

4 Seminar Textmining WS 06/07 In diesem Diagramm sind Precision und Recall eingetragen. Welche Kurve ist Precision, welche Recall? Wenn noch F-value eingetragen wäre, wie würde die neue Kurve aussehen? Size of top list 100%A B

5 Seminar Textmining WS 06/07 Berechnung von Ranking Gegeben folgende Dokumente und Terme, sowie eine query. Ranken Sie die Dokumente entsprechend der query. –D1: Hund(2) Katze und(4) der(2) die … –D2: –D3: –D4: –D5: –Q: Der Hund jagt die Katze … unter der Annahme der binären Kodierung: sim(Q,D1)= … … mit Summe aus Termwert und … sim(Q,D1)=… Berechnen Sie die Ähnlichkeit der Dokumente untereinander.

6 Seminar Textmining WS 06/07


Herunterladen ppt "Seminar Textmining WS 06/07 Aufgaben V Rankingbewertungen Precision/Recall und Mean Average Precision Als Verbessung vom boolschen Retrieval Vector space."

Ähnliche Präsentationen


Google-Anzeigen