Erfahrungen und Probleme bei der Relevanzbewertung in der laufenden Kampagne CLEF 2002 Michael Kluck (Informationszentrum Sozialwissenschaften – IZ, Bonn / Humboldt- Universität zu Berlin, Abteilung Pädagogik und Informatik) Persönliche Homepage: 2. Hildesheimer Evaluierungs- und Retrieval Workshop,

Voraussetzungen für die möglichst konsistente Relevanzbewertung Klarheit über den Inhalt der Topics (Fragestellungen) –Durch intensive Diskussion und weitgehende Präzisierung aller Topics Verlustfreie und themenangemessene Übersetzung in die Topic-Sprachen ohne Bedeutungsverschiebungen

Topic Example [mad cow EN, IT] C088 Mad Cow in Europe Find documents that cite cases of Bovine Spongiform Encephalopathy (the mad cow disease) in Europe. Relevant documents will report statistics and/or figures on cases of animals infected with Bovine Spongiform Encephalopathy (BSE), commonly known as the mad cow disease, in Europe. Documents that only discuss the possible transmission of the disease to humans are not considered relevant. C088 Mucca pazza in Europa Trova i documenti che citano i casi di mucca pazza (Encefalopatia Spongiforme Bovina) in Europa. Sono rilevanti i documenti che riportano statistiche e/o dati numerici sui casi di animali affetti da Encefalopatia Spongiforme Bovina (BSE), comunemente detta morbo della mucca pazza, in tutti i paesi europei. Non sono rilevanti i documenti sulla possibile trasmissione del morbo all'uomo.

Topic Example [ RSI NL, ES] C064 Muisarm Zoek documenten waarin melding wordt gemaakt van een muisarm. Relevante documenten melden klachten die veroorzaakt worden door het langdurig gebruik van een computermuis. Documenten waarin maatregelen worden genoemd voor het voorkomen van een muisarm tijdens het werken achter de computer zijn ook relevant. C064 Síndrome RSI y ratones de ordenador Encontrar documentos que informen sobre RSI ("repetitive strain injuries" o "enfermedad del periodista") producidas por el uso del ratón del ordenador. Los documentos relevantes informan sobre daños causados por el uso continuado de un ratón de ordenador. Los documentos que proponen formas de evitar el RSI cuando se usa el ordenador también son relevantes.

Präsentation der Ergebnisse für die Relevanzbewertung Pooling der Ergebnisse pro Topic und Sprache Ergebnisdatei pro Topic sortiert nach Dokument- nummern, nicht nach angenommener Relevanz Benutzung der Assess-Software von NIST, die die Hervorhebung spezieller Suchbegriffe ermöglicht

Allgemeine Bewertungsregeln (I) Die Fragestellung (Topic) gründlich lesen, auch während der Bewertung noch mehrmals wiederholen, um sich zu vergewissern Das Narrative als Entscheidungskriterium für die Relevanzentscheidungen heranziehen Jeden Topic in einem Zug durcharbeiten Die Kriterien der Relevanzentscheidung nicht im Laufe der Bewertung ändern!

Allgemeine Bewertungsregeln (II) Unterschiedliche Ausdrucksweisen in Teilgebieten eines Sprachraumes beachten: „Abschiebung“ (Deutschland) „Ausschaffung“ (Schweiz) Die Topic-Diskussion ins Gedächtnis rufen und Bewerter/Koordinatoren einbeziehen Unklarheiten, die während der Bewertung auftreten sofort diskutieren Zweistufiges Vorgehen: –1. Runde: alle eindeutig relevanten Dokumente, –2. Runde: unklare Fälle nochmals durchgehen oder in der Gruppe diskutieren

Beispiele aus der Bewertung von GIRT-Dokumenten Art der Fragestellung Bewertungsmöglichkeit der Resultate Vagheit der Entscheidungen Wiederholung von Bewertungen (teilweise: nur unentschiedene oder nochmals die als relevant gekennzeichneten)

Einfach zu bewerten, klare diskriminierende Begriffe, gutes Ergebnis, aber geografische Einschränkung offensichtlich nicht verwertet 059 Umweltbewusstsein in Deutschland Finde Dokumente, die über die Entwicklung des Umweltbewusstseins und die Einstellung zur Umwelt in Deutschland berichten. Relevante Dokumente berichten über die Entwicklung des Umweltbewusstsein in Deutschland, die Einstellung zur Umwelt oder die Bereitschaft zu umweltbewusstem Handeln. Nicht relevant sind Dokumente die allgemein über die Umwelt sprechen, ohne konkret das Umweltbewusstsein zu thematisieren. Dokumente: 418 Relevante Dokumente: 101 bzw. 24,16% Markierte sinntragende Begriffe: Umweltbewusstsein Deutschland Umwelt umweltbewusst Handeln

Einfach zu bewerten, klare diskriminierende Begriffe, schwaches Ergebnis 060 Selektionsfunktion der Schule Finde Dokumente, die über die Selektions- und Zuweisungsfunktion allgemeinbildender Schulen berichten. Wie üben Schulen ihre Selektionsfunktion aus und welche negativen Effekte sind damit verbunden? Relevante Dokumente können auch über die Vorherbestimmung der späteren gesellschaftliche Stellung der Lernenden berichten. Diskussionen über die Legitimation der Schule durch Wahrnehmung dieser Funktionen sind ebenso von Bedeutung. Dokumente: 424 Relevante Dokumente: 3 0,71% Markierte sinntragende Begriffe: Selektionsfunktion Schule Zuweisungsfunktion Selektion Schüler Chancenzuweisung Positionszuweisung

Einfach zu bewerten, klare diskriminierende Begriffe, kein Ergebnis, andere Fragestellung hätte einige Ergebnisse gehabt: Rettungsdienst und psychische Belastung 066 Psychosomatische Beschwerden bei Pflegepersonal Finde Dokumente, die über signifikante psychosomatische Beschwerden bei extramuralem Pflegepersonal und Rettungsdienstmitarbeitern berichten. Treten bei Rettungsdienstpersonal signifikante psychosomatische Beschwerden auf? Warum und welche Belastungen werden angegeben? Wie kann diesen Beschwerden vorgebeugt werden? Dokumente: 323 Relevante Dokumente: 0 0% Markierte sinntragende Begriffe: psychosomatisch Beschwerden Pflegepersonal extramural Rettungsdienst Belastung Rettungswesen

Einfach zu bewerten, klare diskriminierende Begriffe, Ergebnis getrübt durch allgemeine Begriffe: Missbrauch 067 Drogenmissbrauch Drogenmissbrauch mit sogenannten Designerdrogen, Ecstasy usw. Relevante Dokumente berichten über den Missbrauch von sogenannten Designerdrogen wie z.B. Ecstasy. Allgemeine Betrachtungen zum Drogenmissbrauch oder Berichte über den Missbrauch andere Drogen sind nicht relevant. Docs: 403 Rel docs: 5 1,24% Markierte sinntragende Begriffe: Drogenmissbrauch Designerdroge Ecstasy Drogen synthetisch Drogenkonsum Bemerkungen: Missbrauch (sexuell, allgemein)

Bei vielen, sehr unterschiedlichen Fragestellungen vorkommende Dokumente: –Das Jugendarchiv Rußlands –Joachim Siegerist und die “Deutschen Konservativen” Statistik (alle 25 GIRT-Topics bewertet): –durchschnittlich 413 Dokumente pro Topic, mindestens 283 Dokumente, maximal 553 Dokumente –Prozentsatz der relevanten Dokumente pro Topic: maximal 32%, mindestens 0% bzw. 0,5%, durchschnittlich 10 %