Kompass für wissenschaftliches Arbeiten Lerneinheit Evaluieren Anleitung für alle Fachbereiche Start Zeitaufwand: ca. 20 Minuten

Lernziele In dieser Lerneinheit wird Ihnen das Basiswissen für einen kritischen Umgang mit Informationen vermittelt: Sie lernen, Bücher, Artikel und Webseiten und andere Informationsquellen zu bewerten Sie lernen die wichtigsten Kriterien für die Beurteilung von Forschungsarbeiten kennen, nämlich: Zuverlässigkeit Objektivität Genauigkeit Relevanz Sie lernen, die Qualität von Informationen aus dem Internet kritisch zu beurteilen NB: Die nächsten 3 Folien über die Eingrenzung bzw. Ausweitung der Treffermenge von Recherchen decken sich mit dem Teil Bewertung in der Lerneinheit Recherchieren. Sie können diese gerne überspringen. Evaluieren

Inhalt Lernziele Eingrenzung und Ausweitung der Treffermenge Erstbeurteilung Inhaltsanalyse Bewertung einer Forschungsarbeit Evaluieren von Internetquellen Prüfen Sie Ihr Wissen Evaluieren

Bewertung einer Recherche Bevor wir zur Bewertung der QUALITÄT von Informationen kommen, hier nochmals eine kurze Anleitung, wie sich die Treffermenge einer Recherche eingrenzen bzw. ausweiten lässt. Eine Recherche ist immer eine Gratwanderung zwischen zu viel und zu wenig finden. Bei einer konkreten Suchanfrage merken Sie in der Regel sehr schnell, auf welcher Seite sich ihre Treffermenge befindet. Wie Sie weiter vorgehen, hängt wiederum mit der Frage nach der Zielrichtung ihrer Recherche zusammen. Brauchen Sie nur einen groben Überblick über ein Thema für beispielsweise ein Referat, so sollten Sie vor allem auf Relevanz achten und können sich das mühsame Aussortieren nicht relevanter Treffer nach der Recherche sparen. Benötigen Sie aber eine genaue Analyse Ihres Themas, beispielweise für eine Bachelor-These, so wird die Vollständigkeit wichtig sein und Sie müssen Ihre Suche breiter fassen, damit Ihnen keine wichtigen Details verloren gehen. Die beiden folgenden Seiten geben Ihnen ein paar Hinweise, wie Sie Ihre Suchanfrage ändern können, damit Sie mehr oder weniger Treffer erhalten. Evaluieren

Zu wenig Literatur? Sie haben relevante Literatur gefunden, sind aber der Meinung, das sei noch zu wenig? Dann sollten Sie folgendes überdenken: Haben Sie alle wichtigen Schlagworte richtig verwendet? Oder finden Sie im Index noch weitere Begriffe, die von Belang sein könnten? Mit welchen Schlagworten sind Ihre bisherigen Treffer erschlossen; könnten Sie damit nochmals eine neue Suche starten? Macht es Sinn, nach einem Begriff trunkiert zu suchen? Haben Sie in allen relevanten Informationsquellen gesucht? Gibt es vielleicht noch speziellere Bibliographien, in denen Sie weiter suchen könnten? Nutzen Sie das Schneeballsystem: Welche Titel werden in den Literaturverzeichnissen der von Ihnen gefundenen Bücher und Aufsätze genannt? Sind dabei auch solche, die für Ihre spezielle Fragestellung nützlich sein könnten? Neben diesem rückwärts gerichteten Schneeballsystem könnten Sie auch in die Zukunft suchen: Einige Datenbanken (z.B. Scopus, Social Sciences Citation Index, SciFinder Scholar) ermöglichen eine Suche danach, in welchen späteren Werken ein bestimmter Aufsatz zitiert wurde. Evaluieren

Zu viel Literatur? Sie ertrinken in der Flut der gefundenen Literaturhinweise? Vielleicht sind die folgenden Hinweise nützlich: Schauen Sie die gefundenen Treffer intensiv durch: Welches sind die inhaltlich doch verzichtbaren Titel, weil sie nur einen Randbereich Ihres eigentlichen Themas abdecken oder nichts Neues zu Ihrer Arbeit beitragen? Spätestens beim Anlesen eines Buches oder Aufsatzes werden Sie in einigen Fällen auch merken, dass der Titel doch zuviel versprochen hat und vielleicht gar nicht so viel hergibt. Eine nochmalige Eingrenzung Ihres Themas kann helfen. Bei der Recherche können Sie dies durch die Verwendung von AND-Operatoren umsetzen. (Näheres dazu erfahren Sie in der Lerneinheit Effizient recherchieren.) Auch qualitative Kriterien spielen eine Rolle: Ist der Autor renommiert, hat er zu diesem Thema schon mehrfach veröffentlicht, arbeitet er z.B. an einer Universität? Ist ein Aufsatz in einer seriösen Fachzeitschrift erschienen (z.B. mit einem Peer Review-Verfahren, in dem alle Aufsätze begutachtet werden); ein Buch in einem seriösen Verlag? Und natürlich auch: Halten SIE die Argumentation für stichhaltig? Mit Hilfe solcher Überlegungen lassen sich sicherlich einige weniger hochwertige Publikationen herausfiltern, auf die dann verzichtet werden kann. Evaluieren

Bewertung der Informationsqualität Die vorhergehenden Überlegungen sind bereits eine Überleitung zu unserem eigentlichen Thema, dem Bewerten der QUALITÄT von Informationen. Viele Studierende vernachlässigen diesen Teil innerhalb des Rechercheprozesses. Ihnen ist lediglich wichtig, dass sie eine Information gefunden haben, egal woher sie stammt. Die gefundene Quelle muss jedoch der Aufgabenstellung und Ihrem Informationsbedürfnis entsprechen. Eine gute Quelle hilft Ihnen: ein Argument zu stützen ein Argument zu widerlegen ein Argument mit Beispielen zu untermauern bzw. zu illustrieren Generell ist jede Informationsquelle kritisch zu hinterfragen, gleich ob es sich um ein Buch, Zeitschriftenartikel, einen Eintrag in einem Weblog oder eine Website handelt. Es ist in jedem Fall wichtig, sich Gedanken über die Qualität der gefundenen Informationen zu machen, bevor Sie diese in Ihrer Arbeit verwenden und zitieren. Evaluieren

Bewertung der Informationsqualität Zunächst definieren Sie also, welche Art von Information Sie brauchen. Sind es Fakten, Meinungen, Beschreibungen, Beispiele oder Statistiken? Benötigen Sie Informationen für ein Fachpublikum oder ein allgemeines Publikum? Dazu untersuchen Sie: Wer die Information verfasst hat Was der Inhalt ist Wann die Informationen veröffentlicht wurden Wo die Informationen veröffentlicht wurden Für wen die Informationen veröffentlicht wurden Warum bzw. mit welcher Absicht die Informationen erstellt wurden Die Beantwortung dieser Fragen wird Ihnen helfen zu bewerten, ob eine bestimmte Information zuverlässig, objektiv, genau und für Ihre Bedürfnisse relevant ist. Evaluieren

Erstbeurteilung Autor Stellen Sie folgende Fragen, um festzustellen, ob Informationen von sachkundigen und renommierten AutorInnen stammen: Wo arbeitet die Autorin oder der Autor, welchen fachlichen Hintergrund hat sie bzw. er, welches sind ihre/seine letzten Veröffentlichungen? Wurde die Autorin oder der Autor während Ihres Studiums erwähnt? Arbeitet die Autorin oder der Autor in einer angesehenen Institution bzw. Hochschule? Wurde die Autorin oder der Autor in anderen Arbeiten bereits zitiert? Beispiel: Diese Arbeit von Albert Einstein wurde in 122 Artikeln zitiert. Evaluieren

Erstbeurteilung Publikationsdatum & Auflage Wann wurde die Arbeit publiziert? Ist die Information aktuell oder bereits veraltet? Im Falle von Internetquellen: wann wurde die Website das letzte Mal aktualisiert bzw. wird sie regelmässig auf den neuesten Stand gebracht? Auflage Ist die vorliegende Arbeit eine Erstausgabe oder nicht? Eine Neuausgabe weist auf eine Überarbeitung des Themas hin. Oft werden Erkenntnisse dem neusten Stand angepasst. Wurde eine Arbeit mehrfach neu aufgelegt, so könnte dies bedeuten, dass diese ein Standardwerk geworden ist. Evaluieren

Erstbeurteilung Verlag Handelt es sich um einen renommierten Verlag? Wurde eine Arbeit von einem Universitätsverlag veröffentlicht, so könnte diese für den Unterricht geeignet sein. Auch wenn das Werk von einem bekannten und angesehenen Verlag stammt, garantiert dieser Umstand nicht automatisch Qualität. Es zeigt, dass es dem Verlag wichtig war, dieses Werk zu publizieren. Sind die Informationen von unabhängigen Experten vor der Veröffentlichung begutachtet worden (Peer Review) ? vdf Hochschulverlag AG an der ETH Zürich Wissenschaftsverlag Springer Verlag der Modern Language Association Evaluieren

Inhaltsanalyse Nach der Erstbeurteilung sollen Sie auf die Inhalte der Quelle eingehen. Lesen sie das Vorwort, welches auf die Absichten des Autors hinweist. Gehen Sie das Inhaltsverzeichnis oder den Index durch, um eine grobe Übersicht zu erhalten. Achten Sie darauf, ob Literaturverzeichnisse enthalten sind. Wie in einem Buch ist auch bei einem Artikel ein Literaturverzeichnis wichtig und lässt auf die Sorgfalt einer Arbeit schliessen. Lesen Sie das Kapitel, welches Ihr Thema betrifft. Betrifft die Informationsquelle Ihr Thema oder streift es dieses nur am Rande? Welches Zielpublikum spricht der Autor an? Wurde die Arbeit für Spezialisten oder für ein breites Publikum geschrieben? Ist die Quelle zu elementar, zu technisch, zu schwierig oder gerade richtig für Ihr Informationsbedürfnis? Ist ein Beitrag oder Artikel logisch aufgebaut und gegliedert? Werden die Hauptaspekte der Arbeit klar präsentiert? Evaluieren

Inhaltsanalyse Folgende Fragen dienen der Beurteilung der Objektivität: Handelt es sich um Fakten, Meinung oder Propaganda? Es ist nicht immer einfach Tatsachen von Meinungen zu unterscheiden. Fakten sind meist überprüft. Meinungen können auf Fakten basieren, werden aber von der Interpretation des Schreibers gesteuert. Führt die Autorin oder der Autor die Quellen für Statistiken oder „Tatsachen“ an, auf die sie oder er sich bezieht? Scheint die Information stichhaltig und überprüft oder eher fragwürdig und ohne Beweis? Sind die Ideen und Argumente mehr oder weniger identisch mit denen von anderen Arbeiten zum Thema? Je radikaler ein Autor von der allgemeinen Meinung abweicht, desto vorsichtiger sollte man seine Informationen beurteilen. Ist die Information ausführlich und deckt sämtliche Aspekte eines Themas ab? Gibt es Interessenskonflikte? Sind die mit einer Quelle verbundenen Personen oder (kommerziellen) Organisationen daran interessiert, Informationen auf bestimmte Art zu präsentieren? Evaluieren

Bewertung einer Forschungsarbeit Im Falle von Forschungsarbeiten: Enthält die Arbeit sämtliche wesentlichen Bestandteile einer Forschungsarbeit ? (Näheres dazu erfahren Sie in der Lerneinheit Wissenschaftliche Methoden. Wurde die Ausgangslage so geschildert, dass die Problemstellung klar ist? Ist das Ziel (sind die Ziele) klar und auf die Problemstellung hin ausgerichtet? Konnte das Ziel (konnten die Ziele) mit der Studie erreicht werden? Sind die Forschungsfragen klar und präzise formuliert? Sind sie relevant? Konnten sie beantwortet werden? Sind (bei quantitativen Studien, vor allem bei Experimenten) Hypothesen formuliert? Sind die abhängigen und unabhängigen Variablen klar definiert und ist deren Beziehung zueinander klar? Ist der theoretische Hintergrund der Arbeit übersichtlich aufbereitet und verständlich? Besteht ein deutlicher Zusammenhang zwischen der besprochenen Fachliteratur und der Forschungsfrage bzw. dem Forschungsanliegen? Enthält die Arbeit eine Bibliographie bzw. Literaturverweise? Evaluieren

Bewertung einer Forschungsarbeit Wurden die Methoden zur Datenerhebung so gewählt, dass die Forschungsfrage beantwortet oder die Hypothesen überprüft werden konnten? Wurden die eingesetzten Instrumente auf ihre Zuverlässigkeit (reliability) und Validität (bei quantitativen Studien) überprüft? Ist der Gang der Studie nachvollziehbar? Sind die Zusammensetzung und die Auswahl der Stichproben ausreichend beschrieben? Handelt es sich bei quantitativen Studien um eine Zufallsstichprobe oder um eine Gelegenheitsstichprobe? Inwieweit können Rückschlüsse auf die Grundgesamtheit (die Population) gezogen werden? Ist das Vorgehen bei der Datenerhebung nachvollziehbar? Sind die Methoden der Datenanalyse beschrieben? Ist das Vorgehen nachvollziehbar? Wurden (bei quantitativen Studien) die richtigen statistischen Tests eingesetzt? Sind die Ergebnisse übersichtlich dargestellt? Sind (bei quantitativen Arbeiten) Ergebnisse und Interpretationen voneinander getrennt? Passen Tabellen, Grafiken etc. zum Inhalt? Sind sie übersichtlich? Sind die Interpretationen begründet? Wird Bezug auf den theoretischen Rahmen genommen? Sind die Schlussfolgerungen logisch und leiten sie sich aus den Ergebnissen ab? Werden Empfehlungen für die Praxis abgegeben? Welche Bedeutung haben sie? Evaluieren

Evaluation von Internetquellen Generell ist jede Informationsquelle kritisch zu hinterfragen, aber bei Internetquellen gilt dies ganz besonders, da jeder und jede dort publizieren kann. Bei der Bewertung sollten Sie dabei folgende Punkte beachten: Veröffentlichungszweck Mit welchem Hintergrund wurde eine Seite veröffentlicht? Für welche Zielgruppe? Autor/Quelle Sind die Autoren zu erkennen oder bleiben sie anonym? Wer sind die Autoren, aus welchem Bereich kommen sie? Von wem ist die Seite veröffentlicht, handelt es sich um eine wissenschaftliche Institution, ein Museum oder eine Firma? Was steht im Impressum und was lässt sich aus der URL ableiten? Evaluieren

Evaluation von Internetquellen Inhalt Was ist der Inhalt der Seite und woher stammt er? Lassen sich die Aussagen verifizieren? Wie genau sind die Angaben und wie objektiv ist die Darstellung? Wie breit ist das Spektrum der Inhalte, was wird weggelassen? Wann wurde das letzte Mal aktualisiert? Referenzen Wohin führen die Links und wer verlinkt auf die Seite und mit welcher Absicht? Stil In welchem Stil ist die Seite gehalten? Wie gut sind die Wortwahl und die Rechtschreibung? Funktionalität Wie ist die Seite aufgebaut, ist sie klar strukturiert und funktionell? Welche multimedialen Inhalte finden Verwendung, ist die Nutzung dem Zweck entsprechend? Evaluieren

Prüfen Sie Ihr Wissen! Und damit Sie Ihr Wissen gleich praktisch umsetzen können, stehen für angemeldete Nutzer Tests zur Verfügung, bei denen es darum geht, die Objektivität, Relevanz und Genauigkeit von Internetquellen zu beurteilen. [Fragen von VIKO sowie von der Uni Konstanz anpassen]