Science 2.0 in Aktion Wie nutzen Forschende Social Media? Dr. Isabella Peters Ergebnisse aus einem Kooperationsprojekt ASpB-Tagung Kiel, 11.09.2013

Agenda Einführung & Forschungsfragen Datensammlung & Methodik Ergebnisse Quantitative Ergebnisse Qualitative Ergebnisse Diskussion & Ausblick 11.9.2013 :: Science2.0 in Aktion: Wie nutzen Forschende Social Media? :: Dr. Isabella Peters

Bibliometrie Traditionelle Indikatoren für die Evaluation von Forschenden und wissenschaftlichen Produkten 4 4 Reputation der Wissenschaftlerinnen und Wissenschaftler steigt durch die Verwendung von Publikationen durch andere Wissenschaftlerinnen und Wissenschaftler (= Zitationszahlen) Anzahl der produzierten Paper erhöht die Wahrscheinlichkeit zitiert zu werden, reflektiert aber auch Exzellenz des Forschenden (= Produktivität) Autorenmetrik vs. Artikelmetrik 11.9.2013 :: Science2.0 in Aktion: Wie nutzen Forschende Social Media? :: Dr. Isabella Peters

Altmetrics Altmetrics verfolgen einen ganzheitlichen Ansatz Impact 1 2 1 1 1 Altmetrics berücksichtigt alle Aktivitäten und Produkte, die bei der Herstellung wissenschaftlicher Inhalte oder Formate entstanden sind, sowie ihre Nutzung  alle Spuren die ein Wissenschaftler im Web hinterlässt Einfluss auch auf Nicht-Autoren wird auch abgebildet Hier kann man zwischen fremd-initiiert und selbst-initiiert unterscheiden  alles wirkt sich auf die Sichtbarkeit der Wissenschaftlerinnen und Wissenschaftler aus Altmetrics ist daher als Ergänzung zu traditionellen Indikatoren zu sehen Weil sich Forschung heute im Web abspielt, werden für das wissenschaftliche Arbeiten Web-Tools genutzt (im Prinzip wäre aber auch das Zählen von Papern im Ordner Altmetrics) - außerdem sind Daten leicht zugänglich  damit ist Altmetrics ein Teil der Webometrics (i.e. Linkstrukturen und Downloadzahlen) Im Rahmen der Altmetrics werden Social Media-Plattformen (z.B. Social Bookmarking-Systeme oder Soziale Netzwerke), neue Publikationsformate und entstehende Indikatoren (z.B. Retweets) im Hinblick auf ihre Eignung für die Szientometrie untersucht. Footprints 11.9.2013 :: Science2.0 in Aktion: Wie nutzen Forschende Social Media? :: Dr. Isabella Peters

Forschungsfragen Q1: Welche Informationen veröffentlichen WissenschaftlerInnen im (Social) Web? Q2: Nutzen sie aktiv Angebote wie Google Citation Profiles oder Twitter, um sich und ihre Arbeiten zu präsentieren? Q3: Korrelieren Indikatoren aus den Altmetrics mit traditionellen Indikatoren der AutorInnenevaluation? Q4: Können wir über nutzergenerierten Content qualitative Informationen zu AutorInnen erhalten? Q5: Welche Social Media-Plattformen werden von Forschenden genutzt und wofür? Q6: Hat die Nutzung dieser Plattformen Einfluss auf das wissenschaftliche Arbeitsumfeld? Q7:Wie schätzen sie den Einfluss dieser Plattformen auf die traditionelle AutorIevaluation ein? Ziel der Forschung: verstehen, wie Wissenschaftlerinnen und Wissenschaftler das Web für ihre Arbeit und Selbstdarstellung nutzen und wie Reputation im Social Web funktioniert Footprints im Web nachvollziehen 11.9.2013 :: Science2.0 in Aktion: Wie nutzen Forschende Social Media? :: Dr. Isabella Peters

Wichtig für Bibliotheken… …weil Auf dem Stand der Technik sein Vorhandene Produkte kennen und Nutzen prüfen Bedürfnisse und Arbeitsgewohnheiten der Kunden kennen Kunden unterstützen Rezeption von Forschung kennen Neue Formen der Wissenschaftsevaluation kennen und verstehen Publikationsstrategien und -plattformen entwickeln Dauerhafte Arbeitsumgebung gewährleisten 11.9.2013 :: Science2.0 in Aktion: Wie nutzen Forschende Social Media? :: Dr. Isabella Peters

Datensammlung & Methodik Quantitative Datensammlung für Q1-Q4 57 Vortragende der STI Konferenz, 2010, Leiden Manuelle Suche nach Persönliche Homepage Persönliche Publikationsliste LinkedIn-Profil Google Scholar Citations Profile Twitter-Profil Sammlung von Publikationen über Web of Science und Scopus 1.136 Publikationen Qualitative Datenerhebung für Q5 & Q6 Ausgabe des Papier-Fragebogens bei der STI Konferenz, 2012, Montréal 71 Antworten (63% Männer, 34% Frauen, 3% N/A) Grounded Theory STI = Science and Technology Indicators Conference 57 Vortragende: Personen mit uneindeutigen Namen und keinen Publikationen in WoS oder Scopus wurden ausgeschlossen  Person wurde über weitere Information (wie Beruf, Affiliation, etc.) identifiziert WoS/ Scopus: Scopus erlaubt Suche nach Vornamen  daher ist Scopus unser Gold Standard (=100%) Fehlende DOIs in Scopus wurden über CrossRef und WoS ergänzt Gefundene Publikationen beschränken sich auf articles, articles in press, conference papers, reviews 71 Antworten = 43% Rücklaufquote (166 Teilnehmer auf der Konferenz) Multiple Choice und offene Fragen Offene Fragen durch Grounded Theory analysiert und OpenCode/ MaxQDA kodiert – zu Kategorien zusammengefasst – Grounded Theory entwickelt die Theorie, ist aber keine Theorie Besonderheit der analysierten Wissenschaftlerinnen und Wissenschaftler: Bibliometriker – Experten im Fach 11.9.2013 :: Science2.0 in Aktion: Wie nutzen Forschende Social Media? :: Dr. Isabella Peters

Ergebnisse: Q1 & Q2 Welche Informationen veröffentlichen WissenschaftlerInnen im (Social) Web? Nutzen sie aktiv Angebote wie Google Citation Profiles oder Twitter, um sich und ihre Arbeiten zu präsentieren? Selbst-initiierte Web-Footprints Persönliche Homepage: 89% Persönliche Publikationsliste: 86% LinkedIn-Profil: 70% Google Scholar Citations Profile: 23% Twitter-Profil: 16% N=57 Selbst-initiierte Web-Footprints auf die Person bezogen – Informationen über die Person Homepages: persönlich und institutionell Publikationslisten: 53% komplett, 33% selected, 14% haben keine Liste GS Citations Profil: Verifiziertes Profil mit Zitationen und Papern aus dem Web, nur öffentliche Profile gefunden Twitter: höherer Wert als wenn man Wissenschaftler verschiedener Disziplinen einbezeiht (Priem, Costello, & Dzuba, 2011) Isa‘s GS-H-Index: 9/ Scopus-H-Index: 5 Es fehlt noch die Erwähnung als Person in Wikipedia 11.9.2013 :: Science2.0 in Aktion: Wie nutzen Forschende Social Media? :: Dr. Isabella Peters

Ergebnisse: Q1 & Q2 Fremd-initiierte Web-Footprints (Impact) Abdeckungsgrad: Publikationen in Datenbanken (N=1.136) Durchschnittliche Anzahl Zitationen oder Leser pro Publikation Fremd-initiierte Web-Footprints – meistens auf von Forschenden produzierten Dokumente bezogen (z.B. Papers) – nur bei Promis gibt es Profile für Personen, die von Fans erstellt werden Automatisch werden solche Aktivitäten zu Artikel-basierten Indikatoren (die natürlich wieder für den Wissenschaftler kumuliert werden) Abdeckungsgrad von Mendeley war ziemlich gut: vergleichbar mit WoS – d.h. wenn man nach Publikationen sucht, kann man auch auf Mendeley zurückgreifen (Achtung: Dokumente ohne DOI wurden in Mendeley nicht gefunden – möglicherweise gibt es noch mehr Doks in Mendeley) Von allen untersuchten Autorinnen und Autoren waren mindestens 50% ihrer Artikel bei Mendeley mindestens einmal gebookmarkt Den Abdeckungsgrad mussten wir untersuchen, um herauszufinden, ob es sich überhaupt lohnt, Social Media-Tools als Alternative Quelle für Indikatoren zu nutzen Gutes Ergebnis für Scopus und Mendeley kann fachspezifisch sein (wegen Bibliometrie) – Chemie könnte bei WoS besser abgebildet sein 11.9.2013 :: Science2.0 in Aktion: Wie nutzen Forschende Social Media? :: Dr. Isabella Peters

Ergebnisse: Q1 & Q2 Fremd-initiierte Web-Footprints (Impact) Abdeckungsgrad: Publikationen in Datenbanken im Zeitverlauf Leser bevorzugen jüngere Publikationen 11.9.2013 :: Science2.0 in Aktion: Wie nutzen Forschende Social Media? :: Dr. Isabella Peters

Ergebnisse: Q1 & Q2 Fremd-initiierte Web-Footprints (Impact) basiert auf AutorInnen Top 25 according to average Mendeley readers (only authors with at least 10 publications searched via DOI) Henry Small: highest citation rate (40.5), greatest "altmetrics rate" Kevin Boyack (22.4 in Mendeley) and Stevan Harnad in CuL (6.2) data suggesting new research questions 11.9.2013 :: Science2.0 in Aktion: Wie nutzen Forschende Social Media? :: Dr. Isabella Peters

Ergebnisse: Q3 Korrelieren Indikatoren aus den Altmetrics mit traditionellen Indikatoren der AutorInnenevaluation? Spearman's ρ Zitationen (Scopus) Bookmarks (Mendeley) Bookmarks (CiteULike) .448** .232** .441** N=1,136 **. Correlation is significant at the 0.01 level (2-tailed) Berechnet für einzelne Artikel, nicht für Autoren Vergleicht Zitationen und Nutzung Meist zitierter Autor in Scopus ist Henry Small (40,5 Zitationen pro Artikel – aber nur 11 Bookmarks in Mendeley) Meist gebookmarkter Autor in Mendeley ist Kevin Boyack (22,4 Bookmarks pro Artikel) Meist gebookmarkter Autor in CuL ist Stevan Harnad (6,2 Bookmarks pro Artikel) Es gibt Ähnlichkeiten zwischen hoch-zitierten und hoch-gebookmarkten Artikeln, aber es werden unterschiedliche Aspekte über beide Verwendungen abgebildet Spearman Rho = Rangkorrelationskoeffizient Alternative: Kendall‘s Tau bei kleiner Stichprobe – kommt das gleiche raus (etwas kleinere Zahlen) Signifikanz: Unterschiede zwischen Messgrößen oder Variablen in der Statistik heißen signifikant (oder bezeichnend), wenn die Wahrscheinlichkeit, dass sie durch Zufall derart zustande kommen würden, nur gering ist. 11.9.2013 :: Science2.0 in Aktion: Wie nutzen Forschende Social Media? :: Dr. Isabella Peters

Ergebnisse: Q4 Können wir über nutzergenerierten Content qualitative Informationen zu Autorinnen und Autoren erhalten? Loet Leydesdorff Stevan Harnad Tags kommen von CiteULike, weil hier eine Broad Folksonomy eingesetzt wird Wie werden Forschende von Lesern wahrgenommen bzw. Welche Forschungsschwerpunkte haben die Artikel? Qualitative Informationen zu Autoren – aber natürlich auch zu Disziplinen, Zeitschriften, Artikel – auch über einen zeitlichen Verlauf hinweg Visualisierung von Schwerpunkten (Größe der Tags) und Bandbreite (Unterschiedlichkeit der Tags) Tags wurden standardisiert und zusammengefasst Loet Leydesdorff reached the largest audience in CuL: 69 unique users, Harnad 65 Autoren, für die die meisten Tags vergeben wurden Cronin: "scientific street cred“ = Commanding a level of respect in an urban environment due to experience in or knowledge of issues affecting those environments - The truest measure of a person's trustworthiness and expertise is often expressed as his or her street cred 11.9.2013 :: Science2.0 in Aktion: Wie nutzen Forschende Social Media? :: Dr. Isabella Peters

Ergebnisse: Q5 Welche Social Media-Plattformen werden von Forschenden genutzt? Demografie der Antwortenden: 63% Männer, 34% Frauen, jüngster Teilnehmer war 26, ältester 64 – Durchschnitt 42 Jahre – beide Mendeley-Nutzer Unterschiedliche Berufe: 14% Forschende Uni, 14% Forschende F&E, 13% Doktoranden, 7% Bibliothekare Professoren, Postdocs, Doktoranden, Wissenschaftliche Mitarbeiter nutzen eher Mendeley als die anderen Berufe N=71 11.9.2013 :: Science2.0 in Aktion: Wie nutzen Forschende Social Media? :: Dr. Isabella Peters

Ergebnisse: Q5 Wofür werden Social Media-Plattformen von Forschenden genutzt? Facebook, Google+ für private Zwecke – Mendeley, LinkedIn, Researchgate berufliche Zwecke Twitter wird fast gleich für beides genutzt Sichtbarkeit erhöhen – macht man bei allen: nur nicht bei Facebook Social Bookmarking-Systeme: “I actually don't! I get the papers online and read them and then re-get them again if I need them!” 11.9.2013 :: Science2.0 in Aktion: Wie nutzen Forschende Social Media? :: Dr. Isabella Peters

Ergebnisse: Q6 Hat die Nutzung dieser Plattformen Einfluss auf das wissenschaftliche Arbeitsumfeld? N=71 58% 32% Mehrfachantworten erlaubt Restliche 10% haben nicht geantwortet 5.2.2013 :: Die Sichtbarkeit von Wissenschaftlern & Wissenschaftlerinnen im Social Web :: Dr. Isabella Peters

Ergebnisse: Q7 Wie wird der Einfluss dieser Plattformen auf die traditionelle AutorInnenevaluation eingeschätzt? Potentielle Indikatoren N=71 Mehrfachantworten möglich Downloads eigentlich keine Altmetrics – aber schwer zu erfassen, da Verlage diese nicht rausgeben 5.2.2013 :: Die Sichtbarkeit von Wissenschaftlern & Wissenschaftlerinnen im Social Web :: Dr. Isabella Peters

Diskussion & Ausblick Herausforderungen Ausblick Datenmanipulation Datenqualität Repräsentativität Ausblick Nutzung der verschiedenen Social Media-Tools variiert Kenntnis über Nutzung und Einschätzung von Social Media-Tools unterstützt Auswahl der Produkte und Evaluation der Indikatoren Kontexte verstehen, in denen auf Content zurückgegriffen wird, und Informationsflüsse nachvollziehen Unterstützen, bereitstellen, bewerten Do it yourself: impactstory.org altmetric.com readermeter.org citedin.org … manipulativity: creating usage, faking impact; not as easy as with downloads due to linking to user profile; gaming always a problem when it comes to evaluation, similar with citations, authorship etc. data quality: incomplete and incorrect metadata huge problem: need for aufwändige retrieval strategies and matching, unreliability of APIs, need for manual correction and verification representativity: currently biggest problem, who uses social reference managers? critical mass? bias towards young, web 2.0 savvy researchers or even students? certain countries? is the user population representative for the scholarly community? what is Mendeley/CiteULike used for? actual literature management (=reading, even better than downloads) or increasing visibility/footprints? Auswahl der Teilnehmer durch Selbstselektion – dadurch kommt auch eine Schweigeverzerrung zustande (eng. Non-response bias), die die Aussagekraft der Ergebnisse beeinflusst (die Grundgesamtheit wird nicht korrekt repräsentiert – man müsste die, die nicht geantwortet haben, ansprechen und sie bitten den Fragebogen doch noch auszufüllen) – dadurch dass z.B. Heavy User den Fragebogen nicht ausgefüllt haben, kann es zu einer Verzerrung gekommen sein – daher kann man keine generellen Aussagen über die Wissenschaftlerinnen und Wissenschaftler treffen, sondern nur für diese Stichprobe sprechen Plattformen werden unterschiedlich häufig genutzt: Wiederholung der Studie mit verschiedenen Disziplinen – auch die Gründe für Nichtnutzung erfragen Aber mehr als die Hälfte der Befragten erwartet einen Einfluss dieser Tools auf ihre Arbeit – außerdem haben 86% mindestens einen Indikator genannt, der Potential für Altmetrics hätte (Downloads ist das häufigste, was nicht unbedingt Altmetrics ist) Als ZBW will man WissenschaftlerInnen bei der Arbeit/ Forschung unterstützen, Ressourcen und Umgebungen bereitstellen und Indikatoren bewerten 11.9.2013 :: Science2.0 in Aktion: Wie nutzen Forschende Social Media? :: Dr. Isabella Peters

Ausblick Fremd-initiierte Web-Footprints auf Twitter Abdeckungs-und Verbreitungsgrad von Biomedizin-Zeitschriften 11.9.2013 :: Science2.0 in Aktion: Wie nutzen Forschende Social Media? :: Dr. Isabella Peters

Email: isabella.peters@hhu.de Fragen? In Zusammen-arbeit mit Judit Bar-Ilan, Stefanie Haustein, Vincent Larivière, Jason Priem, Hadas Shema, & Jens Terliesner Email: isabella.peters@hhu.de 11.9.2013 :: Science2.0 in Aktion: Wie nutzen Forschende Social Media? :: Dr. Isabella Peters

Zum weiterlesen Haustein, S., Peters, I., Sugimoto, C. R., Thelwall, M., & Larivière, V. (in press) Tweeting Biomedicine: An Analysis of Tweets and Citations in the Biomedical Literature. Journal of the American Society for Information Science and Technology. Haustein, S., Peters, I.,Bar-Ilan, J., Priem,J., Shema, H., & Terliesner, J. (2013). Coverage and Adoption of Altmetrics Sources in the Bibliometric Community. In Proceedings of the 14th International Society of Scientometrics and Informetrics Conference, Vienna, Austria (pp. 468-483). Weller, K., & Peters, I. (2012). Citations in Web 2.0. In A. Tokar, M. Beurskens, S. Keuneke, M. Mahrt, I. Peters, C. Puschmann, et al. (Eds.), Science and the Internet (pp. 209-222). Düsseldorf: Düsseldorf University Press. Haustein, S., & Peters, I. (2012). Using Social Bookmarks and Tags as Alternative Indicators of Journal Content Description. First Monday, 17(11) . Bar-Ilan, J., Haustein, S., Peters, I., Priem, J., Shema, H., & Terliesner, J. (2012). Beyond citations: Scholars' visibility on the social Web. Accepted to 17th International Conference on Science and Technology Indicators, Montreal, Canada, 5-8 Sept. 2012. 11.9.2013 :: Science2.0 in Aktion: Wie nutzen Forschende Social Media? :: Dr. Isabella Peters