Vorlesung Gestaltung von soziotechnischen Informationssystemen - Erhebungsmethoden - Gst-IS Thomas Herrmann Lehrstuhl Informations- und Technikmanagement (IMTM) Institut für Arbeitswissenschaft

Wiederholung – sozio-technische Systeme

Technische vs. soziale Systeme - Übersicht Technical Systems Social Systems Entstehung Werden von außen durch Menschen geplant und mit Hilfe von Werkzeugen entwickelt. Entwickeln sich aus sich selbst heraus durch kommunikative Prozesse, werden von außen nicht designt, sondern durch Kommunikation in ihrer evolutionären Entwicklung beeinflusst. Verände-rung Veränderungen sind entweder vorprogrammierte Reaktionen auf die Umwelt, so dass sie durch ein anderes technisches System simuliert werden können, oder Ergebnis einer Intervention von außen, die zu einer neuen Version führt. Veränderungen erfolgen evolutionär durch kleinschrittige, allmähliche Anpassung, die sich so akkumulieren könne, dass es ab und an zu sprunghaften Veränderungen kommt. Die Veränderungen sind nicht vorhersagbar und können nicht durch ein anderes soziales System simuliert werden. Steuerung Technische Systeme sind so gestaltet, dass sie von außen steuerbar sind. Soziale Systeme sind immer in der Lage, sich einer Kontrolle von außen zu widersetzen. Kriterien Korrektheit und Verlässlichkeit ist geplant; unerwartete oder unerwünschte Reaktionen werden als unbeabsichtigte Fehler angesehen. Persönliche Interessen und Motivation nehmen Einfluss; bei unerwünschten Reaktionen muss auch die Möglichkeit des absichtlichen Missbrauchs in Betracht gezogen werden.

Soziotechnisches System – Definition Über die Mensch-Maschine-Interaktion und das zufällige Zusammentreffen von Menschen und technischen Komponenten hinausgehend umfasst ein „soziotechnisches System“ das Konzept, dass ein technisches System in solche kommunikative Interaktionen eingebettet ist, die für die Existenz und Entwicklung einer organisationalen Einheit als soziales System relevant sind. Das technische und das soziale System stehen dabei in einer besonderen Beziehung zueinander, indem menschliche Kommunikation und Mensch-Maschine-Interaktionen wechselseitig aufeinander verweisen und sich unterstützen und dadurch zur Erfüllung ausgewählter Zwecke zur Pflege und Anpassung des technischen Systems und zum Selbstverständnis, zur Selbstbeschreibung sowie zur Identität des sozialen Systems beitragen.

Soziotechnisches System II Unter einem soziotechnischen System wird hier die planvolle Integration von sozialer Kooperation und Kommunikation einerseits und technischer Infrastruktur andererseits verstanden. Die Technik unterstützt die Kommunikation und Kooperation und spiegelt deren Strukturen wider. Soziotechnische Systeme können sich anhand technischer und organisatorischer Impulse weiterentwickeln, wobei diese Dynamik im System selbst kommuniziert und beschrieben wird. Je besser die Integration der technischen und der sozialen Seite, desto effizienter und effektiver das soziotechnische System.

1. Beispiel: eskalierendes Wissensmanagement Techknowledgy Experte 18.00- 8.00 Nutzer[1] nein Eine Frage veröffentlichen Kommuni-kations-system Antwort erteilen Nutzer[2] Antwort dokumentieren Red. Kompetenz Zusatzinfo Fachbücher Aufzeichnungen ... Aufgabe bearbeiten Lösung für ein Problem suchen Antwort auswerten mittels Fach-DB beantwortbar? DB-basierte Antwort multi-medial präsentieren ja Fach-DB techn. System

soziotechnische Prozesse statt Systeme eine geplante Abfolge von logisch miteinander verknüpften Arbeitsschritten. In der Regel sind mehrere Menschen an einem beteiligt. Der Prozess ist daher das Ergebnis von Planung und Verabredung. Prozesse wiederholen sich regelmäßig in ähnlicher Weise, und unterscheiden sich daher von Projekten, die einmalig zu erreichende Ziele gerichtet sind.

Grundbegriffe System Elemente Beziehungen technisches System soziales System Zustände Regeln Sozio-technisches System Prozess Organisation Zustandsübergänge Rhythmus Konvention Regeln Erwartungen / Konventionen Mitglieder Rollen Kommunikation Mensch-Maschine-Interaktion Kontingenz Autopoiesis Wicked problem Selbstbeschreibung

Beispiel – Red Balloon Wettbewerb

Aufgabenstellung Wie kann social networking via Internet genutzt werden, um zeitkritische, verteilte Probleme der geographischen Suche zu lösen? Teams sollten 10 über die USA verteilte rote Ballons finden. 40 Tsd $ Preisgeld für das schnellste Team. Dass es den Wettbewerb geben wird, wurde erst einen Monat vorher angekündigt.

Randbedingungen Es waren öffentlich sichtbare Wetterballons über die gesamte USA verteilt Bei jedem Ballon gab es einen Zuständigen, der die Echtheit zertifizieren konnte.

Gewinner MIT: 10 Ballons nach 8:52:41 GeorgiaTech: 9 Ballons in 9 Stunden C + D: 8 Ballons E + F +G + H + I: 7 Ballons

Strategie Einsatz von Belohnungen Nicht nur für die Finder, sondern auch für Vermittler 2000$ für den Finder eines Ballons, 1000$ für denjenigen, der den Finder eingeladen hat 500$ für den, der den Einladenden eingeladen hat etc. Was vom Preisgeld übrig blieb, wurde gespendet.

Strategie

Ablauf Wer sich dem Team anschließt, erhält einen speziellen link. Wer eingeladen wird, kann sich mit diesem speziellen link dem Team anschließen. Effekt: Die schnelle Ausbreitung des Teams wurde gefördert. Tiefe des Einladungsbaums: bis zu 15 Leuten, 5000 Teammitglieder. Benutzte Medien: Twitter, Email, Facebook, … Siehe auch Kleine-Welt-Phänomen

Problem Von 200 eingegangenen Meldungen waren nur 40 korrekt. Fälschungen wurden anhand von verdächtigen Mustern der menschliche Evaluation identifiziert.

Erhebungsmethoden

Leitende Fragestellung Welche Erhebungsmethoden können zur Analyse soziotechnischer Systeme und zur Vorbereitung und Begleitung für Entscheidungen des soziotechnischen Designs eingesetzt werden und welche Merkmale kennzeichnen diese Methoden?

Überblick Exploration Messung, Hypothesenprüfung Was ist objektiver? Bild von der Ist-Situation, wo ein neues SW-System eingeführt werden soll Erkennen aller relevanten, erfolgskritischen Faktoren – und ihrer Vielfalt und Besonderheiten in Einzelfällen Erkennen der Ziele und ihrer Dynamik Erkennen von Verbesserungspotentialen Hypothesenbildung  Ethnografie Messung, Hypothesenprüfung Quantitative Analysen  statistisch signifikante Ergebnisse Kontrollierte Bedingungen, wiederholbar Sicherung von Reliabilität und Validität Abstraktion vom Einzelfall Was ist objektiver? Worauf soll die SW-Entwicklung aufbauen?

Ethnografie als Grundlage explorativer Empirie Erhebung in der Regel in der tatsächlichen Umgebung der Aktivität teilnehmende Beobachtung als Kernmethode Einbindung anderer zusammenhängender Aktivitäten (Holistischer Ansatz) Beschreibung der tatsächlichen und nicht der idealen Aktivitäten – in Form von Verschriftlichung Begriffe und Kategorien werden an den Erhebungskontext angepasst. Was heißt das?

Ethnografie „Sobald man die Dinge in Worte fasst, sieht man sie nicht mehr“ Was bedeutet das hinsichtlich „Ethnografie“?

Methoden der Exploration Dokumenten- und Artefaktanalyse Beobachtung Offene Interviews Workshops …

Dokumenten- und Artefaktanalyse Auswertung schriftlicher Unterlagen als Vorbereitung und Begleitung der Erhebung (Interviews, Beobachtung) Erfassung wesentlicher Hintergrund- und Rahmendaten Analyse von Statistiken, Verordnungen, Gesetzestexten, Stellenbeschreibungen, ISO-9000 Dokumenten etc. ARTEFAKTE: Analyse der genutzen Objekte, z.B. Werkzeuge, EDV, Möbel zu beachten: Nützlichkeit Symbolik informatorische Dimension

Beobachtung Grad der aktiven Beteiligung – Intervention - des Beobachtenden kann variieren Die Beobachtung kann/sollte durch ein Schema geleitet werden Kann mit Interview kombiniert werden Es sollten Aufnahmen (Bilder, Video, Ton) gemacht werden Warum? Konzentration auch auf Details und Unterschiedlichkeiten  Zu vielen zu beobachtenden Phänomen gibt es Material im Internet!

Interviews Verschiedene Grade der Strukturierung möglich Möglichst offene Fragen verwenden (W-Fragen) Interview-Leitfaden pro Frage vom Allgemeinen zum Speziellen entwickeln Wie gehen sie bei ihrer Arbeit vor?  wie kommen Sie an relevante Informationen?  welche Rolle spielt die Informationstechnik? Indirekte Fokussierungsstrategien verwenden (z.B. eine zu bearbeitende Aufgabe, eine spezielle Situation) den Interviewten als Experten ansehen Nie wg. der noch ausstehenden Fragen drängeln, sondern „was fällt Ihnen noch dazu ein?“ Warum?

Problem der Suggestivfrage Suggestivfragen sind zu vermeiden: Also nicht: Welche Verbesserungen sollten an ihrer derzeitigen Software vorgenommen werden? Orientiert von vornherein auf Verbesserungen, ggf. erfindet der Interviewte etwas, „keine“ könnte als inkompetente Antwort angesehen werden. Sollte ihre Software verbessert werden? Geschlossene Frage, regt Nachdenken nicht an, geht schon in eine bestimmte Richtung Sondern …?

Fragetechnik Kategorien instrumenteller Fragen Beispielfragen hinsichtlich des Umgangs mit Stornierungen Filterfragen (wer kennt sich aus) Wer hat sich schon mal damit befasst, was bei einer Auftragsstornierung mitten im Lieferungsprozess passiert? Ergänzungsfragen Was meinen denn die anderen, wie wichtig es ist, Stornierung zu ermöglichen? Sondierungsfragen Was passiert denn bei einer Stornierung genau? Rangierfragen (zurück zum Thema) Also an welchen Stellen hier im Prozess ist eine Stornierung überhaupt möglich? Trainingsfragen (Vorbereitung eines neuen Themas) Wir wollen uns jetzt mit der Frage der technischen Unterstützung befassen – welche IT-Anwendungen haben Sie selbst schon genutzt, um einen Vorgang rückgängig zu machen? Ablenkung, wenn etwas schwierig wird Also ich höre hier sehr unterschiedliche Meinungen zum Thema Stornierung – aber was ist es denn wirklich, was den Kunden zufrieden macht? Kräftigung des Selbstvertrauens Wir haben jetzt schon an vielen Stellen im Prozess befriedigende Lösungen für Ausnahmesituationen gefunden, wie können wir das auf das Stornierungsproblem übertragen? Phantasie anregen Stellen Sie sich Gelegenheiten vor, bei denen Sie gerne selbst schon mal einen Vorgang storniert hätten? Spannung aufbauen, provozieren Was können wir dem Kunden denn an Stelle einer Stornierung anbieten, etwa eine kostenlose Lieferung?

Kategorien und Schemata Zur Durchführung von Beobachtungen und Interviews können / sollen Schemata oder Kategorien verwendet werden Vorteile: Man vergisst nichts Vorbereitung der Aufmerksamkeit auf Details Stärkere Konzentration auf das zu lösende Problem Auswertung wird erleichtert Nachteile: Außergewöhnliches wird übersehen Einteilung der Kategorien kann unangemessen sein Falsche Schwerpunktsetzung

Quelle für Erhebungskategorien Ableitung von Kategorien aus den ersten explorativen Erhebungen Verwendung von vorgefertigten Erhebungsinstrumenten (Tätigkeitsanalyse, Tätigkeitsbewertung) Vorteil: … Nachteil: … Ableitung aus allgemeinen Schema zum Beispiel zu Arbeitssystemen oder Akzeptanzmodellen

ggf. Akzeptanz entwickeln Beispiel für Kategorien: Akzeptanzmodelle Anwender Erwartungen Informationen Benutzer Kompetenz Einstellung und ggf. Akzeptanz entwickeln Neue IT-Anwendung Benutzung ... Vergleichen und erproben fortführen abbrechen x verfügbare Ressour- cen (Zeit, Geld, ...) Resultat der Nutzung Alternativen

Auswertung der explorativen Erhebung Zuordnung der Ergebnisse zu den gefundenen oder vorgegebenen Kategorien Priorisierung, Hervorhebung von Besonderheiten Wie hängen die Kategorien zusammen Interpretation – warum ist das Beobachtete der Fall Darstellung von Arbeitsprozessen und der Interaktion mit der Informationstechnik Erarbeitung eines Datenmodells Auflistung der Verbesserungsvorschläge Aufstellung von Hypothesen z.B. „ältere Menschen wollen sich selbst nicht als hilfsbedürftig sehen“ Ausarbeitung präziser zu beantwortender Fragen

Hermeneutischer Zirkel / Spirale Nach der ersten Sichtung wird das zu analysierende Phänomen besser verstanden Im Lichte der ersten Interpretation der erhobenen Daten wird mit der Interpretation von vorn begonnen – oder die Erhebung ergänzt Bei jedem Durchlauf kommt man auf ein höheres Erkenntnisniveau – zu einem besseren Verständnis

Workshops Feedback zu Erhebungsergebnissen Erarbeitung relevanter Faktoren durch Diskussion – Offenlegung verschiedener Perspektiven Brainstorming: sammeln aller möglichen wichtigsten Aspekte – mehrere Teilnehmer regen sich gegenseitig an Priorisieren der gesammelten Aspekte (z.B. Verbesserungsmöglichkeiten)  Worldcafé: Workshops mit vielen Teilnehmern

Aktionsforschung Software-Entwickler / -Einführer analysieren nicht nur die Situation, sondern beeinflussen sie auch. Forschung und Intervention sind gekoppelt Forschung, um die Situation zu verstehen, Innovationspotentiale zu entdecken, für andere Fälle lernen Intervention, um die Situation zu verbessern Vorteil: Nachteil: man erforscht seine eigene Wirkungen und ist damit auch voreingenommen WICHTIG: zyklische Trennung von Forschung und Intervention; ausführliche Dokumentation

Cultural Probes

Methodentriangulation Methoden geeignet zusammenstellen, mischen ERGÄNZUNG KORREKTUR VALIDIERUNG

Auswahl des Samplings Welche Teilnehmer, Gruppen, Abteilungen passen zu den Zielen der Erhebung ? Wieviele Teilnehmer etc. sollen involviert werden, damit die Ziele der Evaluierung erreicht werden ? Wie findet man eine geeignete Stichprobe?

Quantitative, kontrollierte Erhebung

Quantitative, kontrollierte Erhebung – Zweck Prüfen ob bestimmte Probleme oder Verbesserungswünsche eine Ausnahme sind oder gehäuft bzw. systematisch auftreten Durchführung von Wirksamkeits- und Erfolgsmessung (Arbeitszufriedenheit, Effizienz) Feststellen, welche Faktoren für die Wirkung oder den Erfolg ausschlaggebend sind Experimente zum Vergleich verschiedener Lösungsalternativen

Geeignete Erhebungsinstrumente Problem: eine große Zahl von Fällen ist zu erheben, um zufällige Ergebnisse auszuschließen Fragebogen günstig um viele zu erreichen, Sicherheit, dass Fragen immer gleich sind, aber: Rücklaufquote, man tauscht sich über den Fragebogen aus, Reihenfolge nicht erzwingbar. Standardisierte Interviews gleiche Fragen, Reihenfolge und Konzentration erzwingbar, aber geringere Zahl

Umfragen werden bei größeren Gruppen eingesetzt strukturiert geschlossene Fragen einzeln sind offene Fragen möglich Frageformen z.B. Multiple Choice / Skalierungen / Ranking Ausfüllen des Bogens am Arbeitsplatz oder zu Hause Mittel zum Aufspüren von Unterschieden zwischen 2 oder mehreren Gruppen

Erhebungsauswertung Standardisierte Beobachtung Auszählen von Beobachtungskategorien Auszählen von Kategorien in offenen Interviews Zuordnung von Äußerungen zu Kategorien und Auszählung Logfiles objektive Daten, aber z.T. schwer interpretierbar

Fragebogenauswertung Mittelwerte und Abweichungen  Feststellung von Veränderungen Zusammenhänge Clusterbildung Entscheidung zwischen Alternativen Bestätigung von Hypothesen Hauptproblem: Indikatorenbildung für Konstrukte, z.B. Nützlichkeit, Zuverlässigkeit, …

Experimente Überprüfung von Hypothesen Es müssen wiederholbare Untersuchungs-bedingungen definiert werden  in der Regel Laborbedingungen Kontrolle intervenierender Variabeln! Ausreichend große Probandenzahl wg. Signifikanzniveau (besondere Schwierigkeit: Groupware) Wenn die Ausgangshypothese nicht belegbar ist, bedeutet dies nicht, dass das Gegenteil der Fall ist.  Vertiefung bei Usability Testing