Vorlesung Risikoverhalten in Arbeitswelt und Alltag FS2009 Teil G. Grote Prof. Dr. Gudela Grote Departement Management, Technology, and Economics, ETH Zürich Kreuzplatz 5, 8032 Zürich Tel. 01- 632 7086/7078, e-mail: ggrote@ethz.ch; www.oat.ethz.ch

Übersicht – Vorlesungsteil Gudela Grote 21.4.09 Prozess- versus Arbeitssicherheit - Das Fallbeispiel BP Texas City Text: Grote, G. (2007). Arbeits- und Prozesssicherheit. In H. Schuler & Kh. Sonntag (Hrsg.), Handbuch der Arbeits- und Organisationspsychologie (pp. 155-162). Göttingen: Hogrefe. 28.4.09 Sichere Organisation I: Sicherheitsmanagementsysteme und Sicherheitskultur Text: Müller, S., Brauner, C., Grote, G. & Künzler, C. (1998). Sicherheitskultur - Spiegelbild des Risikobewusstseins. Zürich: Schweizer Rück. 5.5.09 Sichere Organisation II: Die Rolle von Aufsichtsbehörden Text: Kirwan, B., Hale, A. & Hopkins, A. (2002). Changing regulation. Amsterdam: Pergamon. Chap. 1 & 11. 12.5.09 Sichere Technik I – Automation Text: Grote, G. (2009). Management of uncertainty - Theory and application in the design of systems and organizations. London: Springer. Chap. 6. 19.5.09 Sichere Technik II – Datensicherheit Text noch offen Benotete Semesterleistung für diesen Teil: in 2-3er Gruppen einen Vorlesungstermin bearbeiten, d.h. Text vorher lesen, Fragen für die Vorlesung vorbereiten und nach der Vorlesung Zusammenfassung schreiben (wird – ggfs. korrigiert – an alle Teilnehmenden verteilt als Prüfungsvorbereitung)

Prozess- versus Arbeitssicherheit

Beispiel 1: Alitalia-Unfall am Stadlerberg, Nov. 1990

Beispiel 2: Bauunfall

Anforderungen an menschliches Handeln aus Perspektive … Arbeitssicherheit Ziel ist der Schutz des Menschen vor Gefahren am Arbeitsplatz Sicherheit ist Sekundäraufgabe für Arbeitende mit Anforderungen an Risikowahrnehmung z.B. Beachten von Hinweistafeln Risikobezogenes Entscheiden z.B. Beurteilen von Sicherheitsvorrichtungen Vorbeugendes Handeln z.B. Tragen von Schutzkleidung Prozesssicherheit Ziel sind sichere Produktionsprozesse Sicherheit ist Teil der primären Ar-beitsaufgabe mit Anforderungen an Risikowahrnehmung z.B. Erkennen von Prozessabweichungen Risikobezogenes Entscheiden z.B. Abbruch eines Arbeitsprozesses Vorbeugendes Handeln z.B. Vorwarnen über Betriebsstörung

Risikowahrnehmung Erkennen möglicher Schäden Beachten, Gewichten und Deuten von Hinweisen auf kritische Bedingungen Beeinflussung durch Vorerfahrung, Erwartungen, Bedürfnisse etc. Beschränkung durch begrenzte Aufnahmekapazität Wahrscheinlichkeitsbeurteilung Überbewertung von Basiswahrscheinlichkeiten Kognitive Heuristiken (z.B. Verfügbarkeit) Abhängig von Kontrollerwartungen (z.B. unrealistischer Optimismus) Abhängig von Nutzenbeurteilung (z.B. Risiko selbst als Nutzen) “Experten” vs. “Laien” Unterschiedliche Gewichtung von quantitativer / qualitativer und von “objektiver” / “subjektbezogener” Information

Individuelles risikobezogenes Entscheiden und Handeln: Kognitive Fehler (Reason 1990)

Kollektives risikobezogenes Entscheiden und Handeln: Gruppendenken (Janis, 1972)

Motivation für eine Handlung = Wert x Erwartung Vorbeugendes Handeln - Aufrechterhalten der Motivation für Sicherheit als "Nichtereignis" am Beispiel Gehörschutz Motivation für eine Handlung = Wert x Erwartung

Anforderungen an menschliches Handeln aus Perspektive … Arbeitssicherheit Ziel ist der Schutz des Menschen vor Gefahren am Arbeitsplatz Sicherheit ist Sekundäraufgabe für Arbeitende mit Anforderungen an Risikowahrnehmung z.B. Beachten von Hinweistafeln Risikobezogenes Entscheiden z.B. Beurteilen von Sicherheitsvorrichtungen Vorbeugendes Handeln z.B. Tragen von Schutzkleidung Sicherheitsmassnahmen Mensch: Wissen über Gesundheitsge-fährdungen und deren Vermeidung Technik: Absicherung durch Barrieren etc. Organisation: Reglementierung von Sicherheitsvorkehrungen Prozesssicherheit Ziel sind sichere Produktionsprozesse Sicherheit ist Teil der primären Ar-beitsaufgabe mit Anforderungen an Risikowahrnehmung z.B. Erkennen von Prozessabweichungen Risikobezogenes Entscheiden z.B. Abbruch eines Arbeitsprozesses Vorbeugendes Handeln z.B. Vorwarnen über Betriebsstörung Sicherheitsmassnahmen Mensch: Fach- und Methoden-kompetenz Technik: Absicherung durch Redundanzen und Automation Organisation: Reglementierung von Arbeitsprozessen

Sichere Organisation I: Sicherheitsmanagementsysteme und Sicherheitskultur

Definitionen für Sicherheitskultur und Sicherheitsmanagement Safety culture: “that assembly of characteristics and attitudes in organizations and individuals which establishes that, as an overriding priority, nuclear safety issues receive the attention warranted by their significance” (INSAG, 1991) Safety management: “the safety management system comprises those arrangements made by the organization for the management of safety in order to promote a strong safety culture and achieve good safety performance” INSAG, 1999)

Elemente von Sicherheitskultur nach INSAG (1991)

Merkmale sicherer Organisationen: Beschreibung von Sicherheitskultur oder Sicherheitsmanagement? (z.B. Cohen, 1977; Reason, 1993) Commitment des Management zur Sicherheit Sicherheitsausbildung und -motivation Sicherheitsgremien und - vorschriften Unfallberichte Angemessene Inspektionen und Kommunikation Angemessene Vorschriften für Betrieb und Unterhalt Gutgestaltete und funktionierende technische Anlagen Gute allgemeine Ordnung

Organisationskultur Artefakte Werte Grundannahmen "a pattern of basic assumptions - invented, discovered, or developed by a given group as it learns to cope with its problems of external adaptation and internal integration - that has worked well enough to be considered valid and therefore, to be taught to new members as the correct way to perceive, think, and feel in relation to those problems" (Schein, 1985) Artefakte Sichtbare Strukturen und Prozesse in der Organisation (schwer zu entziffern)  Werte Strategien, Ziele, Philosopien (gültige Rechtfertigungen)  Grundannahmen Unbewusste, als selbstverständlich angenommene Glaubenssätze, Beurteilungen, Gefühle (primäre Quelle von Werten und Handlungen)

Sicherheitsmassnahmen als Spiegel und Bestätigung von Menschenbildern Sicherheitsfaktor? Risikofaktor? Bei allen Sicherheitsmassnahmen ist die richtige Balance zu finden.

Ein Fallbeispiel Hat der Operateur richtig gehandelt? In einer Produktionsanlage eines Petrochemiewerks wird Polyethylen aus in Isobutan gelöstem Ethylen unter hohem Druck und hoher Temperatur unter Zuhilfenahme verschiedener anderer Chemikalien, u.a. Hexan, in sogenannten Loop-Reaktoren hergestellt. Ein Operateur im Kontrollraum dieser Produktionsanlage überwacht den Reaktionsprozess in zwei solchen Reaktoren auf einer Reihe von Bildschirmen und Prozessschreibern. Mit Blick auf einen der Prozessschreiber erläutert einer seiner Schichtkollegen der Beobachterin: "Wenn diese beiden Kurven nicht mehr parallel laufen, ist Vorsicht geboten - wenn sie sich kreuzen, muss sofort der Prozess gestoppt werden." Bei den beiden Kurven handelt es sich um Messungen des Drucks im Reaktor und des Energieverbrauchs bei einer Gruppe von Pumpen; die Kreuzung der beiden Kurven zeigt eine Klumpung des Polyethylens an, wodurch einerseits der Druck im Reaktor steigt, andererseits mehr Energie nötig ist, um das fertige Produkt aus dem Reaktor zu pumpen. Neben den Prozessschreibern wurde auch ein Blatt Papier angeklebt, auf dem kritischen Werte für diese beiden Parameter stehen, unterschieden nach dem Wert, bei dem der Vorgesetzte zu unterrichten ist, und dem Wert, bei dem der Prozess abgestellt werden muss, was sofortiges Leeren des Reaktors und Spülen mit Wasser sowie einen mehrstündigen Produktionsunterbruch bedeutet. Eine Stunde später beginnen sich die beiden Kurven tatsächlich aufeinander zu zu bewegen. Der Operateur bemerkt dies sofort und verändert nach Überprüfung einiger anderer Kenngrössen die Sollwerte für den Produktionsstoff Hexan - er hat sich zusätzlich über die Hexan-Sollwerte in den Prozessvorschriften vergewissert -, wodurch das Prozessleitssystem den Zufluss des Stoffes reduziert und der Reaktor aufgrund des geringeren Reaktionsvolumens entlastet wird. Gleichzeitig hat der Operateur auch den Schichtführer informiert, der wenige Minuten später aus einer Sitzung heraus zu ihm kommt und auch während des weiteren Verlaufs der Störung anwesend ist. Die ersten Aktionen des Operateurs haben den Trend der Messgrössen noch nicht umgekehrt, erst weitere Reduktionen des Hexanzuflusses und schnelleres Entleeren des Kessels führen nach mehr als einer Viertelstunde wieder zu einer Normalisierung der Werte. Im Verlauf dieser Störung haben sich die beiden Kurven auf dem Prozessschreiber kurzfristig gekreuzt, im Vertrauen auf seine Fähigkeiten und unterstützt durch den Schichtführer hat sich der Operateur aber dagegen entschie-den, den Prozess gänzlich zu stoppen. Statt einen grösseren Produktionsausfall zu verursachen, hat er innerhalb einer halben Stunde den Prozess wieder weitgehend normalisiert, auch die Resultate der Qualitätskontrolle sind bald wieder positiv. Der Schichtkollege kommentiert "Ich hätte den Prozess ganz sicher gestoppt", dabei ist aber Bewunderung für die Kompetenz des Anderen zu spüren. Hat der Operateur richtig gehandelt?

Organisationales Management von Unsicherheit (Grote, 2004, in press) Minimierung von Unsicherheiten Komplexe, zentrale Planungssysteme Reduktion von operativen Handlungs-spielräumen durch Reglementierung und Automatisierung Störungen als zu vermeidende Symp-tome ineffizienter Systemgestaltung Bewältigung von Unsicherheiten Planung als Ressource für situatives Handeln Fördern operativer Handlungsspiel-räume durch vollständige Aufgaben und laterale Vernetzung Störungen als Gelegenheit für Kompetenzerwerb/-einsatz und für Systemveränderungen  Bindung Autonomie

Organisationales Management von Unsicherheit (Grote, 2004) Minimierung von Unsicherheiten Komplexe, zentrale Planungssysteme Reduktion von operativen Handlungs-spielräumen durch Reglementierung und Automatisierung Störungen als zu vermeidende Symp-tome ineffizienter Systemgestaltung Bewältigung von Unsicherheiten Planung als Ressource für situatives Handeln Fördern operativer Handlungsspiel-räume durch vollständige Aufgaben und laterale Vernetzung Störungen als Gelegenheit für Kompetenzerwerb/-einsatz und für Systemveränderungen  Bindung Autonomie Koordination via - technische Systeme - Standards/Programme persönliche Weisung Effektiv bei wenig Unsicherheit Koordination via - Pläne gegenseitige Absprachen Kultur Effektiv bei viel Unsicherheit Balance durch lose Kopplung  Motivation durch Aufgabenorientierung Autonomie höherer Ordnung Flexible Wechsel zwischen Organisationsformen Kultur als Basis für Koordination/Integration

Soziotechnisches Modell der Sicherheitskultur (Grote & Künzler, 2000) So wenig wie die Rede von einer Stunde Null im betrieblichen Wissensmanagment Sinn macht - d.h. Betriebe haben immer schon Wissensmanagemten betrieben - kann auch in der Forschung und Entwicklung von Mitteln und Medien des Wissensmanagements von einer Stunde Null gesprochen werden. In der Geschichte sind folgende Hauptströmungen zu verzeichnen: 2-3 HCI (Human Computer Interaction) / KI (Künstliche Intelligenz) 3-5 CMC (Computer Mediated Communication) CSCL (Computer Supported Cooperative Learning / mit CBT - Systemen) CSCW (Computer Supported Cooperative Work) Knowledge Management Systems

Indikatoren im soziotechnischen Modell der Sicherheitskultur Institutionalisierte kontinuierliche Verbesserungsprozesse Erhebung von Negativ- und Positivindikatoren von Sicherheit Ressourcenplanung als Verpflichtung zur Sicherheitsförderung Strategische und operative Sicherheitsziele für alle Unternehmensbereiche (I) Proaktive Sicherheitsförderung Kontrollierbare technische Systeme Individuelle Motivation durch Aufgabenorientierung Selbstregulation in kleinen Regelkreisen Aufgabenangemessene technische und organisatorische Sicherheitssysteme (II) Soziotechnisch integrierte Systemgestaltung So wenig wie die Rede von einer Stunde Null im betrieblichen Wissensmanagment Sinn macht - d.h. Betriebe haben immer schon Wissensmanagemten betrieben - kann auch in der Forschung und Entwicklung von Mitteln und Medien des Wissensmanagements von einer Stunde Null gesprochen werden. In der Geschichte sind folgende Hauptströmungen zu verzeichnen: 2-3 HCI (Human Computer Interaction) / KI (Künstliche Intelligenz) 3-5 CMC (Computer Mediated Communication) CSCL (Computer Supported Cooperative Learning / mit CBT - Systemen) CSCW (Computer Supported Cooperative Work) Knowledge Management Systems Individuelles und kollektives Sicherheitsbewusstsein als Handlungsbasis Fragende Grundhaltung bzgl. Praktiken und Leitlinien Partizipation aller Betroffenen bei Entscheidungs- und Veränderungsprozessen Reflexion der Balance von zentraler vs. dezentraler Kontrolle und Autonomie (III) Wertebewusstes Handeln

Methode für die Beurteilung von Sicherheitsmanagement bei Swiss Re: Safety Management Audit in the Process Industries (SMAPI)

Basis für die Beurteilung von Sicherheitskultur: Vergleich der Urteile von Beschäftigten verschiedener Abteilungen und Hierarchiestufen Beurteilung von Sicherheitsmassnahmen Formale Sicherheit e.g. There are sufficient written procedures, checklists etc. to ensure process safety. Gelebte Sicherheit e.g. Proposals developed during safety meetings are swiftly implemented. (2) Beurteilung von Sicherheitsstrategien e.g. Plant personnel can intervene in automated processes to ensure quality and safety of production. vs. Plant personnel may not intervene in automated processes in order not to jeopardize safety. So wenig wie die Rede von einer Stunde Null im betrieblichen Wissensmanagment Sinn macht - d.h. Betriebe haben immer schon Wissensmanagemten betrieben - kann auch in der Forschung und Entwicklung von Mitteln und Medien des Wissensmanagements von einer Stunde Null gesprochen werden. In der Geschichte sind folgende Hauptströmungen zu verzeichnen: 2-3 HCI (Human Computer Interaction) / KI (Künstliche Intelligenz) 3-5 CMC (Computer Mediated Communication) CSCL (Computer Supported Cooperative Learning / mit CBT - Systemen) CSCW (Computer Supported Cooperative Work) Knowledge Management Systems

Beispiele Fragebogen

Beispiele Fragebogen

Standardisierung als wesentlicher Teil von Sicherheitsmanagementsystemen Standards unterstützen koordiniertes Handeln ohne Notwendigkeit für explizite Koordination Standards unterstützen geteilte mentale Modelle der Situation und des angemessenen Handelns Standards reduzieren die bewusste individuelle Handlungsplanung Standards können explizite Koordination in anomalen Situationen verhindern Welche und wieviele Standards sind nötig, um situatives, flexibles Handeln zu unterstützen ? (z.B. Landung Hudson River)

Typen von Regeln (Hale & Swuste, 1998) Ebene der Handlungsregulation: Ziel (Regel definiert nur das Ziel, macht aber keine Aussagen darüber, wie das Ziel zu erreichen ist) Prozess (Regel beschreibt Prozesse, die nötig sind, um die korrekte Handlung zu definieren) Handlung (Regel scheibt eine konkrete operative Handlungsweise vor) Verbindlichkeit der Regel Handlungsspielraum in der Ausführung der Regel Verantwortungszuteilung Ausnahmen der Regelanwendung Begründung der Regel

Vorschriftenanalyse in einem Eisenbahn-unternehmen

Prinzipien für die Förderung flexibler Routinen durch Regeln Festlegung der geforderten Balance zwischen Stabilität und Flexibilität Beispiel Google versus Kernkraftwerk Ziel- und Prozessregeln für Flexibilität und Handlungsregeln für Stabilität Beispiel Überwachung von Zugfahrten im Stellwerk Passung zwischen Verantwortung und Kompetenz für den Umgang mit Unsicherheit Beispiel TCAS

Management von Unsicherheit in Organisationen (Grote, 2004; in press) Planung als lokale Ressource Wenig Standardisierung Technische Unterstützung Grosse operative Spielräume Zentrale Planung Hohe Standardisierung Hoher Automationsgrad Wenig operative Spielräume Stabilität Flexibilität Jede Organisation muss die richtige Balance zwischen Stabilität durch Minimierung von Unsicherheit und Flexibilität durch Bewältigung von Unsicherheit finden.

Beispiel Überwachung von Zugfahrten im Stellwerk Das richtige Funktionieren des Zuglenksystems und der Stellwerkautomatik ist durch den Fahrdienstleiter zu über-wachen. Nötigenfalls ist manuell einzugreifen. Im Regelbetrieb kann auf die Überwachung verzichtet werden, sofern die Einhaltung der betrieblichen Vorgaben gewährleistet wird. Zudem muss bei Störungen oder Ereignissen das Aufbieten der entsprechenden Dienste bzw. die Alarmierung sichergestellt sein. (Auszug aus Fahrdienstvorschriften einer Eisenbahngesellchaft)

Beispiel Überwachung von Zugfahrten im Stellwerk Das richtige Funktionieren des Zuglenksystems und der Stellwerkautomatik ist durch den Fahrdienstleiter zu über-wachen. Nötigenfalls ist manuell einzugreifen. Im Regelbetrieb kann auf die Überwachung verzichtet werden, sofern die Einhaltung der betrieblichen Vorgaben gewährleistet wird. Zudem muss bei Störungen oder Ereignissen das Aufbieten der entsprechenden Dienste bzw. die Alarmierung sichergestellt sein. (Auszug aus Fahrdienstvorschriften einer Eisenbahngesellchaft) Handlungsregel  Stabilität (mit Spielraum) Prozessregel  Flexibilität Zielregel  Flexibilität aber: unzureichende Passung Verantwortung-Untertsützung

Beispiel TCAS

Sichere Technik I – Automation

Technikgestaltung in risikoreichen Arbeitssystemen Technische Sicherung kritischer Systemfunktionen (z.B. ABS) Technische Redundanzen Technische Hilfsmittel zur Verhaltensbeeinflussung (z.B. Signale) Ergonomie (Hardware und Software)

Cockpit A320

Menschliche Fehler bei Incidents im Airbus 5 10 15 20 25 30 35 40 45 4 (2%) 6 (3%) 7 (3%) 8 (4%) 9 (4%) 15 (7%) 16 (7%) 19 (9%) 20 (9%) 35 (16%) 38 (18%) 39 (18%) Sonstiges Wahrnehmung Interpretation Selbstüberschätzung Slips/ Lapses Procedures Planung/Timing Entscheidung System Operation Crew Koordination A/C-Handling Situationsbewusstsein

Beispiel: Lack of Situation Awareness Crew ist sich nicht bewusst über V2 keine Bewusstheit über Power Setting (N1) bemerkt Mode Change nicht ist sich der niedrigen Rotationsrate nicht bewusst bemerkt nicht, dass A/THR in Climb Thrust sind sich nicht bewusst, im Leerlauf zu fliegen

Lack of Situation Awareness Zugrundeliegende Faktoren  Hinweis auf Bedeutung der (un)ergonomischen Gestal-tung von Steuerelementen im Airbus Lack of Situation Awareness fokussierte Aufmerksamkeit mangelndes Feedback ATS mangelndes Feedback Sidesticks hohe mentale Belastung Interpretationsfehler informationelle Einflüsse

Technikgestaltung in risikoreichen Arbeitssystemen Technische Sicherung kritischer Systemfunktionen (z.B. ABS) Technische Redundanzen Technische Hilfsmittel zur Verhaltensbeeinflussung (z.B. Signale) Ergonomie (Hardware und Software) Aufgabenverteilung Mensch-Technik

Menschliche Kontrolle in soziotechnischen Systemen Unabhängig vom Grad der Automatisierung soziotechnischer Systeme müssen Menschen die Verantwortung für ihr Funktionieren übernehmen. Um Verantwortung übernehmen zu können, müssen die Systeme für den Menschen kontrollierbar sein. Kontrolle beinhaltet die Durchschaubarkeit, Vorhersehbarkeit und Beeinflussbarkeit des Systems.

Ironien der Automation "(...) das automatische Kontrollsystem ist eingeführt worden, weil es die Aufgabe besser erfüllen kann als der Operateur, und doch wird vom Operateur verlangt, dass er das richtige Funktionieren des Systems überwacht. (...) wenn die Entscheidungen vollständig spezifiziert werden können, kann der Computer sie schneller treffen, unter Berücksichtigung von mehr Entscheidungen und genauer spezifizierten Kriterien im Vergleich zu dem, was ein Mensch könnte. Daher ist es unmöglich, dass der menschliche Operateur unmittelbar überprüfen kann, ob der Computer seinen eigenen Regeln korrekt folgt. Man kann deshalb vom Operateur nur erwarten, dass er die Entscheidungen des Computers auf einer Meta-Ebene überwacht, um festzustellen, ob die Entscheidungen des Computers 'akzeptabel' sind. Falls der Computer für die Entscheidungen eingesetzt wird, weil menschliche Urteilskraft und intuitives Schlussfolgern dem jewei-ligen Kontext nicht angemessen sind, fragt sich, welche der Entscheidungen akzeptiert werden sollte? Der mensch-liche Überwacher hat eine unmögliche Aufgabe erhalten." (Bainbridge, 1982)

Strategien für die Aufgabenverteilung zwischen Mensch und Technik

Menschliche Fähigkeiten im Vergleich zu technischen Potentialen ¯ hochausgebildete Sensorik Improvisationsfähigkeit Bewältigung von "ill-defined" Problemen ¯ Geschwindigkeit exakte Wiederholung ohne Ermüdung Bewältigung von komplexen, aber "well-defined" Problemen

Kritik an der Vergleichsstrategie Mensch und Technik sind nicht quantitativ vergleichbar, d.h. die gleiche Funktion wird von Mensch und Technik qualitativ anders erfüllt. Mensch und Technik sind nicht austauschbar, sondern ergänzen sich, d.h. statt Entweder-Oder-Entscheiden bei der Funktionsverteilung ist die Interaktion von Mensch und Technik zu gestalten. Ausführungsbedingungen ergeben sich aus Wechselwirkungen zwischen Funktionen, d.h. Automatisierung einer Funktion beeinflusst Ausführung anderer Funktionen durch den Menschen.

Das Grundprinzip der Komplementarität Gestaltung der Interaktion von Mensch und Technik auf der Grundlage einer sich zu einer neuen Qualität ergänzenden Unterschiedlichkeit nicht als Konkurrent und nicht als Nachbildung des Menschen mit dem Ziel, ihn zu ersetzen, d.h. Technik sondern als komplementäre Unterstützung der Stärken des Menschen und Kompensation seiner Schwächen

Soziotechnische Systemgestaltung: Beispiel KOMPASS (Grote et al

Beispiel aus KOMPASS: Informations- und Ausführungsautorität Manuell Manuell, technisch unterstützt Manuell, technisch begrenzt Manuell, technisch unterstützt und begrenzt Automatisch, manuell bestätigt Automatisch Gestaltungsziel: Passung zwischen Grad an Informations- und Ausführungsautorität und zwischen Autorität und Verantwortung

Fortschritte arbeitswissenschaftlicher Designmethoden: Kontrollierbarere Systeme? Unfall- und Ereignisanalysen legen ein Nein nahe. Mögliche Gründe: Systementwickler folgen den arbeitswissenschaftlichen Methoden nicht und beharren auf Annahmen zu Menschen als Risikofaktoren Organisationen als geschlossenen technischen Systemen, in denen Unsicherheit minimiert werden kann. Kontrolle wird durch Vertrauen ersetzt. Aber: Trotz wachsender Komplexität menschliche Kontrolle immer wieder auf ähnliches Niveau eingependelt. Wird das auch mit noch höheren Komplexitätsgraden funktionieren?

Erweiterung: Systemdesign für partielle Nicht-Kontrollierbarkeit Information für menschliche Operateure zu den Grenzen der Kontrollierbarkeit (z.B. Airbus-Unfall Warschau) Durch Menschen nicht kontrollierbare Funktionen vollständig automatisieren ohne menschliche Back-up-Anforderung (z.B. TCAS) Verschiebung der Verantwortung für Systemsicherheit hin zu Betreiberorganisationen und Entwicklern