Ist die Wirkung von Präventionsmassnahmen messbar? Beat Burri, LINK Institut Ruedi Kaufmann, Suva.

Präsentation zum Thema: "Ist die Wirkung von Präventionsmassnahmen messbar? Beat Burri, LINK Institut Ruedi Kaufmann, Suva."—  Präsentation transkript:

1 Ist die Wirkung von Präventionsmassnahmen messbar? Beat Burri, LINK Institut Ruedi Kaufmann, Suva

2 Agenda 1Einleitung 2Präventionsarbeit der Suva "Vision 250 Leben" 3Ausgangslage / Idee 4Wirkungsmodell der Suva 5Aufbau und Betrieb des Präventionspanels 6Erkenntnisse für die Suva, Ausblick

3 Vision "250 Leben"

4 Mit dem Präventionsprogramm «Vision 250 Leben» hat sich die Suva zum Ziel gesetzt, innerhalb von zehn Jahren 250 Berufsunfälle mit Todesfolge und ebenso viele schwere Invaliditätsfälle zu verhindern. Dazu muss die jährliche Anzahl schwerer Unfälle mehr als halbiert werden.

5 Tödliche Berufsunfälle pro Jahr Todesfälle BUV, 2000-2020 Quelle: SSUV

6 Vision "250 Leben" Lebenswichtige Regeln Im Zentrum der «Vision 250 Leben» stehen die "Lebenswichtigen Regeln". Diese werden für alle Branchen und Tätigkeiten mit hohen Risiken erarbeitet. Beim Einhalten gilt Null-Toleranz. Wird eine lebenswichtige Regel verletzt, heisst es: STOPP, die Arbeiten einstellen und die gefährliche Situation beseitigen. Schutz vor Asbest Auch im Zusammenhang mit Asbest sterben jedes Jahr etwa 100 Personen. Obwohl seit 1990 ein Asbestverbot gilt, stösst man bei Abbruch, Umbau- oder Renovationsarbeiten noch vielerorts auf asbesthaltige Werkstoffe. Hier setzt das Präventionsprogramm "Asbest" an. Es gilt, Arbeitnehmende vor freigesetzten Asbestfasern zu schützen. Schwerpunkte der Prävention Im Rahmen der Präventionsprogramme bilden folgende Themen die Schwerpunkte: - Sicheres Instandhalten - Sichere Baustelle - Sichere Lehrzeit - stolpern.ch - STOPP dem Manipulieren von Schutzeinrichtungen - Risikoverhalten Forst - Sichere Elektrizität - Asbest erkennen - richtig handeln

7 Ausgangslage – Problematik › Unsere Problematik › Mehrfaches Ansprechen der gleichen Zielgruppen › Überschneiden von Themen › Wechselwirkung der einzelnen Kampagnen unbekannt › Wirkungsmessung für jeden einzelnen Präventionsschwerpunkt teuer und aufwendig

8 Ausgangslage – Ziel / Idee › Ziel/Idee › 1. Quantitative Erhebung (übergreifend): Entwicklung und Einsatz eines standardisiertes Erhebungsinstruments, welches die Wirkung der gesamten Suva Präventionsmassnahmen misst. › 2. ad hoc Erhebung (individuell): Individuelle Befragungsmöglichkeit für vertiefte Fragenstellungen bezüglich Eignung einzelner Mittel resp. Schwerpunkte.

9 Wirkungsmodell der Suva Massnahmen Einflussfaktoren M2 "primär Suva" Sensibilisierung, Kommunikation M3 "primär Betrieb" Schulung / Befähigung am Arbeitsplatz M4 "primär Suva" Wahrnehmung Kontrolle S + O System, Führung und Organisation T Technik und Verhältnisse P Personelle Ressourcen und Verhaltensmuster Sicherheit am Arbeitsplatz Generelle Indikatoren der Sicherheitskultur Sicherheitskultur

10 Messmodell Prävention - Zielsetzungen › Langfristiges Controlling der Präventionsprogramme „Vision 250 Leben“ und „Asbest“. › „Präventionspanel“: Wir betreiben eine dauerhafte Stichprobe von N=4‘000 Personen in Suva-versicherten Betrieben. › Wirkungsmodell: Wir messen die Wirkung des Präventionsprogramms ganzheitlich, aber auch für die einzelnen Aktivitäten. › Das Wirkungsmodell muss alle relevanten Treiber der Gesamtwirkung in einer Gesamtsicht darstellen. › Präventionsprogramme: Verbesserungsmassnahmen werden abgeleitet und kontinuierlich umgesetzt.

11 Vorgesetzte (leitende Mitarbeiter) 2‘000 Personen, aus Suva-versicherten Betrieben Mitarbeitende (Facharbeiter/Hilfsarbeiter) 2‘000 Personen, aus Suva-versicherten Betrieben Analysen Betriebsgrösse (1-10, 11-100, >100 Mitarbeiter) Wichtigste Versicherungsklassen (42B/45L/44E/11C/41A /52D/70C/38S/45G/45M/47E/18S/44D/01B/ 49A /55D/47B) Differenzierte Modellierung (nach Clusters) Regionen: D-CH, W-CH, Tessin Das Präventionspanel Wellenvergleiche zwischen verschiedenen Hauptwellen

12 Vom Wirkungs- zum Messmodell Massnahmen Einflussfaktoren M2 "primär Suva" Sensibilisierung, Kommunikation M3 "primär Betrieb" Schulung / Befähigung am Arbeitsplatz M4 "primär Suva" Wahrnehmung Kontrolle S + O System, Führung und Organisation T Technik und Verhältnisse P Personelle Ressourcen und Verhaltensmuster Sicherheit am Arbeitsplatz Generelle Indikatoren der Sicherheitskultur Sicherheitskultur Messung mit konkreten, Fragen (Kenntnis, Verhalten) im SUVA Präventionspanel Beispiel: Kenntnis "STOPP bei Gefahr" Beispiel: Bei Sicherheitsmängeln wird erst weitergearbeitet, sobald diese behoben sind

13 Kenntnis - Stopp bei Gefahr ‘STOPP bei Gefahr‘ ‘Asbest erkennen, richtig handeln‘ Die sogenannte Sicherheits-Charta ‘Lebenswichtige Regeln‘ Habe von keinem dieser Themen gehört Vorgesetzte [1315] Mitarbeitende [1451] Frage 104

14 Seite 15 Beurteilung Sicherheitskultur Sicherheits- mängel erst behoben Gefährliches Verhalten wird korrigiert Ich sage ‘Stopp‘Vorgesetzter sagt ‘Stopp‘ Bei Gefahr denke ich an das Risiko (A) [2766](B) [2766](C) [2766](D) [2766](E) [2766] Statistisch Signifikante Abweichung(en) (T-Test) Frage 403

15 LINK Institut Beat Burri: Aufbau und Betrieb des Präventionspanels

16 Panel für regelmässige online-Befragungen › Rekrutierung telefonisch › Erhebungen im Präventionspanel online › Wirkungsmodell 2x / Jahr › Ad hoc Fragestellungen „Zwischengondeln“

17 Die Herausforderungen › Wie können wir die Zielgruppe vom Nutzen der Befragung überzeugen? › Erreichen wir auch die Mitarbeitenden? › Ist die Ausschöpfung bei den online-Befragungen genügend gross? › Wie können wir die Panelmortalität gering halten? › Messmodell: Gelingt es uns, ein umfassendes und valides Messmodell erstellen zu können?

18 2011: Vorbereitungen und Pre-test Vorbereitungen Pre-test Ab 20142013 Entwicklung Messmodell Fragebogenentwicklung Test Rekrutierungsmethode 2012 2011

19 Pre-test › Entwicklung Messmodell › Expertengespräche und desktop research (internationaler Kontext) › Hypothetisches Messmodell (Workshop), Messdimensionen (Fragenkatalog) › Fragebogenentwicklung › Pre-test: Prüfung Messdimensionen › Verfeinerung Fragebogen › Hauptwelle 1: Definitives Mess- und Wirkungsmodell › Modellierung, Analyse › Einsatz der Bayes Regression  Referat Dr. Thomas Jensen Test Rekrutierungsmodell Fragebogenentwicklung Entwicklung Messmodell

20 Pre-test › Kundenliste von Suva › CATI-Rekrutierung › Prio 1: Vorgesetzte › Prio 2: Mitarbeitende (Facharbeiter / Hilfsarbeiter) › Mitarbeitende: Zusätzliche Rekrutierung aus LINK Internet-Panel › Online-Registrierung für das Panel Test Rekrutierungsmodell Fragebogenentwicklung Entwicklung Messmodell

21 Pre-test › Tests und Experimente: › Test und Optimierung Rekrutierungsmodell › Überprüfung des „Ausfüllortes des Fragebogens“ – auch am Smartphone möglich und genutzt › Abklären, welche Sprachen von Nutzen sind (z.B. portugiesisch, tamilisch) › Experiment verschiedener Incentive-Höhen und Incentive-Arten › Unterstützung durch Information auf Suva-Homepage › Beobachten von online-Interviews (Verfeinerung des Wordings) Test Rekrutierungsmodell Fragebogenentwicklung Entwicklung Messmodell

22 Herausforderungen gemeistert Wir können die Zielgruppe vom Nutzen der Befragung überzeugen. Wir erreichen auch die Mitarbeitenden. Messmodell: Erste Validierung vielversprechend. Noch offen: › Ist die Ausschöpfung bei den online-Befragungen genügend gross? › Wie können wir die Panelmortalität gering halten? ›  Hauptwelle

23 Rekrutierung Vorgesetzte und Mitarbeitende Pre-test Ab 201420132012 2011 Vorbereitungsphase Rekrutierung Entwicklung Messmodell Fragebogenentwicklung Test Rekrutierungsmethode

24 Vorgesetzte (leitende Mitarbeiter) 2‘000 Personen, aus Suva-versicherten Betrieben Mitarbeitende (Facharbeiter/Hilfsarbeiter) 2‘000 Personen, aus Suva-versicherten Betrieben Analysen Betriebsgrösse (1-10, 11-100, >100 Mitarbeiter) Wichtigste Versicherungsklassen (42B/45L/44E/11C/41A /52D/70C/38S/45G/45M/47E/18S/44D/01B/ 49A /55D/47B) Differenzierte Modellierung (nach Clusters) Regionen: D-CH, W-CH, Tessin Akribische Panelrekrutierung Wellenvergleiche zwischen verschiedenen Hauptwellen

25 Hauptwelle 1: Ein Erfolg? Vorbereitungsphase Hauptwelle 1 Entwicklung zusätzlicher Massnahmen Rekrutierung Pre-test Ab 20142013 Test Rekrutierungsmodell Fragebogenentwicklung Entwicklung Messmodell 2012 2011 Datenerhebung Inhaltliche Analyse Analyse Erhebungsmethode Massnahme 1 Massnahme 2 Massnahme 3

26 Hauptwelle 1: Ein Erfolg? › Versand an mehr als N=4‘000 Zielpersonen › Nachfassen per E-Mail bei Nicht-Teilnehmern (Sommerferien) › Rücklauf 70% (N = 2‘800) › Vorgesetzte und Mitarbeitende etwa gleich hohe Teilnahmebereitschaft Datenerhebung Inhaltliche Analyse Analyse Erhebungsmethode

27 Aufwändiges Panelmanagement › Beantwortung persönlicher E-Mails › Zuverlässiges Management Panelaustritte › Sorgfältige Nachrekrutierung innerhalb der Quotenzellen, teilweise gleiche Unternehmen

28 Entwicklung zusätzlicher Massnahmen Problem Massnahme  Nach telefonischer Rekrutierung zu wenig online-Registrierungen  Vereinfachung der online-Registrierung, dafür Ausbau der CATI-Rekrutierung (Statistikfragen)  Zusätzliches telefonisches Nachfassen bei Nicht- Registrierten  Zu wenig zusätzlicher Rücklauf nach online- Erinnerung  Zusätzliches telefonisches Nachfassen › Zielsetzungen: › Stabilisierung Rücklauf 70% › Wenig Austritte aus Panel (limitierte Adressen pro Cluster)

29 Erkenntnisse und Ausblick Vorbereitungsphase Hauptwelle 1 Entwicklung zusätzlicher Massnahmen Betrieb ab Hauptwelle 2 Rekrutierung Pre-test Ab 20142013 Test Rekrutierungsmodell Fragebogenentwicklung Entwicklung Messmodell 2012 2011 Datenerhebung Inhaltliche Analyse Analyse Erhebungsmethode Massnahme 1 Massnahme 2 Massnahme 3 2 Hauptwellen pro Jahr Zwischengondeln Weitere Zielgruppen

30 Suva Ruedi Kaufmann: Erkenntnisse für die Suva Ausblick

31  Quantifizierung wirksamer Massnahmen und Einflussfaktoren  Verfolgen im Zeitverlauf  Unterstützung für die Massnahmenfindung  Hohe Validität  Beobachten des Impacts bei neuen Massnahmen  Ergänzung und Justierung Fragenkatalog Erkenntnisse in Bezug auf das Modell

32 Wichtigste Erkenntnisse für die Suva  Schulung und Befähigung am Arbeitsplatz erzielen Wirkung  Einflussstärke der Suva-Kontrollen nicht klar beantwortet  Wenig Einfluss des Arbeitnehmers auf die Sicherheitskultur  "Stopp bei Gefahr" greift noch zu wenig

33  Zusätzliche Investitionen in Inserate und redaktionelle Beiträge  Management motivieren, mehr über Sicherheit zu informieren und Sicherheit einzufordern  Bewusstsein "Stopp bei Gefahr" weiterpflegen  Bekanntheit Asbest-Kampagne aufrechterhalten  Regelmässige und systematische Instruktionen am Arbeitsplatz fördern  Information über Konsequenzen der Sicherheitskontrolle Empfehlungen an die Suva

34  Kontinuierliche Durchführung (2x jährlich)  Punktuelle Erweiterung des Panelfragebogens bezüglich einzelner Massnahmen resp. Schwerpunkte einer Kampagne  „Zwischengondeln“  Bildung von Sub-Samples für Kampagnen spezifische Zielgruppen (Beispiel "Sichere Lehrzeit") Wie weiter?

35  Das Präventionspanel war der letzte Mosaikstein, der uns für die kontinuierliche und vor allem systematische Prozessverbesserung unseres Präventionsauftrages fehlte.  Es ist gelungen ein seriöses Werkzeug zu schaffen, das Suva-intern eine hohe Akzeptanz geniesst und im Austausch mit vergleichbaren Institutionen im Ausland grossen Anklang fand.  Dass wir uns mit dem Wirkungs- und Messmodell intensiv auseinandersetzen mussten, hat uns viele wertvolle Erkenntnisse gebracht. Ganz nebenbei hat es uns auch geholfen, unbeantwortete Fragen zu klären und unterschiedliche Ansichten abzugleichen. Armin Zimmermann, Bereichsleiter Support und Grundlagen, Suva Gedanken aus Kundensicht

36 Herzlichen Dank für Ihre Aufmerksamkeit!