Interrater-Reliabilität und Benutzerfreundlichkeit der Delirium Observation Screening Scale Eine empirische Untersuchung im klinischen Setting 2. Österreichischer pflegewissenschaftlicher Hochschultag 2017 Gesellschaft Pflegewissenschaft im ÖGKV Petra Schumacher, MScN Priv.-Doz. Mag. Dr. Gerhard Müller Department für Pflegewissenschaft und Gerontologie

Übersicht Masterstudium Pflegewissenschaft Einleitung Theoretischer Rahmen Problem- und Zieldarstellung Methodik Ergebnisse Diskussion Schlussfolgerungen

Einleitung Übersicht Masterstudium Pflegewissenschaft Häufige Komplikation im stationären Alltag (Siddiqi 2006) Akuter Verwirrtheitszustand – Zeitspanne: Stunden - Tagen (Schuurmans et al. 2003). 50% der stationär älteren Patienten betroffen (Inouye et al. 2014) 60% der Fälle werden durch Ärzte und 40% der Fälle werden durch Pflegekräfte nicht erkannt (Frühwald et al. 2014, Fick 2007) Delir in 40% der Fälle vermeidbar (NICE 2010) Das Delir ist eine häufige Komplikation von älteren Patienten, das in einer Zeitspanne von einigen Stunden bis zu einigen Tagen auftreten kann. Das Delir bezeichnet einen akuten Verwirrtheitszustand und wird auch als „Durchgangssyndrom“ oder „organisches Psychosyndrom“ bezeichnet. Das Delir ist ein ernstzunehmendes und oft tödliches Problem, welches bei jedem 2. aufgenommenen älteren Patienten auftreten kann. Es bleibt oftmals unerkannt und gilt als unzureichend verstanden. In nur 30% bis 70% der erkannten Fälle wird ein adäquates Delir-Management eingeleitet.

Einleitung Übersicht Masterstudium Pflegewissenschaft Hohe Delir-Inzidenzraten: Intensivstationen, postoperativ und palliativen Versorgung (Inouye et al. 2014) Delir Ein-Jahres-Mortalität 40% (ÖGGG 2013:4f) Verzögerung des Heilungsprozesses sowie Komplikationen (ÖGGG 2013:4f) Zunehmenden Alter und zusätzlichen kognitiven Beeinträchtigungen erhöhtes Delir-Risiko (ÖGGG 2013:4) >> Weitere Ursachen siehe nachfolgende Abbildung Akutspital sind 29% bis 64% der über 65-jährigen Patienten und post-operativ sind bis zu 50% der Patienten betroffen. Die Neuerkrankungen gelten als unterschätzt, weil die meisten Studien die Ausgangswerte von kognitiv eingeschränkten oder demenziell erkrankten Personen exkludieren. Ein unerkanntes Delir kann für die betroffene Person schwerwiegende Folgen haben, Es kann zu Verzögerung des Heilungsprozesses sowie Komplikationen kommen, die einen verlängerten Krankenhausaufenthalt. Daraus resultieren gesteigerte wirtschaftliche Kosten für das österreichische Gesundheits- und Sozialsystem.

Übersicht Einleitung Masterstudium Pflegewissenschaft Ätiologie von Delir (Inouye 2006 zit. aus ÖGGG 2013:7) Prädisposition Exogener Einfluss Hohe Vulnerabilität Schwache Noxe • Hohes Lebensalter • Kognitive Einschränkung • Frailty • Hohe somatische Komorbidität • Schwere Grunderkrankung • Seh- und Hörbehinderung • Anämie • Malnutrition (niedriges Serum- Albumin) • Depression • Ängstlichkeit • Alkoholismus • Benzodiazepin-Einnahme • Schmerz • Leichte kognitive Störung • Einsamkeit • Fremde Umgebung • Körperliche Einschränkung • Immobilisation • Störung des Biorhythmus • Psychoaktive Medikamente • Entzugssyndrom (Alkohol, Sedativa) • Respiratorische Insuffizienz (Hypoxie) • Exsikkose • Elektrolytentgleisung • Akute Infektion • Hypo-, Hyperglykämie • Organversagen (Leber, Niere) • Intensivbehandlung • Anticholinergika • Chirurgische Eingriffe Das Risiko eines Delirs steigt mit zunehmendem Alter. Die betroffenen Personen, zumeist ältere Menschen über 65 Jahren, reagieren auf Umweltreize unangemessen, hervorgerufen durch eine akut-organische Beeinträchtigung des Gehirns. Ein Delir ist meistens das Resultat eines multifaktoriellen Krankheitsgeschehens. Vor allem der Zusammenhang zwischen somatischen und psychischen Aspekten sowie Verhältnis von Vulnerabilität und Noxe Daraus ergibt sich die Wichtigkeit ein Delir-Risiko frühzeitig zu erkennen. Übergang Beorbachtung…

Theoretischer Rahmen Übersicht Masterstudium Pflegewissenschaft Beobachtung als situative, systematische, objektive und zielgerichtete Wahrnehmung von Phänomenen, Prozessen oder Verhaltensweisen eines Menschen (Bierhoff & Petermann 2014:192) Beobachtung als Methode der Datenerhebung (Bierhoff & Petermann 2014:192) Wahrnehmung - Endergebnis eines komplexen Vorganges (Goldstein 2015:3) >> Wahrnehmungsprozess nach Goldstein (2008) Die Beobachtung ist eine Methode der Datenerhebung und beabsichtigt das Sammeln von visuellen und/oder auditiven Fakten und Informationen zum Zeitpunkt ihres Auftretens. Im Gegensatz zu einer Alltagswahrnehmung ist die wissenschaftliche Beobachtung systematisch und zeilgerichtet. Der Prozess der Wahrnehmung beeinflusst die Beobachtung und läuft dynamisch ohne feste Reihenfolge der einzelnen Schritte ab und kann sich ständig verändern.

Übersicht Theoretischer Rahmen Masterstudium Pflegewissenschaft Wahrnehmungsprozess (Goldstein 2008:4) Die einzelnen Schritte des Wahrnehmungsprozesses werden zirkulär dargestellt. Wahrnehmen, Erkennen und Handeln kann nacheinander, gleichzeitig sowie in umgekehrter Reihenfolge stattfinden und sie beeinflussen sich gegenseitig. Die blauen Pfeile in der Abbilung verweisen auf Stimuli in der Umwelt einer Person, die türkisfarbenen Pfeile auf die physiologischen Verarbeitungsprozesse und die orangenfarbenen Pfeile auf die perzeptuelle physiologische sowie psychophysische Antwort im Wahrnehmungsprozess. Sowohl im Prozess der Wahrnehmung als auch bei der Beobachtung kann es zu Verzerrungen kommen. Im Rahmen von wissenschaftlichen Untersuchungen müssen diese in der Planung, bei der Datenauswertung und Darstellung der Ergebnisse berücksichtigt werden.

Theoretischer Rahmen Übersicht Masterstudium Pflegewissenschaft Stand der Forschung Inhalts-, Konstrukt-, Kriteriumsvalidität (Detroyer et al. 2014, Scheffer et al. 2011, Schuurmans et al. 2003) Interne Konsistenz (Detroyer et al. 2014, Schuurmans et al. 2003) Anwenderfreundlichkeit (Detroyer et al. 2014, Van Gemert & Schuurmans 2007) Die frühzeitige Erkennung von Delirien obliegt besonders dem Pflegepersonal. Pflegerische Screening- und Assessmentinstrumente können dazu beitragen ein Delir frühzeitig zu erkennen, um schnellst möglich präventive Gegenmaßnahmen einzuleiten. In den letzten Jahren wurden zahlreiche Screening- und Assessmentinstrumente entwickelt, welche die Einschätzung der verschiedenen Aspekte eines Delirs unterstützen können. Pflegerische Instrumente sollten jedoch nicht ohne eine kritische Bewertung genutzt werden. Die Prüfung der sogenannten Gütekriterien stellt sicher, dass die erhobenen Daten objektiv, zuverlässig und gültig für das geplante Einsatzgebiet sind. Im Mittelpunkt dieser Untersuchung stand die DOSS. 13 verbale und nicht-verbalen Verhaltensweisen Bewertet mit „Nie“, „Manchmal bis immer“ oder „Weiß nicht“ - Deutsche Version der DOSS Summenwert: 0-13 Punkte, Cut-Off Wert ≥ 3 Punkten Einschätzungsdauer: 1-5 Der Summenwert ergibt sich aus den Beobachtungen (Wahrnehmen) der Pflegepersonen in Bezug zu den Verhaltensweisen der Patienten und ihrer Interpretation dieser Verhaltensweisen (Erkennen). Davon leitet die Pflegeperson ihr weiteres Handeln ab. Verschiedene Gütekriterien der DOSS wurden bereits getestet. Nächste Seite.

Problem- und Zieldarstellung Übersicht Masterstudium Pflegewissenschaft Problem- und Zieldarstellung Übersicht Routinemäßiges Delir-Monitoring empfohlen (AWMF 2015, American Geriatrics Society Expert Panel on Postoperative Delirium in Older Adults 2015, ÖGGG 2013) Screening-Instrumente müssen vor Praxisimplementierung auf Reliabilität überprüft werden (Andrew et al. 2009) Untersuchungen zur Beobachterübereinstimmung und Interrater- Reliabilität fehlen im deutschsprachigen Raum Zieldarstellung (a) Beobachterübereinstimmung und Interrater-Reliabilität der Delirium Oberservation Screening Scale [DOSS] zwischen zwei Pflegepersonen, (b) Benutzerfreundlichkeit der DOSS aus Sicht der Pflegepersonen Jedoch fehlte im deutschsprachigen Raum Studien ob Pflegepersonen bei unabhängiger Verwendung der Skala beim gleichen Patienten zu übereinstimmenden Ergebnissen kommen. Diese Einschätzungen sollten möglichst zeitnah erfolgen, um ähnliche Testsituationen vorzufinden.

Methodik Übersicht Masterstudium Pflegewissenschaft Quantitativ-deskriptive Querschnittdesign GRAAS (Kottner et al. 2011) Stichproben Patienten: n = 141 Beobachter: n = 36 EK-Votum positiv   Einschlusskriterien Ausschluss-kriterien Population Personen ab 65 Jahren Personen <65 Jahren Setting Akutkrankenhaus Langzeitpflege- und extramuraler Bereich Station Konservative Abteilungen Operative Abteilungen, Intensivstation Phänomen Keine Diagnose Demenz (MMSE-Wert ≥20) Diagnose Demenz (MMSE-Wert ≤20) Einverständnis Einwilligungsfähig Freiwillige, Teilnahme Unterzeichnung der Einverständnis-erklärung Nicht einwilligungsfähig Keine Einverständnis-erklärung Der empirische Teil dieser Masterthesis wurde anhand den Guidelines for Reporting Reliability and Agreement Studies [GRAAS]

Methodik Übersicht Masterstudium Pflegewissenschaft Datenerhebung Februar bis Mai 2016 Erhebung der Interrater-Reliabilität Delir-Screening durch 2 unabhängige Beobachter (2 Tagen) Delir-Screening innerhalb einer Stunde Erhebung der Benutzerfreundlichkeit Fragebogen mit 38 Items, 5-stufige Likert-Skala (Detroyer et al. 2014, Van Gemert & Schuurmans 2007) Das Screening der Patienten erfolgte am ersten und zweiten Tag des stationären Aufenthaltes unabhängig durch Beobachter 1 und Beobachter 2. Aufgrund der fluktuierenden Symptomatik eines Delirs, sollte das Screening innerhalb einer Stunde durchgeführt werden. Es war zu beachten, dass während oder nach dem jeweiligen Delir-Screening kein kommunikativer Austausch zwischen Beobachter 1 und Beobachter 2 erfolgen durfte. Für die Erhebung der Benutzerfreundlichkeit wurde ein Fragebogen allen diplomierten Pflegepersonen, welche die DOSS angewendet haben, zur Verfügung gestellt.

Methodik Übersicht Masterstudium Pflegewissenschaft Datenanalyse Stichprobeneigenschaften Häufigkeiten (n, %) Lage- und Streuungsmaße, Normalverteilungstest Interrater-Reliabilität Beobachterübereinstimmung (Po) Erwartete Zufallsübereinstimmung (Pe) (Gwet 2012:18) Cohens Kappa (κ) (Writz & Caspar 2002:56) Intraklassenkorrelationskoeffizient (ICC1.1) (Writz & Caspar 2002:190) Benutzerfreundlichkeit Häufigkeiten (n, %), Median Kategoriale zusammenfassende Analyse Irrtumswahrscheinlichkeit α ≤ 0,05 Die Dateninterpretation erfolgte unter der Anwendung der hier ersichtlichen Analyseverfahren mit dem Statistikprogramm SPSS.

Ergebnisse Übersicht Masterstudium Pflegewissenschaft Patienteneigenschaften (n = 141) f: 96 (69,1%), m: 43 (30,9%) Alter: MW = 78,21 ±7,718, MD = 78 Jahre MMSE: MW = 27,18 ±2,009, MD = 27 Beobachtereigenschaften (n = 36) f: 23 (63,9%), m: 13 (36,1%) Alter: MW = 39,57 ±10,167, MD = 41 Jahre Berufserfahrung: MW = 15,47 ±10,742, MD = 15,50 Jahre 141 Patienten entsprachen den Ein- und Ausschlusskriterien, unterzeichneten freiwillig die Einverständniserklärung und wurden an zwei Tagen mittels DOSS von einem Beobachterpaar unabhängig voneinander eingeschätzt. Auf Geschlecht und Alter eingehen. Dann auf die Beoabchter.

Ergebnisse Übersicht Masterstudium Pflegewissenschaft Beobachterübereinstimmung, Interrater-Reliabilität Itemebene Po = 92,7% bis 100% Pe = 90,4% bis 100% Kappa-Koeffizienten: κ = -0,022 bis κ = 0,562 (T1: Item 2, 10) Gesamtpunkte Delir-Risikos Kategorisierung (Kategorie <3 vs. ≥3 Punkte) Die Übereinstimmungen der beiden Beobachter wurden sowohl für jede der 13 Verhaltensweisen, für die Gesamtpunkte, als auch für das bestehende Delirrisiko berechnet. Übereinstimmungswahrscheinlichkeit (pa = overall agreement probability) und zufälligen Übereinstimmungswahrscheinlichkeit (pe = change agreement probablilty) sehr hoch, jedoch der statistisch berechnete Wert der Beobachterübereinstimmung sehr niedrig.

Ergebnisse Übersicht Masterstudium Pflegewissenschaft Benutzerfreundlichkeit der DOSS Rücklauf: 75% (27 von 36 PP) Anzahl von Einschätzungen MW = 11,19 ±7,254, Min = 3 , Max = 30 Einschätzungsdauer: n = 13 (<6 Min.), n = 9 (>7Min.) Zeitdifferenz zwischen Beobachtern Tag 1: MW = -78,70 ±91,731, MD = -45 Minuten Tag 2: MW = -73,15 ±87,177, MD = -30 Minuten

Ergebnisse Übersicht Masterstudium Pflegewissenschaft Benutzerfreundlichkeit der DOSS 66,6% (n = 18) DOSS leicht verständlich Verständlichkeitsprobleme bei Item 4, 6, 8 und 10 Beschreibungen frei von Werten und Vorurteilen (88,9%, n = 24) Praktischen Handhabbarkeit der DOSS (MD = 3) Benutzerfreundlichkeit der DOSS (MD ≤2) Geringer Zeitaufwand, gezielte Patientenbeobachtung Items einfach und klar formuliert Unterschiedliche Ergbenisse der Benutzerfreundlichkeit. Sprachliche Schwierigkeiten mit Item 1: nickt während des Gesprächs ein Item 4: beendet begonnene Fragen oder Antworten nicht Item 6: reagiert verlangsamt auf Aufträge Item 8: erkennt die Tageszeit Item 10: nestelt, ist ruhelos, unordentlich und nachlässig

Diskussion Übersicht Masterstudium Pflegewissenschaft Sehr hohe prozentuelle Beobachterübereinstimmungen Keine bis mittlere Kappa-Koeffizienten – Kappa Paradox (Gwet 2012:36, Feinstein & Cicchetti 1990) Begrenzte Antwortmöglichkeiten (Gwet 2012:6) und homogene Population (Reuschenbach 2011:62) erhöht die Möglichkeit zufälliger Übereinstimmungen Inhomogenes Bild der Benutzerfreundlichkeit und praktischen Handbarkeit der DOSS – gegen Einführung im stationären Alltag Benutzerfreundlichkeit und Handbarkeit sind teilweise zufriedenstellend (Detroyer et al. 2014, Van Gemert & Schuurmans 2007) Lange Einschätzungsdauer – Studienprotokollierung Insgesamt waren die Beobachterübereinstimmungen sehr hoch, jedoch waren die Kappa-Koeffizienten sehr niedrig. Kappa-Paradox. In anderen Studien werden die Benutzerfreundlichkeit und Handbarkeit der DOSS zufriedendstellend dargestellt. In meiner Studie war dies nur teilweise der Fall. Dies könnte aber auch mit der geplanten Implementierung der Skala im stationären Alltag zu tun haben.

Diskussion: Limitationen Übersicht Masterstudium Pflegewissenschaft Diskussion: Limitationen Übersicht Einfluss von Beobachtereigenschaften (z.B. Berufserfahrung, Alter) auf Patienteneinschätzung stand nicht im Forschungsinteresse Beeinflussung der Wahrnehmung durch Müdigkeit und mangelnde Motivation Verzerrung durch Pflegekräfte: Durchführung, Einschätzung sowie Interpretation der Beobachtungen Verzerrung durch Gelegenheitsstichprobe, Erhebung drei Monate nach Schulung Zeitdifferenz zwischen den Einschätzungen (>1 Stunde)

Schlussfolgerungen Übersicht Masterstudium Pflegewissenschaft Nachweislich hohe Beobachterübereinstimmungen Benutzerfreundlichkeit durch geringen Zeitaufwand und Verständlichkeit der Items Sprachliche Itemadaptierung (4, 6, 8, 10) vor Implementierung DOSS sensibilisiert Pflegepersonen für Phänomen Delir Empfehlung: Interrater-Reliabilität mit heterogenen Stichproben sowie Diagnosestudien Eine Verwendung der Skala im stationären Alltag kann dazu beitragen, dass Pflegepersonen auf das Delir sensibilisiert werden. Vor dem Einsatz der DOSS auf den überprüften Stationen, sollte die Skala noch sprachlich adaptiert werden.

Übersicht Masterstudium Pflegewissenschaft Mueller G., Schumacher P. (ex aequo), Wetzlmair J., Lechleitner M., Schulc E. Inter-rater Reliability and User-friendliness of the Delirium Observation Screening Scale. Journal of Nursing Measurement. Accepted for publication.

Univ.-Ass. Petra Schumacher, MScN Interrater-Reliabilität und Benutzerfreundlichkeit der Delirium Observation Screening Scale Eine empirische Untersuchung im klinischen Setting Univ.-Ass. Petra Schumacher, MScN Department für Pflegewissenschaft und Gerontologie E: petra.schumacher@umit.at Tel: +43(0)50-8648-3815 www.umit.at

Literaturverzeichnis Übersicht Masterstudium Pflegewissenschaft Literaturverzeichnis Übersicht American Geriatrics Society Expert Panel on Postoperative Delirium in Older Adults. American Geriatrics Society abstracted Clinical practice guideline for postoperative delirium in older adults. J Am Geriatr Soc 2015; 63(1):142-150. Andrew MK, Bhat R, Clarke B, Freter SH, Rockwood MRH, Rockwood K. Research Letter – Inter-rater Reliability of the DRS-R 98 in detecting delirium in frail elderly patients. Age Aging 2009; 38(2):241-44. Arbeitsgemeinschaft der Wissenschaftlichen Medizinischen Fachgesellschaften [AWMF]. S3-Leitlinie. Analgesie, Sedierung und Delirmanagement in der Intensivmedizin. 2015. http://www.awmf.org/uploads/tx_ szleitlinien/001-012l_S3_Analgesie_Sedierung_Delirmanagement_ Intensivmedizin_2015-08_01.pdf. (13.02.2016). Bierhoff HW, Petermann F. Forschungsmethoden der Psychologie. Hogrefe Verlag. 2014. Detroyer E, Clement PM, Baeten N, Pennemans M, Decruyenaere M, Vandenberghe J, Menten J, Joosten E, Milisen K. Detection of delirium in palliative care unit patients: A prospective descriptive study of the Delirium Observation Screening Scale administered by bedside nurses. Palliat Med 2014; 28(1):79-86. Feinstein AR, Cicchetti DV. High agreement but low kappa: The problems of two paradoxes. J Clin Epidemiol 1990; 43(6):543-9.

Literaturverzeichnis Übersicht Masterstudium Pflegewissenschaft Literaturverzeichnis Übersicht Fick DM, Hodo DM, Lawrence F, Inouye SK. Recognizing delirium superimposed on dementia: Assessing nurses’ knowledge using case vignettes. J Gerontol Nurs 2007; 33(2):40-7. Inouye SK. Delirium in older persons. N Engl J Med 2006; 354(11):1157-65. National Institute for Health and Clinical Excellence [NICE]. Delirium: Diagnosis, Prevention and Management. 2010. http://www.nice.org.uk/guidance/cg103/ resources/cg103-delirium-full-guideline3. (26.08.2015). Österreichische Gesellschaft für Geriatrie und Gerontologie [ÖGGG]. Delir 2013 – Ein häufiges Syndrom im Alter – eine interdisziplinäre Herausforderung. 2013. http://www.alterspsychiatrie.at/bilder/publikationen/expertpapiere/Delir_Folder2013.pdf. (02.05.2016). Frühwald T, Weissenberger-Leduc M, Jagsch C, Singler K, Gurlit S, Hofmann W, Böhmdorfer B, Iglseder B. Delir. Z Gerontol Geriatr 2014; 47(5):425-40. Goldstein EB. Wahrnehmungspsychologie: Der Grundkurs. Gegenfurtner K (Hg.). Springer Verlag, Berlin, Heidelberg. 2015. Goldstein EB. Wahrnehmungspsychologie: Der Grundkurs. Irtel H (Hg.). Springer Verlag, Berlin, Heidelberg. 2008. Gwet KL. Handbook of inter-rater reliability: The definitive guide to measuring the extent of agreement among raters. 3rd edition. Advanced Analytics, LLC, Gaithersburg, MD. 2012

Literaturverzeichnis Übersicht Masterstudium Pflegewissenschaft Literaturverzeichnis Übersicht Inouye SK, Westendorp RGJ, Saczynski JS. Delirium in elderly people. Lancet 2014; 383(9920):911-22. Reuschenbach B. Gütekriterien. In: Reuschenbach B, Mahler C (Hg.). Pflegebezogenene Assessmentinstrumente – Internationales Handbuch für Pflegeforschung und -praxis. Verlag Hans Huber, Bern. 2011:57-79.  Scheffer AC, van Munster BC, Schuurmans MJ, de Rooij SE. Assessing severity of delirium by the Delirium Observation Screening Scale. Int J Geriatr Psychiatry 2011; 26(3):284-291. Schuurmans MJ, Shortridge-Baggett LM, Duursma SA. The Delirium Observation Screening Scale: A screening instrument for delirium. Res Theory Nurs Pract 2003; 17(1):31- 50. Siddiqi N, House AO, Holmes JD. Occurrence and outcome of delirium in medical In-patients: A systematic literature review. Age Ageing 2006; 35(4):350-64. Van Gemert LA, Schuurmans MJ. The Neecham Confusion Scale and the Delirium Observation Screening Scale: Capacity to discriminate and ease of use in clinical practice. BMC Nurs 2007; 6:3. doi: 10.1186/1472-6955-6-3. Wirtz M, Caspar F. Beurteilerübereinstimmung und Beurteilerreliabilität: Methoden zur Bestimmung und Verbesserung der Zuverlässigkeit von Einschätzungen mittels Kategoriensystemen und Ratingskalen. Hogrefe, Göttingen. 2002.