Umgang mit Messunsicherheiten Peter Zangerl INTERLAB Fachkongress 29. April 2009, Kempten

INTERLAB Fachkongress, 2009 Inhalt Einleitung: Angabe der Messunsicherheit (akkreditierte Laboratorien) Definition Messunsicherheit Möglichkeit zur Berechnung Spezialfall Keimzahlbestimmung Probleme bei der Ermittlung der Messunsicherheit mikrobiologischer Verfahren Beurteilung von Grenzwerten – unter besonderer Berücksichtigung mikrobiologischer Verfahren Literatur INTERLAB Fachkongress, 2009 2

Angabe der Messunsicherheit (1) Bei akkreditierten Laboratorien muss gemäß ISO/IEC 17025, 5.10.3.1 c im Prüfbericht, falls anwendbar, die Messunsicherheit angegeben werden, wenn für die Gültigkeit oder Anwendung des Prüfergebnisses von Bedeutung, vom Kunden verlangt, oder wenn die Unsicherheit die Einhaltung von Grenzwerten in Frage stellt. INTERLAB Fachkongress, 2009

Angabe der Messunsicherheit (2) Gemäß DAR-4-INF-02 sollte bei Angabe der Messunsicherheit das Messergebnis zusammen mit einer „erweiterten Unsicherheit“, die zum Vertrauensniveau von 95 % gehört, wie folgt angegeben werden: Messwert 100,1 (Einheiten) Messunsicherheit ± 0,1 (Einheiten) Erklärung der Messunsicherheit INTERLAB Fachkongress, 2009

INTERLAB Fachkongress, 2009 Inhalt Einleitung: Angabe der Messunsicherheit (akkreditierte Laboratorien) Definition Messunsicherheit Möglichkeit zur Berechnung Spezialfall Keimzahlbestimmung Probleme bei der Ermittlung der Messunsicherheit mikrobiologischer Verfahren Beurteilung von Grenzwerten – unter besonderer Berücksichtigung mikrobiologischer Verfahren Literatur INTERLAB Fachkongress, 2009 5

Messunsicherheit – Grundlagen (1) Normalverteilung (Gauss-Verteilung) Im Intervall x ± 2σ liegen etwa 95 % der Beobachtungen (95 % Vertrauensbereich). Im Intervall x ± σ liegen etwa 68 % der Beobachtungen. x = Mittelwert σ = Standradabweichung INTERLAB Fachkongress, 2009

Messunsicherheit – Definition Die Messunsicherheit beschreibt das 95 % Vertrauensintervall eines Messwertes bei Anwendung einer bestimmten Methode. Sie ist sozusagen ein „Werteintervall, das den Wert der gemessenen Größe mit hoher Wahrscheinlichkeit überdeckt“*. * Kessel, W. (1998): Messunsicherheit, ein wichtiges Element der Qualitätssicherung INTERLAB Fachkongress, 2009

Messunsicherheit – Grundlagen (2) MU (U) = k * uc MU (U)= Messunsicherheit („erweiterte Unsicherheit)“ k = „Erweiterungsfaktor“ uc = „kombinierte Standardunsicherheit“ EUROCHEM/CITAC Leitfaden (2004): Ermittlung der Messunsicherheit bei analytischen Messungen INTERLAB Fachkongress, 2009

INTERLAB Fachkongress, 2009 Inhalt Einleitung: Angabe der Messunsicherheit (akkreditierte Laboratorien) Definition Messunsicherheit Möglichkeit zur Berechnung Spezialfall Keimzahlbestimmung Probleme bei der Ermittlung der Messunsicherheit mikrobiologischer Verfahren Beurteilung von Grenzwerten – unter besonderer Berücksichtigung mikrobiologischer Verfahren Literatur INTERLAB Fachkongress, 2009 9

Messunsicherheit - Möglichkeit zur Berechnung - MU = 2 * sR MU = „(erweiterte) Messunsicherheit“ k = Faktor für ca. 95 % Vertrauensintervall sR = Vergleichstandardabweichung aus Ringversuchen Vorteil: Einheitlicher Wert – unabhängig von Labor EUROCHEM/CITAC Leitfaden (2004): Ermittlung der Messunsicherheit bei analytischen Messungen INTERLAB Fachkongress, 2009

INTERLAB Fachkongress, 2009 Inhalt Einleitung: Angabe der Messunsicherheit (akkreditierte Laboratorien) Definition Messunsicherheit Möglichkeit zur Berechnung Spezialfall Keimzahlbestimmung Probleme bei der Ermittlung der Messunsicherheit mikrobiologischer Verfahren Beurteilung von Grenzwerten – unter besonderer Berücksichtigung mikrobiologischer Verfahren Literatur INTERLAB Fachkongress, 2009 11

Spezialfall Keimzahlbestimmung Die Koloniezahlen oder die im Mikroskop gezählten Keime sind nicht normalverteilt! INTERLAB Fachkongress, 2009

Variationskoeffizient in Abhängigkeit von der mittleren Koloniezahl - Gesamtkeimzahlbestimmung in Rohmilch - Poisson-Verteilung: σ2 = µ Variationskoeffizient in Prozent Probenzahl: 116 Kolonien auf Petrischale (Mittelwert aus n=2) INTERLAB Fachkongress, 2009

INTERLAB Fachkongress, 2009 Inhalt Einleitung: Angabe der Messunsicherheit (akkreditierte Laboratorien) Definition Messunsicherheit Möglichkeit zur Berechnung Spezialfall Keimzahlbestimmung Probleme bei der Ermittlung der Messunsicherheit mikrobiologischer Verfahren Beurteilung von Grenzwerten – unter besonderer Berücksichtigung mikrobiologischer Verfahren Literatur INTERLAB Fachkongress, 2009 14

INTERLAB Fachkongress, 2009 Probleme bei der Ermittlung von Präzisionsparametern mikrobiologischer Verfahren Poisson-Verteilung der Mikroorganismen („Stichprobenfehler“) – auch nach log-Transformation nicht immer Normalverteilung Eigenschaften der Zielkeime (Klumpen, Ketten) Begleitflora – MU abhängig von Begleitflora im Vergleich zum Zielkeim Güte der diagnostischen Systeme (Bsp. Baird-Parker-Agar vs. RPF-Agar) Gussverfahren – Oberflächenausstrich Probenmatrix – z.B. MU größer bei Milchpulver als bei Milch Probeninhomogenitäten (größter Beitrag zur Gesamtvarianz) INTERLAB Fachkongress, 2009

INTERLAB Fachkongress, 2009 Anteil von Komponenten an der Gesamtvarianz mikrobiologischer Verfahren Probenvarianz 50 % - 70 % Methodenvarianz 4 % - 10 % Unvermeidbare statistische Plattierungsvarianz (Poissonverteilung) ca. 25 % Quelle: Berg et al. (1994) zitiert nach Baumgartner et al. (2006) INTERLAB Fachkongress, 2009

Ermittlung der Messunsicherheit aufgrund von Ringversuchsergebnissen Methodenbezogene Ringversuche Teilnahme von ausgewählten Labors zur Feststellung der Präzisionsdaten einer Methode (Wiederholbarkeit „r“, Vergleichbarkeit „R“) Ergebnisse werden in die Methodennorm aufgenommen (ISO). Parameterbezogene Ringversuche – Proficiency Testing Teilnahme von Routinelabors zur Überprüfung ihrer Arbeitstechnik Bei einem Parameter können verschiedene Methoden zur Anwendung kommen. INTERLAB Fachkongress, 2009

sR in Ringversuchen - Keimzählverfahren - Quelle sR in log KbE/g Methoden (z.B. ISO) ca. 0,1 – 0,3  ca. 0,15 Proficiency Tests (Norsk Matanalyse) ca. 0,2 – 0,5  ca. 0,3 INTERLAB Fachkongress, 2009

Festlegung der Messunsicherheit an der BAM Rotholz Nicht auf Methode bezogen, sondern auf die mikrobiologische Plattentechnik: uc = ± 0,25 log KbE/g MU = ± 0,5 log KbE/g (0,5 log entsprechen dem Faktor 3,2 in „normaler“ Skala) INTERLAB Fachkongress, 2009

INTERLAB Fachkongress, 2009 Beispiele Messwert in KbE/ g (ml) Intervall MU ± 0,5 log 100 32 bis 320 1.000 320 bis 3.200 10.000 3.200 bis 32.000 50.000 16.000 bis 160.000 100.000 32.000 bis 320.000 INTERLAB Fachkongress, 2009

Angaben MU in der Literatur (mikrobiologische Verfahren) Schweizerische Akkreditierungsstelle (2006) Plattenverfahren (Guss-, Spatel- und Tropftechnik): ± 0,5 log EU Kommission (2005 und 2006) Mikrobiologische Analysen allgemein: häufig 0,5 – 1,0 log INTERLAB Fachkongress, 2009

INTERLAB Fachkongress, 2009 Inhalt Einleitung: Angabe der Messunsicherheit (akkreditierte Laboratorien) Definition Messunsicherheit Möglichkeit zur Berechnung Spezialfall Keimzahlbestimmung Probleme bei der Ermittlung der Messunsicherheit mikrobiologischer Verfahren Beurteilung von Grenzwerten – unter besonderer Berücksichtigung mikrobiologischer Verfahren Literatur INTERLAB Fachkongress, 2009 22

Konsequenz der unsicheren Schätzung bei mikrobiologischen Zählverfahren Probenahmepläne Probenanzahl: n, c Grenzwerte: m, M Keine Angabe der MU im Prüfbericht INTERLAB Fachkongress, 2009

INTERLAB Fachkongress, 2009 Coliforme in log KbE/g in Camembert bei Nichtbeherrschung des Prozesses Charge Probe 1 2 3 4 5 6 7 8 9 10 <3 3,6 3,5 3,9 4,5 5,8 4,4 4,9 5,4 4,3 3,7 3,8 3,0 5,5 5,2 5,0 3,3 6,1 5,1 Die Variabilität der Probenergebnisse übersteigt die Präzisionsangaben in den Standardmethoden um ein Vielfaches. INTERLAB Fachkongress, 2009

Beuteilung von Grenzwerten Europäische Kommission (2005) – Diskussionspapier zu mikrobiologischen Kriterien: General policy in recent discussions seems to be that food business operators should always regard all test results above the limits unacceptable regardless of the MU involved, whereas in the official controls the MU COULD be taken into account in order to be sure beyond reasonable doubt that the batch in question does not comply with the criterion. Europäische Kommission (2006) – Leitfaden zu VO (EG) Nr. 882/2004: As regards food-borne pathogens the highest acceptable result including MU should still be low enough to ensure a high level of human health protection. Particularly, in the context of enforcement actions the highest acceptable result must be considered carefully on a case-by-case basis. In Regulation (EC) No 2073/2005, only one quantitative limit is fixed for a pathogen as a food safety criterion, i.e. Listeria monocytogenes (100 cfu/g). INTERLAB Fachkongress, 2009

Beurteilung von Grenzwerten - Möglichleiten Quelle:CHEM/40182/2006 bei L. monocytogenes Anwendbarkeit bei mikrobiologischen Kriterien ? (ii) Wert > Limit; Wert - MU < Limit: - Charge akzeptiert, da Ergebnis nicht zweifelsfrei über Grenzwert. - Charge nicht akzeptiert, da Ergebnis über Grenzwert – Sicherheitsaspekt bei Pathogenen (iii) Wert < Limit; Wert + MU > Limit: - Charge akzeptiert, da Ergebnis unter Grenzwert. - Charge nicht akzeptiert, da Möglichkeit einer Überschreitung gegeben - Gesundheitsgefahr bei Pathogenen INTERLAB Fachkongress, 2009

INTERLAB Fachkongress, 2009 Inhalt Einleitung: Angabe der Messunsicherheit (akkreditierte Laboratorien) Definition Messunsicherheit Möglichkeit zur Berechnung Spezialfall Keimzahlbestimmung Probleme bei der Ermittlung der Messunsicherheit mikrobiologischer Verfahren Beurteilung von Grenzwerten – unter besonderer Berücksichtigung mikrobiologischer Verfahren Literatur INTERLAB Fachkongress, 2009 27

INTERLAB Fachkongress, 2009 Literatur (1) Deutscher Akkreditierungsrat (1998): Angabe der Unsicherheit in der quantitativen Prüfung. DAR-4-INF-02 (Internetverfügbar) Deutscher Akkreditierungsrat (2005): Anforderungen an Prüflaboratorien und Akkreditierungsstellen bezüglich der Messunsicherheitsabschätzung nach ISO/IEC 17025 (5.4.6/5.10.3). DAR-4-INF-08 (Internetverfügbar) Ellison, S. L. R., Rösslein, M. und Williams, A. (2000): EUROCHEM/CITAC Leitfaden. Ermittlung der Messunsicherheit bei analytischen Messungen. 2. Auflage (Internetversion) Stand 2004. QUAM:2000.P1 http://www.eurolab-d.bam.de/dokumente.html Baumgartner, A., Bischofsberger, T., Bissig-Choisat, B., Dalla Torre, M., Emch, H., Gafner, J.-L., Hübner, Ph., Meyer, R., Müller, Ch., Scheffeldt, P., Spahr, U., Stephan, R., Wäspi, U. (2006): Leitfaden zur Validierung mikrobiologischer Prüfverfahren und zur Abschätzung der Messunsicherheit im Bereich Lebensmittel- und Umweltmikrobiologie. Mitt. Lebensm. Hyg. 97, 73-106. CHEM/4018/2006: Measurement uncertainty and accreditation – impact on critical difference approach INTERLAB Fachkongress, 2009

INTERLAB Fachkongress, 2009 Literatur (2) Kessel, W. (1998): Messunsicherheit, ein wichtiges Element der Qualitätssicherung. http://www.ptb.de/de/publikationen/download/pdf/kessel.pdf European Commission (2005): Discussion paper on strategy for setting microbiological criteria for foodstuffs in Community legislation. www.ec.europa.eu/food/food/biosafety/salmonella/discussion_paper_en.pdf European Commission (2006): Guidance document on official controls, under Regulation (EC) No 882/2004, concerning microbial sampling and testing of foodstuffs. (Internetverfügbar) Schweizerische Akkreditierungsstelle SAS (2006): Leitfaden zur Validierung mikrobiologische Prüfverfahren und zur Abschätzung der Messunsicherheit im Bereich Lebensmittel- und Umweltmikrobiologie. Dokument Nr. 328.dw; Ausgabe Feber 2006, Rev. 01 (Internetverfügbar) Niemelä, S.I. (2003): Uncertainty of quantitative determinations derived by cultivation of microorganisms. Centre for Metrology and Accreditation Publication J4/2003 (Internetverfügbar) INTERLAB Fachkongress, 2009