Pixabay/Hans Braxmeier: Mezilaboratorní experiment –proč a jak
Mezilaboratorní experiment se používá k mnoha účelům. Tento metodický list jednotlivé druhy mezilaboratorních experimentů roztřiďuje a zaměřuje se na nejčetnější provedení – zkoušení způsobilosti. Zkoušení způsobilosti je významným nástrojem posuzování kvality vlastních výsledků dosahovaných laboratoří a též jejedním z prostředků posouzení kompetence - způsobilosti a kvality práce laboratoře ze strany koncového uživatele výsledků anebo akreditačního orgánu. Metodický list dále uvádí, jak se zkoušení způsobilosti vyhodnocuje a jak by měla laboratoř i externí posuzovatel dosažené parametry hodnotit. Zabývá se i způsobem reakce laboratoře na neúspěšný výsledek ve zkoušení způsobilosti.
Mezilaboratorní experiment spočívá v porovnání výsledků analýz dostatečně homogenního a stabilního vzorku z několika laboratoří. Tyto aktivity se nazývají různě: mezilaboratorní porovnávání zkoušek, mezilaboratorní studie, mezilaboratorní testování způsobilosti laboratoří, okružní rozbory, kruhové testy, zkoušení způsobilosti nebo programy externího řízení kvality. Podle doporučení IUPAC (1) lze roztřídit mezilaboratorní experimenty (studie) dle účelu do třech hlavních skupin:
1. Studie výkonnosti metody (Method-performance study) – účastnící se laboratoře používají jednotnou metodu (postup) měření a studie, často nazývaná mezilaboratorní validací, slouží k stanovení výkonnostních parametrů (charakteristik) metody, především míry preciznosti - reprodukovatelnosti. Demonstrace srovnatelnosti výsledků měření a vhodnosti pro daný účel za různých podmínek měření nezávisle na času a místě je též cestou k standardizaci metody.
2. Studie výkonnosti laboratoře (Laboratory-performance study) – účastnící se laboratoře používají k analýze postup, který mají v laboratoři zavedený, jejich výsledek se srovnává s referenční hodnotou získanou experimentálně nebo přiřazením. Pro tento typ experimentu se používá běžně název zkoušení způsobilosti (proficiency testing –PT) a v oblasti laboratorní medicíny EHK (externí hodnocení kvality, EQA - external quality assessment).
3. Certifikační studie materiálu (Material-certification study) – představuje určení certifikované hodnoty referenčního materiálu na základě zpracování výsledků analýz ve vybraných (referenčních) laboratořích.
Pro úplnost je třeba dodat, že v poslední době se k těmto třem hlavním skupinám mezilaboratorních experimentů přidává skupina tzv. klíčových porovnávání (key comparison) organizovaných Mezinárodním úřadem pro míry a váhy pro laboratoře národních metrologických institutů a přidružené laboratoře k prokázání jejich měřicích a kalibračních schopností a jednotnosti měření na vrcholové úrovni (2).
V dalším se budeme v tomto Metodickém listu věnovat výhradně skupině ad2 a budeme používat název zkoušení způsobilosti ev. zkratku PT.
Zkoušení způsobilosti laboratoře patří mezi nástroje externího řízení kvality. Především umožňuje samotné laboratoři posoudit pravdivost jejích výsledků, tedy přítomnost či nepřítomnost vychýlení (bias, systematické chyby) a tedy pomoci indikovat problémy při provádění daného stanovení. To je cenné zejména tam, kde laboratoř nemůže získat tuto informaci analýzou vhodného certifikovaného referenčního materiálu vzhledem k jeho nedostupnosti z důvodů technických (nestabilita, matricový nesoulad (komutabilita), koncentrační nesoulad) nebo jiných (finanční náročnost, nároky skladování apod.). Častou výhodou programů PT je skutečnost, že zasílané vzorky mají složení, které se co nejvíce přibližuje složení rutinních vzorků. Úspěšnost laboratoře v programech zkoušení způsobilosti je i ukazatelem používaným k hodnocení její práce externími činiteli. Účast ve zkoušení způsobilosti je v současné době pokládána za samozřejmou součást systému managementu kvality akreditovaných laboratoří. Český institut pro akreditaci má stanovenu politiku pro oblast zkoušení způsobilosti (3), kde výsledky laboratoře v PT jsou důležitým kritériem při posuzování technické kompetence-způsobilosti laboratoře. Výsledky laboratoře ve zkoušení způsobilosti jsou jednak hodnoceny během vlastního procesu realizace žádosti o akreditaci, jednak slouží k monitorování práce laboratoře během platnosti Osvědčení o akreditaci.
Účast laboratoře ve vybraném programu PT zahrnuje typicky přihlášení laboratoře a úhradu poplatku organizátoru PT. Pak laboratoř získá vzorek s neznámým obsahem analytu a instrukcemi jak sním zacházet a v jakém formátu zaslat výsledek. Po provedení analýzy způsobem, který je v laboratoři obvyklý u rutinních vzorků, laboratoř do určeného termínu zašle výsledek organizátoru PT. Ten po statistickém zpracování výsledků daného cyklu PT a obvykle konverzi výsledků jednotlivých laboratoří do vyhodnocovacího skóre (viz dále Vyhodnocení PT) poskytne zpětně laboratoři informaci o úspěšnosti laboratoře ve formě, vyjadřující míru shody jeho hodnoty se vztažnou hodnotou, o které se předpokládá, že representuje odhad pravé hodnoty. Konkrétní výsledek jednotlivých laboratoří organizátor jmenovitě nezveřejňuje, často souhrn výsledků je presentován na semináři, či ve zprávě, které umožňují laboratořím získat cenné poznatky pro řešení problémů dané analýzy a výměnu zkušeností.
Poskytovatelé programů PT se v poslední době jak u nás tak i ve světě mohou nechat akreditovat a tak poskytují laboratořím osvědčení o prověrce své způsobilosti v této oblasti podle mezinárodních kriterií a tedy další racionální ukazatel pro jejich výběr.
Roční plán programů zkoušení způsobilosti dostupných v ČR je k dispozici na webu Českého institutu pro akreditaci. Přehled pravidelně pořádaných zahraničních programů PT je dostupný v mezinárodní databázi EPTIS, zahrnuje nyní i programy českých poskytovatelů.
K hodnocení kvantitativních výsledků účastníků PT se používají tyto ukazatele (4):
a) Rozdíl
kde *x* je výsledek účastníka, X je vztažná hodnota.
b) Procentuální rozdíl
kde *x* je výsledek účastníka, X je vztažná hodnota.
c) z skóre definované jako
kde *x* je výsledek účastníka, X je vztažná hodnota a σpt je *směrodatnou odchylkou pro posuzování způsobilosti*, příslušnou mírou variability vybranou tak, aby odpovídala požadavkům daného programu PT.
Jak popisuje podrobně ISO 13528 (4), tato směrodatná odchylka se může získat několika způsoby:
i) jako tradiční či robustní směrodatná odchylka, ii) jako vyjádření vhodnosti pro daný účel na základě expertního posouzení, iii) jako odhad na základě výsledků předchozích cyklů PT nebo odhadu založeného na zkušenostech, iv) jako odhad na základě vhodného statistického modelu.
Pro hodnocení výkonu laboratoře platí
|z|≤2 uspokojivý 2<|z|<3 sporný |z|>3 neuspokojivý
Vyhodnocování pomocí z skóre je základním a nejběžnějším způsobem vyhodnocování PT.
d) Zeta (ζ) skóre, výpočet je podobný En číslu (viz e, níže) používá však ve jmenovateli standardní nejistoty. Hodnocení je pak stejné jako u tradičního z skóre.
kde *x* je výsledek účastníka, X je vztažná hodnota a u*lab* je kombinovaná standardní nejistota výsledku účastníka a u*av* je kombinovaná standardní nejistota vztažné hodnoty (assigned value).
e) En číslo definované jako
kde *x* je výsledek účastníka, X je vztažná hodnota, U*lab* je rozšířená nejistota výsledku účastníka a U*ref* je rozšířená nejistota vztažné hodnoty stanovené referenční laboratoří.
Platí, že výkon laboratoře je pro
|En|≤1 uspokojivý |En|>1 neuspokojivý
Podrobněji o hodnocení výsledků účastníků PT pojednává norma ISO 13528 (4).
Účast v programu zkoušení způsobilosti nemůže nahrazovat účinné rutinní interní řízení kvality. Poskytuje v relativně dlouhém časovém intervalu indikaci, zda měřicí systém včetně zvolených prvků interního systému řízení kvality funguje správně, či zda jsou v něm nějaké problémy. Není však diagnostickým nástrojem, který by napovídal, včem je problém u daného stanovení a proč navržený interní systém řízení kvality selhal.
Při hodnocení podle jednotlivých skóre je třeba důsledně respektovat statistický charakter těchto kritérií. Náhodný charakter například u nejběžněji používaného z-skóre znamená, že zhruba v jednom případě z dvaceti může i u správně fungujícího systému vyjít hodnota z-skórev ětší než druhá. Kolísáni z-skóre dosažených v jednotlivých cyklech PT v rozmezí -2 do +2 neznamená kolísání výkonnosti laboratoře, stejně tak jako není možné v daném jednotlivém cyklu PT sestavovat žebříček laboratoří podle z-skóre, laboratoř, která dosáhla z-skóre 0,3 není „lepší“ než ta, která dosáhla z-skóre 1,7. V delším časovém horizontu lze výsledky laboratoře z jednotlivých cyklů PT programu graficky znázorňovat a hodnotit pomocí Shewartových, CUSUM nebo J regulačních diagramů jak o tom a dalších otázkách hodnocení výsledků PT pojednává podrobně Technická zpráva IUPAC (5).
Při neúspěšné účasti laboratoře ve zkoušení způsobilosti je především důležité, zda funguje zpětná vazba v systému managementu kvality laboratoře. Neúspěšnost výsledku je účastníku PT sdělena s určitým časovým odstupem od data, kdy byla série vzorků s PT vzorkem analyzována (tato doba by měla být organizátorem PT standardizována). Pokud jsou kontrolní vzorky a další indikace interního řízení kvality pro danou várku v pořádku a přesto je výsledek PT špatný, znamená to: buď že interní systém řízení kvality byl navržen nevhodně a je neefektivní anebo že pouze PT vzorek působí problém. Obecně se při diagnostice příčin ukazuje vhodné prozkoumat záznamy o analýzách várky, ve které byl analyzován PT vzorek se zaměřením na:
Samozřejmě je vhodné provést opakování analýzy PT vzorku z daného či předchozího cyklu, pokud zůstaly k dispozici. Laboratoř by měla mít dokumentovaný postup jak na situaci po neuspokojivém výsledku v PT reagovat, například ve formě postupového diagramu vycházejícího z jejích zkušeností a konfigurace interního řízení kvality pro dané stanovení včetně zdokumentování všech opatření. Avšak ani nejpropracovanější schéma nemůže zohlednit všechny možné příčiny problému a je nutné, aby postup zahrnoval i expertní přístup. Negativní výsledek by měl však být jednoznačně podnětem ke zjištění důvodů neúspěchu a realizování vhodných nápravných opatření v systému zabezpečení kvality, které zabrání jejich opakovánía identifikace vzniklých chyb a jejich odstranění povedou k následnému zlepšení systému managementu kvality laboratoře.
Horwitz W.: Nomenclature of Interlaboratory Analytical Studies (IUPAC Recommendations 1994). Pure Appl. Chem. 66, 1903-1911 (1994).
MPA 30 -03 –15. Politika ČIA pro účast v národních a mezinárodních aktivitáchv oblasti zkoušení způsobilosti. ČIA 2015
ISO 13528:2005 Statistical methods for use in proficiency testing by interlaboratory comparisons. Český překlad zaveden jako ČSN ISO 13528:2017 Statistické metody používané při zkoušení způsobilosti mezilaboratorním porovnáváním.
Thompson M., Ellison S. L. R., Wood R.: The International Harmonized Protocol for the Proficiency Testing of Analytical Chemistry Laboratories (IUPAC Technical Report). Pure Appl. Chem. 78 (1), 145–196, (2006).
Pixabay/Hans Braxmeier: Mezilaboratorní experiment –proč a jak
Mezilaboratorní experiment se používá k mnoha účelům. Tento metodický list jednotlivé druhy mezilaboratorních experimentů roztřiďuje a zaměřuje se na nejčetnější provedení – zkoušení způsobilosti. Zkoušení způsobilosti je významným nástrojem posuzování kvality vlastních výsledků dosahovaných laboratoří a též jejedním z prostředků posouzení kompetence - způsobilosti a kvality práce laboratoře ze strany koncového uživatele výsledků anebo akreditačního orgánu. Metodický list dále uvádí, jak se zkoušení způsobilosti vyhodnocuje a jak by měla laboratoř i externí posuzovatel dosažené parametry hodnotit. Zabývá se i způsobem reakce laboratoře na neúspěšný výsledek ve zkoušení způsobilosti.
Mezilaboratorní experiment spočívá v porovnání výsledků analýz dostatečně homogenního a stabilního vzorku z několika laboratoří. Tyto aktivity se nazývají různě: mezilaboratorní porovnávání zkoušek, mezilaboratorní studie, mezilaboratorní testování způsobilosti laboratoří, okružní rozbory, kruhové testy, zkoušení způsobilosti nebo programy externího řízení kvality. Podle doporučení IUPAC (1) lze roztřídit mezilaboratorní experimenty (studie) dle účelu do třech hlavních skupin:
1. Studie výkonnosti metody (Method-performance study) – účastnící se laboratoře používají jednotnou metodu (postup) měření a studie, často nazývaná mezilaboratorní validací, slouží k stanovení výkonnostních parametrů (charakteristik) metody, především míry preciznosti - reprodukovatelnosti. Demonstrace srovnatelnosti výsledků měření a vhodnosti pro daný účel za různých podmínek měření nezávisle na času a místě je též cestou k standardizaci metody.
2. Studie výkonnosti laboratoře (Laboratory-performance study) – účastnící se laboratoře používají k analýze postup, který mají v laboratoři zavedený, jejich výsledek se srovnává s referenční hodnotou získanou experimentálně nebo přiřazením. Pro tento typ experimentu se používá běžně název zkoušení způsobilosti (proficiency testing –PT) a v oblasti laboratorní medicíny EHK (externí hodnocení kvality, EQA - external quality assessment).
3. Certifikační studie materiálu (Material-certification study) – představuje určení certifikované hodnoty referenčního materiálu na základě zpracování výsledků analýz ve vybraných (referenčních) laboratořích.
Pro úplnost je třeba dodat, že v poslední době se k těmto třem hlavním skupinám mezilaboratorních experimentů přidává skupina tzv. klíčových porovnávání (key comparison) organizovaných Mezinárodním úřadem pro míry a váhy pro laboratoře národních metrologických institutů a přidružené laboratoře k prokázání jejich měřicích a kalibračních schopností a jednotnosti měření na vrcholové úrovni (2).
V dalším se budeme v tomto Metodickém listu věnovat výhradně skupině ad2 a budeme používat název zkoušení způsobilosti ev. zkratku PT.
Zkoušení způsobilosti laboratoře patří mezi nástroje externího řízení kvality. Především umožňuje samotné laboratoři posoudit pravdivost jejích výsledků, tedy přítomnost či nepřítomnost vychýlení (bias, systematické chyby) a tedy pomoci indikovat problémy při provádění daného stanovení. To je cenné zejména tam, kde laboratoř nemůže získat tuto informaci analýzou vhodného certifikovaného referenčního materiálu vzhledem k jeho nedostupnosti z důvodů technických (nestabilita, matricový nesoulad (komutabilita), koncentrační nesoulad) nebo jiných (finanční náročnost, nároky skladování apod.). Častou výhodou programů PT je skutečnost, že zasílané vzorky mají složení, které se co nejvíce přibližuje složení rutinních vzorků. Úspěšnost laboratoře v programech zkoušení způsobilosti je i ukazatelem používaným k hodnocení její práce externími činiteli. Účast ve zkoušení způsobilosti je v současné době pokládána za samozřejmou součást systému managementu kvality akreditovaných laboratoří. Český institut pro akreditaci má stanovenu politiku pro oblast zkoušení způsobilosti (3), kde výsledky laboratoře v PT jsou důležitým kritériem při posuzování technické kompetence-způsobilosti laboratoře. Výsledky laboratoře ve zkoušení způsobilosti jsou jednak hodnoceny během vlastního procesu realizace žádosti o akreditaci, jednak slouží k monitorování práce laboratoře během platnosti Osvědčení o akreditaci.
Účast laboratoře ve vybraném programu PT zahrnuje typicky přihlášení laboratoře a úhradu poplatku organizátoru PT. Pak laboratoř získá vzorek s neznámým obsahem analytu a instrukcemi jak sním zacházet a v jakém formátu zaslat výsledek. Po provedení analýzy způsobem, který je v laboratoři obvyklý u rutinních vzorků, laboratoř do určeného termínu zašle výsledek organizátoru PT. Ten po statistickém zpracování výsledků daného cyklu PT a obvykle konverzi výsledků jednotlivých laboratoří do vyhodnocovacího skóre (viz dále Vyhodnocení PT) poskytne zpětně laboratoři informaci o úspěšnosti laboratoře ve formě, vyjadřující míru shody jeho hodnoty se vztažnou hodnotou, o které se předpokládá, že representuje odhad pravé hodnoty. Konkrétní výsledek jednotlivých laboratoří organizátor jmenovitě nezveřejňuje, často souhrn výsledků je presentován na semináři, či ve zprávě, které umožňují laboratořím získat cenné poznatky pro řešení problémů dané analýzy a výměnu zkušeností.
Poskytovatelé programů PT se v poslední době jak u nás tak i ve světě mohou nechat akreditovat a tak poskytují laboratořím osvědčení o prověrce své způsobilosti v této oblasti podle mezinárodních kriterií a tedy další racionální ukazatel pro jejich výběr.
Roční plán programů zkoušení způsobilosti dostupných v ČR je k dispozici na webu Českého institutu pro akreditaci. Přehled pravidelně pořádaných zahraničních programů PT je dostupný v mezinárodní databázi EPTIS, zahrnuje nyní i programy českých poskytovatelů.
K hodnocení kvantitativních výsledků účastníků PT se používají tyto ukazatele (4):
a) Rozdíl
kde *x* je výsledek účastníka, X je vztažná hodnota.
b) Procentuální rozdíl
kde *x* je výsledek účastníka, X je vztažná hodnota.
c) z skóre definované jako
kde *x* je výsledek účastníka, X je vztažná hodnota a σpt je *směrodatnou odchylkou pro posuzování způsobilosti*, příslušnou mírou variability vybranou tak, aby odpovídala požadavkům daného programu PT.
Jak popisuje podrobně ISO 13528 (4), tato směrodatná odchylka se může získat několika způsoby:
i) jako tradiční či robustní směrodatná odchylka, ii) jako vyjádření vhodnosti pro daný účel na základě expertního posouzení, iii) jako odhad na základě výsledků předchozích cyklů PT nebo odhadu založeného na zkušenostech, iv) jako odhad na základě vhodného statistického modelu.
Pro hodnocení výkonu laboratoře platí
|z|≤2 uspokojivý 2<|z|<3 sporný |z|>3 neuspokojivý
Vyhodnocování pomocí z skóre je základním a nejběžnějším způsobem vyhodnocování PT.
d) Zeta (ζ) skóre, výpočet je podobný En číslu (viz e, níže) používá však ve jmenovateli standardní nejistoty. Hodnocení je pak stejné jako u tradičního z skóre.
kde *x* je výsledek účastníka, X je vztažná hodnota a u*lab* je kombinovaná standardní nejistota výsledku účastníka a u*av* je kombinovaná standardní nejistota vztažné hodnoty (assigned value).
e) En číslo definované jako
kde *x* je výsledek účastníka, X je vztažná hodnota, U*lab* je rozšířená nejistota výsledku účastníka a U*ref* je rozšířená nejistota vztažné hodnoty stanovené referenční laboratoří.
Platí, že výkon laboratoře je pro
|En|≤1 uspokojivý |En|>1 neuspokojivý
Podrobněji o hodnocení výsledků účastníků PT pojednává norma ISO 13528 (4).
Účast v programu zkoušení způsobilosti nemůže nahrazovat účinné rutinní interní řízení kvality. Poskytuje v relativně dlouhém časovém intervalu indikaci, zda měřicí systém včetně zvolených prvků interního systému řízení kvality funguje správně, či zda jsou v něm nějaké problémy. Není však diagnostickým nástrojem, který by napovídal, včem je problém u daného stanovení a proč navržený interní systém řízení kvality selhal.
Při hodnocení podle jednotlivých skóre je třeba důsledně respektovat statistický charakter těchto kritérií. Náhodný charakter například u nejběžněji používaného z-skóre znamená, že zhruba v jednom případě z dvaceti může i u správně fungujícího systému vyjít hodnota z-skórev ětší než druhá. Kolísáni z-skóre dosažených v jednotlivých cyklech PT v rozmezí -2 do +2 neznamená kolísání výkonnosti laboratoře, stejně tak jako není možné v daném jednotlivém cyklu PT sestavovat žebříček laboratoří podle z-skóre, laboratoř, která dosáhla z-skóre 0,3 není „lepší“ než ta, která dosáhla z-skóre 1,7. V delším časovém horizontu lze výsledky laboratoře z jednotlivých cyklů PT programu graficky znázorňovat a hodnotit pomocí Shewartových, CUSUM nebo J regulačních diagramů jak o tom a dalších otázkách hodnocení výsledků PT pojednává podrobně Technická zpráva IUPAC (5).
Při neúspěšné účasti laboratoře ve zkoušení způsobilosti je především důležité, zda funguje zpětná vazba v systému managementu kvality laboratoře. Neúspěšnost výsledku je účastníku PT sdělena s určitým časovým odstupem od data, kdy byla série vzorků s PT vzorkem analyzována (tato doba by měla být organizátorem PT standardizována). Pokud jsou kontrolní vzorky a další indikace interního řízení kvality pro danou várku v pořádku a přesto je výsledek PT špatný, znamená to: buď že interní systém řízení kvality byl navržen nevhodně a je neefektivní anebo že pouze PT vzorek působí problém. Obecně se při diagnostice příčin ukazuje vhodné prozkoumat záznamy o analýzách várky, ve které byl analyzován PT vzorek se zaměřením na:
Samozřejmě je vhodné provést opakování analýzy PT vzorku z daného či předchozího cyklu, pokud zůstaly k dispozici. Laboratoř by měla mít dokumentovaný postup jak na situaci po neuspokojivém výsledku v PT reagovat, například ve formě postupového diagramu vycházejícího z jejích zkušeností a konfigurace interního řízení kvality pro dané stanovení včetně zdokumentování všech opatření. Avšak ani nejpropracovanější schéma nemůže zohlednit všechny možné příčiny problému a je nutné, aby postup zahrnoval i expertní přístup. Negativní výsledek by měl však být jednoznačně podnětem ke zjištění důvodů neúspěchu a realizování vhodných nápravných opatření v systému zabezpečení kvality, které zabrání jejich opakovánía identifikace vzniklých chyb a jejich odstranění povedou k následnému zlepšení systému managementu kvality laboratoře.
Horwitz W.: Nomenclature of Interlaboratory Analytical Studies (IUPAC Recommendations 1994). Pure Appl. Chem. 66, 1903-1911 (1994).
MPA 30 -03 –15. Politika ČIA pro účast v národních a mezinárodních aktivitáchv oblasti zkoušení způsobilosti. ČIA 2015
ISO 13528:2005 Statistical methods for use in proficiency testing by interlaboratory comparisons. Český překlad zaveden jako ČSN ISO 13528:2017 Statistické metody používané při zkoušení způsobilosti mezilaboratorním porovnáváním.
Thompson M., Ellison S. L. R., Wood R.: The International Harmonized Protocol for the Proficiency Testing of Analytical Chemistry Laboratories (IUPAC Technical Report). Pure Appl. Chem. 78 (1), 145–196, (2006).
Pixabay/Hans Braxmeier: Mezilaboratorní experiment –proč a jak
Mezilaboratorní experiment se používá k mnoha účelům. Tento metodický list jednotlivé druhy mezilaboratorních experimentů roztřiďuje a zaměřuje se na nejčetnější provedení – zkoušení způsobilosti. Zkoušení způsobilosti je významným nástrojem posuzování kvality vlastních výsledků dosahovaných laboratoří a též jejedním z prostředků posouzení kompetence - způsobilosti a kvality práce laboratoře ze strany koncového uživatele výsledků anebo akreditačního orgánu. Metodický list dále uvádí, jak se zkoušení způsobilosti vyhodnocuje a jak by měla laboratoř i externí posuzovatel dosažené parametry hodnotit. Zabývá se i způsobem reakce laboratoře na neúspěšný výsledek ve zkoušení způsobilosti.
Mezilaboratorní experiment spočívá v porovnání výsledků analýz dostatečně homogenního a stabilního vzorku z několika laboratoří. Tyto aktivity se nazývají různě: mezilaboratorní porovnávání zkoušek, mezilaboratorní studie, mezilaboratorní testování způsobilosti laboratoří, okružní rozbory, kruhové testy, zkoušení způsobilosti nebo programy externího řízení kvality. Podle doporučení IUPAC (1) lze roztřídit mezilaboratorní experimenty (studie) dle účelu do třech hlavních skupin:
1. Studie výkonnosti metody (Method-performance study) – účastnící se laboratoře používají jednotnou metodu (postup) měření a studie, často nazývaná mezilaboratorní validací, slouží k stanovení výkonnostních parametrů (charakteristik) metody, především míry preciznosti - reprodukovatelnosti. Demonstrace srovnatelnosti výsledků měření a vhodnosti pro daný účel za různých podmínek měření nezávisle na času a místě je též cestou k standardizaci metody.
2. Studie výkonnosti laboratoře (Laboratory-performance study) – účastnící se laboratoře používají k analýze postup, který mají v laboratoři zavedený, jejich výsledek se srovnává s referenční hodnotou získanou experimentálně nebo přiřazením. Pro tento typ experimentu se používá běžně název zkoušení způsobilosti (proficiency testing –PT) a v oblasti laboratorní medicíny EHK (externí hodnocení kvality, EQA - external quality assessment).
3. Certifikační studie materiálu (Material-certification study) – představuje určení certifikované hodnoty referenčního materiálu na základě zpracování výsledků analýz ve vybraných (referenčních) laboratořích.
Pro úplnost je třeba dodat, že v poslední době se k těmto třem hlavním skupinám mezilaboratorních experimentů přidává skupina tzv. klíčových porovnávání (key comparison) organizovaných Mezinárodním úřadem pro míry a váhy pro laboratoře národních metrologických institutů a přidružené laboratoře k prokázání jejich měřicích a kalibračních schopností a jednotnosti měření na vrcholové úrovni (2).
V dalším se budeme v tomto Metodickém listu věnovat výhradně skupině ad2 a budeme používat název zkoušení způsobilosti ev. zkratku PT.
Zkoušení způsobilosti laboratoře patří mezi nástroje externího řízení kvality. Především umožňuje samotné laboratoři posoudit pravdivost jejích výsledků, tedy přítomnost či nepřítomnost vychýlení (bias, systematické chyby) a tedy pomoci indikovat problémy při provádění daného stanovení. To je cenné zejména tam, kde laboratoř nemůže získat tuto informaci analýzou vhodného certifikovaného referenčního materiálu vzhledem k jeho nedostupnosti z důvodů technických (nestabilita, matricový nesoulad (komutabilita), koncentrační nesoulad) nebo jiných (finanční náročnost, nároky skladování apod.). Častou výhodou programů PT je skutečnost, že zasílané vzorky mají složení, které se co nejvíce přibližuje složení rutinních vzorků. Úspěšnost laboratoře v programech zkoušení způsobilosti je i ukazatelem používaným k hodnocení její práce externími činiteli. Účast ve zkoušení způsobilosti je v současné době pokládána za samozřejmou součást systému managementu kvality akreditovaných laboratoří. Český institut pro akreditaci má stanovenu politiku pro oblast zkoušení způsobilosti (3), kde výsledky laboratoře v PT jsou důležitým kritériem při posuzování technické kompetence-způsobilosti laboratoře. Výsledky laboratoře ve zkoušení způsobilosti jsou jednak hodnoceny během vlastního procesu realizace žádosti o akreditaci, jednak slouží k monitorování práce laboratoře během platnosti Osvědčení o akreditaci.
Účast laboratoře ve vybraném programu PT zahrnuje typicky přihlášení laboratoře a úhradu poplatku organizátoru PT. Pak laboratoř získá vzorek s neznámým obsahem analytu a instrukcemi jak sním zacházet a v jakém formátu zaslat výsledek. Po provedení analýzy způsobem, který je v laboratoři obvyklý u rutinních vzorků, laboratoř do určeného termínu zašle výsledek organizátoru PT. Ten po statistickém zpracování výsledků daného cyklu PT a obvykle konverzi výsledků jednotlivých laboratoří do vyhodnocovacího skóre (viz dále Vyhodnocení PT) poskytne zpětně laboratoři informaci o úspěšnosti laboratoře ve formě, vyjadřující míru shody jeho hodnoty se vztažnou hodnotou, o které se předpokládá, že representuje odhad pravé hodnoty. Konkrétní výsledek jednotlivých laboratoří organizátor jmenovitě nezveřejňuje, často souhrn výsledků je presentován na semináři, či ve zprávě, které umožňují laboratořím získat cenné poznatky pro řešení problémů dané analýzy a výměnu zkušeností.
Poskytovatelé programů PT se v poslední době jak u nás tak i ve světě mohou nechat akreditovat a tak poskytují laboratořím osvědčení o prověrce své způsobilosti v této oblasti podle mezinárodních kriterií a tedy další racionální ukazatel pro jejich výběr.
Roční plán programů zkoušení způsobilosti dostupných v ČR je k dispozici na webu Českého institutu pro akreditaci. Přehled pravidelně pořádaných zahraničních programů PT je dostupný v mezinárodní databázi EPTIS, zahrnuje nyní i programy českých poskytovatelů.
K hodnocení kvantitativních výsledků účastníků PT se používají tyto ukazatele (4):
a) Rozdíl
kde *x* je výsledek účastníka, X je vztažná hodnota.
b) Procentuální rozdíl
kde *x* je výsledek účastníka, X je vztažná hodnota.
c) z skóre definované jako
kde *x* je výsledek účastníka, X je vztažná hodnota a σpt je *směrodatnou odchylkou pro posuzování způsobilosti*, příslušnou mírou variability vybranou tak, aby odpovídala požadavkům daného programu PT.
Jak popisuje podrobně ISO 13528 (4), tato směrodatná odchylka se může získat několika způsoby:
i) jako tradiční či robustní směrodatná odchylka, ii) jako vyjádření vhodnosti pro daný účel na základě expertního posouzení, iii) jako odhad na základě výsledků předchozích cyklů PT nebo odhadu založeného na zkušenostech, iv) jako odhad na základě vhodného statistického modelu.
Pro hodnocení výkonu laboratoře platí
|z|≤2 uspokojivý 2<|z|<3 sporný |z|>3 neuspokojivý
Vyhodnocování pomocí z skóre je základním a nejběžnějším způsobem vyhodnocování PT.
d) Zeta (ζ) skóre, výpočet je podobný En číslu (viz e, níže) používá však ve jmenovateli standardní nejistoty. Hodnocení je pak stejné jako u tradičního z skóre.
kde *x* je výsledek účastníka, X je vztažná hodnota a u*lab* je kombinovaná standardní nejistota výsledku účastníka a u*av* je kombinovaná standardní nejistota vztažné hodnoty (assigned value).
e) En číslo definované jako
kde *x* je výsledek účastníka, X je vztažná hodnota, U*lab* je rozšířená nejistota výsledku účastníka a U*ref* je rozšířená nejistota vztažné hodnoty stanovené referenční laboratoří.
Platí, že výkon laboratoře je pro
|En|≤1 uspokojivý |En|>1 neuspokojivý
Podrobněji o hodnocení výsledků účastníků PT pojednává norma ISO 13528 (4).
Účast v programu zkoušení způsobilosti nemůže nahrazovat účinné rutinní interní řízení kvality. Poskytuje v relativně dlouhém časovém intervalu indikaci, zda měřicí systém včetně zvolených prvků interního systému řízení kvality funguje správně, či zda jsou v něm nějaké problémy. Není však diagnostickým nástrojem, který by napovídal, včem je problém u daného stanovení a proč navržený interní systém řízení kvality selhal.
Při hodnocení podle jednotlivých skóre je třeba důsledně respektovat statistický charakter těchto kritérií. Náhodný charakter například u nejběžněji používaného z-skóre znamená, že zhruba v jednom případě z dvaceti může i u správně fungujícího systému vyjít hodnota z-skórev ětší než druhá. Kolísáni z-skóre dosažených v jednotlivých cyklech PT v rozmezí -2 do +2 neznamená kolísání výkonnosti laboratoře, stejně tak jako není možné v daném jednotlivém cyklu PT sestavovat žebříček laboratoří podle z-skóre, laboratoř, která dosáhla z-skóre 0,3 není „lepší“ než ta, která dosáhla z-skóre 1,7. V delším časovém horizontu lze výsledky laboratoře z jednotlivých cyklů PT programu graficky znázorňovat a hodnotit pomocí Shewartových, CUSUM nebo J regulačních diagramů jak o tom a dalších otázkách hodnocení výsledků PT pojednává podrobně Technická zpráva IUPAC (5).
Při neúspěšné účasti laboratoře ve zkoušení způsobilosti je především důležité, zda funguje zpětná vazba v systému managementu kvality laboratoře. Neúspěšnost výsledku je účastníku PT sdělena s určitým časovým odstupem od data, kdy byla série vzorků s PT vzorkem analyzována (tato doba by měla být organizátorem PT standardizována). Pokud jsou kontrolní vzorky a další indikace interního řízení kvality pro danou várku v pořádku a přesto je výsledek PT špatný, znamená to: buď že interní systém řízení kvality byl navržen nevhodně a je neefektivní anebo že pouze PT vzorek působí problém. Obecně se při diagnostice příčin ukazuje vhodné prozkoumat záznamy o analýzách várky, ve které byl analyzován PT vzorek se zaměřením na:
Samozřejmě je vhodné provést opakování analýzy PT vzorku z daného či předchozího cyklu, pokud zůstaly k dispozici. Laboratoř by měla mít dokumentovaný postup jak na situaci po neuspokojivém výsledku v PT reagovat, například ve formě postupového diagramu vycházejícího z jejích zkušeností a konfigurace interního řízení kvality pro dané stanovení včetně zdokumentování všech opatření. Avšak ani nejpropracovanější schéma nemůže zohlednit všechny možné příčiny problému a je nutné, aby postup zahrnoval i expertní přístup. Negativní výsledek by měl však být jednoznačně podnětem ke zjištění důvodů neúspěchu a realizování vhodných nápravných opatření v systému zabezpečení kvality, které zabrání jejich opakovánía identifikace vzniklých chyb a jejich odstranění povedou k následnému zlepšení systému managementu kvality laboratoře.
Horwitz W.: Nomenclature of Interlaboratory Analytical Studies (IUPAC Recommendations 1994). Pure Appl. Chem. 66, 1903-1911 (1994).
MPA 30 -03 –15. Politika ČIA pro účast v národních a mezinárodních aktivitáchv oblasti zkoušení způsobilosti. ČIA 2015
ISO 13528:2005 Statistical methods for use in proficiency testing by interlaboratory comparisons. Český překlad zaveden jako ČSN ISO 13528:2017 Statistické metody používané při zkoušení způsobilosti mezilaboratorním porovnáváním.
Thompson M., Ellison S. L. R., Wood R.: The International Harmonized Protocol for the Proficiency Testing of Analytical Chemistry Laboratories (IUPAC Technical Report). Pure Appl. Chem. 78 (1), 145–196, (2006).
Pixabay/Hans Braxmeier: Mezilaboratorní experiment –proč a jak
Mezilaboratorní experiment se používá k mnoha účelům. Tento metodický list jednotlivé druhy mezilaboratorních experimentů roztřiďuje a zaměřuje se na nejčetnější provedení – zkoušení způsobilosti. Zkoušení způsobilosti je významným nástrojem posuzování kvality vlastních výsledků dosahovaných laboratoří a též jejedním z prostředků posouzení kompetence - způsobilosti a kvality práce laboratoře ze strany koncového uživatele výsledků anebo akreditačního orgánu. Metodický list dále uvádí, jak se zkoušení způsobilosti vyhodnocuje a jak by měla laboratoř i externí posuzovatel dosažené parametry hodnotit. Zabývá se i způsobem reakce laboratoře na neúspěšný výsledek ve zkoušení způsobilosti.
Mezilaboratorní experiment spočívá v porovnání výsledků analýz dostatečně homogenního a stabilního vzorku z několika laboratoří. Tyto aktivity se nazývají různě: mezilaboratorní porovnávání zkoušek, mezilaboratorní studie, mezilaboratorní testování způsobilosti laboratoří, okružní rozbory, kruhové testy, zkoušení způsobilosti nebo programy externího řízení kvality. Podle doporučení IUPAC (1) lze roztřídit mezilaboratorní experimenty (studie) dle účelu do třech hlavních skupin:
1. Studie výkonnosti metody (Method-performance study) – účastnící se laboratoře používají jednotnou metodu (postup) měření a studie, často nazývaná mezilaboratorní validací, slouží k stanovení výkonnostních parametrů (charakteristik) metody, především míry preciznosti - reprodukovatelnosti. Demonstrace srovnatelnosti výsledků měření a vhodnosti pro daný účel za různých podmínek měření nezávisle na času a místě je též cestou k standardizaci metody.
2. Studie výkonnosti laboratoře (Laboratory-performance study) – účastnící se laboratoře používají k analýze postup, který mají v laboratoři zavedený, jejich výsledek se srovnává s referenční hodnotou získanou experimentálně nebo přiřazením. Pro tento typ experimentu se používá běžně název zkoušení způsobilosti (proficiency testing –PT) a v oblasti laboratorní medicíny EHK (externí hodnocení kvality, EQA - external quality assessment).
3. Certifikační studie materiálu (Material-certification study) – představuje určení certifikované hodnoty referenčního materiálu na základě zpracování výsledků analýz ve vybraných (referenčních) laboratořích.
Pro úplnost je třeba dodat, že v poslední době se k těmto třem hlavním skupinám mezilaboratorních experimentů přidává skupina tzv. klíčových porovnávání (key comparison) organizovaných Mezinárodním úřadem pro míry a váhy pro laboratoře národních metrologických institutů a přidružené laboratoře k prokázání jejich měřicích a kalibračních schopností a jednotnosti měření na vrcholové úrovni (2).
V dalším se budeme v tomto Metodickém listu věnovat výhradně skupině ad2 a budeme používat název zkoušení způsobilosti ev. zkratku PT.
Zkoušení způsobilosti laboratoře patří mezi nástroje externího řízení kvality. Především umožňuje samotné laboratoři posoudit pravdivost jejích výsledků, tedy přítomnost či nepřítomnost vychýlení (bias, systematické chyby) a tedy pomoci indikovat problémy při provádění daného stanovení. To je cenné zejména tam, kde laboratoř nemůže získat tuto informaci analýzou vhodného certifikovaného referenčního materiálu vzhledem k jeho nedostupnosti z důvodů technických (nestabilita, matricový nesoulad (komutabilita), koncentrační nesoulad) nebo jiných (finanční náročnost, nároky skladování apod.). Častou výhodou programů PT je skutečnost, že zasílané vzorky mají složení, které se co nejvíce přibližuje složení rutinních vzorků. Úspěšnost laboratoře v programech zkoušení způsobilosti je i ukazatelem používaným k hodnocení její práce externími činiteli. Účast ve zkoušení způsobilosti je v současné době pokládána za samozřejmou součást systému managementu kvality akreditovaných laboratoří. Český institut pro akreditaci má stanovenu politiku pro oblast zkoušení způsobilosti (3), kde výsledky laboratoře v PT jsou důležitým kritériem při posuzování technické kompetence-způsobilosti laboratoře. Výsledky laboratoře ve zkoušení způsobilosti jsou jednak hodnoceny během vlastního procesu realizace žádosti o akreditaci, jednak slouží k monitorování práce laboratoře během platnosti Osvědčení o akreditaci.
Účast laboratoře ve vybraném programu PT zahrnuje typicky přihlášení laboratoře a úhradu poplatku organizátoru PT. Pak laboratoř získá vzorek s neznámým obsahem analytu a instrukcemi jak sním zacházet a v jakém formátu zaslat výsledek. Po provedení analýzy způsobem, který je v laboratoři obvyklý u rutinních vzorků, laboratoř do určeného termínu zašle výsledek organizátoru PT. Ten po statistickém zpracování výsledků daného cyklu PT a obvykle konverzi výsledků jednotlivých laboratoří do vyhodnocovacího skóre (viz dále Vyhodnocení PT) poskytne zpětně laboratoři informaci o úspěšnosti laboratoře ve formě, vyjadřující míru shody jeho hodnoty se vztažnou hodnotou, o které se předpokládá, že representuje odhad pravé hodnoty. Konkrétní výsledek jednotlivých laboratoří organizátor jmenovitě nezveřejňuje, často souhrn výsledků je presentován na semináři, či ve zprávě, které umožňují laboratořím získat cenné poznatky pro řešení problémů dané analýzy a výměnu zkušeností.
Poskytovatelé programů PT se v poslední době jak u nás tak i ve světě mohou nechat akreditovat a tak poskytují laboratořím osvědčení o prověrce své způsobilosti v této oblasti podle mezinárodních kriterií a tedy další racionální ukazatel pro jejich výběr.
Roční plán programů zkoušení způsobilosti dostupných v ČR je k dispozici na webu Českého institutu pro akreditaci. Přehled pravidelně pořádaných zahraničních programů PT je dostupný v mezinárodní databázi EPTIS, zahrnuje nyní i programy českých poskytovatelů.
K hodnocení kvantitativních výsledků účastníků PT se používají tyto ukazatele (4):
a) Rozdíl
kde *x* je výsledek účastníka, X je vztažná hodnota.
b) Procentuální rozdíl
kde *x* je výsledek účastníka, X je vztažná hodnota.
c) z skóre definované jako
kde *x* je výsledek účastníka, X je vztažná hodnota a σpt je *směrodatnou odchylkou pro posuzování způsobilosti*, příslušnou mírou variability vybranou tak, aby odpovídala požadavkům daného programu PT.
Jak popisuje podrobně ISO 13528 (4), tato směrodatná odchylka se může získat několika způsoby:
i) jako tradiční či robustní směrodatná odchylka, ii) jako vyjádření vhodnosti pro daný účel na základě expertního posouzení, iii) jako odhad na základě výsledků předchozích cyklů PT nebo odhadu založeného na zkušenostech, iv) jako odhad na základě vhodného statistického modelu.
Pro hodnocení výkonu laboratoře platí
|z|≤2 uspokojivý 2<|z|<3 sporný |z|>3 neuspokojivý
Vyhodnocování pomocí z skóre je základním a nejběžnějším způsobem vyhodnocování PT.
d) Zeta (ζ) skóre, výpočet je podobný En číslu (viz e, níže) používá však ve jmenovateli standardní nejistoty. Hodnocení je pak stejné jako u tradičního z skóre.
kde *x* je výsledek účastníka, X je vztažná hodnota a u*lab* je kombinovaná standardní nejistota výsledku účastníka a u*av* je kombinovaná standardní nejistota vztažné hodnoty (assigned value).
e) En číslo definované jako
kde *x* je výsledek účastníka, X je vztažná hodnota, U*lab* je rozšířená nejistota výsledku účastníka a U*ref* je rozšířená nejistota vztažné hodnoty stanovené referenční laboratoří.
Platí, že výkon laboratoře je pro
|En|≤1 uspokojivý |En|>1 neuspokojivý
Podrobněji o hodnocení výsledků účastníků PT pojednává norma ISO 13528 (4).
Účast v programu zkoušení způsobilosti nemůže nahrazovat účinné rutinní interní řízení kvality. Poskytuje v relativně dlouhém časovém intervalu indikaci, zda měřicí systém včetně zvolených prvků interního systému řízení kvality funguje správně, či zda jsou v něm nějaké problémy. Není však diagnostickým nástrojem, který by napovídal, včem je problém u daného stanovení a proč navržený interní systém řízení kvality selhal.
Při hodnocení podle jednotlivých skóre je třeba důsledně respektovat statistický charakter těchto kritérií. Náhodný charakter například u nejběžněji používaného z-skóre znamená, že zhruba v jednom případě z dvaceti může i u správně fungujícího systému vyjít hodnota z-skórev ětší než druhá. Kolísáni z-skóre dosažených v jednotlivých cyklech PT v rozmezí -2 do +2 neznamená kolísání výkonnosti laboratoře, stejně tak jako není možné v daném jednotlivém cyklu PT sestavovat žebříček laboratoří podle z-skóre, laboratoř, která dosáhla z-skóre 0,3 není „lepší“ než ta, která dosáhla z-skóre 1,7. V delším časovém horizontu lze výsledky laboratoře z jednotlivých cyklů PT programu graficky znázorňovat a hodnotit pomocí Shewartových, CUSUM nebo J regulačních diagramů jak o tom a dalších otázkách hodnocení výsledků PT pojednává podrobně Technická zpráva IUPAC (5).
Při neúspěšné účasti laboratoře ve zkoušení způsobilosti je především důležité, zda funguje zpětná vazba v systému managementu kvality laboratoře. Neúspěšnost výsledku je účastníku PT sdělena s určitým časovým odstupem od data, kdy byla série vzorků s PT vzorkem analyzována (tato doba by měla být organizátorem PT standardizována). Pokud jsou kontrolní vzorky a další indikace interního řízení kvality pro danou várku v pořádku a přesto je výsledek PT špatný, znamená to: buď že interní systém řízení kvality byl navržen nevhodně a je neefektivní anebo že pouze PT vzorek působí problém. Obecně se při diagnostice příčin ukazuje vhodné prozkoumat záznamy o analýzách várky, ve které byl analyzován PT vzorek se zaměřením na:
Samozřejmě je vhodné provést opakování analýzy PT vzorku z daného či předchozího cyklu, pokud zůstaly k dispozici. Laboratoř by měla mít dokumentovaný postup jak na situaci po neuspokojivém výsledku v PT reagovat, například ve formě postupového diagramu vycházejícího z jejích zkušeností a konfigurace interního řízení kvality pro dané stanovení včetně zdokumentování všech opatření. Avšak ani nejpropracovanější schéma nemůže zohlednit všechny možné příčiny problému a je nutné, aby postup zahrnoval i expertní přístup. Negativní výsledek by měl však být jednoznačně podnětem ke zjištění důvodů neúspěchu a realizování vhodných nápravných opatření v systému zabezpečení kvality, které zabrání jejich opakovánía identifikace vzniklých chyb a jejich odstranění povedou k následnému zlepšení systému managementu kvality laboratoře.
Horwitz W.: Nomenclature of Interlaboratory Analytical Studies (IUPAC Recommendations 1994). Pure Appl. Chem. 66, 1903-1911 (1994).
MPA 30 -03 –15. Politika ČIA pro účast v národních a mezinárodních aktivitáchv oblasti zkoušení způsobilosti. ČIA 2015
ISO 13528:2005 Statistical methods for use in proficiency testing by interlaboratory comparisons. Český překlad zaveden jako ČSN ISO 13528:2017 Statistické metody používané při zkoušení způsobilosti mezilaboratorním porovnáváním.
Thompson M., Ellison S. L. R., Wood R.: The International Harmonized Protocol for the Proficiency Testing of Analytical Chemistry Laboratories (IUPAC Technical Report). Pure Appl. Chem. 78 (1), 145–196, (2006).
