Understanding PT statistics

Význam tématu

Proficiency testing (PT) je základním prvkem zajištění kvality v mezinárodních i národních laboratořích. Transparentní a správné statistické zpracování výsledků PT umožňuje porovnat výkonnost laboratoří, odhalit systematické odchylky metod a podpořit akreditaci a rozhodování v QA/QC. Zvláště důležité je pochopení toho, jak PT poskytovatelé vypočítávají přidělenou hodnotu, její neurčitost a standardní odchylku pro hodnocení výkonnosti (σpt), protože tyto parametry přímo ovlivňují interpretaci výkonu účastníků.

Cíle a přehled článku

Cílem textu je vysvětlit základní statistické parametry, které PT reporty uvádějí, a poskytnout praktické vodítko, jak je interpretovat. Text shrnuje způsoby odhadu polohy (location), rozptylu (dispersion) a standardní nejistoty polohy pro soubory výsledků z kvantitativních PT schémat, s odkazy na doporučení ISO 13528 a Eurachem.

Použitá metodika

Text popisuje několik běžně používaných přístupů k odhadu polohy a rozptylu v PT, včetně klasických i robustních metod. U polohy jsou zmiňovány: aritmetický průměr, medián, Algorithm A a Hampelův robustní odhad. U rozptylu se uvažují: klasická směrodatná odchylka (s), škálovaný medián absolutní odchylky (MADe), normalizovaný interkvartilní rozsah (nIQR), robustní směrodatná odchylka (s*), a metody Qn/Q.

Tabulka v originálním textu porovnává kladné a záporné stránky těchto metod z hlediska jednoduchosti, robustnosti vůči odlehlým hodnotám, rezistence vůči minoritním skupinám hodnot (RMM), efektivity (variabilita odhadu) a tzv. breakdown point. Klíčové poznatky z této komparace jsou shrnuty v dalších sekcích.

Hlavní výsledky a diskuse

Hlavní poznatky a doporučení lze shrnout takto:

• Robustní odhady jsou doporučeny, pokud data obsahují odlehlé výsledky nebo jejich symetrii nelze spolehlivě předpokládat. ISO 13528 výslovně doporučuje robustní metody v takových případech.
• Aritmetický průměr je vhodný pro symetricky a přibližně normálně rozložená data; před jeho použitím by poskytovatel PT měl zkontrolovat a případně odstranit outliery.
• U malých počtů výsledků (malý p) mohou být všechny odhady polohy a rozptylu nespolehlivé — nejistota odhadu roste s klesajícím počtem participantů.
• Významný posun mezi odhadnutou polohou a referenční hodnotou může indikovat metodický bias (může se týkat jedné nebo více metod použitých účastníky). V případě více použitých analytických metod může PT poskytovatel reportovat oddělené odhady pro jednotlivé metodické skupiny.
• Rozptyl se uvádí ve stejných jednotkách jako měřená veličina nebo v procentech; klasická směrodatná odchylka obvykle vyžaduje předchozí kontrolu dat a odstranění odlehlých hodnot.

Tabulka porovnává metody následovně (klíčové rysy):

• Aritmetický průměr: jednoduchý, vysoce efektivní pro normální data, citlivý na odlehlé hodnoty.
• Medián a Hampel/Algorithm A: robustní vůči outlierům a menšinovým módům, nižší efektivita u ideálně normálních dat.
• MADe a nIQR: poskytují robustní měření rozptylu, ale převodní faktory předpokládají normální rozdělení při škálování.
• Qn/Q a robustní s*: vysoká efektivita a robustnost, vhodné pro heterogenní datové soubory; některé varianty mohou vyžadovat doplňkové testy nebo mít nízkou efektivitu v určitých situacích.

Standardní nejistota polohy je zásadní pro posouzení, zda se odhadnutá poloha liší od referenční hodnoty nebo od jednotlivých výsledků účastníků. Prakticky platí:

• Pro aritmetický průměr: u(mean) = s / sqrt(p), kde s je klasická směrodatná odchylka a p počet hlášených výsledků.
• Pro robustní odhady ISO 13528 doporučuje používat konzervativní násobící faktor 1,25: u = 1,25 * s* / sqrt(p), kde s* je robustní odhad rozptylu (např. z MADe, nIQR nebo Qn).

Přínosy a praktické využití metody

Praktické dopady a užitek popsaných přístupů:

• Výběr vhodného PT schématu: účastníci by posuzovali, jaký statistický přístup poskytovatel používá — to ovlivní interpretaci výsledků a hodnocení výkonu.
• Diagnostika biasu: porovnání odhadnuté polohy s referenční hodnotou pomáhá identifikovat systematické odchylky v metodách.
• Metodické skupiny: pro heterogenní datové soubory (různé analytické postupy) je vhodné prezentovat oddělené statistiky pro každou skupinu.
• Transparentnost reportu: PT report by měl vždy uvádět způsob výpočtu přidělené hodnoty (xpt), její neurčitost u(xpt) a hodnotu σpt, aby účastníci mohli adekvátně interpretovat skóre a případné nápravné kroky.

Budoucí trendy a možnosti využití

Očekávané směry vývoje a aplikace v oblasti PT statistiky:

• Rozšíření robustních metod a jejich standardizace v PT praxi, zejména tam, kde se očekávají heterogenní nebo kontaminované datové soubory.
• Vyšší transparentnost a detailnější reporting od PT poskytovatelů včetně popisu algoritmů, parametrů a předpokladů.
• Využití výpočetních přístupů jako bootstrapu, simulačních metod a bayesovských postupů pro lepší kvantifikaci nejistot při malém počtu účastníků.
• Integrace softwarových nástrojů a workflow pro automatizované vyhodnocení PT, včetně vizualizace dat a detekce minoritních módů.
• Možné využití metod strojového učení pro identifikaci vzorů chyb a predikci systematických odchylek mezi metodami.

Závěr

Pro správnou interpretaci výsledků PT je klíčové porozumět statistikám uvedeným v PT reportu: způsobu stanovení přidělené hodnoty, použitým odhadům rozptylu a standardní nejistotě polohy. Volba mezi klasickými a robustními metodami závisí na charakteru dat (přítomnost outlierů, heterogenita metod, velikost vzorku). PT účastníci by měli věnovat pozornost popisu metodiky v reportu a při pochybnostech žádat dodatečné informace od poskytovatele.

Reference

1. Brookman B., Mann I. (eds.), Eurachem Guide: Selection, Use and Interpretation of Proficiency Testing (PT) Schemes, 3rd ed., Eurachem, 2021.
2. Eurachem leaflet: Understanding PT performance assessment, Eurachem, 2024.
3. ISO 13528:2022, Statistical methods for use in proficiency testing by interlaboratory comparison, International Organization for Standardization, 2022.