Tea максимально допустимая общая ошибка

После выбора метода или аналитической системы (АС) следующим этапом в рамках процесса планирования аналитического качества (QP) и на пути его создания в цикле комплексного управления качеством (ТQM) является их валидация или верификация (рис. 1).

Для большинства специалистов стран СНГ понятия валидация и верификация метода являются новыми. В связи с этим дадим подробную характеристику этим терминам.

Согласно документу ISO 15189 Медицинские лаборатории — Требования к качеству и компетенции (ISO 15189 Medical laboratories — Requirements for quality and competence) [1], валидация — подтверждение путем представления объективных доказательств того, что требования для специфического использования или применения были выполнены. Другими словами, на практике валидация метода предусматривает выполнение в медицинской лаборатории комплекса мероприятий по оценке аналитической эффективности метода и сравнения ее с целями аналитического качества. С другой стороны, согласно этому же документу верификация — это подтверждение путем представления объективных доказательств того, что специфические требования были выполнены. На практике это означает выполнение в медицинской лаборатории мероприятий по подтверждению спецификаций производителя метода по аналитической эффективности метода.

Как видим, термины валидация и верификация подразумевают выполнение в лаборатории различных мероприятий. Основа различий состоит в том, что мероприятия по валидации метода предусматривают работу по оценке его аналитической эффективности в лаборатории и определении ее приемлемости путем сравнения с целями качества, в то время как мероприятия по верификации метода предусматривают работу по доказательству его аналитической эффективности, установленную и заявленную производителем. В том случае, если эта эффективность подтвердится (верифицируется), лаборатория может использовать данные производителя для планирования процедуры статистического контроля качества (СКК). На рис. 2 представлен обобщенный процесс верификации/валидации метода или AC в медицинской лаборатории.

Все мероприятия по валидации или верификации метода несут в себе тайный смысл, который заключается в определении/доказательстве величин его ошибок и сравнении их с целевыми ошибками требований к качеству. Действительно, аналитическая эффективность метода определяется величиной его ошибок, а приемлемость для клиники определяется на основании результата сравнения этих ошибок с теми целевыми, которые допустимы для клиники. Тогда, для того чтобы метод был приемлем для клиники, величины наблюдаемых в нем ошибок должны быть небольшими относительно целевых ошибок, содержащихся в требованиях к качеству, и наоборот, если ошибки метода будут велики относительно целевых ошибок, то тогда метод не будет приемлем для клиники. Фокусирование внимания на аналитических ошибках метода и сравнении их с целевыми ошибками требований к качеству является краеугольным камнем всех мероприятий процесса его верификации или валидации. Таким образом, цель верификации/валидации метода или АС заключается в определении (или доказательстве) величин ошибок метода/АС, сравнении этих ошибок с ошибками целей качества и на основании этого сравнения в определении их приемлемости для клиники. Приемлемость для клиники служит гарантией минимальной вероятности помех со стороны ошибок верифицируемого или валидируемого метода на клиническую интерпретацию результатов тестирования. Принимая во внимание важность оценки аналитических ошибок в процессе проведения верификации/валидации метода или АС, остановимся на основных их типах.

Выделяют два основных типа аналитических ошибок: случайная ошибка (Random Error — RE) и систематическая ошибка (Systematic Error — SE). Систематическая ошибка состоит из константной (Constant Systematic Error) и пропорциональной (Proportional Systematic Error) ошибок. Кроме того, на основании эффектов RE и SE определяют общую ошибку (Total Error — TE).

Случайную аналитическую ошибку (RE) (рис. 3) можно определить как результат измерения (xi) минус среднее значение, полученное в результате бесконечного количества измерений того же самого мезюранда (x).

Мезюранд — это величина, которую предполагают измерить (VIM) [8] или, другими словами, любой аналит, который может быть измерен в медицинской лаборатории. Математически RE можно выразить как: ΔRE = xi — x. Направление изменения и величину ΔRE невозможно предсказать, а ее значение (по модулю) всегда больше нуля (ΔRE >0). Величины ΔRE отдельных измерений формируют величину непрецизионности повторных измерений. Сама же величина непрецизионности измерений определяется дисперсией результатов отдельных измерений вокруг среднего значения мезюранда (x). Чем выше величина ΔRE отдельных измерений, тем больше величина дисперсии их результатов и, следовательно, тем больше величина непрецизионности всех измерений. В принципе, величину непрецизионности измерений аналита можно рассматривать как «среднюю» величину ΔRE его отдельных измерений. Как правило, в медицинской лаборатории величину непрецизионности и, соответственно, «среднюю» ΔRE отдельных измерений определяют путем расчета величины стандартного отклонения (Standard Deviation — SD) результатов повторных измерений, которая равна корню квадратному из величины дисперсии. Часто величина SD возрастает по мере увеличения концентрации аналита. В связи с этим на практике вместе с величиной SD обычно рассчитывают величину коэффициента вариации (Coefficient of Variation — CV), тем самым «привязывая» величину SD к величине среднего значения.

Систематическую аналитическую ошибку (SE) или аналитическое смещение (Bias) определяют как разницу между средним значением мезюранда (x), полученным в результате его бесконечного количества измерений, выполненных в условиях повторяемости, и «истинным» значением мезюранда (μ). Математически SE можно выразить как: ΔSE = x — μ.

В отличие от случайной ошибки систематическая ошибка всегда имеет одно направление, которое можно предсказать (рис. 4), и ее величина может равняться нулю (ΔSE≥0).

Следовательно, SE является причиной завышения либо занижения результатов тестирования. Как правило, в медицинской лаборатории величину SE определяют либо на основании результатов ВОК, либо на основании сравнительного анализа методов или АС, используя для этого статистику линейной регрессии либо статистику парного t-теста.

Константная систематическая ошибка (Constant Systematic Error) обусловлена влиянием на концентрацию исследуемого аналита интерферентов (см. далее), ее величина не меняется на всем протяжении рабочего диапазона метода.

Пропорциональная систематическая ошибка (Proportional Systematic Error) обусловлена влиянием на концентрацию исследуемого аналита матрикса пробы, ее величина возрастает по мере возрастания концентрации исследуемого аналита (рис. 5).

Общая ошибка определения аналита (Total Error — TE) определяется чистым или комбинированным эффектом SE и RE на результат измерения аналита. Математически TE можно выразить так: TE = ΔSE + ΔRE. Так как величина ΔRE всегда больше нуля, то, следовательно, и величина TE также будет всегда больше нуля (TE >0). В связи с этим величина ТЕ отдельного результата измерения аналита не должна превышать установленной ее величины. Эта установленная величина ТЕ называется «допустимая ошибка определения аналита» («allowable total analytical error» — aTE). Математически TEa можно выразить так: TEa = ΔSE + 1,65×ΔRE, где 1,65 — величина Z-значения, необходимого для формирования одностороннего 95% доверительного интервала (ДИ) для величины ΔRE (рис. 6).

После описания типов аналитических ошибок остановимся на механизмах или экспериментах, при помощи которых можно определить величины этих ошибок.

Смысл верификационных экспериментов заключается в подтверждении спецификаций производителя по прецизионности (случайной ошибке) и правильности (систематической ошибке) метода или АС, т.е. их аналитической эффективности. Методология проведения этих экспериментов прекрасно изложена в документе Института клинических лабораторных стандартов (Clinical and Laboratory Standards Institute) EP 15-А3 [2]. Следует отметить, что документ предлагает проводить верификацию систематической ошибки метода на основании оценки величины его правильности (trueness), нового термина, рекомендуемого документом ISO 15189 (cм. далее).

Как продемонстрировано в табл. 1, для определения величин различных типов аналитических ошибок существуют различные валидационные эксперименты.

В первом столбце таблицы представлены типы ошибок. Второй столбец таблицы назван «предварительные», так как указанные в нем валидационные эксперименты легче выполнять и их выполнение занимает меньше времени и усилий, чем «финальные» эксперименты. Финальные эксперименты требовательней, их выполняют только тогда, когда результаты предварительных экспериментов продемонстрируют приемлемую аналитическую эффективность метода. В то же время «плохие» результаты предварительных экспериментов являются объективным основанием для прекращения процесса валидации метода и его отклонения.

Репликационные эксперименты дают информацию о величине случайной ошибки метода. Их выполняют путем повторного определения концентрации аналита(ов) одного и того же образца в течение определенного периода времени, как правило, в течение аналитической серии, рабочего дня или рабочего месяца. Цель предварительного репликационного эксперимента заключается в определении величины внутрисерийной случайной ошибки путем расчета величины внутрисерийной непрецизионности. Как правило, его выполняют в течение одного рабочего дня. Цель же финального репликационного эксперимента состоит в определении величины общей случайной ошибки, путем расчета величины общей (промежуточной) непрецизионности, которая включает в себя ее внутрисерийный и межсерийный компоненты. Как правило, его выполняют в течение двадцати рабочих дней.

Эксперимент по определению интерференции дает информацию о величине константной систематической ошибки, возникающей вследствие недостаточной аналитической специфичности метода, а также о вызывающих ее причинах, т.е. интерферентах. В процессе постановки эксперимента один экспериментальный образец готовят при помощи добавления подозреваемого в интерференции вещества (билирубин, липиды, гемоглобин) в пробу, содержащую аналит. Вторую аликвоту, оригинальную пробу, разводят в том же соотношении диюлентом, после чего анализируют обе пробы при помощи тестируемого метода и определяют разницу в полученных результатах.

Эксперимент на открытие (Recovery experiment) дает информацию о величине пропорциональной систематической ошибки, возникающей вследствие конкурентной реакции элементов матрикса пробы с аналитом. Тестируемую пробу готовят при помощи добавления стандартного раствора тестируемого аналита к аликвоте пробы пациента. Базовую пробу готовят путем добавления эквивалентного количества диюлента, используемого для приготовления стандартного раствора аналита, во вторую аликвоту того же самого образца пациента. Затем обе пробы анализируют при помощи тестируемого метода и сравнивают концентрации открытого аналита в тестируемой пробе с его концентрацией в базовой пробе.

Эксперимент по сравнительному анализу методов дает информацию о средней величине систематической ошибки, наблюдаемой при исследовании проб пациентов. Кроме того, при помощи этого метода можно определить природу этой ошибки, т.е. среднюю величину константного или пропорционального ее компонентов. В ходе проведения эксперимента собирают серию проб пациентов и анализируют их при помощи тестируемого метода и метода сравнения, после чего сравнивают полученные результаты с целью определения различий между ними и, следовательно, между методами или АС. Величина этих различий определяет величину систематической ошибки между ними.

Подробную методологию выполнения валидационных экспериментов можно найти в соответствующих документах Института клинических лабораторных стандартов (Clinical and Laboratory Standards Institute) [3-5].

Вследствие усилий по внедрению международной стандартизации в практику медицинских лабораторий изменяются традиционные термины и концепции. В своем документе 15189 — Медицинские лаборатории — Частные требования к качеству и компетентности (15189 — Medical Laboratories — Particular requirements for quality and competence) [1] Международная организация по стандартизации (International Standards Organization — ISO) дает рекомендации по организации работы медицинских лабораторий. В этом документе в разделе 5.5.1.3. Валидация аналитических процедур (Validation of examination procedures) дается перечень аналитических характеристик метода или АС, валидацию которых должна выполнить медицинская лаборатория.

В этом списке есть новые термины — «правильность» (trueness) и «неопределенность» (uncertainty). В разделе документа 5.3.1.4 Калибровка оборудования и метрологическая прослеживаемость (Equipment calibration and metrological traceability) есть новый термин «метрологическая прослеживаемость» (metrological traceability). Все эти термины ранее использовались только в калибровочных лабораториях и, следовательно, в соответствующем документе ISO приводилось их разъяснение (Общие требования к компетенции испытательных и калибровочных лабораторий — ISO 17025 General Requirements for the Competence of Testing and Calibration Laboratories).

С разработкой документа ISO 15189 концепции и терминология, которые применялись для калибровочных лабораторий, т.е. метрологических лабораторий, стали применяться и для медицинских лабораторий. Иными словами, документ ISO 15189 вводит медицинские лаборатории в мир метрологии, где заказчикам (врачам, пациентам) предлагается продукт (результат теста) с приписанными целевыми значениями вместе с неопределенностью («сомнением») в отношении этого целевого значения. Действительно, сегодня медицинские лаборатории все больше и больше начинают работать в координатах правильности (trueness) и неопределенности измерений (measurement uncertainty). Это подтверждают даже названия некоторых, относительно недавно разработанных документов CLSI [2, 6, 7], а также введенная в 2007 г. Федеральным медицинским советом (RilliBÄK) новая метрика оценки аналитического качества (RMSD) для немецких лабораторий (см. далее). В связи с этим попробуем описать концепцию неопределенности и сравнить ее с концепцией общей ошибки.

Начнем с определений новых терминов. Итак, в соответствии с Международным словарем основных и общих терминов в метрологии (International Vocabulary of Basic and General Terms in Metrology — VIM) [8] и Руководством по выражению неопределенности измерения (Guide to the expression of Uncertainty in Measurement — GUM) [9]:

•Правильность (Trueness) измерений — степень близости между средним значением, полученным на основании большой серии измерений, и истинным значением.

•Точность (Accuracy) измерений — степень близости между результатом измерения мезюранда и его истинным значением.

•Неопределенность измерения (Uncertainty of measurement -UM) — параметр, ассоциированный с результатом измерения, характеризующий дисперсию величин, которую можно было бы обоснованно приписывать к мезюранду.

•Стандартная неопределенность (Standard uncertainty -SU) — неопределенность результатов измерения, выраженная в виде стандартного отклонения.

•Комбинированная стандартная неопределенность (Combined standard uncertainty — CSU) — стандартная неопределенность результата измерения, используется тогда, когда этот результат получен на основании значений ряда других величин и равна положительному квадратному корню суммы членов, которые представляют собой дисперсии или ковариации этих других величин, взвешенных в соответствии с тем, как результат измерения изменяется с изменением этих величин.

•Расширенная неопределенность (Expanded Combined Uncertainty — ECU) — величина, определяющая интервал вокруг ожидаемого результата измерения, охватывает большую часть (фракцию) распределения значений величины, которые могли бы быть обоснованно приписаны к мезюранду.

•Метрологическая прослеживаемость (Metrological traceability) — свойство результатов измерения соотноситься с результатом установленного метрологического эталона через непрерывную цепь калибровок измерительных систем или сравнений, в каждом случае с установленной неопределенностью измерения.

•Цепочка метрологической прослеживаемости (metrological traceability chain) — цепочка различных измерительных систем, связанных с процедурами измерения и стандартами, от измеренных результатов к установленному метрологическому эталону.

•Цепочка метрологической прослеживаемости определяется иерархией калибровок от измеренного результата к установленному метрологическому эталону.

Фундаментальный принцип заключается в том, что «правильность» можно определить только через «прослеживаемость», каркасом которой являются референтные методы и референтные/калибровочные материалы. При помощи цепочки метрологической прослеживаемости результат измерения, выполненный рутинным лабораторным методом, связывается с его истинным значением (рис. 7).

Таким образом, цепочка метрологической прослеживаемости обеспечивает стандартизацию результатов исследования аналита, выполненных при помощи разных методов или АС. Каждая процедура приписывания значений в цепочке метрологической прослеживаемости ассоциирована с неопределенностью измерения, при этом величина комбинированной и расширенной неопределенности возрастает.

Как показано на рис. 8, используя такую систему референтных методов и материалов, можно определить прослеживаемую величину (traceable value).

В настоящее время термин «прослеживаемая величина» (traceable value) заменяет более ранний термин «истинная величина» (true value). Ее величина не может быть точно известна, и ее правильность должна описываться в терминах «неопределенности измерения».

Ранее концепция точности была связана только с систематической ошибкой. Сейчас, в новом мире ISO и GUM, точность отражает ошибку отдельного результата измерения мезюранда (аналита) и включает в себя как систематический, так и случайный ее компоненты, а с систематической ошибкой ассоциирован термин «правильность».

На рис. 9 и 11 продемонстрирована концепция и терминология, связанная с неопределенностью измерения (UM).

Оценку величины неопределенности какого-либо одного компонента измерительного процесса выполняют при помощи определения его стандартного отклонения (стандартная неопределенность). Оценку нескольких компонентов процесса измерения определяют посредством суммирования их дисперсий и извлечения квадратного корня из этой объединенной (комбинированной) дисперсии (комбинированная стандартная неопределенность). Эти компоненты дисперсии можно оценить экспериментально (так называемая неопределенность типа А) или теоретически (так называемая неопределенность типа В). Наконец, неопределенность можно выразить в виде доверительного интервала с установленным фактором покрытия — расширенная неопределенность или расширенная комбинированная неопределенность с фактором покрытия 2 (95% ДИ) либо 3 (99% ДИ). Именно величина расширенной неопределенности измерения приписывается к мезюранду.

Концепция неопределенности измерения сфокусирована на определении дисперсии результата измерения концентрации аналита, которая могла бы быть получена в ситуации, когда проводили бы его многократные измерения. Для этого используют доступные данные по дисперсии различных источников неопределенности измерения, связанных с данной измерительной системой для определения интервала значений, в пределах которого с установленным уровнем достоверности будет находиться его прослеживаемое значение. Например, если результат измерения концентрации глюкозы в пробе сыворотки крови будет равен 5,5 ммоль/л, соответствующая информация по ECU может обеспечить 95% достоверность в том, что прослеживаемое значение концентрации глюкозы в этой пробе будет находиться в интервале от 5,3 до 5,7 ммоль/л.

Обобщая, UM не оценивает ошибку, а обеспечивает с установленным уровнем достоверности интервал, где будет находиться прослеживаемое значение концентрации исследуемого аналита. Таким образом, UM — это количественный показатель уровня доверия лаборатории относительно качества результата. Иными словами, UM представляет собой существенный параметр достоверности результатов изменения концентрации аналита. Основой количественной оценки UM является SD. И еще: UM является свойством результата измерения, но не процедуры измерения, при помощи которой он был получен.

Теоретически, в связи с тем, что при расчете UM работает метрологическая прослеживаемость, величина аналитического смещения должна быть элиминирована, например при помощи повторной калибровки. Тем не менее на практике это не всегда имеет место. Тогда возникает вопрос: как при расчете UM выполнить коррекцию аналитического смещения? Ответ в том, что подход UM допускает определение неопределенности величины аналитического смещения как комбинации неопределенности, приписанной самому референтному значению, и стандартной ошибки среднего значения референтного материала, полученной на основании повторных измерений этого референтного материала в лаборатории при помощи данной процедуры измерения. В связи с этим величина неопределенности смещения выражается в виде SD. На первый взгляд это непонятно, поэтому приведем практический пример. Допустим, производитель тест-системы ассигновал величину своего калибратора, используя для этого сертифицированный вторичный (матрикс-соответствующий) референтный материал (CRM), который является метрологически прослеживаемым до единиц SI (моль), и предоставил свою спецификацию, в которой указал, что калибратор коммутабелен с СRM. Медицинская лаборатория купила CRM и выполнила в нем десять репликативных измерений концентрации аналита и получила следующие данные (табл. 2).

Определение неопределенности смещения (UBias) проводят в два этапа:

1) сначала рассчитывают неопределенность среднего значения CRM, полученное в лаборатории, которая равна величине стандартной ошибки среднего: UMV = 0,08/√10 = 0,025 ммоль/л;

2) после этого рассчитывают величину неопределенности смещения: UBias = √(0,05)² + (0,025)²; UBias = 0,0559 ммоль/л.

Определение комбинированной стандартной неопределенности измерения (CSUmeas) проводят как комбинацию величин UBias и промежуточной непрецизионности измерения (SU). Следует отметить, что медицинские лаборатории часто игнорируют величину UBias, если она не превышает величину произвольной точки отсечки, равной 20-30% величины промежуточной непрецизионности. В нашем примере величина промежуточной непрецизионности измерения составила 0,09 ммоль/л для первого уровня контрольного материала [(0,0559/0,09)×100=62%] и 0,07 для второго уровня контрольного материала [(0,0559/0,07)×100=79,8%]. То есть, величины UBias превышают произвольную точку отсечки, поэтому:

— CSUmeas = (0,05592 + 0,092)½= 0,1 ммоль/л; для первого уровня КМ;

— CSUmeas = (0,05592 + 0,072)½= 0,09 ммоль/л; для второго уровня КМ.

Определение расширенной комбинированной неопределенности измерения (ECUmeas) определяют путем умножения CSUmeas на фактор покрытия, чаще всего 2, обеспечивая ее 95% ДИ. Тогда:

— ECUmeas = 0,1 ммоль/л ×2 = 0,2 ммоль/л;

для первого уровня КМ;

— ECUmeas = 0,09 ммоль/л ×2 = 0,18 ммоль/л;

для второго уровня КМ.

Например, если результат измерения концентрации аналита составит 5 ммоль/л, т.е. его концентрация будет близка к области концентраций первого уровня контрольного материала, можно с 95% вероятностью сделать заключение, что прослеживаемое значение концентрации аналита в этой пробе будет находиться в интервале от 4,8 до 5,2 ммоль/л.

Подход, описанный выше, называется «движение сверху вниз». В соответствии с ним известная величина смещения должна быть элиминирована или минимизирована, а ее остаточную величину, оцененную в терминах неопределенности величины смещения, используют для повторной калибровки или коррекции результатов. Часто величина неопределенности смещения минимальна по сравнению с величиной непрецизионности, поэтому игнорируется. В связи с этим общая (промежуточная) величина непрецизионности, полученная в результате проведения контроля качества (КК), отражает общую неопределенность результатов измерения. Этот подход можно использовать в медицинских лабораториях, но он в силу объективных причин сопряжен с определенными практическими трудностями (см. далее).

Подход «движение снизу вверх» основан на оценке неопределенностей, ассоциированных с отдельными компонентами измерительной системы, и комбинировании их в модель, отражающую их воздействие на всю систему измерения. Этот подход лучше всего подходит для нужд производителей изделий для IVD, а именно для валидации новой процедуры измерения или поиска технических этапов, в которых можно снизить величину UN. Подходу «движение снизу вверх» посвящен недавно вышедший документ CLSI [6].

В 2007 г. RilliBÄK [Руководство («Rili») Федерального медицинского совета Германии (BÄK)] представил новую метрику оценки внутрилабораторного качества для немецких лабораторий: корень среднеквадратичного отклонения (Root Mean Square Deviation), которая выражается в виде процента к целевому значению (%RMSD). По сути эта метрика выражения общей ошибки определения аналита способом, схожим с тем, который рекомендован ISO для расчета величины неопределенности:

где: SDcc — стандартное отклонение; Bias — разница, наблюдаемая между средним значением и целевым значением (TV); k — фактор покрытия; TV — целевое значение (Target Value) для контрольной пробы (от производителя).

Как видно из формулы определения RMSD, в качестве «опорной» величины для расчета внутрилабораторного аналитического смещения RiliBÄK рекомендует использовать целевое значение контрольного материала, приписанное производителем (Target Value). Это говорит о том, что RiliBÄK предъявляет достаточно жесткие требования к производителям контрольных и калибровочных материалов в плане обеспечения метрологической прослеживаемости их продукции. Коррекцию аналитического смещения RiliBÄK рекомендует проводить, возводя его значение в квадрат, после чего суммируя его с величиной дисперсии. Методически это не совсем правильно, поскольку смещение не является стандартным отклонением, поэтому, возведя его в квадрат, мы не получим дисперсию. Более правильно использовать подход со стандартной ошибкой среднего и неопределенностью сертифицированного референтного материала (СRM), определяя неопределенность аналитического смещения (см. выше), но для медицинских лабораторий CRM не всегда может быть доступен.

Как указывалось, внутрилабораторная оценка качества медицинских лабораторий Германии основывается на величинах RMSD, которое либо указано в соответствующем списке аналитов, либо его нужно определить самостоятельно в лаборатории, используя фактор покрытия 3 (спецификация, наблюдаемая в лаборатории, — Lab Observed Specification). Этот расчет лаборатория должна проводить на основании данных одного внутрилабораторного контрольного цикла, который продолжается как минимум до выполнения 15 контрольных измерений, в целом около месяца, но не более 3 мес.

Как только немецкая лаборатория определяет цель в виде %RMSD, она начинает проводить внутрилабораторную оценку качества, создавая контрольные карты на основании величины предельной ошибки (Error Margin, ЦЗ ± Целевой %RMSD). Эта оценка проводится в течение двух временных периодов. Во-первых, в лаборатории должна выполняться ежедневная оценка контрольных результатов, значения которых не должны превышать величину соответствующей предельной ошибки. Во-вторых, лаборатории следует выполнить ретроспективную оценку результатов контрольного цикла. Для этого, для каждого уровня контрольного материала, на основании данных ежедневного контроля качества, полученных на протяжении всего контрольного цикла, рассчитывают среднее значение, стандартное отклонение (SD), аналитическое смещение (bias) и %RMSD. Рассчитанные %RMSD не должны превышать соответствующие целевые величины %RMSD. Если результаты ежедневного контроля качества и особенно ретроспективной оценки его результатов будут превышать целевые %RMSD, то тогда немецкая лаборатория должна выполнить корректирующие мероприятия, вплоть до повторной валидации метода или аналитической системы.

Исторически в лабораторной медицине концепция общей ошибки была предшественницей концепции неопределенности измерения. В связи с этим теоретические аспекты концепции общей ошибки уступают таковым концепции неопределенности измерения, но практические аспекты общей ошибки, несомненно, лучше.

Теоретически концепция общей ошибки определения аналита («Total Error» — TE) построена таким образом, что:

1. Не может эффективно применяться к отдельному результату измерения аналита, поскольку строительные блоки концепции TE не могут точно отражать ошибку отдельного результата измерения, поскольку невозможно точно определить величину аналитического смещения (рис. 11). В самом деле, значения мезюранда, приписанные к сертифицированному референтному материалу, являются неточными и выражаются в форме единиц x±y. Кроме того, среднее значение, рассчитанное для референтного материала на основании данных репликативных измерений при помощи рутинного метода, имеет неизбежную непрецизионность (стандартную ошибку среднего), поэтому среднее значение, используемое для рутинной процедуры измерения, также выражается в форме единиц x±y. В связи с тем что обе величины, используемые для расчета аналитического смещения, имеют неопределенность, величина аналитического смещения н

14.08.2017

Джеймс О. Вестгард, Стэн А. Вестгард

Мы выступаем за то, чтобы процедуры SQC были выбраны на основе качества, необходимого для предполагаемого использования теста, а также точности и смещений, наблюдаемых для метода. Со временем мы разработали множество инструментов для разработки QC — выбор процедур SQC, которые подходят для конкретного предполагаемого клинического применения и характеристик метода, наблюдаемых в лаборатории.

Эта работа началась более четырех десятилетий назад с разработки компьютерной программы моделирования, которая определяла характеристики отказа по различным правилам контроля и различного количества контрольных измерений. Следующие инструменты включают графики функций мощности, графики критической ошибки, сетки выбора QC, диаграммы рабочих спецификаций (диаграмма OPSpecs) и программное обеспечение QC и EZ правила. Мы продолжаем искать более быстрые и простые инструменты, которые помогут лабораториям выбрать правильный SQC для своих программ, и эта глава включает новый инструмент, известный как «Правила Westgard Sigma».

Поведение детектора

Различные правила статистического контроля имеют различные возможности обнаружения ошибок. Обычно, когда пределы контроля являются широкими, например, 3SD, изменяются вероятности обнаружения ошибок. Однако, когда ограничения контроля узкие, например 2SD, вероятность обнаружения ошибок или вероятность ложных отказов увеличивается. Эти две характеристики, называемые вероятностью обнаружения ошибок (P/ed) и вероятности ложного отклонения (P/fr), важны для оптимизации процедур SQC для обеспечения требуемого обнаружения ошибок при сохранении приемлемо низкого уровня ложных отказов.

Вы можете понять это поведение по аналогии с пожарной сигнализацией. В комнате или здании, в котором вы, скорее всего, есть пожарная сигнализация. Какова вероятность того, что система пожарной сигнализации обнаружит пожар, если источником огня является:

• Одна искра?

• Целая спичечная коробка?

• Мусорная корзина с бумагой?

• Весь ваш стол?

Целая спичечная коробка будет более выраженным огнем и будет иметь более высокую вероятность вызова сигнала тревоги, хотя вы все еще не знаете, будет ли этот огонь достаточно большим, чтобы его можно было обнаружить. Горение в корзине для мусора наверняка увеличит вероятность обнаружения, и если бы мы подожгли все бумаги, загромождающие наши столы, огонь, безусловно, был бы достаточно большим, чтобы вызвать тревогу.

Мы все хотим верить в то, что система сигнализации выполнит свою работу, и мы успеем спастись, но это предполагает, что установка системы сигнализации была тщательно спланирована. Фактическая вероятность обнаружения зависит от того, сколько детекторов было установлено, где находятся эти детекторы, и насколько они чувствительны. Если бы это был серьезный пожар (например, ваш стол), вы бы наверняка хотели быть уверенным, что он будет обнаружен своевременно, до того, как он выйдет из-под контроля, т.е. вы хотите 100% -ую уверенность в вашей системе пожарной сигнализации. С другой стороны, если нет серьезного пожара (т.е. незначительный дымок), вы явно не захотите, чтобы сигнализация прервала вашу работу, таким образом вы хотите 0-ую вероятность ложной пожарной тревоги.

Более подробное описание характеристик пожарной тревоги можно рассмотреть на примере «кривой», которая описывает «чувствительность» сигнала тревоги к размеру огня, например, как показано на рисунке 11-1. По мере того, как огонь становится больше, вероятность обнаружения увеличивается. Характеристики обнаружения вашей системы сигнализации должны быть известны, чтобы можно было спроектировать систему сигнализации.

Сигнал ошибки SQC

«Огонь», который мы хотим обнаружить в процессе лабораторных испытаний, представляет собой любую аналитическую ошибку, которая «сожгла» врача или пациента, потому что результаты теста имели медицинскую важную ошибку. Подобно пожарной тревоге, процедура контроля качества является аналитическим детектором ошибок, который выдает сигнал тревоги, когда что-то происходит с процессом или методом тестирования (так сказать истинная тревога). Тревога должна обнаруживать ситуации с нестабильной эффективностью метода со 100%-ой достоверностью (или с вероятностью 1,00), и в идеале не должна давать ложных тревог (вероятность 0% или вероятность 0,00), когда производительность стабильна и метод работает правильно. Интуитивно мы ожидаем, что вероятность обнаружения аналитической проблемы зависит от размера ошибки, количества элементов контроля, используемых для мониторинга производительности метода, и чувствительности применяемых статистических правил. Мы желаем получить высокую вероятность истинных аварийных сигналов или высокую вероятность обнаружения важных с медицинской точки зрения ошибок, но при этом мы не хотим прерывать ложные тревоги, когда метод работает приемлемо.

Характеристики отказа SQC

Никакой детектор не идеален! Несомненно, мы рассмотрели пример столкновения с пожарной сигнализацией, когда не было огня. Возможно, вы слышали о трагических ситуациях, когда пожар начался и уже вышел из-под контроля, прежде чем он был обнаружен. То же самое может произойти с системами контроля, которые используются для контроля производительности лабораторных испытаний. Поэтому важно выбрать соответствующие правила контроля и соответствующее количество контрольных измерений. Процедура SQC должна быть тщательно спланирована для обеспечения обнаружения опасных с медицинской точки зрения ошибок, чтобы гарантировать, что качество наших отчетов о работе — будет приемлемым. Нам также необходимо минимизировать ложные тревоги для повышения эффективности и производительности нашей работы.

Каждая процедура SQC, т.е. каждая комбинация правил контроля и количество контрольных измерений (N), имеет свои собственные характеристики отбраковки, которые характеризуют его вероятность обнаружения ошибок в производительности метода, а также вероятность подачи ложного сигнала отклонения даже тогда, когда метод работает нормально. Эти ложные отклонения можно свести к минимуму, избегая определенных правил контроля и N/s, которые имеют высокий уровень ложных отказов. Обнаружение ошибок может быть оптимизировано путем выбора конфиденциальных правил контроля, построения многопроцессорных процедур и увеличения количества контрольных измерений.

К счастью, вероятности отклонения процедур SQC известны, они были определены десятилетиями назад компьютерными симуляционными исследованиями [1] и документированы в виде «графиков энергетических функций» [2]. Пример показан на рисунке 11-2 для разных правил контроля, имеющих 2 контрольных измерения за один проход. Ось Y масштабируется от 0,00 до 1,00. Вероятность 1,00 соответствует 100% вероятности отклонения и вероятности 0.00 до 0% вероятности отклонения. Размер аналитических ошибок показан на оси Х. Этот пример предназначен для систематических сдвигов или изменения точности метода, которые варьируются от 0,0 до 4,0 от стандартного отклонения метода. Аналогичный график можно использовать для описания обнаружения случайных ошибок или увеличения неточности метода.

Каждая строка или кривая мощности описывает вероятность отклонения для определенного правила контроля или комбинации правил и количества контрольных измерений (N), как указано в ключе в правой части графика. Вероятность ложного отклонения определяется Y-перехватом кривой мощности. Обратите внимание на правильный Pfr 0,09 или 9% для правила 1/2s с N из 2, поэтому мы рекомендуем избегать использования пределов 2s. Вероятность обнаружения ошибок зависит от размера ошибки и чувствительности, различных правил контроля. Влияние ширины контрольных пределов показано сравнением самой низкой кривой (1/3,5s, N=2) со следующей снизу (1/3s, N=2) и рядом с верхней (1/2,5s, N=2). Эффект использования нескольких правил контроля показан средней кривой (1/3s, 2/2s, R/4s) по сравнению со следующей нижней кривой (1/3s N=2). Сравнение кривых мощности дает общую информацию об относительной производительности различных процедур SQC, помогает нам распознавать определенные правила контроля, которые следует исключить из использования из-за их высоких ложных отказов (например, ограничение 2s или правило 1/2s), но не определяет, какие процедуры SQC имеют необходимое обнаружение ошибок.

Критерии выбора процедур SQC

Чтобы выбрать процедуру SQC, которая имеет необходимый уровень обнаружения ошибок, размер математически важной ошибки должен быть рассчитан, тогда конкретные вероятности обнаружения ошибок и ложного отклонения можно оценить, чтобы выбрать правильные правила контроля и правильное количество контрольных измерений.

Медико-важная систематическая ошибка. Также является критической и систематической- ΔSE/crit, её можно рассчитать следующим образом:

∆SE/crit=[(TEa-bias/mean)/s/mean]-1.65

В тех случаях, когда TE/a является требованием к качеству теста в виде допустимой общей ошибки, смещение, означает наблюдаемую неточность метода, s, означает наблюдаемую неточность метода, а 1.65 — значение z, которое позволяет от ожидаемого распределения ошибок только на 5% превышать заданное требование качества, т.е. указывает на 5%-ный риск ошибочного результата.

• TE/a (допустимая общая ошибка, также известная как ATE). Отправной точкой является просмотр критериев CLIA для приемлемой производительности при тестировании. Например, критерий для глюкозы определяется как «Целевая ценность +/- 6 мг/дл или +/- 10% (больше)». Это означает, что следует использовать больший из 2 пределов в зависимости от целевого значения или концентрации материала съемки PT. Например, если TV опробованного образца составляет 50 мг/дл, то критерий приемлемой эффективности составляет 50 +/- 6 мг/дл или составляет от 44 до 56 мг/дл. Если бы TV составляло 125 мг/дл, приемлемая производительность составляла бы 125 мг/дл +/- 10%, или 125 +/- 12,5 мг/дл, что составляет от 112,5 до 137,5 мг/дл.

CLIA предоставляет критерии приемлемой производительности для более, чем 80 тестов, которые называются «регулируемыми аналитами», для которых оценка PT оценивается по 5 образцам на одно исследование и 3 обследованиям в год. Нерегулируемые аналиты также требуют наблюдения со стороны PT, но только 2 обследования в год и всего лишь 2 образца на одно исследование. Критерии приемлемой производительности для нерегулируемых аналитов устанавливаются поставщиком PT и могут основываться на разных целевых моделях, таких как предполагаемое клиническое использование, биологические вариации и рекомендации группы экспертов. Например, HbA1c является нерегулируемым аналитом, колледж американских патологов (CAP) и Национальная программа стандартизации гемоглобина (NGSP) установили TEa в размере 6,0% в 2014 году.

• Смещение/средство. Неточность или систематическая ошибка, как правило, определяются во время исследований валидации методов из сравнения экспериментов методов. Производители проводят такие исследования для документирования своих требований к исполнению. Лаборатории должны проводить аналогичные эксперименты, чтобы убедиться, что претензии изготовителя были достигнуты после установки новых тестовых систем. После этой первоначальной проверки лаборатории должны контролировать точность путем периодического анализа проб тестирования на квалификацию, результаты которых сравниваются с целевыми значениями, установленными справочными методами, средними значениями группы опроса или иногда средним подгруппой обследования для конкретной методологии. Отдельные лабораторные результаты обычно сообщаются в терминах отклонения от цели и выражаются как кратные наблюдаемому изменению группы, то есть значение z, которое описывает отклонение от цели как кратное стандартным отклонениям группы. Для расчета сигма-метрики %Bias рассчитывается как наблюдаемое смещение, деленное на целевое значение, а затем умноженное на 100 [% Bias = (Bias / TV) * 100].

Важное примечание о предвзятости: вначале при определении качества сигмы может быть трудно получить хорошую оценку смещения, и в этом случае допустимо считать смещение равным нулю и рассчитать сигма просто как отношение TEa/SD или %TEa/%CV. Это даст сигма-метрику, то есть оптимистическую оценку качества. Тем не менее, если сигма-метрика мала, менее 3 (когда предполагается, что смещение считается нулевым), будет достаточно указать, что новая тестовая система представляет собой высокий риск! Если эта сигма-метрика больше 3, то по-прежнему важно получить данные для оценки смещения и более надежного определения сигмы.

• SD/среднее. Неточность или случайная ошибка, как правило, определяется из эксперимента репликации во время исследований валидации методов или данных SQC, собранных во время работы. Производители проводят такие исследования для подтверждения своих претензий на точность. Лаборатории также проводят эксперименты по репликации для проверки точности работы новых тестовых систем, а затем контролируют текущую производительность статистических данных QC, собранных в условиях обычной работы. %CV рассчитывается как наблюдаемая SD, деленная на среднее значение, затем умножается на 100 [%CV=(SD/среднее значение)*100].

• Пример расчета. Предполагается, что холестериновый метод будет правильным в пределах +/- 10% в соответствии с критерием CLIA для приемлемой эффективности при проверке квалификации. Учитывая метод с погрешностью 0,0% и CV2,0%, ΔSE/crit будет 3,35[((10-0,0)/2,0—1,65].

Сигма-метрика. Сигма-метрика может быть рассчитана, как показано на рисунке 11-3, часть A:

Sigma = (TEa-|Bias|)/SD

Где все члены выражены в единицах концентрации. Могут также использоваться единицы процента, и в этом случае уравнение обычно записывается следующим образом:

   Sigma = (%TEa-|%Bias|)/%CV

Sigma может использоваться как альтернатива ΔSE/crit, как показано следующей заменой и перестановкой уравнения для вычисления медицинской значимой систематической ошибки:

ΔSE/crit = Sigma-metric-1.65 или

Сигма-метрика = ΔSE/crit + 1,65

Качество на сигма-шкале описывается как «уровень мирового класса», когда сигма 6 или выше и «не подходит для производства», когда сигма составляет 3 или менее, разница показана на рис. 11-3, части B и C, соответственно. Для SQC в лаборатории методы с высоким уровнем сигмы могут контролироваться с помощью более простых правил и меньшего количества контрольных измерений. Методы с низкими сигмами требуют больше правил контроля и более контрольных измерений и, в конечном счете, не могут контролироваться доступным SQC.

Инструкции по использованию:

1. Вычислить сигма-метрику.

2. Найдите это значение в шкале Sigma на оси X в верхней части графика.

3. Удалите вертикальную линию из этого места с помощью кривых мощности.

4. Оцените возможность обнаружения ошибок, прочитав вероятности отклонения на пересечении вертикальной линии и кривых мощности.

5. Определите эти кандидатные процедуры SQC, которые обеспечат требуемое обнаружение ошибок (P/ed 0,90 или выше).

6. Сравните вероятности ложного отклонения этих кандидатских процедур SQC от Y-перехватов кривых мощности.

7. Выберите правила контроля и количество контрольных измерений, которые обеспечивают наивысшее обнаружение ошибок, низкое ложное отклонение, минимальное количество контрольных измерений и простейшие правила контроля.

Этот подход прост и практичен во многих медицинских лабораториях. Он обеспечивает количественную оценку вероятностей обнаружения ошибок и ложного отклонения и, следовательно, обеспечивает объективный выбор соответствующих процедур SQC. С опытом и практикой выделяются определенные «эмпирические правила»:

• Для 6-сигма, почти любой SQC подходит. Используйте одно правило, такое как 1/3s, и держите N как можно ниже, т.е. N=2, как того требует регламент CLIA.

• Для 5-сигмы будет выполнено одно правило, такое как 1/2, 5s N = 2, или простой мульти прогон, такой как 1/3s / 2/2s / R/4s с N=2.

• Для 4-сигма удвойте количество элементов контроля для N=4 и используйте многопроцессорную процедуру, такую как 1/3s / 2/2s / R/4s / 4/1s.

• Ниже 4-сигма используйте все правила контроля и столько контрольных измерений, сколько вы можете себе позволить, например, 1/3s / 2/2s / R/4s / 4/1s / 8/x с N=8 или с N=4 и правила над 2 последовательными прогонами (R = 2).

Правила Westgard Sigma

Эти эмпирические правила были формализованы в новом инструменте под названием «Правила Westgard Sigma», который был представлен в нашей книге «Системы управления базовым качеством» [8]. На рис. 11.6 показаны правила Сигмы Вестгард для 2 уровней контрольных материалов.

На первый взгляд эта цифра выглядит так же, как и обычные «Правила Вестгард». Но здесь нет правила предупреждения 2SD. Это важное различие, но самое важное изменение — в нижней части диаграммы, где есть сигма-масштаб. Эта шкала обеспечивает руководство, для которого правила должны применяться на основе качества сигмы, определенного в вашей лаборатории.

Вот как это работает. Пунктирные вертикальные линии, которые происходят в масштабе Сигмы, показывают степень правил, которые должны применяться на основе качества сигмы, определенного в вашей лаборатории. Например:

• Для качества 6-Sigma требуется только одно правило контроля 1/3s двумя контрольными измерениями в каждом прогоне на каждом уровне контроля). Обозначение N=2 R=1 указывает, что для одного прогона требуется 2 контрольных измерения.

• Качество 5-Sigma требует 3 правила, 1/3s / 2/2s / R/4s, с двумя контрольными измерениями в каждом прогоне (N=2, R=1). См. Рисунок 11-7 для иллюстрации этого приложения.

• Качество 4-Sigma требует добавления 4-го правила и реализации мульти селектора 1/3s / 2/2s / R/4s 4/1s, предпочтительно с 4 контрольными измерениями в каждом прогоне (N=4, R=1) или альтернативно, 2 контрольных измерения в каждом из двух прогонов (N=2, R=2), используя правило 4/1s для проверки правил контроля для обоих прогонов. Этот второй вариант предполагает разделение дневной работы на 2 пробега и контроль каждого из двух элементов контроля.

•Качество <4-Sigma требует многопроцессорной процедуры, которая включает правило 8x, которое может быть реализовано с помощью 4 контрольных измерений в каждом из двух прогонов (N=4, R=2) или, альтернативно, с двумя контрольными измерениями в каждом из четырех прогонов (N=2, N=4). Первый вариант предполагает разделение дня на 2 пробега с 4 контрольными измерениями за ход, тогда как второй вариант предполагает разделение дня на 4 прогона с двумя элементами контроля каждый.

Аналогичная диаграмма на рис. 11-8 описывает правила Sigma для Westgard для 3 уровней контроля.

• Качество 6-Sigma требует только 1/3s и 1 измерения на каждом из 3 уровней контроля.

• Качество 5-Sigma требует добавления правил 2of3/2s и R/4s для использования с 1 измерением на каждом из 3 уровней контроля.

• Качество 4-Sigma требует добавления 3/1s, правила для использования с 1 измерением на каждом из 3 элементов контроля.

• Качество <4-Sigma требует многоуровневой процедуры, которая включает правило 6x и удвоение контрольных измерений в общей сложности 6, что предполагает, что три уровня контроля анализируются в двух экземплярах за один проход (N=6, R=1 ) или дневная работа, разделенная на 2 пробега с тремя контрольными измерениями за ход (N=3, R=2). Если вместо правила 6x было заменено на правило 9x, то дневную работу можно разделить на 3 прогона с 3 элементами контроля за один проход (N=3, R=3).

В чем смысл?

Лабораториям необходимо определить сигма-качество своих тестов и методов, если они хотят контролировать процесс тестирования. SQC является важным инструментом для управления аналитическим качеством, поэтому правила и количество контрольных измерений должны быть оптимизированы для обеспечения качества и эффективности. Очень легко выбрать правильный SQC с помощью правил Westgard Sigma! Трудной частью является определить правильность теста для его предполагаемого клинического использования (например, допустимая общая ошибка, TEa), определения точности (SD, CV) из эксперимента по репликации или из обычных данных SQC и определения точности (смещение) от результатов периодического тестирования. После расчета качества сигмы диаграмма правил Westgard Sigma позволяет легко выбрать необходимые правила контроля и правильное количество контрольных измерений.

Эти и другие рабочие листы доступны для загрузки в разделе Basic QC Exstras на портале ресурса Westgard.

Предложите, как улучшить StudyLib

(Для жалоб на нарушения авторских прав, используйте

другую форму
)

14.08.2017

Джеймс О. Вестгард, Стэн А. Вестгард

Мы выступаем за то, чтобы процедуры SQC были выбраны на основе качества, необходимого для предполагаемого использования теста, а также точности и смещений, наблюдаемых для метода. Со временем мы разработали множество инструментов для разработки QC — выбор процедур SQC, которые подходят для конкретного предполагаемого клинического применения и характеристик метода, наблюдаемых в лаборатории.

Эта работа началась более четырех десятилетий назад с разработки компьютерной программы моделирования, которая определяла характеристики отказа по различным правилам контроля и различного количества контрольных измерений. Следующие инструменты включают графики функций мощности, графики критической ошибки, сетки выбора QC, диаграммы рабочих спецификаций (диаграмма OPSpecs) и программное обеспечение QC и EZ правила. Мы продолжаем искать более быстрые и простые инструменты, которые помогут лабораториям выбрать правильный SQC для своих программ, и эта глава включает новый инструмент, известный как «Правила Westgard Sigma».

Поведение детектора

Различные правила статистического контроля имеют различные возможности обнаружения ошибок. Обычно, когда пределы контроля являются широкими, например, 3SD, изменяются вероятности обнаружения ошибок. Однако, когда ограничения контроля узкие, например 2SD, вероятность обнаружения ошибок или вероятность ложных отказов увеличивается. Эти две характеристики, называемые вероятностью обнаружения ошибок (P/ed) и вероятности ложного отклонения (P/fr), важны для оптимизации процедур SQC для обеспечения требуемого обнаружения ошибок при сохранении приемлемо низкого уровня ложных отказов.

Вы можете понять это поведение по аналогии с пожарной сигнализацией. В комнате или здании, в котором вы, скорее всего, есть пожарная сигнализация. Какова вероятность того, что система пожарной сигнализации обнаружит пожар, если источником огня является:

• Одна искра?

• Целая спичечная коробка?

• Мусорная корзина с бумагой?

• Весь ваш стол?

Целая спичечная коробка будет более выраженным огнем и будет иметь более высокую вероятность вызова сигнала тревоги, хотя вы все еще не знаете, будет ли этот огонь достаточно большим, чтобы его можно было обнаружить. Горение в корзине для мусора наверняка увеличит вероятность обнаружения, и если бы мы подожгли все бумаги, загромождающие наши столы, огонь, безусловно, был бы достаточно большим, чтобы вызвать тревогу.

Мы все хотим верить в то, что система сигнализации выполнит свою работу, и мы успеем спастись, но это предполагает, что установка системы сигнализации была тщательно спланирована. Фактическая вероятность обнаружения зависит от того, сколько детекторов было установлено, где находятся эти детекторы, и насколько они чувствительны. Если бы это был серьезный пожар (например, ваш стол), вы бы наверняка хотели быть уверенным, что он будет обнаружен своевременно, до того, как он выйдет из-под контроля, т.е. вы хотите 100% -ую уверенность в вашей системе пожарной сигнализации. С другой стороны, если нет серьезного пожара (т.е. незначительный дымок), вы явно не захотите, чтобы сигнализация прервала вашу работу, таким образом вы хотите 0-ую вероятность ложной пожарной тревоги.

Более подробное описание характеристик пожарной тревоги можно рассмотреть на примере «кривой», которая описывает «чувствительность» сигнала тревоги к размеру огня, например, как показано на рисунке 11-1. По мере того, как огонь становится больше, вероятность обнаружения увеличивается. Характеристики обнаружения вашей системы сигнализации должны быть известны, чтобы можно было спроектировать систему сигнализации.

Сигнал ошибки SQC

«Огонь», который мы хотим обнаружить в процессе лабораторных испытаний, представляет собой любую аналитическую ошибку, которая «сожгла» врача или пациента, потому что результаты теста имели медицинскую важную ошибку. Подобно пожарной тревоге, процедура контроля качества является аналитическим детектором ошибок, который выдает сигнал тревоги, когда что-то происходит с процессом или методом тестирования (так сказать истинная тревога). Тревога должна обнаруживать ситуации с нестабильной эффективностью метода со 100%-ой достоверностью (или с вероятностью 1,00), и в идеале не должна давать ложных тревог (вероятность 0% или вероятность 0,00), когда производительность стабильна и метод работает правильно. Интуитивно мы ожидаем, что вероятность обнаружения аналитической проблемы зависит от размера ошибки, количества элементов контроля, используемых для мониторинга производительности метода, и чувствительности применяемых статистических правил. Мы желаем получить высокую вероятность истинных аварийных сигналов или высокую вероятность обнаружения важных с медицинской точки зрения ошибок, но при этом мы не хотим прерывать ложные тревоги, когда метод работает приемлемо.

Характеристики отказа SQC

Никакой детектор не идеален! Несомненно, мы рассмотрели пример столкновения с пожарной сигнализацией, когда не было огня. Возможно, вы слышали о трагических ситуациях, когда пожар начался и уже вышел из-под контроля, прежде чем он был обнаружен. То же самое может произойти с системами контроля, которые используются для контроля производительности лабораторных испытаний. Поэтому важно выбрать соответствующие правила контроля и соответствующее количество контрольных измерений. Процедура SQC должна быть тщательно спланирована для обеспечения обнаружения опасных с медицинской точки зрения ошибок, чтобы гарантировать, что качество наших отчетов о работе — будет приемлемым. Нам также необходимо минимизировать ложные тревоги для повышения эффективности и производительности нашей работы.

Каждая процедура SQC, т.е. каждая комбинация правил контроля и количество контрольных измерений (N), имеет свои собственные характеристики отбраковки, которые характеризуют его вероятность обнаружения ошибок в производительности метода, а также вероятность подачи ложного сигнала отклонения даже тогда, когда метод работает нормально. Эти ложные отклонения можно свести к минимуму, избегая определенных правил контроля и N/s, которые имеют высокий уровень ложных отказов. Обнаружение ошибок может быть оптимизировано путем выбора конфиденциальных правил контроля, построения многопроцессорных процедур и увеличения количества контрольных измерений.

К счастью, вероятности отклонения процедур SQC известны, они были определены десятилетиями назад компьютерными симуляционными исследованиями [1] и документированы в виде «графиков энергетических функций» [2]. Пример показан на рисунке 11-2 для разных правил контроля, имеющих 2 контрольных измерения за один проход. Ось Y масштабируется от 0,00 до 1,00. Вероятность 1,00 соответствует 100% вероятности отклонения и вероятности 0.00 до 0% вероятности отклонения. Размер аналитических ошибок показан на оси Х. Этот пример предназначен для систематических сдвигов или изменения точности метода, которые варьируются от 0,0 до 4,0 от стандартного отклонения метода. Аналогичный график можно использовать для описания обнаружения случайных ошибок или увеличения неточности метода.

Каждая строка или кривая мощности описывает вероятность отклонения для определенного правила контроля или комбинации правил и количества контрольных измерений (N), как указано в ключе в правой части графика. Вероятность ложного отклонения определяется Y-перехватом кривой мощности. Обратите внимание на правильный Pfr 0,09 или 9% для правила 1/2s с N из 2, поэтому мы рекомендуем избегать использования пределов 2s. Вероятность обнаружения ошибок зависит от размера ошибки и чувствительности, различных правил контроля. Влияние ширины контрольных пределов показано сравнением самой низкой кривой (1/3,5s, N=2) со следующей снизу (1/3s, N=2) и рядом с верхней (1/2,5s, N=2). Эффект использования нескольких правил контроля показан средней кривой (1/3s, 2/2s, R/4s) по сравнению со следующей нижней кривой (1/3s N=2). Сравнение кривых мощности дает общую информацию об относительной производительности различных процедур SQC, помогает нам распознавать определенные правила контроля, которые следует исключить из использования из-за их высоких ложных отказов (например, ограничение 2s или правило 1/2s), но не определяет, какие процедуры SQC имеют необходимое обнаружение ошибок.

Критерии выбора процедур SQC

Чтобы выбрать процедуру SQC, которая имеет необходимый уровень обнаружения ошибок, размер математически важной ошибки должен быть рассчитан, тогда конкретные вероятности обнаружения ошибок и ложного отклонения можно оценить, чтобы выбрать правильные правила контроля и правильное количество контрольных измерений.

Медико-важная систематическая ошибка. Также является критической и систематической- ΔSE/crit, её можно рассчитать следующим образом:

∆SE/crit=[(TEa-bias/mean)/s/mean]-1.65

В тех случаях, когда TE/a является требованием к качеству теста в виде допустимой общей ошибки, смещение, означает наблюдаемую неточность метода, s, означает наблюдаемую неточность метода, а 1.65 — значение z, которое позволяет от ожидаемого распределения ошибок только на 5% превышать заданное требование качества, т.е. указывает на 5%-ный риск ошибочного результата.

• TE/a (допустимая общая ошибка, также известная как ATE). Отправной точкой является просмотр критериев CLIA для приемлемой производительности при тестировании. Например, критерий для глюкозы определяется как «Целевая ценность +/- 6 мг/дл или +/- 10% (больше)». Это означает, что следует использовать больший из 2 пределов в зависимости от целевого значения или концентрации материала съемки PT. Например, если TV опробованного образца составляет 50 мг/дл, то критерий приемлемой эффективности составляет 50 +/- 6 мг/дл или составляет от 44 до 56 мг/дл. Если бы TV составляло 125 мг/дл, приемлемая производительность составляла бы 125 мг/дл +/- 10%, или 125 +/- 12,5 мг/дл, что составляет от 112,5 до 137,5 мг/дл.

CLIA предоставляет критерии приемлемой производительности для более, чем 80 тестов, которые называются «регулируемыми аналитами», для которых оценка PT оценивается по 5 образцам на одно исследование и 3 обследованиям в год. Нерегулируемые аналиты также требуют наблюдения со стороны PT, но только 2 обследования в год и всего лишь 2 образца на одно исследование. Критерии приемлемой производительности для нерегулируемых аналитов устанавливаются поставщиком PT и могут основываться на разных целевых моделях, таких как предполагаемое клиническое использование, биологические вариации и рекомендации группы экспертов. Например, HbA1c является нерегулируемым аналитом, колледж американских патологов (CAP) и Национальная программа стандартизации гемоглобина (NGSP) установили TEa в размере 6,0% в 2014 году.

• Смещение/средство. Неточность или систематическая ошибка, как правило, определяются во время исследований валидации методов из сравнения экспериментов методов. Производители проводят такие исследования для документирования своих требований к исполнению. Лаборатории должны проводить аналогичные эксперименты, чтобы убедиться, что претензии изготовителя были достигнуты после установки новых тестовых систем. После этой первоначальной проверки лаборатории должны контролировать точность путем периодического анализа проб тестирования на квалификацию, результаты которых сравниваются с целевыми значениями, установленными справочными методами, средними значениями группы опроса или иногда средним подгруппой обследования для конкретной методологии. Отдельные лабораторные результаты обычно сообщаются в терминах отклонения от цели и выражаются как кратные наблюдаемому изменению группы, то есть значение z, которое описывает отклонение от цели как кратное стандартным отклонениям группы. Для расчета сигма-метрики %Bias рассчитывается как наблюдаемое смещение, деленное на целевое значение, а затем умноженное на 100 [% Bias = (Bias / TV) * 100].

Важное примечание о предвзятости: вначале при определении качества сигмы может быть трудно получить хорошую оценку смещения, и в этом случае допустимо считать смещение равным нулю и рассчитать сигма просто как отношение TEa/SD или %TEa/%CV. Это даст сигма-метрику, то есть оптимистическую оценку качества. Тем не менее, если сигма-метрика мала, менее 3 (когда предполагается, что смещение считается нулевым), будет достаточно указать, что новая тестовая система представляет собой высокий риск! Если эта сигма-метрика больше 3, то по-прежнему важно получить данные для оценки смещения и более надежного определения сигмы.

• SD/среднее. Неточность или случайная ошибка, как правило, определяется из эксперимента репликации во время исследований валидации методов или данных SQC, собранных во время работы. Производители проводят такие исследования для подтверждения своих претензий на точность. Лаборатории также проводят эксперименты по репликации для проверки точности работы новых тестовых систем, а затем контролируют текущую производительность статистических данных QC, собранных в условиях обычной работы. %CV рассчитывается как наблюдаемая SD, деленная на среднее значение, затем умножается на 100 [%CV=(SD/среднее значение)*100].

• Пример расчета. Предполагается, что холестериновый метод будет правильным в пределах +/- 10% в соответствии с критерием CLIA для приемлемой эффективности при проверке квалификации. Учитывая метод с погрешностью 0,0% и CV2,0%, ΔSE/crit будет 3,35[((10-0,0)/2,0—1,65].

Сигма-метрика. Сигма-метрика может быть рассчитана, как показано на рисунке 11-3, часть A:

Sigma = (TEa-|Bias|)/SD

Где все члены выражены в единицах концентрации. Могут также использоваться единицы процента, и в этом случае уравнение обычно записывается следующим образом:

   Sigma = (%TEa-|%Bias|)/%CV

Sigma может использоваться как альтернатива ΔSE/crit, как показано следующей заменой и перестановкой уравнения для вычисления медицинской значимой систематической ошибки:

ΔSE/crit = Sigma-metric-1.65 или

Сигма-метрика = ΔSE/crit + 1,65

Качество на сигма-шкале описывается как «уровень мирового класса», когда сигма 6 или выше и «не подходит для производства», когда сигма составляет 3 или менее, разница показана на рис. 11-3, части B и C, соответственно. Для SQC в лаборатории методы с высоким уровнем сигмы могут контролироваться с помощью более простых правил и меньшего количества контрольных измерений. Методы с низкими сигмами требуют больше правил контроля и более контрольных измерений и, в конечном счете, не могут контролироваться доступным SQC.

Инструкции по использованию:

1. Вычислить сигма-метрику.

2. Найдите это значение в шкале Sigma на оси X в верхней части графика.

3. Удалите вертикальную линию из этого места с помощью кривых мощности.

4. Оцените возможность обнаружения ошибок, прочитав вероятности отклонения на пересечении вертикальной линии и кривых мощности.

5. Определите эти кандидатные процедуры SQC, которые обеспечат требуемое обнаружение ошибок (P/ed 0,90 или выше).

6. Сравните вероятности ложного отклонения этих кандидатских процедур SQC от Y-перехватов кривых мощности.

7. Выберите правила контроля и количество контрольных измерений, которые обеспечивают наивысшее обнаружение ошибок, низкое ложное отклонение, минимальное количество контрольных измерений и простейшие правила контроля.

Этот подход прост и практичен во многих медицинских лабораториях. Он обеспечивает количественную оценку вероятностей обнаружения ошибок и ложного отклонения и, следовательно, обеспечивает объективный выбор соответствующих процедур SQC. С опытом и практикой выделяются определенные «эмпирические правила»:

• Для 6-сигма, почти любой SQC подходит. Используйте одно правило, такое как 1/3s, и держите N как можно ниже, т.е. N=2, как того требует регламент CLIA.

• Для 5-сигмы будет выполнено одно правило, такое как 1/2, 5s N = 2, или простой мульти прогон, такой как 1/3s / 2/2s / R/4s с N=2.

• Для 4-сигма удвойте количество элементов контроля для N=4 и используйте многопроцессорную процедуру, такую как 1/3s / 2/2s / R/4s / 4/1s.

• Ниже 4-сигма используйте все правила контроля и столько контрольных измерений, сколько вы можете себе позволить, например, 1/3s / 2/2s / R/4s / 4/1s / 8/x с N=8 или с N=4 и правила над 2 последовательными прогонами (R = 2).

Правила Westgard Sigma

Эти эмпирические правила были формализованы в новом инструменте под названием «Правила Westgard Sigma», который был представлен в нашей книге «Системы управления базовым качеством» [8]. На рис. 11.6 показаны правила Сигмы Вестгард для 2 уровней контрольных материалов.

На первый взгляд эта цифра выглядит так же, как и обычные «Правила Вестгард». Но здесь нет правила предупреждения 2SD. Это важное различие, но самое важное изменение — в нижней части диаграммы, где есть сигма-масштаб. Эта шкала обеспечивает руководство, для которого правила должны применяться на основе качества сигмы, определенного в вашей лаборатории.

Вот как это работает. Пунктирные вертикальные линии, которые происходят в масштабе Сигмы, показывают степень правил, которые должны применяться на основе качества сигмы, определенного в вашей лаборатории. Например:

• Для качества 6-Sigma требуется только одно правило контроля 1/3s двумя контрольными измерениями в каждом прогоне на каждом уровне контроля). Обозначение N=2 R=1 указывает, что для одного прогона требуется 2 контрольных измерения.

• Качество 5-Sigma требует 3 правила, 1/3s / 2/2s / R/4s, с двумя контрольными измерениями в каждом прогоне (N=2, R=1). См. Рисунок 11-7 для иллюстрации этого приложения.

• Качество 4-Sigma требует добавления 4-го правила и реализации мульти селектора 1/3s / 2/2s / R/4s 4/1s, предпочтительно с 4 контрольными измерениями в каждом прогоне (N=4, R=1) или альтернативно, 2 контрольных измерения в каждом из двух прогонов (N=2, R=2), используя правило 4/1s для проверки правил контроля для обоих прогонов. Этот второй вариант предполагает разделение дневной работы на 2 пробега и контроль каждого из двух элементов контроля.

•Качество <4-Sigma требует многопроцессорной процедуры, которая включает правило 8x, которое может быть реализовано с помощью 4 контрольных измерений в каждом из двух прогонов (N=4, R=2) или, альтернативно, с двумя контрольными измерениями в каждом из четырех прогонов (N=2, N=4). Первый вариант предполагает разделение дня на 2 пробега с 4 контрольными измерениями за ход, тогда как второй вариант предполагает разделение дня на 4 прогона с двумя элементами контроля каждый.

Аналогичная диаграмма на рис. 11-8 описывает правила Sigma для Westgard для 3 уровней контроля.

• Качество 6-Sigma требует только 1/3s и 1 измерения на каждом из 3 уровней контроля.

• Качество 5-Sigma требует добавления правил 2of3/2s и R/4s для использования с 1 измерением на каждом из 3 уровней контроля.

• Качество 4-Sigma требует добавления 3/1s, правила для использования с 1 измерением на каждом из 3 элементов контроля.

• Качество <4-Sigma требует многоуровневой процедуры, которая включает правило 6x и удвоение контрольных измерений в общей сложности 6, что предполагает, что три уровня контроля анализируются в двух экземплярах за один проход (N=6, R=1 ) или дневная работа, разделенная на 2 пробега с тремя контрольными измерениями за ход (N=3, R=2). Если вместо правила 6x было заменено на правило 9x, то дневную работу можно разделить на 3 прогона с 3 элементами контроля за один проход (N=3, R=3).

В чем смысл?

Лабораториям необходимо определить сигма-качество своих тестов и методов, если они хотят контролировать процесс тестирования. SQC является важным инструментом для управления аналитическим качеством, поэтому правила и количество контрольных измерений должны быть оптимизированы для обеспечения качества и эффективности. Очень легко выбрать правильный SQC с помощью правил Westgard Sigma! Трудной частью является определить правильность теста для его предполагаемого клинического использования (например, допустимая общая ошибка, TEa), определения точности (SD, CV) из эксперимента по репликации или из обычных данных SQC и определения точности (смещение) от результатов периодического тестирования. После расчета качества сигмы диаграмма правил Westgard Sigma позволяет легко выбрать необходимые правила контроля и правильное количество контрольных измерений.

Эти и другие рабочие листы доступны для загрузки в разделе Basic QC Exstras на портале ресурса Westgard.

Контрольные карты

Для осуществления контроля воспроизводимости используется метод построения контрольных карт, на которых отмечаются повседневные результаты контрольных исследований. Эти карты позволяют следить за динамикой воспроизводимости изо дня в день. Для проведения контроля воспроизводимости используется в качестве контрольного материала сыворотка с неисследованным содержанием компонентов. Работа проводится в несколько этапов.

На первом этапе в течение 20 дней производится определение компонента, выбранного для контроля, в контрольной сыворотке по крайней мере в 2 параллелях. Ежедневно результаты исследований заносятся в протокол. Определение проводят по методу, применяемому в данной лаборатории.

На втором этапе производится статистическая обработка данных, полученных за 20 дней определения значений данного компонента. При оценке качества рассчитывают следующие статистические показатели: средняя арифметическая X_ср всех выполненных определений за 20 дней, среднее квадратическое отклонение S, коэффициент вариации (среднее квадратическое отклонение, выраженное в процентах от средней величины).

Среднее квадратическое отклонение:
Коэффициент вариации:

Воспроизводимость оценивается по величине коэффициента вариации. Допустимая величина коэффициента вариации должна зависеть от той колеблемости результатов исследования, которая присуща самой исследуемой величине. Поэтому для каждого компонента определяют допустимый предел ошибки — ДПО, который равен 1/8 области нормальных значений.

Допустимый предел ошибки

Полученный при статистической обработке коэффициент вариации сравнивается с ДПО для данного компонента. Больших расхождений между этими величинами не допускается, и если коэффициент вариации близок к ДПО, можно переходить к следующему этапу — построению контрольной карты. Так как пределом точности результатов исследования считается двойное среднее квадратическое отклонение ±2S, то рассчитывают пределы X_СР±1S, X_СР±2S. Затем на обычной миллиметровой бумаге, выбрав наиболее удобный для работы масштаб, откладываем среднее значение X_СР, а вверх и вниз от него по вертикальной оси отмечаем точки, соответствующие значениям ±1S и ±2S. На горизонтальной оси отмечаются числа, дни месяца, в которые проводится исследование контрольного материала той же серии в последующие дни. Каждый результат, полученный в эти дни, отмечается на карте в виде точек, соответственно дате исследования. Контрольная карта дает в наглядной форме возможность своевременно выявить ошибки в выполнении методики.

Для примера рассмотрим контрольную карту для определения глюкозы (табл.3): в течение 20 дней исследовали концентрацию глюкозы в контрольной сыворотке глюкозооксидазным методом:

Нормальные величины:	3,9-5,5 ммоль/л
Область нормы:	5,5 – 3,9 = 1,6.
Средняя нормы:
Допустимый предел ошибки:	4,3%

Сравниваем коэффициент вариации с ДПО (допустимым пределом ошибки). Переходим к графическому построению контрольной карты, если рассчитанный коэффициент вариации близок к ДПО. В противном случае, необходимо продолжить набор данных, «выскакивающие» цифры отбросить и повторить статистическую обработку.

Для построения контрольной карты рассчитываем:

О недостатках в работе говорят следующие критерии:

Предупредительные:

1. Шесть результатов подряд находятся по одну сторону от линии средней арифметической.
2. Три результата подряд за пределами одного среднего квадратического отклонения.
3. Один результат за пределами двух средних квадратических отклонений.

При наличии этих признаков результаты исследований можно выдавать больным, однако необходимо тщательно проверить стандартные растворы, работу измерительных приборов.

Контрольные:

1. Восемь результатов подряд находятся по одну сторону от средней арифметической.
2. Пять результатов подряд расположены за линией одного среднего квадратического отклонения.
3. Три результата выходят за рамки двух средних квадратических отклонений.
4. Один результат выходит за рамки трех среднеквадратических отклонений.

При наличии контрольных критериев результаты исследований ставятся под сомнение и до исправления недостатков больным не выдаются.