Анализ качества модели
Для прогностических моделей рекомендуется более точная количественная оценка
Надежность прогностической модели также может быть проверена на независимых массивах данных, в которых она должна предсказывать вероятность исхода с высокой эффективностью
Для ее получения рассчитываются такие показатели, как чувствительность, специфичность и точность для определенных пороговых условий. Исходя из значений чувствительности и специфичности, строится характеристическая кривая (ROC-кривая) по форме которой и по величине площади под которой (AUC) можно судить об удачности модели
О надежности объясняющих моделей можно судить по их воспроизводимости на других массивах данных
Если модель надежна, то и в независимом массиве данных в модель войдут те же факторы риска с коэффициентами близкими к тем, что наблюдались в оригинальной модели
Критерии согласия обычно используются для оценки эффективности объясняющих моделей
Для оценки эффективности множественной линейной регрессии используется уже известный из корреляционного анализа коэффициент детерминации r2
Ввиду того, что в модель может входить несколько факторов риска, коэффициент рассчитывается с поправкой на их количество
Значение r2 варьирует в пределах от 0 до 1 и чем ближе оно к 1, тем лучше модель описывает результат
Отражает степень рассеяния результата, возникающего благодаря вкладу многих переменных
Для логистических регрессий предложено несколько статистических критериев согласия
Чаще применяется тест Хосмера-Лемешова
Взаимодействие между переменными
Взаимодействие между переменными также называют эффектом модификации в том случае, если одна из них рассматривается как основная с содержательной точки зрения
Когда влияние фактора риска на исход (эффект) зависит от значения третьей синтетической переменной, составленной из двух исходных независимых переменных. При этом сама третья переменная не является независимым фактором риска или мешающей переменной
Для внесения эффекта взаимодействия в модель необходимо изначально иметь предположение о том, что переменные могут взаимодействовать. В противном случае начинается почти системный поиск взаимодействия путем разбиения групп на подгруппы, и чем больше ожидается взаимодействующих переменных, тем больше образуется подгрупп данных. Это может привести к тому, что в одной или нескольких из них взаимодействие будет обнаружено в силу случая (ошибка 1 типа)
Отбор
Для оптимизации количества переменных в модели
Наилучшего подмножества
Выбор путем подстановки такого набора переменных, которые наилучшим образом удовлетворяют условиям, определенным исследователем
Обратного пошагового удаления
Затем они последовательно удаляются, начиная с переменной, имеющей наиболее слабую ассоциацию с результатом. Удаление продолжается до тех пор, пока в модели не останутся только те переменные, которые достоверно влияют на исход
Сначала включаются все переменные
Прямого пошагового
Любая ранее введенная в модель переменная, которая перестает быть значимой при введении следующей переменой, последовательно исключается
Переменная, оказывающая наиболее сильное влияние на исход по результатам одномерного анализа, вводится первой, следом за ней добавляется переменная со следующим наиболее сильным влиянием и т.д. до тех пор, пока все переменные, влияющие на результат (с уровнем значимости, определенным исследователем; обычно в многомерном регрессионном анализе он устанавливается >90%, т.е. р<0,1) не будут включены в модель
Включение независимых переменных в модель
Любая модель многомерного анализа должна включать как минимум один или несколько факторов риска и потенциальные мешающие факторы (конфаундеры)
С другой стороны, важным является не только включение в анализ всех потенциально важных переменных, но и исключение посторонних
В идеале в модель нужно включить все переменные, которые были определены с помощью теоретических рассуждений или установлены в предыдущих исследованиях как факторы риска или конфаундеры изучаемого исхода
Модель
Прогностическая - определение вероятности происхождения события
Если созданная модель хорошо воспроизводится и эффективно работает на независимых массивах данных, то вопросы подбора и ревизии переменных в ней уже не являются актуальными. В прогностической модели наиболее важным является точность предсказания результата
Объясняющая - выяснение характера и степени влияния различных факторов на результат
Тщательный подбор переменных и их математической формы, является крайне важным
Виды многомерного анализа
Оценивает шансы более раннего наступления события у членов изучаемой группы по сравнению с контрольной группой с помощью показателя отношения рисков (HR)
Логистическая регрессия
Используется когда значение переменной результата является бинарным, таким как выживаемость (да/нет), развитие заболевания (да/нет), положительный результат диагностического теста (да/нет) и может включать одну или более независимых переменных
Множественная линейная регрессия
Используется для изучения изменения зависимой переменой (y) в ответ на различные значения других переменных (x1, x2, x3), которые представляют собой непрерывные (численные интервальные или относительные) переменные
Многомерный анализ
Для оценки одновременного влияния более чем одного фактора на результат; дает информацию о степени влиянии на исход каждой из (многих) переменных, а также об эффекте взаимодействия этих переменных между собой
Модель пропорциональных интенсивностей Кокса
В ее основе лежит метод множественной регрессии, и в качестве выходного параметра модель возвращает значение отношения рисков и его доверительный интервал. Отношение рисков - это оценка отношения интенсивностей (показателей, уровней, функции) риска в экспериментальной и контрольной группах, рассчитанные для любого момента времени наблюдения. Модель предполагает, что отношение рисков у членов экспериментальной и контрольной групп остаются неизменными в течение всего периода наблюдения
Отношение рисков может показывать наличие положительного эффекта применения препарата в клиническом испытании (когда HR достоверно превышает 1), что действительно предполагает укорочение времени до выздоровления
Данная модель позволяет включать в исследование всех интересующих нас пациентов, невзирая на цензурирование (частичную неполноту данных), поскольку модель использует базисное допущение о том, что выбывание пациентов происходит случайным образом и с одинаковой вероятностью как в изучаемой, так и в контрольной группе
Лог-ранк тест
можно оценить общую выживаемость в двух и более группах за весь период наблюдения, принимает за нулевую гипотезу то, что выживаемость в сравниваемых группах пациентов не различается
Если кривые выживаемости вдруг пересекаются (например, при сравнении результатов хирургического лечения и тактики пассивного наблюдения прогрессирующей коронарной окклюзии), лог-ранк тест вообще не способен выявить различие. В связи с этим при выполнении анализа с помощью этого теста необходимо вначале представлить кривые выживания на графике.
Метод Каплана-Мейера
Широко используются в клинических испытаниях, например, с целью оценки эффективности нового лекарственного препарата в изучаемой группе по сравнению с контрольной (получающей плацебо) группой
Используется для оценки доли объектов наблюдения (пациентов), у которых событие не произошло (функция выживания, выживаемость) для любого момента времени в течение всего периода наблюдения; оценка функции выживания представляет собой произведение выживаемости в данный момент времени на выживаемость в следующий момент времени, когда событие произошло.
цензурированность данных может оказывать влияние на оценку функции выживаемости, в связи с чем метод Каплана-Мейера использует следующие предположения:
а) цензурированные объекты («выбывшие») имеют те же самые показатели выживаемости, как и те, которые продолжают наблюдаться (т.е. цензурирование не влияет на прогноз выживаемости);
б) оценки выживаемости одинаковы для объектов, включенных в исследование на более ранних или более поздних сроках;
в) событие происходит именно в анализируемый момент времени
Для расчетов используется истинное количество объектов, у которых событие ещё не произошло в любой момент времени, для которого производится оценка
Таблицы дожития
Один из наиболее традиционных методов исследования данных о выживаемости (происхождение интересующего нас события). В таблицах дожития время наступления события разбивается на интервалы, для каждого из которых определяется число и доля объектов:
а) у которых событие не произошло на момент начала данного интервала времени,
б) у которых событие произошло в течение данного интервала и
в) которые были изъяты или цензурированы на данном интервале.
Медиана ожидаемого времени жизни – точка на оси времени, в которой значение функции выживания равна 0,5; медиана ожидаемого времени жизни совпадает с точкой выживания 50% наблюдений только в том случае, если до этого момента времени цензурированных наблюдений не было. Аналогично через значения функции выживания можно определить и квартили (25-й и 75-й процентили) ожидаемого времени жизни
Функция интенсивности представляет собой вероятность того, что на данном интервале произойдет событие у того объекта, у которого оно еще не произошло на момент начала этого интервала; вычисляется как отношение числа событий, происшедших в течение данного интервала, к числу объектов, у которых событие не произошло до момента времени, находящегося в середине этого интервала
Плотность вероятности – оценка вероятности наступления события в каком-либо интервале; рассчитывается как отношение разности между значениями функции выживания на любом данном и последующем интервале к продолжительности данного интервала времени
Функция выживания (выживаемость) – кумулятивная доля объектов, событие у которых не произошло на момент начала определенного интервала времени; ее рассчитывают как произведение долей выживших на всех предыдущих интервалах
Доля выживших - единица минус доля «умерших»
Доля «умерших» - отношение числа объектов, у которых событие произошло в течение данного интервала, к числу изучаемых объектов на данном временном интервале
Число изучаемых объектов – число объектов, у которых событие не произошло на момент начала данного интервала времени минус половина числа объектов, которые были изъяты или цензурированы
Для получения надежных оценок основных показателей размер группы должен быть не менее 30
Методы анализа выживаемости
Изучение закономерности появления ожидаемого события у представителей наблюдаемой выборки во времени
Цензурированные данные - Данные, которые содержат неполную информацию; наблюдаемый параметр является временем до наступления события, а период наблюдения ограничен
Точкой отсчета может быть дата (час) выполнения процедуры, назначения лекарственного препарата, возраст на момент диагноза и т.п. Период времени от начального события (например, постановки диагноза) до итогового (летальный исход, рецидив, выздоровление) называется временем до события (time to event) или временем ожидания
Характеристической кривая
Показывает зависимость количества верно диагностированных положительных случаев от количества неверно диагностированных отрицательных случаев
а - истинно положительный результат; б - ложноположительный результат; в - ложноотрицательный результат; г - истинно отрицательный результа
Чувствительность = а / (а+в)
Специфичность = г / (г+б)
Точность = (а+г) / (а+б+в+г)
Чувствительность, специфичность и точность
Точность показывает долю «правильных срабатываний теста» среди всех обследованных и является совокупным показателем информативности теста
Специфичность определяется как доля людей, не имеющих заболевания среди всех, у кого тест оказался отрицательным
Чувствительность определяется как доля пациентов действительно имеющих заболевание среди тех, у кого тест был положительным
Корреляционный и регрессионный анализ
Корреляционный - определяет характер взаимосвязи переменных (прямой или обратный); метод оценки линейных связей (общей пропорциональности) между переменными, т.е. насколько согласовано они меняются
Коэффициент корреляции
Показателем согласованности между значениями двух переменных; является количественным, обозначается r, и имеет область значений от - 1 до + 1
r = 0 означает отсутствие линейной взаимосвязи между X и Y
r = - 1 означает максимальную отрицательную линейную взаимосвязь между X и Y
r = 1 означает максимально сильную положительную линейную взаимосвязь между X и Y
Отсутствовать
При отсутствии корреляции нет никакой закономерности взаимосвязи одних показателей с другими
Отрицательная
Если большие значения одной переменной ассоциированы с меньшими значениями другой переменной
Положительная
Если большие значения одной переменной имеют тенденцию к ассоциации с большими значениями другой переменной
Регрессионный - форму зависимости (насколько сильно изменяется переменная в ответ на изменение другой); определяются параметры прямой, которая наилучшим способом предсказывает значение одной переменной на основании значения другой согласно формуле:
y = a + bx,
где y - значение одной переменной, a – точка пересечения прямой с осью ординат (вертикальная ось, ось Y), b задает наклон линии, а х – значение другой переменной
Достоверность (значение р) отклонения наклона регрессионной прямой от 0 - оценка наличия значимой корреляции между двумя переменными
Если достоверность такого отклонения оказывается высокой (т.е. получено малое значение р для этого параметра), необходимо отказаться от линейного регрессионного анализа «сырых данных» и подумать над возможностью приведения их к линейности путем преобразования (например, извлечение квадратного корня, возведения в степень, логарифмирования или описания более сложной функцией)
Выбор критерия
РАССМАТРИВАЕМ ТОЛЬКО ДЛЯ ОДНОЙ ВЫБОРКИ
Статистическая достоверность (р)
Демонстрация достоверности
Вероятность получения по крайне мере таких же или ещё больших отличий наблюдаемого от ожидаемого, чем в данной конкретной выборке, при условии, что выдвинутая гипотеза верна
Выборки с величиной p>0,05 не дают оснований отвергнуть гипотезу => Ho
Если выбран уровень значимости α=0,05, то все выборки, которые для выдвинутой гипотезы возвращают величину p≤0,05, отвергают эту гипотезу => H1
Размер выборки и статистическая мощность
Ошибки 1 и 2 типа
Статистическая мощность
Вычисляется как 1 - β и означает вероятность сделать заключение о наличии различия, в то время как оно имеется на самом деле (т.е. получить «истинно положительный результат»)
Описательная статистика
Типы данных, их независимость и распределение
Независимость
Независимые
Переменных в одной выборке не связаны со значениями переменных в другой, с которой производится сравнение
Показатели АД в группе мужчин по сравнению с группой женщин: АД у мужчин не зависит от аналогичного показателя у женщин
Зависимые
Результаты этих измерений для каждого человека и в целом между выборками скорее всего будут коррелировать, поэтому они считаются парными
Показатели АД, измеренные у пациентов в 9 часов утра и измеренные у них же в 5 часов вечера
Критериев нормальности
Не согласуется
Согласуется
Формирование статистической гипотезы
Альтернативная гипотеза - Н1
Наличии различия между сравниваемыми выборками
Нулевая гипотеза - Ho
Отсутствие различий между сравниваемыми выборками
Статистические методы
Одномерный статистический анализ
Анализ выживаемости и многомерная статистика
