Об источниках и ДМ

Мне кажется, нужен ещё один пост про доказательную медицину. На этот раз я хочу поговорить о пруфах, которые приводят в качестве доказательства эффективности всяких фуфломицинов (и не только).

== Про источники ==

Чаще всего мне приходится сталкиваться с ссылками на Pubmed (https://www.ncbi.nlm.nih.gov/pubmed/). Это хороший, годный ресурс, но к использованию статей с него в качестве доказательства эффективности того или иного препарата / психотерапевтического метода нужно относиться очень осторожно.

Тому есть две причины: не все статьи, опубликованные там, имеют достаточно высокое качество, чтобы считаться годными пруфами с точки зрения ДМ, и не все статьи, опубликованные там, исследуют вопрос клинической эффективности.

Рассмотрим пример. Для примера возьмём один из самых любимых общественностью ноотропов — пирацетам. Все ссылки, которые мы тут будем анализировать, приводились где-то на бескрайних просторах Интернетов в качестве «доказательства» эффективности препарата.

Ошибка 1: плохой дизайн исследования. Пример: https://www.ncbi.nlm.nih.gov/pubmed/11346373 Якобы, пирацетам эффективен при миоклонии (это такие кратковременны судороги, крайне неприятная штука).

Что плохого в этом исследовании? Выборка в 11 человек, отсутствие рандомизации, отсутствие плацебо-контроля, параллельное использование антиконвульсантов (которые тоже могли влиять на миоклонию и, собственно, вызвать эффект, который там «обнаружили»).Ошибка 2: исследование не того эффекта, который заявлен в доказываемом тезисе. Пример: https://www.ncbi.nlm.nih.gov/pubmed/9527146

Эта статья приводится в качестве пруфа «ноотропного» действия препарата. В чём проблема с ним? Во-первых, в том, что исследовалось влияние пирацетама на миоклоническую эпилепсию. А тезис, который «доказывается» эти исследованием заключается в том, что «пирацетам сделает вас умнее». Даже если бы результатом исследования было бы 100% подтверждение эффективности препарата против миоклонической эпилепсии, то это бы вообще никак не доказывало его эффективность в качестве ноотропа.

Ну, и качество исследования — довольно сомнительное, несмотря на громкое название: «a multicentre, randomised, double blind, crossover study comparing the efficacy and safety of three dosages of oral piracetam with placebo». Во-первых, исследования с кроссовер-дизайном — это крайне мутная тема (не всегда это плохо, но в них очень любят прятать всякую фигню, лично я отношусь к ним с осторожностью), во-вторых, опять же, 20 человек испытуемых — это ни о чём.

Ошибка 3: указание в качестве пруфа исследования на животных. Пример: https://www.ncbi.nlm.nih.gov/pubmed/28176051

Что-то там наисследовали на крысках, из чего делают вывод о том, что препарат будет эффективен в лечении воспалительных процессов в ЦНС. Это типичное когнитивное искажение (jump to conclusion). Из того, что препарат вызывает какие-то изменения в крысах, совершенно не следует, что он обязательно вызовет такие же изменение в людях. А даже если и вызовет, то не факт, что эти изменения вызовут желаемый клинический эффект. Поэтому исследования на животных не могут являться доказательством клинической эффективности.

Ошибка 4: вместо исследования клинического эффекта приводится статья, описывающая [предполагаемый] механизм действия. Пример: https://www.ncbi.nlm.nih.gov/pubmed/20163115

Слабость аргумента в том, что любое, даже очень подробное, подкреплённое инструментальными измерениями и внутренне непротиворечивое описание механизма действия не может являться доказательством того, что препарат / методика работает.

У проективных психологических тестов, о которых мы говорили несколько постов назад, тоже есть хорошая непротиворечивая теория работы, однако они — фигня.

Доказательством эффективности может быть только исследование, оценивающее эффективность (да ещё и корректно выполненное).

Ошибка 5: использование некорректных методов статистической обработки. Навскидку не нашёл примера про пирацетам, но по другим вопросам они есть. Классика жанра — использование параметрических методов статистики (в частности, критерия Стьюдента) для оценки данных, параметры вероятностного распределения величин которых неизвестны.

Ошибка 6: приводится некий довод (как правило, исследование на животных, описание механизма работы или статья с клиническим исследованием низкого качества), после чего выдвигается требование: «А теперь докажите, что это не так».

Это неправильно, доказывать, что препарат / метод работает, должны те, кто это утверждает. Пока они этого не сделают, по умолчанию, он считается неэффективным. Т.е. неправильно требовать доказательств неэффективности, она уже по умолчанию считается доказанной. А вот эффективность — она, да, требует доказательства.

Ок, с пабмедом немного разобрались, перейдём к Cochrane.org. Есть мнение, что пруфы на кокрейн — железные. Оно, конечно, так (там действительно очень хорошее качество обзоров и мета-анализов), но и тут нужно быть внимательным.

Чаще всего мне встречалась такая ошибка: в качестве пруфа приводится ссылка на обзор с Cochrane.org, который… ВНЕЗАПНО не доказывает, а то и опровергает тезис, в качестве пруфа к которому он был приведён.

Примерhttp://www.cochrane.org/CD001011/DEMENTIA_evidence-for-the-efficacy-of-piracetam-for-dementia-or-cognitive-impairment-is-inadequate-for-clinical-use-but-sufficient-to-justify-further-research

Если пройти по ссылке, то будет видно: обзор доказывает только то, что имеет смысл ещё поисследовать эффективность пирацетама при деменции и когнитивных нарушениях, а не то, что он эффективен для их лечения. По поводу эффективности там написано совершенно чётко: нет данных, подтверждающих, что использование пирацетама оправдано.

Если вы потратите время, чтобы изучить некоторое количество публикаций Cochrane.org, то обнаружите, что формулировка «недостаточно данных, нужно ещё исследовать» — довольно частое заключение. Поэтому, если вам привели ссылку на Cochrane в качестве доказательства чего-либо, не поленитесь и посмотрите, что там пишут, хотя бы в разделе Plain Language Summary.

Иногда бывает так, что сторонники некоего препарата / метода приводят ссылку прямо на статью в журнале (а не PMID). В этом случае действуют те же правила, что и для пабмеда.

== Про доказательность ==

Доказанная эффективность некоего препарата / метода для решения определённой задачи — ещё не означает, что вам этот препарат обязательно поможет. У галоперидола, например, шикарная доказательная база в контексте лечения шизофрении и психозов, но я буду последним человеком, который кому-либо посоветует принимать галоперидол.

Для того, чтобы оценить, насколько конкретный препарат / метод с доказанной эффективностью подходит вам, существуют врачи.

Доказанная эффективность — это хорошо, но есть ещё такая штука, как доказанная безопасность. Ампутация головы — шикарное средство от головной боли, но, опять же, побочки такие, что его сложно рекомендовать для широкого применения.

Бывает так, что по одному и тому же вопросу есть разные мнения: часть исследований показала, что препарат A эффективен при болезни B, часть — что нет. Это нормально, так бывает — из-за ошибок в исследовании, разных методов обработки, ещё чего-то. Поэтому самая крутая штука — это мета-анализы множества РКИ, выполненные компетентными экспертами. За них мы и любим Cochrane.

Бывает и так, что исследования с противоречивыми результатами есть, а хорошего мета-анализа, расставляющего все точки над и, нет. Во тут открывается широчайшее поле для срачиков в интернетах, где каждый приводит свои пруфы, доказывая, что его аргументы — аргументестее, чем у оппонентов.

Для того, чтобы препарат / метод признать имеющим доказанную эффективность, нужно, чтобы она подтверждалась несколькими независимыми РКИ с ослеплением, рандомизацией и корректной контрольной группой. Вообще, помимо «есть доказанная эффективность» / «нет доказанной эффективности» существуют градации, но я не вижу смысла пересказывать прекрасную статью c Энциклопатии, лучше дать ссылку: http://encyclopatia.ru/wiki/%D0%94%D0%BE%D0%BA%D0%B0%D0%B7%D0%B0%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D0%B0%D1%8F_%D0%BC%D0%B5%D0%B4%D0%B8%D1%86%D0%B8%D0%BD%D0%B0#.D0.94.D0.BE.D0.BA.D0.B0.D0.B7.D0.B0.D1.82.D0.B5.D0.BB.D1.8C.D0.BD.D0.BE.D1.81.D1.82.D1.8C

== Пара слов в защиту тех, кто использует методы без доказанной эффективности ==

Во-первых, не для всех возможных случаев есть качественные исследования. Если у вас какая-то хитрая пиздецома, то, вполне вероятно, что методов её лечения, имеющих доказанную эффективность, просто нет. И тогда врач должен собрать все свои знания, добавить немного профессиональной интуиции и назначить обоснованное лечение (предупредив вас о том, что он использует методы без доказанной эффективности).

Во-вторых, иногда бывает так, что метод / препарат, имеющий доказанную эффективность, нельзя применять. Аллергия у вас на него, например. Или ещё что-то.

В-третьих, вы можете попасть в качестве испытуемого в исследование, в котором эта самая эффективность таки проверяется (организаторы обязаны вас об этом проинформировать).

Но, блин, назначениям всяких фуфломицинов по принципу «ах, назначу фенотропил / актовегин / ещё какую ерунду, хуже не будет» — нет оправдания. И, тем более, нет оправдания тем, кто заявляет о том, что препараты / методы имеют доказанную эффективность, приводя в качестве пруфов ссылки, подобные тем, что рассмотрены выше.

Виталий Лобанов
Виталий Лобанов

Комментарии закрыты.