Каждый день появляются новые советы в области здоровья, но откуда мы знаем, правда ли это? Врач и эпидемиолог Бен Голдэйкр, автор книги"Обман в науке" (Bad Science) в молниеносном темпе объясняет нам, как можно исказить доказательства, от совершенно очевидных случаев с продуктами питания и до хитрых трюков в фармацевтической промышленности.

Перевод на русский:

Итак, я врач, но я как-то ушел в сторону исследований, так что я теперь эпидемиолог. Никто толком не знает, что такое эпидемиология. Эпидемиология – это наука о том, как мы узнаем в реальности, хорошо для нас что-то или плохо. И лучше всего это объяснить на примере, вроде "науки" в этих сумасшедших газетных заголовках. Вот вам несколько примеров.

Это из Daily Mail. Подобная газета есть в любой стране мира. У них всегда есть этот странный философский проект по разделению всех неодушевленных объектов в мире на те, что вызывают рак, и те, что предотвращают его. Вот некоторые причины рака, которые они определили недавно: развод, Wi-Fi, туалетные принадлежности и кофе. А эти вещи, как они говорят, предотвращают рак: сухари, красный перец, лакрица и кофе. Вы уже видите, что есть противоречия. Кофе и вызывает рак, и предотвращает его. Начав читать, вы сразу понимаете, что за некоторыми вещами может лежать политический подтекст. Так, работа по дому предотвращает рак груди у женщин, но мужчин шоппинг может сделать импотентом. Нам уже понятно, что нужно начать разоблачать "науку", которая за этим стоит.

И я как раз надеюсь показать, что разоблачение бесчестных притязаний, разоблачение доказательств, которые за ними стоят, – это не какие-то мерзкие придирки, а общественно полезный труд, а также чрезвычайно ценный пояснительный инструмент. Потому что настоящая наука заключается в критической оценке доказательств чужой точки зрения. Вот что происходит в научных журналах. Вот что происходит на научных конференциях. Диспуты после презентации данных превращаются в кровавую баню. И никто не против. Мы активно приветствуем это. Мы согласны на интеллектуальный садомазохизм. Я хочу показать вам один из основных аспектов, основных элементов моей дисциплины, – доказательной медицины. И я расскажу вам обо всём этом и продемонстрирую, как это работает, исключительно на примерах, когда люди понимают всё неправильно.

Итак, начнём со слабейшей формы доказательств, известной человеку, – авторитета. В науке нам не важно, сколько регалий прилагается к вашему имени. Нам важно знать, какие у вас есть основания верить чему-либо. Откуда вы знаете, что что-то для нас полезно или вредно? Но авторитет нас не очень впечатляет, потому что его легко сфабриковать. Вот эту зовут Доктор Джиллиан МакКит, к.ф.н., или, со всеми медицинскими регалиями – Джиллиан МакКит. (Смех в зале) Опять же, в каждой стране есть такие. Она – наш теле-гуру от диетологии. У неё пять серий на телевидение в прайм-тайм, которые выдают щедрые и экзотические советы по здоровью. Оказывается, она сдала заочный кандминимум в не аккредитованном ВУЗе где-то в Америке. Также она хвастается сертификатом профессионального члена Американской ассоциации консультантов по диетологии, что звучит очень гламурно и захватывающе. У вас есть сертификат и всё такое. Этот принадлежит моей мёртвой кошке Хетти. Она была ужасной кошкой.

Вы просто заходите на сайт, заполняете форму, даёте им 60$, и сертификат приходит по почте. И это не единственная причина, почему я считаю её идиоткой. Кроме этого, она рассказывает вещи вроде того, что нужно есть тёмно-зеленые листья, потому что они содержат много хлорофилла и насыщают кислородом кровь. Любой, кто помнит биологию со школы, знает, что хлорофилл в хлоропластах вырабатывает кислород только на солнечном свету, а у нас в кишках очень темно, даже если вы съели весь шпинат.

Далее, нам нужна правильная наука, доказательства. Например, "Красное вино предотвращает рак молочной железы". Вот заголовок из Daily Telegraph в Великобритании: "Бокал красного вина в день помогает предотвратить рак молочной железы". Берём эту газету и видим там настоящий научный шедевр. Это описание изменений в одном из ферментов, когда вы капаете химикат, добытый из кожицы красного винограда, на какие-то раковые клетки в пробирке в какой-то лаборатории. И это действительно интересная штука как для научной газеты, но что касается вашего личного риска заболеть раком груди, если вы пьёте красное вино, то тут всё как раз наоборот. Оказывается, риск развития рака молочной железы на самом деле увеличивается с приростом выпиваемого алкоголя. Итак, мы хотим исследований на реальных человеческих людях.

И вот другой пример. Это ведущий диетолог Великобритании из Daily Mirror, второй газеты с точки зрения продаж. "Австралийское исследование 2001 года показало, что оливковое масло в сочетании с фруктами, овощами и бобовыми даёт измеримую защиту от морщин." Затем они советуют вам: "Ешьте овощи с оливковым маслом, и у вас будет меньше морщин." Далее они очень услужливо рассказывают, как купить эту газету. Итак, возьмём эту газету и соответствующее исследование. Очевидно, никто не смог бы вернуться назад в 1930 год, взять всех людей, родившихся в одном роддоме, и заставить половину из них есть овощи и оливковое масло, а другую половину питаться в McDonald's, а потом сравнить, сколько у кого морщин.

Приходится рассматривать, как люди выглядят сейчас. Конечно, вы обнаружите, что люди, которые едят овощи и оливковое масло, имеют меньше морщин. Но это потому, что люди, которые едят фрукты, овощи и оливковое масло, они уроды, они ненормальные, они – как вы; они приходят на события вроде этого. Они шикарные, богатые, меньше работают на открытом воздухе, меньше занимаются физическим трудом, более социально обеспечены, меньше курят – так что из-за целого ряда интересных, взаимосвязанных социальных, политических и культурных причин они менее подвержены морщинам. Но это не значит, что это благодаря овощам или оливковому маслу.

(Смех в зале)

В идеале нужно провести испытания. Все думают, что знают всё насчёт испытаний. Это очень старая идея. Первое испытание упоминается в Библии – Даниила 1:12. Всё очень просто: вы берёте кучу людей, разделяете их пополам, с одной группой вы обращаетесь одним образом, с другой – другим, и некоторое время спустя вы просматриваете результаты и видите, что случилось с каждой из них. Я расскажу вам об одном испытании, которое, наверное, лучше всего освещалось в СМИ Великобритании за последнее время. Это испытание таблеток с рыбьим жиром. Они заявляли, что таблетки рыбьего жира улучшают успеваемость и поведение у обычных детей. Они сказали: "Мы провели испытание. Все предыдущие испытания положительны, и мы уверены, это – не исключение". Такое всегда должно вызывать подозрение. Ибо, если вы уже знаете результат исследований, не нужно запускать новое. Либо вы фальсифицируете его по определению, либо у вас достаточно данных, чтобы не выбирать случайным образом.

Вот что они делают при таких испытаниях. Выбирают 3 000 детей, дают им эти огромные таблетки с рыбьим жиром, шесть штук в день, а год спустя они оценивают их успеваемость в школе на экзаменах и сравнивают их результаты экзаменов с тем, что они предсказывали в качестве результата экзаменов, если бы дети не пили таблетки. Кто-нибудь заметил изъян в этой идее? Ни одному профессору по методологии клинических испытаний не разрешается ответить на этот вопрос. Таким образом, нет контроля; нет контрольной группы. Зато это звучит очень технологично. Это технический термин. Дети пили таблетки, и их успеваемость улучшилась.

Если не из-за таблеток, то почему? Они стали старше. Со временем мы развиваемся. И, конечно, также есть эффект плацебо. Эффект плацебо – один из наиболее интересных в медицине. Речь не только о том, что после таблетки работоспособность растёт, а боль уменьшается. Речь о ваших убеждениях и ожиданиях. Речь идёт о культурном значении лечения. И это было продемонстрировано в целом ряде увлекательных исследований, сравнивающих один вид плацебо с другим. Итак, мы знаем, например, что две таблетки сахара в сутки более эффективны от язвы желудка, чем одна таблетка сахара. Две сахарных таблетки в день лучше одной. Это и возмутительно, и смешно, но это правда.

Из трёх различных исследований трёх различных видов боли мы знаем, что инъекции морской воды более эффективны для снятия боли, чем таблетки сахара, то есть чем приём таблеток, в которых нет лекарств – не потому, что инъекции или таблетки физически ничего не причиняют телу, а потому, что инъекции воспринимаются как гораздо более существенное вмешательство. Итак, мы знаем, что нашими убеждениями и ожиданиями можно манипулировать, и именно поэтому мы делаем испытания по сравнению с плацебо, где одна половина людей получает настоящее лечение, а другая половина получает плацебо.

Но это ещё не всё. Я только что показал вам примеры того, как очень просто журналисты, продавцы пищевых добавок и натуропаты могут исказить данные в своих целях. Особенно интересен тот факт, что фармацевтическая промышленность использует точно такие же приёмы и ухищрения, только чуть более сложные их версии, чтобы исказить доказательства, предоставляемые врачам и пациентам, на основе которых мы принимаем жизненно важные решения.

Во-первых, испытания по сравнению с плацебо: все думают, что знают, будто испытания должны быть сравнением нового препарата с плацебо. Но на самом деле зачастую это не так. Часто у нас уже есть очень хорошее лечение на данный момент, так что мы не желаем знать, что новый метод лечения лучше, чем ничего. Мы хотим знать, что он лучше, чем наилучшее лечение, которое есть на данный момент. Несмотря на это мы постоянно видим, что испытания делают, по-прежнему сравнивая с плацебо. И вы можете получить лицензию на поставку лекарств на рынок, представив данные, что лечение всего лишь лучше чем ничего, но это не поможет врачу вроде меня принять решение.

И это не единственный способ подстроить результаты. Можно также подстроить результаты, сравнивая ваш новый препарат с абсолютным мусором. Можно дать конкурирующий препарат в слишком низкой дозе, так что люди не получат достаточного лечения, или дать конкурирующий препарат в слишком высокой дозе, так что люди получат побочные эффекты. Именно это произошло с антипсихотическими препаратами для лечения шизофрении. 20 лет назад появилось новое поколение антипсихотических препаратов, и они обещали, что будет меньше побочных эффектов. Таким образом, люди стали сравнивать новые лекарства со старыми препаратами, но давали старые лекарства в огромных дозах, 20 миллиграммов галоперидола в день. Было заранее ясно, что если давать препарат в такой высокой дозе, он даст больше побочных эффектов, а новое лекарство будет выглядеть лучше.

10 лет назад история повторилась, что интересно, когда закончился срок правообладания на рисперидон, один из первых антипсихотиков нового поколения, и стало можно копировать его. Все хотели показать, что их препарат лучше, чем рисперидон. Итак, вы видите кучу испытаний новых антипсихотических препаратов по сравнению с 8-ю миллиграммами рисперидона в день. Опять же, не безумная доза, не недопустимая, но практически на максимуме допустимой. Так ваш препарат просто обречён выглядеть лучше. Неудивительно, что в целом испытания, финансируемые производителями, вчетверо более вероятно дают положительный результат, чем независимые испытания.

Но – и это очень большое "но" – (Смех в зале) Оказывается, если проверить методологию испытаний, финансируемых производителями, она оказывается и правда лучше, чем у независимых испытаний. И всё же им всегда удается получить подходящий результат. Как же так получается? Как можно объяснить это странное явление? Оказывается, происходит следующее: негативные данные пропадают без вести и не доходят до врачей и пациентов. И это самый важный аспект нашей истории, он на вершине пирамиды доказательств. Чтобы оценить эффективность определённого лечения, нам нужно иметь все данные по нему. Есть два способа, как можно определить, пропали ли какие-либо данные. Можно пользоваться статистикой или историей. Я лично предпочитаю статистику, и вот что я делаю.

Это называется нормальным распределением. Нормальное распределение – отличный способ обнаружить, не пропали ли негативные результаты небольших испытаний. Это график всех испытаний, сделанных по определённому виду лечения. По мере продвижения к вершине графика вы видите, каждая точка – это исследование. Вверху графика – большие исследования, поэтому в них меньше ошибок, то есть там меньше ложных положительных и ложных отрицательных результатов. Так что они собираются вместе. Большие испытания ближе к истинному ответу. Если же рассмотреть нижнюю часть, с этой стороны вы видите ложные отрицательные результаты, а с этой стороны – ложные положительные. Если есть систематическая ошибка, если небольшие отрицательные исследования пропадают, это можно видеть на одном из графиков. Таким образом, видно, что небольшие отрицательные испытания, которые должны быть в левом нижнем углу, исчезли. Это график демонстрирует наличие систематической ошибки в исследованиях систематической ошибки. Я думаю, что это самая смешная эпидемиологическая шутка, которую можно придумать.

Так можно доказать это статистически. Что насчёт исторических данных? На самом деле они просто отвратительные. Это препарат под названием ребоксетин. Я сам назначал его пациентам. Но я очень дотошный врач. Я стараюсь прочитать и разобраться во всей специальной литературе. Я читал результаты испытаний, и все они были положительными и хорошо проведёнными. Я не нашёл ни одного изъяна. К сожалению, оказалось, что многие из этих испытаний были изъяты, а именно, 76% всех испытаний этого препарата держались в тайне от врачей и пациентов. Теперь, представьте себе, если бы я подбросил монету сто раз и имел бы возможность скрыть от вас половину результатов, я смог бы убедить вас, что у монеты с обеих сторон "орёл". Если убрать половину данных, мы никогда не узнаем истинную величину эффекта этих лекарств.

И это не единичный случай. Около половины всех данных испытаний антидепрессантов были изъяты, но размеры бедствия куда больше этого. Nordic Cochrane Group пытались получить соответствующие данные, чтобы свести всё вместе. Группы Cochrane – международные некоммерческие группы, производящие систематический анализ всех когда-либо опубликованных данных. Они должны иметь доступ ко всем данным испытаний. Но в течение трёх лет компании, а также Европейское агентство по лекарственным препаратам, скрывали от них данные.

На данный момент этой проблеме нет решения. И чтобы показать, насколько велика проблема, возьмём препарат Тамифлю, на который правительства по всему миру потратили миллиарды и миллиарды долларов. Они заплатили бешеные деньги за обещание, что это лекарство снижает вероятность осложнений при гриппе. У нас уже есть данные, что он уменьшает продолжительность гриппа на несколько часов. Но это не заботит ни меня, ни правительства. Мне очень жаль, если у вас грипп, я знаю, это ужасно, но мы не собираемся тратить миллиарды долларов, пытаясь уменьшить длительность симптомов гриппа на полдня. Мы выписываем препараты и делаем их аварийные запасы, если понимаем, что они уменьшают количество осложнений, что означает, число пневмоний и число смертей. Cochrane Group по инфекционным заболеваниям, которая базируется в Италии, пыталась получить от фармацевтических компаний полные данные в удобной форме, чтобы можно было принять обоснованное решение, эффективен ли данный препарат, и они не смогли получить этой информации. Это, несомненно, самая большая этическая проблема, стоящая перед современной медициной. Мы не можем принимать решения при отсутствии полной информации.

После всего сказанного очень сложно закончить на оптимистической ноте. Но я бы сказал так: я думаю, что солнечный свет – лучшее дезинфицирующее средство. Всё это происходит на виду у всех, и все они защищены "силовым полем" занудства. И я думаю, несмотря на все проблемы в науке, лучшее, что мы можем сделать, – это приподнять завесу и самим всё ощупать и изучить.

Большое спасибо.

(Аплодисменты)

См. также:
- Книга "Обман в науке" (Bad Science) в Озоне, автор Ben Goldacre
- Клэй Ширки: Когнитивный излишек способен изменить мир (лекция-дискуссия)

/Перевод Andriy Prischenko/

Оригинал и обсуждение на английском здесь >>