По ГИДЕОН МЕЙРОВИЦ-КАЦ*
Мошенническое или, по крайней мере, ошибочное исследование поддержало лечение огромного количества людей инвермектином.
Ивермектин — это противопаразитарное лекарство, используемое для лечения многих видов глистов и подобных заболеваний. Это очень безопасное лекарство, широко используемое во всем мире, и в большинстве случаев полезное лекарство, которое нужно иметь под рукой, если вы думаете, что подверглись воздействию зараженных человеческих фекалий, или если вам просто нужно продезинфицировать овец.
Однако вокруг ивермектина было много шума по другой причине. По нескольким группам специальный во всем мире, а также в некоторые научные исследования, ивермектин серебряная пуля против COVID-19. И хотя могут быть некоторые сомнения относительно того, работает ли ивермектин, Всемирная организация здравоохранения рекомендует использовать его для лечения COVID-19. только в рамках клинического исследования, есть также много оптимизма по поводу его использования в качестве лечения. Полдюжины стран официально продвигали ивермектин в качестве лекарства от COVID-19, и, вероятно, к настоящему времени его получили десятки миллионов людей по всему миру. цены стремительно растут как результат.
Все это немного беспокоит, если учесть, что мы на самом деле не знаем, работает ли ивермектин для лечения COVID-19, но это понятно, учитывая, что самые дорогие методы лечения не всегда доступны, и людям нужно что-то дешевое, что они могут хотя бы попробовать. y в случае смерти людей от инфекции. Это не идеально, но есть некоторые признаки того, что ивермектин работает и очень безопасен, так почему бы не попробовать?
Кроме одного. Похоже, что одно из крупных испытаний ивермектина на людях может быть изощренным научным мошенничеством. Трудно сказать, даже если исследование действительно имело место. Если это правда, это может означать, что ивермектин абсолютно бесполезен при COVID-19, и десятки миллионов людей во всем мире были введены в заблуждение.
Пристегнитесь, это ухабистая дорога.
Метапоиск
Прежде чем мы перейдем к самому исследованию, здесь важно понять одну важную вещь: одно исследование редко меняет все в медицине. Дело в том, что отдельные исследования, как правило, относительно невелики и поэтому оставляют нам некоторую степень неопределенности, которая проблематична, если мы говорим о том, какое лекарство вы принимаете, чтобы спасти свою жизнь от смертельной болезни.
Чтобы решить проблему множества маленьких испытаний, мы проводим так называемые систематические обзоры и метаанализы. Это агрегаты научных исследований, которые объединяют все известные исследования по теме в одном месте, а затем объединяют их в статистическую модель, чтобы мы могли увидеть, каким может быть общий эффект от лекарства. Вместо дюжины небольших исследований мы получаем одну большую совокупную оценку, которая теоретически является последним словом в вопросе об эффективности лечения.
Единственная проблема с этими анализами заключается в том, что если одно исследование имеет большое количество участников или огромный эффект, оно может превратить общую тенденцию во что-то положительное, даже если исследования, как правило, не дали никаких результатов. Обычно это не представляет большой проблемы, но это означает, что иногда у вас есть целый массив литературы, говорящей о том, что что-то работает, используя золотой стандарт объединения многих исследований, которые фактически основаны на результатах одного опроса.
И время от времени это исследование оказывается ужасно ошибочным.
Изучение
Имея это в виду, давайте посмотрим наше беспокойное исследование. Собственно, я уже писал об этом раньше — это препринт, еще не принятый в научный журнал, опубликованный в Площадь исследований группой врачей из Египта. Исследование называется «Эффективность и безопасность ивермектина для лечения и профилактики пандемии COVID-19» и весьма впечатляет своей исходной ценностью: авторы набрали 400 человек с COVID-19 и 200 близких контактов и случайным образом распределили их для получения ивермектин или плацебо. Удивительно, но исследование показало, что люди, получавшие ивермектин, имели на 90% меньше шансов умереть, чем люди, получавшие плацебо, что, если бы это было правдой, сделало бы ивермектин самым невероятно эффективным средством лечения, когда-либо обнаруженным в современной медицине.
Кроме того, как и подобает крупнейшему на сегодняшний день одиночному рандомизированному исследованию ивермектина для лечения COVID-19, его влияние непропорционально велико в литературе. Как Я показывал тебе раньше, исключение только этого единственного исследования из нескольких метааналитических моделей почти полностью меняет их результаты на противоположные. Не будет преувеличением сказать, что это единственное исследование побудило почти всех поверить в преимущества, которые люди в настоящее время приписывают ивермектину.
Однако даже на первый взгляд есть некоторые проблемы. Авторы использовали неправильные статистические тесты для некоторых своих результатов — для технически подкованных они сообщают значения хи-квадрат для непрерывных числовых данных — и их методология полна лазеек. Они не сообщают о сокрытии распределения, есть вопросы о том, был ли протокол намерения лечить или людей переключали между группами, а информация о рандомизации крайне неадекватна. Как исследование, оно, скорее всего, будет предвзятым, что затрудняет доверие к его результатам.
Но это, пожалуй, неудивительно, учитывая возможность того, что исследование никогда не проводилось.
расхождения данных
Проблемы с статье они начинаются с протокола, но уж точно не заканчиваются на нем. В поистине захватывающей истории британский студент магистратуры по имени Джек Лоуренс читал эту статью и заметил нечто странное — все введение, похоже, было плагиатом. На самом деле это довольно легко подтвердить - я скопировал и вставил несколько предложений из разных абзацев в Google, и сразу стало ясно, что большая часть вступления была взята из других источников в Интернете без указания авторства или подтверждения.
Это плохой знак, но он едва касается поверхности проблем. Возможно, мы могли бы простить некоторый плагиат в препринте, если бы он действительно нашел чудодейственное лекарство, но в тексте есть проблемы похуже.
Например, есть числа, которые невероятно маловероятны, почти невозможны. В таблице 4 исследование показывает среднее значение, стандартное отклонение и интервалы времени восстановления у исследуемых пациентов. Проблема в том, что при заявленном диапазоне от 9 до 25 дней, среднем значении 18 и стандартном отклонении 8 очень мало числовых настроек, которые соответствовали бы этому результату. Вы даже можете рассчитать это, используя спрайт инструмент разработанный опытными детективами по мошенничеству Джеймсом Хизерсом, Ником Брауном, Джорданом Анайей и Тимом Ван Дер Зи, — в среднем 18 дней, что соответствует другим значениям. Большинству пациентов в этой группе пришлось бы оставаться в больнице в течение 9 или 25 дней. точно. Что ж, это может быть не совсем невозможно, но это настолько странно, что вызывает очень серьезные вопросы о результатах самого анализа.
Почему-то становится еще хуже. Оказывается, авторы загрузили фактические данные, которые они использовали для исследования, в онлайн-репозиторий. Хотя данные заблокированы, наш герой Джек Лоуренс смог угадать пароль к файлу — 1234 — и получить доступ к анонимной информации на уровне пациента, которую авторы использовали при составлении этой статьи.
файл данных все еще онлайн (и вы можете скачать его за 9 долларов + налог) и изучить его самостоятельно. У меня есть копия, и удивительно, насколько очевидны недостатки даже на первый взгляд. Например, исследование сообщает, что оно получило этическое одобрение и началось 8 июня 2020 года, но в файле данных, загруженном авторами на сайт препринтов, 1/3 людей, умерших от COVID-19, уже были мертвы, когда исследователи начали набор своих пациентов. Если только они не заставляли мертвых людей давать согласие на участие в суде, это на самом деле невозможно.
Кроме того, примерно 25% всей группы пациентов, набранных для этого предположительно проспективного рандомизированного исследования, по-видимому, были госпитализированы еще до начала исследования. начинать, что является либо ошеломляющим нарушением этики, либо очень плохим признаком потенциального мошенничества. Еще хуже, если вы посмотрите на значения для разных пациентов, окажется, что большинство из группы 4 просто клонов друг друга, с одинаковыми или очень похожими инициалами, сопутствующими заболеваниями, количеством лимфоцитов и т. д.
все это классические и характерные признаки научного мошенничества – повторяющиеся сегменты (с небольшими изменениями) в данных встречаются в различных научных работах, которые впоследствии оказались мошенническими. Даже если это не откровенное мошенничество, этические проблемы, связанные с рандомизацией людей для участия в клинических испытаниях до появления этического одобрения, огромны.
Я не буду вдаваться во все несоответствия, которые показывают эти данные. Так много Джек Лоуренс как Ник Браун тщательно изучили вопросы, и я настоятельно рекомендую вам прочитать обе статьи, прежде чем продолжить. Они объясняют в мельчайших подробностях все причины, по которым кажется маловероятным, что это исследование могло иметь место, как описано.
Я дам вам секунду, чтобы прочитать это. Поверьте, оно того стоит.
Хорошо, мы вернулись. Поэтому авторы размещают в сети необработанный набор данных, очень похожий на результаты опубликованного ими исследования, но также явно ложный. Что это значит?
Что ж, вполне возможно, что это большая ошибка. Возможно, авторы создали электронную таблицу, которая слишком точно соответствовала исследованию, которая также по какой-то неизвестной причине состояла из смоделированной информации, а затем случайно загрузили ее вместо реальной информации. Возможно, когда они разместили файл в Интернете, им каким-то образом удалось скопировать и вставить дюжину пациентов 5 раз, перезаписав фактические значения в спешке, чтобы начать свое исследование.
Возможно. Это кажется крайне маловероятным, особенно учитывая, насколько большая часть информации в этой таблице соответствует результатам исследования, но вполне возможно, что это была ошибка, допущенная в остальном заслуживающими доверия исследователями.
С другой стороны, существует вполне реальная возможность того, что часть или даже все исследование будет сфабриковано. Мы не знаем — может быть, мы никогда не узнаем наверняка — но это не кажется надуманным, учитывая невозможные цифры даже в самой рукописи.
Последствия
В буквальном смысле это очень плохо. Это исследование было просмотрено и загружено более 100.000 30 раз, и, по данным Google Scholar, с ноября 2020 года, когда оно было впервые опубликовано, его цитировали XNUMX раз. Это означает, что это потенциально мошенническое исследование использовалось для лечения пациентов, вероятно, многих людей на данный момент.
Но становится хуже. На самом деле гораздо хуже.
Видите ли, большая шумиха вокруг ивермектина связана не с этим единственным исследованием, а, как я уже говорил ранее, с мета-анализами. два исследования Последний, в частности, привлекли большое внимание, поскольку оба утверждали, что показали с высочайшим качеством доказательств, что ивермектин спасает жизни.
Проблема в том, что если вы посмотрите на эти большие агрегированные модели и удалите только одно исследование, ивермектин потеряет почти все свои заявленные преимущества. См. недавний метаанализ Bryant et al.. это было во всех новостях - они обнаружили снижение пожизненного риска на 62% для людей, которых лечили ивермектином, по сравнению с контрольной группой, когда они объединили рандомизированные контролируемые испытания.
Однако, если вы удалите статью Эльгаззара из своей модели и запустите ее снова, выигрыш уменьшится с 62% до 52% и в значительной степени потеряет статистическую значимость. У людей с тяжелым течением COVID-19 не наблюдается пользы, а доверительные интервалы для людей с легким и умеренным заболеванием становятся чрезвычайно широкими.
Кроме того, если включить другое исследование который был опубликован после публикации мета-анализа Брайанта, который не обнаружил преимуществ ивермектина в отношении смерти, преимущества, наблюдаемые в модели, полностью исчезают. другому недавний метаанализ, простого удаления Эльгаззара достаточно, чтобы полностью удалить бафф.
Это важно. Это означает, что если это исследование окажется мошенническим, оно будет иметь огромные последствия не только для людей, которые ему доверяли, но и для всех исследований, включивших его в свой анализ. До тех пор, пока не будет найдено разумного объяснения многочисленным расхождениям в данных, не говоря уже о неправдоподобных цифрах, представленных в исследовании, любой анализ, включающий эти результаты, следует считать подозрительным. Учитывая, что в настоящее время это крупнейшее рандомизированное клиническое исследование ивермектина для лечения COVID-19, и большинство анализов до сих пор включали его, это действительно тревожная ситуация для литературы в целом.
Так или иначе
Несколько ужасающая реальность заключается в том, что огромное количество людей лечилось ивермектином в основном на основе испытаний, которые если и не были откровенно мошенническими, то настолько ошибочными, что в любом случае их нельзя было использовать для принятия каких-либо медицинских решений. Даже если мы проигнорируем ложные данные, загруженные в исследование, трудно игнорировать множество других проблем, которые демонстрирует исследование.
Что это оставляет нас с вопросом о том, работает ли ивермектин при COVID-19? Ну, во-первых, как только вы исключите Эльгаззара из исследовательского пула, текущие наилучшие доказательства показывают довольно последовательное отсутствие пользы. Есть еще одно или два очень положительных небольших исследования, но в целом ивермектин, похоже, не снижает риск смерти от COVID-19.
теперь есть гораздо большие репетиции Я продолжаю с уверенностью отвечать на этот вопрос, и я с нетерпением жду ваших результатов — как я уже говорил, главная проблема сейчас в том, что доказательства недостаточно хороши, чтобы в любом случае быть уверенным. Тем не менее, если самое крупное испытание препарата оказалось мошенническим, это не является обнадеживающим признаком.
Нам также остается монументальная расплата. Не нужно, чтобы студент-магистр/журналист-расследователь ознакомился с исследованием, чтобы понять, что оно потенциально мошенническое. Это исследование было рассмотрено десятками ученых, включая меня, и хотя я сказал, что это крайне низкое качество, я не заметил проблем с данными.
Прошло более шести месяцев с тех пор, как это исследование было опубликовано в Интернете. Судя по всему, результаты этого исследования были использованы для лечения тысяч или, возможно, даже миллионов людей по всему миру. И еще, до сих пор никто не заметил, что большая часть введения [статьи] плагиат?
Научное сообщество и мы, благородные защитники истины, облажались.
Здесь нет приятного и легкого финала, на котором я мог бы закончить. Расследование этого исследования продолжается, и однажды мы можем получить всю историю целиком, но тем временем ущерб уже нанесен.
Научному предприятию нравится восхищаться идеей, что наука «самокорректируется» — что недостатки и ошибки обнаруживаются в самом научном процессе. Но это не было ошибкой. Аккредитованные эксперты ознакомились с этим исследованием и оценили его как НИЗКИЙ риск систематической ошибки. Не один раз, а неоднократно. Врачи посмотрели на это и увидели чудодейственное средство, несмотря на проблемы исследования даже при беглом анализе.
Я не уверен, что это исследование мошенническое, и мы можем никогда не узнать. Но мы знаем, что никто и никогда не должен был использовать это как доказательство чего бы то ни было. Нам придется признать тот факт, что действительно позорный опрос, который может оказаться мистификацией, был размещен в Интернете и использовался для управления лечением миллионов людей во всем мире.
И никто не заметил, пока не стало слишком поздно.
* Гидеон Мейеровиц-Кац, эпидемиолог, кандидат наук в Университете Вуллонгонга, Австралия.
Перевод: Шон Парди e Леандро Тесслер для журнала научный вопрос.
