Найденная статья — это не сплошной текст, который читают подряд от заголовка до выводов. Это документ со стандартной архитектурой, где у каждого раздела своя работа. Если знать, где искать ответы на главные вопросы, за десять минут можно понять о статье больше, чем за час чтения наугад. Эта часть — о том, как устроена научная статья и где в ней искать то, что нужно для критической оценки.

3.1 IMRAD: универсальная архитектура научной статьи

Современная научная статья почти всегда построена по схеме IMRAD — Introduction, Methods, Results, And Discussion. Этот формат сложился не сразу. В первой четверти XX века медицинские статьи ещё были близки к свободному эссе; стандартную структуру считали идеалом, но на практике ей не следовали (Sollaci & Pereira, 2004). После Второй мировой войны международные конференции по научной публикации стали рекомендовать формат IMRAD, и к 1980-м годам он закрепился как стандарт в ведущих медицинских журналах (Sollaci & Pereira, 2004).

Логика IMRAD повторяет ход самого научного рассуждения:

IIntroductionзачем и что проверяем
MMethodsкак именно сделано
RResultsчто получено
DDiscussionчто это значит

К этим четырём блокам сегодня обычно добавляют Abstract в начале, Conclusions в конце, References, иногда Supplementary Material. Та же логика лежит в основе большинства международных гайдлайнов по отчётности — CONSORT, STROBE, PRISMA (о них ниже).

В каком порядке читать

Читать подряд, от введения к выводам, — не лучший способ оценить статью. Введение и выводы автор пишет, чтобы убедить читателя, и они подвержены риторике. А цифры и методология — это фундамент, на котором стоят выводы, и увидеть их стоит раньше, чем автор объяснит, что они якобы означают.

Один из рабочих порядков чтения для критической оценки такой:

  1. Заголовок и abstract — фильтр: подходит ли статья к вопросу.
  2. Methods — фундамент выводов. Этот раздел определяет, можно ли доверять цифрам в принципе.
  3. Results — что получено на самом деле. Смотреть до того, как авторы расскажут, «что это значит».
  4. Discussion и Conclusions — авторская интерпретация. Теперь её можно сверить с собственным прочтением Results.
  5. Introduction — обычно хватает беглого взгляда: раздел полезен для контекста, но критической информации в нём почти нет.

Такой порядок не даёт авторским выводам подменить собственное чтение данных.

3.2 Title и Abstract: первый фильтр

Каждый день выходят тысячи статей, и прочитать все полные тексты по своей теме невозможно. Заголовок и abstract — первое сито, через которое проходит любая найденная ссылка.

Что искать в заголовке

Хороший заголовок несёт почти всю формулу PICO: популяцию, вмешательство, сравнение, исход, а часто ещё и дизайн. Возьмём заголовок STITCH: «Small bites versus large bites for closure of abdominal midline incisions (STITCH): a double-blind, multicentre, randomised controlled trial». В одной строке сразу видно, что это РКИ, какова популяция (закрытие срединных лапаротомий), что с чем сравнивают (маленькие и большие стежки) и что было ослепление.

Заголовок без указания дизайна — «Эффективность метода X при состоянии Y» — повод насторожиться: так обычно выглядят серии случаев и нерандомизированные сравнения.

Структурированный abstract

Большинство медицинских журналов сегодня требуют структурированный abstract — с разделами Background / Methods / Results / Conclusions. За минуту он показывает основные характеристики исследования, ещё до погружения в полный текст. Смотреть в первую очередь стоит на:

  • Methods abstract — заявленный дизайн, размер выборки, основной исход;
  • Results abstract — конкретные цифры, а не просто направление эффекта;
  • Conclusions abstract — совпадает ли заявленный вывод с тем, что показано в Results.

Регистрационный номер исследования

В abstract клинического испытания должен стоять регистрационный номер (NCT… для ClinicalTrials.gov, EUCTR… для европейского реестра, ISRCTN…). По нему можно сверить первичный исход из публикации с тем, что был зарегистрирован до старта исследования (см. Часть I, раздел про ClinicalTrials.gov). Если они расходятся — это серьёзный сигнал (selective outcome reporting).

Spin: систематическое искажение abstract'ов

Abstract читают чаще всего. Многие врачи принимают клиническое решение, ознакомившись только с ним. Поэтому abstract — главное место для spin: искажения, при котором результаты подают привлекательнее, чем они есть.

В РКИ со статистически незначимым первичным исходом заключение abstract содержало элементы spin в 40–58% случаев: акцент смещали на вторичные исходы, на per-protocol анализ вместо intention-to-treat, на «положительную тенденцию» там, где значимого эффекта нет (Boutron et al., JAMA 2010; Yavchitz et al., PLoS Med 2012). А дальше spin из abstract перетекает в пресс-релизы и новостные заметки (Yavchitz et al., 2012).

Отсюда простое правило: вывод abstract — это не вывод исследования, а вывод авторов. Прежде чем поверить формулировке «препарат X улучшает Y», стоит проверить, действительно ли это показано в Results.

3.3 Methods: главный раздел для оценки валидности

Methods — самый важный раздел для того, кто читает статью критически. Здесь решается, можно ли вообще доверять цифрам в Results. Слабые методы обесценивают любые красивые результаты; сильные — заставляют принять всерьёз даже скромный эффект.

Читая Methods, полезно искать ответы на несколько вопросов.

Дизайн: заявленный и фактический. Что декларируют авторы — РКИ, проспективную когорту, ретроспективный анализ? И совпадает ли реализация с декларацией? Бывает, что исследование названо «проспективным», а при чтении выясняется: часть данных собрана задним числом из медицинских карт.

Популяция и критерии отбора. Кого включили, кого исключили, насколько строгие критерии? Очень узкие критерии повышают внутреннюю валидность (различие между группами вернее связать с вмешательством), но снижают применимость к реальной разнородной популяции — то есть внешнюю валидность.

Размер выборки и его обоснование. Рассчитывали ли заранее нужный размер выборки (power calculation)? Какой эффект авторы рассчитывали увидеть? Без такого расчёта — особенно при маленькой выборке — исследование может «не заметить» реально существующего эффекта (ошибка II рода) или случайно показать несуществующий.

Для РКИ — критические детали:

  • способ рандомизации (компьютерный генератор, таблицы случайных чисел, конверты) и скрытие распределения (allocation concealment): знал ли исследователь в момент включения пациента, в какую группу тот попадёт;
  • ослепление (blinding): кто не знал распределения — пациент, оператор, оценщик исхода, статистик;
  • анализ по intention-to-treat: попали ли все рандомизированные пациенты в ту группу, куда были распределены изначально, независимо от того, что случилось потом.

Первичный и вторичные исходы. Какой исход объявлен главным? Определили его до начала исследования или он появился по ходу анализа? Сколько вторичных исходов оценивали? Каждый лишний исход повышает шанс ложноположительной находки — это проблема множественных сравнений.

Статистический план. Какие методы применены, был ли план заявлен до анализа, есть ли поправка на множественные сравнения, делались ли незапланированные подгрупповые анализы.

Reporting guidelines: чек-листы как инструмент для читателя

Чтобы упорядочить написание Methods (а заодно и возможность их проверить), международное сообщество разработало серию руководств по отчётности — reporting guidelines. Каждое задаёт список пунктов, которые в статье должны быть. Для читателя это готовые чек-листы: сразу видно, чего не хватает.

ДизайнРуководствоПервоисточник
РКИ (параллельные группы) CONSORT 2010 Schulz, Altman, Moher; BMJ 2010
РКИ нефармакологических вмешательств (хирургия, устройства, реабилитация) CONSORT NPT 2017 Boutron et al.; Ann Intern Med 2017
Наблюдательные исследования (когорта, случай–контроль, поперечное) STROBE von Elm et al.; Lancet 2007
Систематические обзоры и метаанализы PRISMA 2020 Page et al.; BMJ 2021
Литературный поиск в систематических обзорах PRISMA-S Rethlefsen et al.; Syst Rev 2021
Клинические практические рекомендации AGREE II Brouwers et al.; CMAJ 2010
Прогностические модели TRIPOD Collins et al.; BMJ 2015
Описание случая CARE Gagnier et al.; J Clin Epidemiol 2014

Все руководства собраны в единой базе EQUATOR Network (equator-network.org) — это удобная точка входа.

CONSORT-NPT — отдельная тема для хирургов. Базовый CONSORT 2010 писали в первую очередь под фармакологические испытания. У хирургии и других нефармакологических вмешательств есть специфика, которую он не учитывает: квалификация хирурга, кривая обучения, особенности ослепления, описание самого вмешательства как сложного процесса. Для этого сделали расширение CONSORT for Non-Pharmacologic Treatments — впервые в 2008 году, обновлённое в 2017 (Boutron et al., Ann Intern Med 2008; Boutron et al., Ann Intern Med 2017). Оно прямо требует от хирургического РКИ отчитаться о хирурге (опыт, число операций), о центре (объём процедур), о деталях вмешательства, о кривой обучения. Для читателя хирургического РКИ это самая полезная карта проверки: если в Methods этих деталей нет — критическая оценка упирается в потолок.

3.4 Results: чтение цифр и таблиц

Results — это то, что в исследовании произошло на самом деле. Интерпретации здесь нет (по крайней мере, быть не должно): только цифры, таблицы, графики. Если Methods отвечают на вопрос «как получали», то Results — на вопрос «что получили».

Table 1: исходные характеристики групп

Почти любое сравнительное исследование открывает Results таблицей исходных характеристик — Table 1 (возраст, пол, сопутствующие болезни, тяжесть состояния и так далее). В правильно рандомизированном РКИ группы должны быть сопоставимы по всем известным факторам — в этом и смысл рандомизации. Заметная разница в Table 1 в РКИ — повод либо перепроверить метод рандомизации, либо заподозрить, что её не было.

В наблюдательных исследованиях группы почти всегда различаются исходно, и Table 1 показывает, насколько и в чём. От этого потом отталкиваются, корректируя на смешивающие факторы.

Flow diagram: кто и где «потерялся»

CONSORT требует включать в РКИ flow diagram — схему потока пациентов: сколько отобрали на скрининге, сколько исключили и почему, сколько рандомизировали, сколько получило вмешательство, сколько вошло в анализ (Schulz et al., BMJ 2010). У систематических обзоров аналогичную диаграмму требует PRISMA (Page et al., BMJ 2021).

Большие потери — скажем, выбыло 30% когорты — это серьёзная угроза валидности. Те, кто «потерялся», могут отличаться от оставшихся по причинам, связанным с исходом: например, ушли из-за побочных эффектов.

p-value, размер эффекта и доверительный интервал

Три цифры в Results, которые часто смешивают:

  • p-value — вероятность получить такое (или ещё более крайнее) различие, если на самом деле различия нет. p < 0,05 говорит «вряд ли случайно», но ничего не говорит о клинической значимости.
  • Размер эффекта (effect size) — насколько велико различие. Без него p-value пустое: на очень большой выборке статистически значимым окажется даже клинически ничтожное отличие в десятые доли процента.
  • Доверительный интервал (CI) — диапазон, в котором с заданной вероятностью (обычно 95%) лежит истинное значение эффекта. Узкий CI — оценка точная; широкий — данные допускают и большой эффект, и почти полное его отсутствие.

В хорошо оформленных Results есть все три величины, а не одно p-value.

Абсолютные и относительные эффекты

Один и тот же результат можно подать в разной арифметике — и впечатление меняется радикально.

Допустим, в контрольной группе осложнения возникли у 4 человек из 100, а в экспериментальной — у 2 из 100. Тот же факт описывается по-разному:

Относительный риск (RR) 0,5 снижение относительного риска (RRR) — 50%
Абсолютная разница рисков (RD) 2% 4% − 2% = 2 процентных пункта
Число, нужное для лечения (NNT) 50 пациентов, чтобы предотвратить одно осложнение

«Метод снижает риск осложнений на 50%» и «нужно пролечить 50 пациентов, чтобы предотвратить одно осложнение» — это одно и то же число, поданное с двух сторон. Первая формулировка чаще попадает в abstract и пресс-релиз, вторая честнее показывает масштаб пользы. Читая Results, полезно мысленно переводить относительные показатели в абсолютные.

Для бинарных исходов часто встречается ещё отношение шансов (OR) — близкое к RR при редких событиях, но расходящееся с ним при частых. Для исходов «время до события» (выживаемость, рецидив) используют отношение рисков (HR).

Подгрупповые анализы

Subgroup analyses — оценка эффекта в подгруппах (мужчины и женщины, моложе и старше определённого возраста, лёгкое и тяжёлое течение). Это один из самых уязвимых для ложных находок разделов: чем больше подгрупп проверено, тем выше шанс наткнуться на «эффект» в одной из них по чистой случайности. Подгрупповому анализу можно доверять, когда он был заранее запланирован, заранее обоснован биологически и проверяется через формальный тест на взаимодействие (test for interaction), а не простым сравнением p-value между подгруппами.

Если в Results вдруг возникает «в общей популяции метод не сработал, но был эффективен у пациентов старше 65 лет» — и нигде не сказано, что эту подгруппу задали в протоколе заранее, — это, как правило, артефакт.

3.5 Discussion и Conclusions: где осторожнее всего

Discussion — раздел, где автор объясняет, что значат полученные результаты. Это самая риторическая часть статьи, и именно тут чаще всего расходятся то, что показано в Results, и то, что заявлено в выводах.

Читая Discussion, стоит держать в голове несколько вопросов.

Соответствует ли вывод данным. Самая частая проблема. РКИ с незначимым первичным исходом нередко заканчивается формулировкой, из которой читатель выносит, что метод «наверное, работает» — со ссылкой на тренд, на вторичные исходы, на подгруппу. Это и есть spin в развёрнутом виде. Честный вывод исследования с p > 0,05 по первичному исходу — что превосходство не доказано; всё остальное — гипотеза, а не подтверждение.

Какие ограничения признаны, а какие нет. У приличной статьи есть подраздел Limitations. Стоит сверить: перечислены ли там действительно существенные вещи — риск смешивания, потери пациентов, узкая выборка, малый размер, — или дело ограничилось дежурными фразами. Полезное упражнение: прикинуть по Methods, что должно попасть в Limitations, и сравнить со списком авторов.

Generalizability — применимость к другой популяции. Исследование на пациентах одного крупного академического центра в США не всегда переносится на районную больницу в другой стране. Авторы могут и должны обсуждать границы применимости.

Финансирование и конфликты интересов. В конце статьи обычно есть Funding и Conflicts of Interest (Competing Interests). Спонсорство индустрии само по себе не делает исследование плохим, но это фактор, который читатель обязан держать в уме. Прозрачное раскрытие — признак приличного журнала. А вот полное отсутствие такого раздела у статьи про новую методику, которую активно продвигает производитель, — повод насторожиться.

Supplementary Material и протокол. Многие журналы публикуют полный протокол и подробные приложения онлайн. Если в основном тексте чего-то не хватает — деталей статистики, полной Table 1, чек-листа CONSORT, — стоит заглянуть в supplementary. Часто именно там лежит самое интересное.

3.6 Три ключевых вопроса Users' Guides

Всё сказанное выше сводится к трём универсальным вопросам, на которых построена серия Users' Guides JAMA (Guyatt, Sackett, Cook, JAMA 1993; Guyatt, Sackett, Cook, JAMA 1994). Любая статья серии — про РКИ, про диагностические тесты, про систематические обзоры — вращается вокруг этих трёх вопросов:

1 Are the results valid? — Можно ли доверять этим результатам? Вопрос о методологическом качестве: рандомизация, ослепление, корректный анализ, защита от систематических ошибок. Отвечает на него раздел Methods, а инструменты — чек-листы CONSORT/STROBE/PRISMA и подход GRADE (см. Часть II).
2 What are the results? — Что именно показано? Вопрос о цифрах: размер эффекта, доверительные интервалы, абсолютные и относительные показатели. Отвечает раздел Results.
3 Will the results help in caring for my patients? — Применимы ли результаты к моим пациентам? Вопрос об экстраполяции: похожи ли пациенты в исследовании на тех, кого видит врач; перевешивает ли ожидаемая польза вред и стоимость; выполним ли метод в условиях конкретной практики. Отвечают Discussion и собственное клиническое суждение.

Этот фреймворк связывает всё, о чём шла речь в Частях I–III: где найти статью (Часть I), как понять её место в иерархии доказательств (Часть II), как разобрать по разделам (Часть III). Дальше мы применим его к конкретным типам статей — отдельно к РКИ о лечении, отдельно к диагностическим тестам, отдельно к систематическим обзорам. Вопросы всё те же три, но подвопросы внутри каждого зависят от типа исследования.

Источники

  1. Sollaci LB, Pereira MG. The introduction, methods, results, and discussion (IMRAD) structure: a fifty-year survey. J Med Libr Assoc. 2004;92(3):364–7.
  2. Schulz KF, Altman DG, Moher D; CONSORT Group. CONSORT 2010 statement: updated guidelines for reporting parallel group randomised trials. BMJ. 2010;340:c332.
  3. Boutron I, Moher D, Altman DG, Schulz KF, Ravaud P; CONSORT Group. Extending the CONSORT statement to randomized trials of nonpharmacologic treatment. Ann Intern Med. 2008;148(4):295–309.
  4. Boutron I, Altman DG, Moher D, Schulz KF, Ravaud P; CONSORT NPT Group. CONSORT Statement for Randomized Trials of Nonpharmacologic Treatments: A 2017 Update. Ann Intern Med. 2017;167(1):40–7.
  5. von Elm E, Altman DG, Egger M, Pocock SJ, Gøtzsche PC, Vandenbroucke JP; STROBE Initiative. The Strengthening the Reporting of Observational Studies in Epidemiology (STROBE) statement. Lancet. 2007;370(9596):1453–7.
  6. Page MJ, McKenzie JE, Bossuyt PM, et al. The PRISMA 2020 statement: an updated guideline for reporting systematic reviews. BMJ. 2021;372:n71.
  7. Boutron I, Dutton S, Ravaud P, Altman DG. Reporting and interpretation of randomized controlled trials with statistically nonsignificant results for primary outcomes. JAMA. 2010;303(20):2058–64.
  8. Yavchitz A, Boutron I, Bafeta A, et al. Misrepresentation of randomized controlled trials in press releases and news coverage: a cohort study. PLoS Med. 2012;9(9):e1001308.
  9. Guyatt GH, Sackett DL, Cook DJ. Users' guides to the medical literature. II. A. Are the results of the study valid? JAMA. 1993;270(21):2598–601.
  10. Guyatt GH, Sackett DL, Cook DJ. Users' guides to the medical literature. II. B. What were the results and will they help me in caring for my patients? JAMA. 1994;271(1):59–63.