Дэвид Хэнд

Давайте обратимся к классической статье по этой проблеме, написанной Крейгом Беннеттом и его коллегами, которая гораздо интереснее, чем можно ожидать судя по названию: «Нейронные корреляции межвидового восприятия, полученные после смерти атлантического лосося: аргумент в пользу коррекции множественных сравнений»18. Статья основана на результатах МРТ-сканирования мозга мертвого лосося, которому «показали серию фотографий, изображающих людей в различных ситуациях и… попросили определить, какие эмоции они испытывают». Вероятно, вы и без экспериментальных данных уже сделали свой вывод о реакции мозга мертвого лосося на показ фотографий. Но дело в том, что результат МРТ-сканирования представляет собой примерно 130 000 элементов объемного изображения, которые по аналогии с двумерными пикселями называют вокселями. И каждый из этих вокселей имеет небольшой шанс показать электрическую активность сканируемого материала исключительно в силу случайных фоновых шумов оборудования, а вовсе не потому, что клетки мозга мертвого лосося действительно реагируют. И хотя отдельно взятый воксель имеет лишь крошечный шанс дать ложный сигнал, вероятность его появления резко возрастает с учетом большого количества самих вокселей. Суммируйте огромное число крошечных шансов, и вот уже один, а то и более вокселей показывают электрическую активность, создавая впечатление, что некоторые нейроны мозга лосося активизируются, даже если сам лосось мертв. И действительно, Беннетт и его коллеги обнаружили несколько вокселей, подающих явные сигналы. В результате они пришли к такому выводу: «Либо мы наткнулись на поразительное открытие на стыке ихтиологии и посмертных когнитивных функций, либо что-то не так с нашим статистическим подходом.

Предположим, мы хотим узнать, какой из двух видов лечения является более эффективным: А или Б. Казалось бы, проще всего последовательно провести лечение обоими методами и посмотреть, какой из них работает лучше. Например, исследуя эффективность лекарств для облегчения симптомов сенной лихорадки, мы могли бы первый год лечить пациента по методу А, а второй — по методу Б (полагаясь на то, что количество пыльцы в оба года будет одинаковым). Но в большинстве случаев невозможно применить к одному пациенту оба вида лечения. Например, в исследовании эффективности методов, увеличивающих продолжительность жизни, мы вряд ли сможем попробовать больше одного метода — эксперимент в данном случае заканчивается со смертью пациента.

Единственная альтернатива этому — лечение одного пациента по методу А, а другого по методу Б. Проблема, однако, в том, что не все пациенты одинаково реагируют на одно и то же лечение: то, что лечение помогло одному пациенту, не означает, что оно поможет и всем остальным. Более того, даже отдельно взятый пациент может по-разному реагировать на одно и то же лечение в разные периоды времени.

Что нам действительно нужно, так это сбалансировать распределение, например, одной половине мужчин назначить лечение А, а другой — лечение Б и то же самое сделать для женщин. Затем попытаться так же распределить по группам более больных пациентов и менее больных. Эта задача решаема, если мы хотим контролировать лишь небольшое количество факторов, например пол, возраст и тяжесть заболевания. Но как только их число возрастает, мы обнаруживаем, что решения нет: просто не существует тяжелобольного курящего 25-летнего мужчины с высоким кровяным давлением, индексом массы тела, равным 26, и хронической астмой, эквивалентного тяжелобольной 25-летней женщине с точно такими же данными. Хуже того, несомненно, будут появляться все новые и новые факторы, о которых мы даже и не думали.

Чтобы преодолеть эту проблему, людей случайным образом распределяют по двум группам — отсюда и название: рандомизированные контролируемые исследования (РКИ). Таким образом можно свести вероятность дисбаланса, которого мы хотим избежать, до минимального уровня. Помните теоретическое обоснование для случайной выборки, которое мы рассматривали, когда изучали опросы? Точно такой же принцип действует и здесь, разница лишь в том, что теперь мы назначаем пациентам лечение, а не выбираем людей для опроса.

Пока все выглядит неплохо. В отличие от двух других методов сбора данных, где просто собирают данные, ни во что не вмешиваясь (данные наблюдений), этот новый подход предполагает управление тем, кто какое лечение будет проходить. И все было бы замечательно, если бы пациенты придерживались протоколов лечения, принимая лекарства строго по графику вплоть до самого конца исследования. Но, к сожалению, темные данные часто встречаются и в такого рода исследованиях, проникая в них в форме выбывших.

Выбывшие — это те, кто выбыл из исследования по тем или иным причинам. К ним относятся смерть пациента, негативные побочные эффекты лечения, переезд, исчезновение мотивации на фоне отсутствия улучшений и пр. Проблема здесь кроется в том, что измерения проводятся в течение какого-то времени или по истечении определенных периодов и существует риск того, что темные данные по-разному скажутся на разных группах испытуемых. Эти данные классифицируются как DD-тип 7: данные, меняющиеся со временем, и DD-тип 1: данные, о которых мы знаем, что они отсутствуют.

Эндрю Лэй описывает это и многие другие рандомизированные исследования для двух групп в своей превосходной книге «Рандомисты: Как радикальные исследователи меняют наш мир» (Randomistas: How radical researchers are changing our world)22.

Например, в исследовании, в котором реальное лечение сравнивается с плацебо (как бы лечением), побочные эффекты более вероятны при реальном лечении, поскольку плацебо по определению не имеет активного терапевтического компонента. Это может означать, что выбывшие будут чаще появляться в группе лечения. И что еще хуже, после выбывания людей, которые не ощущают пользы от лечения или даже замечают ухудшения, в исследовании наметится перекос в сторону тех, кто эту пользу ощущает. Если мы каким-либо образом не помешаем выбыванию, то можем получить весьма искаженное представление об эффективности лечения. Это еще один пример ошибки выжившего — те, кто «выживают» или продолжают лечение до конца исследования, не являются репрезентативной выборкой для всей группы.

Например, хотя тюремное заключение в краткосрочной перспективе и снижает уровень преступности, это происходит не потому, что злоумышленники перевоспитываются, а потому, что они на какое-то время исчезают с улиц. Кроме того, тюремное заключение не способствует интеграции в общество и поиску регулярной работы после освобождения, поэтому короткие сроки могут не только быть бесполезными, но и увеличивать преступность в долгосрочной перспективе. Чтобы выработать эффективную стратегию по данному вопросу, необходим надлежащий эксперимент. Однако надо понимать, что он отягощен существенной проблемой: немногие судьи — и, возможно, еще меньшая часть общества — смогут принять тот факт, что приговоры должны выноситься случайным образом. Тем не менее эксперименты с рандомным смягчением приговора преступникам уже проводились24.

Еще больше сложностей связано с так называемым эффектом Хоторна. Это склонность людей вести себя по-разному, если они знают, что за ними наблюдают, и если они этого не знают. Похоже, что идеальные исследования, проводимые в обществе, должны быть тайными, но это, очевидным образом, порождает этическую проблему информированного согласия. Первый пункт Нюрнбергского кодекса клинических исследований гласит: «Добровольное согласие испытуемого абсолютно необходимо».

Эвристика доступности — одно из таких искажений. В ее основе лежит склонность судить о вероятности события, исходя из того, насколько легко мы можем вспомнить соответствующий пример. Если недавно в новостях сообщалось о крушении самолета, то мы склонны думать о крушениях самолетов как о более вероятных событиях. Реклама использует этот эффект, делая так, чтобы при возникновении потребности в определенном продукте вы вспомнили о конкретном бренде, а воспоминания о конкурирующих с ним брендах оказались подавлены. Этот же эффект объясняет, по крайней мере отчасти, внезапные скачки выявления отдельных медицинских состояний или видов социального насилия после того, как общество сосредотачивается на них. Например, в главе 3 мы рассмотрим пример с ростом уровня диагностирования аутизма в Соединенных Штатах после 2000 г. Во многом это объясняется как раз эвристикой доступности. Если на людей со всех сторон сыпется информация о такого рода состояниях, неудивительно, что они начинают везде видеть его признаки. Действительно, исследования показали, что в семьях, живущих по соседству с аутичными детьми, родители чаще выискивают проявления такого диагноза у собственного ребенка.

Здесь нет никакого трюка — цифры соответствуют действительности. Мы имеем дело с явлением, которое иногда так и называют парадоксом Симпсона, в честь Эдварда Симпсона, описавшего его в статье в 1951 г. (хотя это явление уже было описано как минимум на полвека раньше).