Одним из самых сложных элементов исследований в области социальных наук является то, что исследователи часто должны полагаться на данные, полученные от людей, а люди, как известно, ненадежны. Когда летом 2020 года CDC опубликовал отчет, в котором говорилось, что 4% респондентов сообщили о том, что проглотили бытовую химию в попытке защититься от коронавируса, многие люди (по понятным причинам) были встревожены. Исследователи, которые повторили исследование, добавив некоторые базовые меры контроля качества для исключения неточных данных, получили совсем другие результаты. В этой статье автор рассказывает о том, как невнимательные или озорные респонденты могут случайно или намеренно исказить данные, а также о том, что могут сделать исследователи, репортеры и широкая общественность, чтобы выявить эти проблемы и избежать поспешных выводов на основе недостоверной информации.
Раньше летом 2020 года Центры по контролю и профилактике заболеваний (CDC) опубликовали отчет о небезопасных методах профилактики коронавируса в США. Согласно отчету, 4% из 502 респондентов заявили, что за последний месяц пили или полоскали рот разведенным отбеливателем, 4% сказали то же самое о мыльной воде и 4% сказали то же самое о бытовом дезинфицирующем средстве. Это быстро вызвало ряд тревожных заголовков. (Агентство Reuters, например, озаглавило одну статью: "Чистка зубов отбеливателем? Американцы неправильно используют дезинфицирующие средства для профилактики коронавируса")
Такая реакция СМИ была вполне объяснима. Хотя 4% может показаться не так уж много, если выборка этого исследования является репрезентативной для населения США, то это означает, что примерно 12 миллионов американцев занимаются подобным опасным поведением - действительно тревожная цифра.
Но есть основания подвергнуть сомнению этот вывод. Прежде всего, в отчете CDC отмечается, что опрос всего 500 участников не обязательно является репрезентативным для населения США (хотя CDC и взвесил ответы, чтобы они соответствовали национальным демографическим показателям по возрасту, полу и расе, чтобы хотя бы в некоторой степени устранить любые различия). Помимо этих ограничений выборки, второе исследование (в настоящее время проходящее экспертную оценку), целью которого было повторить результаты CDC с некоторым дополнительным контролем качества, предполагает, что сами данные могут иметь серьезные недостатки.
В частности, новое исследование, проведенное исследовательской онлайн-платформой CloudResearch, было направлено на решение двух основных проблем, которые могут угрожать качеству данных: невнимательность (то есть.., респонденты, которые невнимательны или не обращают внимания) и озорство (респонденты, которые намеренно лгут или вводят в заблуждение исследователей). Психологи, изучающие относительно редкие формы поведения, такие как употребление тяжелых наркотиков, давно знают об этих проблемах. Например, в одном исследовании по употреблению наркотиков, проведенном в 1973 году, ученые обнаружили, что при включении в список наркотиков, о которых они спрашивали людей, поддельного наркотика, 4% респондентов сообщили о приеме несуществующего наркотика, что говорит о том, что данные, скорее всего, не совсем надежны.
Возможно, вы заметили повторяющуюся цифру 4%. Оказывается, это может быть не совпадением. Известный психиатр и блогер Скотт Сискинд назвал эту цифру "постоянной ящерицы" еще в 2013 году, ссылаясь на широко разрекламированный отчет Public Policy Polling о том, что 4% респондентов заявили, что верят в то, что оборотни-ящерицы управляют миром. Этот опрос привлек большое внимание СМИ, включая такие заголовки, как: "Конспирологический бред: почему 12 миллионов американцев верят, что инопланетные ящеры управляют нами". Но Сискинд и другие утверждают, что эти 4% гораздо больше отражают невнимательность и озорство респондентов, чем истинную веру в столь необычный заговор.
Как и опрос о людях-ящерицах, доклад ЦКЗ вызвал большой резонанс. И, как и в случае с опросом людей-ящериц, эти ответы могут быть законными - или же это могут быть просто плохие данные.
Чтобы разобраться в этом, второе исследование попыталось определить, могут ли невнимательность и/или озорство объяснить удивительные выводы CDC. После того, как участникам были заданы те же вопросы, что и в опросе CDC, они должны были выполнить короткое упражнение на ассоциацию слов (т.е. обвести кружком слово, не имеющее отношения к делу, из списка), чтобы проверить внимательность. Эти вопросы были составлены таким образом, чтобы их легко мог правильно ответить любой человек с базовым уровнем чтения на английском языке, при условии, что он был внимателен. Затем, чтобы отвлечь озорных респондентов, исследователи задавали вопросы "проверки реальности": вопросы, имеющие только один разумный ответ, например, "Умерли ли вы от сердечного приступа?" или "Пользовались ли вы когда-нибудь Интернетом?". (Опрос распространялся в Интернете.)
Наконец, в качестве дополнительной меры контроля качества, всем, кто отвечал "да" на вопрос о том, проглатывали ли они бытовую химию, задавался ряд последующих вопросов: Они должны были подтвердить, что намеренно выбрали ответ "да", а затем предоставить некоторые дополнительные подробности о контексте, в котором они проглотили химикаты.
Итак, что же обнаружили исследователи? Они собрали данные в общей сложности от 688 участников. Из них 55 (8%) заявили, что проглотили хотя бы один из трех бытовых чистящих средств (дезинфицирующее средство, мыло или отбеливатель) - результат, аналогичный тому, о котором сообщает CDC. Но из этих 55 человек только 12 прошли основные вопросы контроля качества. Другими словами, почти 80% (43 из 55) респондентов, утверждавших, что проглотили токсичный химикат, не смогли точно определить простые родственные слова и/или дали совершенно неправдоподобные ответы на вопросы проверки реальности.
Осталось 12 явных любителей химических напитков, которые прошли вопросы контроля качества. Действительно ли они пили отбеливатель? Если да, то это всего 1,7% выборки, но это все равно миллионы американцев.
Когда их попросили подтвердить, действительно ли они употребляли бытовую химию, 11 из 12 заявили, что по ошибке выбрали вариант "да". А один оставшийся участник, который подтвердил, что намеренно выбрал вариант "да", ответил на вопрос, требующий более подробной информации, словами "Yxgyvuguhih". Они также сообщили, что им 20 лет, у них четверо детей, вес 1 900 фунтов и рост "100". (Они не указали единицы измерения, но ни дюймы, ни сантиметры не выглядят очень правдоподобно). Само собой разумеется, эти ответы ставят под сомнение достоверность данных последнего участника.
Так сколько же американцев на самом деле проглотили отбеливатель, чтобы защититься от коронавируса? На самом деле мы не знаем. Чтобы достоверно ответить на этот вопрос, нам потребуются дополнительные исследования, но тот факт, что после учета основных проблем с качеством данных процент снизился с 4% до 0%, говорит о том, что реальное число, скорее всего, гораздо меньше, чем можно предположить из заголовков.
Чтобы было понятно, вывод здесь не в том, что все данные опросов - мусор. Но особенно когда эти данные используются для обоснования утверждений с серьезными последствиями для общества, важно проверять результаты с помощью базовых мер контроля качества, таких как вышеописанные проверки на внимательность и реальность. В случае с исследованием CDC, неспособность сделать это (наряду с некоторым, возможно, чрезмерным усердием) заставила исследователей, СМИ и общественность поверить, что до 12 миллионов американцев пьют отбеливатель. Это утверждение, скорее всего, было не только ложным, но и потенциально вредным, поскольку оно могло способствовать нормализации этих опасных форм поведения и, таким образом, увеличить число людей, которые действительно могут ими заниматься.
Подобно тому, как химики и физики должны следить за тем, чтобы их измерительные инструменты были хорошо откалиброваны, социологи также должны следить за качеством своих данных, чтобы избежать ошибочных выводов. Несмотря на отсутствие надежных решений, элементарный контроль качества может существенно помочь в проверке точности и надежности самоотчетных данных. В то же время, часть ответственности лежит и на журналистах, которые должны проверять факты и точно сообщать об исследованиях - и избегать сенсаций. И, конечно, как и в случае с любым другим контентом, последний привратник - это вы, читатель. В следующий раз, когда вы встретите что-то, что покажется вам слишком возмутительным, чтобы быть правдой, знайте, что ваша интуиция может оказаться верной. В конечном счете, все мы должны мыслить критически, проводить исследования и самостоятельно определять, можно ли доверять тому или иному источнику.
Об авторе
Рейчел Хартман - аспирантка Университета Северной Каролины в Чапел-Хилл. Ее исследования посвящены межгрупповым отношениям и политической поляризации.
- Hbr.org
Поделиться
