Как читать исследование за 15 минут
Разборы в «Источнике» устроены так, чтобы вы могли проверить нас. А чтобы проверять было чем, нужен небольшой навык. Вот шесть вопросов, которые стоит задать любому исследованию — и любому тексту о нём.
1. Что на самом деле измеряли
Заявлено одно, измерено другое. Классический пример: «программа повышает успеваемость» — а мерили оценки за четверть по самоотчёту учителя. Это не обман, это обычная неточность перевода с языка исследования на язык заголовка.
Спросите: что конкретно записывали — поведение, оценку, опросник, физиологический показатель. И насколько это близко к тому, что обещано.
2. Кто эти люди и сколько их
Двадцать студентов психфака и две тысячи случайных взрослых — это разные знания. Малые выборки дают преувеличенные эффекты: в маленьком исследовании случайность играет большую роль, а опубликуют скорее то, где что-то «нашлось».
Спросите: сколько человек, кто они, как отбирали. И был ли контроль — с чем сравнивали.
3. Размер эффекта, а не «значимость»
Статистическая значимость отвечает на вопрос «может ли это быть случайностью». Она ничего не говорит о том, насколько сильно явление. При выборке в сто тысяч значимым станет и микроскопический эффект.
Спросите: насколько велика разница. Если её не называют — это уже сигнал.
4. Было ли предсказано заранее
Предрегистрация — когда гипотезу фиксируют до сбора данных. Она защищает от того, что называют «подгонкой под результат»: когда из десятка проверенных связей рассказывают только про ту, что сработала.
Спросите: есть ли регистрация исследования или заранее опубликованный план анализа. Это правило не абсолютное, но хороший признак.
5. Повторяли ли это
Один результат — это одно наблюдение. В психологии повторения дают в среднем меньшие эффекты, а часть известных находок не повторилась вовсе. Разбор без строчки о повторениях неполон.
Спросите: есть ли независимые повторения или мета-анализ. Мета-анализ, кстати, наследует качество включённых работ — он не отменяет первых четырёх вопросов.
6. Кто платил и кому это выгодно
Конфликт интересов не делает результат ложным. Он делает его менее независимым. И он почти никогда не пишется в заголовке.
Спросите: кто финансировал, кто авторы, нет ли у них доли в продукте.
Если исследование противоречит вашему опыту
Бывает, что данные говорят одно, а практика подсказывает другое. Это не обязательно ошибка одного из двух.
- Опыт узок. Вы видели десять случаев, исследование описывает тысячи. Это не делает ваш опыт ложным, но ограничивает выводы.
- Исследование не про ваших людей. Выборка, условия, культура могут отличаться. Смотрите, на кого распространяется результат.
- Вы замечаете другое. Например, средние эффекты не видны в конкретном случае: при работе с одним человеком важнее индивидуальная картина.
Практическое правило: не отменяйте опыт из-за одного исследования и не отменяйте исследование из-за одного случая. Держите оба и проверяйте, где они расходятся.
Как применить разбор на встрече
Разбор нужен не для лекции клиенту, а для вашей опоры.
- Сформулируйте один вывод, который меняет ваш следующий шаг.
- Переведите его в вопрос или действие, а не в объяснение человеку.
- Если сомневаетесь, назовите ограничение вслух: «в среднем это работает так, но у вас может быть иначе».
---
Короткий чек-лист
- Что измеряли и чем это отличается от заявленного.
- Сколько людей, кто они, с чем сравнивали.
- Насколько велик эффект.
- Была ли предрегистрация.
- Повторяли ли.
- Кто платил.
Если хотя бы на два вопроса нет ответа — это повод читать осторожнее, а не отбрасывать. Большая часть психологии сделана в условиях, где идеально не бывает ничего. Задача — знать, где вы стоите.