Перейти к содержанию
Тренажёры для самопознанияавторские программы Альберта Сафина
Разделы
На сайт qcic.ru
Источник

Как читать исследование за 15 минут

Разборы в «Источнике» устроены так, чтобы вы могли проверить нас. А чтобы проверять было чем, нужен небольшой навык. Вот шесть вопросов, которые стоит задать любому исследованию — и любому тексту о нём.

1. Что на самом деле измеряли

Заявлено одно, измерено другое. Классический пример: «программа повышает успеваемость» — а мерили оценки за четверть по самоотчёту учителя. Это не обман, это обычная неточность перевода с языка исследования на язык заголовка.

Спросите: что конкретно записывали — поведение, оценку, опросник, физиологический показатель. И насколько это близко к тому, что обещано.

2. Кто эти люди и сколько их

Двадцать студентов психфака и две тысячи случайных взрослых — это разные знания. Малые выборки дают преувеличенные эффекты: в маленьком исследовании случайность играет большую роль, а опубликуют скорее то, где что-то «нашлось».

Спросите: сколько человек, кто они, как отбирали. И был ли контроль — с чем сравнивали.

3. Размер эффекта, а не «значимость»

Статистическая значимость отвечает на вопрос «может ли это быть случайностью». Она ничего не говорит о том, насколько сильно явление. При выборке в сто тысяч значимым станет и микроскопический эффект.

Спросите: насколько велика разница. Если её не называют — это уже сигнал.

4. Было ли предсказано заранее

Предрегистрация — когда гипотезу фиксируют до сбора данных. Она защищает от того, что называют «подгонкой под результат»: когда из десятка проверенных связей рассказывают только про ту, что сработала.

Спросите: есть ли регистрация исследования или заранее опубликованный план анализа. Это правило не абсолютное, но хороший признак.

5. Повторяли ли это

Один результат — это одно наблюдение. В психологии повторения дают в среднем меньшие эффекты, а часть известных находок не повторилась вовсе. Разбор без строчки о повторениях неполон.

Спросите: есть ли независимые повторения или мета-анализ. Мета-анализ, кстати, наследует качество включённых работ — он не отменяет первых четырёх вопросов.

6. Кто платил и кому это выгодно

Конфликт интересов не делает результат ложным. Он делает его менее независимым. И он почти никогда не пишется в заголовке.

Спросите: кто финансировал, кто авторы, нет ли у них доли в продукте.

Если исследование противоречит вашему опыту

Бывает, что данные говорят одно, а практика подсказывает другое. Это не обязательно ошибка одного из двух.

Практическое правило: не отменяйте опыт из-за одного исследования и не отменяйте исследование из-за одного случая. Держите оба и проверяйте, где они расходятся.

Как применить разбор на встрече

Разбор нужен не для лекции клиенту, а для вашей опоры.

---

Короткий чек-лист

Если хотя бы на два вопроса нет ответа — это повод читать осторожнее, а не отбрасывать. Большая часть психологии сделана в условиях, где идеально не бывает ничего. Задача — знать, где вы стоите.

Куда пойти дальше