Регрессия к среднему: почему слабые «улучшаются» сами

Вы отобрали в коррекционную группу самых тревожных студентов, провели тренинг, замерили тревожность снова — и она упала. Тренинг работает? Не спешите праздновать.

Часть этого «улучшения» появилась бы и без всякого тренинга — просто потому, что вы взяли крайние значения. Этот эффект называется регрессией к среднему, и он рушит выводы в дипломах чаще, чем кажется.

В двух словах

Регрессия к среднему — это статистическая склонность крайних результатов при повторном замере становиться ближе к среднему. Если на первом тесте человек показал очень высокий или очень низкий балл, на втором он, скорее всего, будет ближе к середине — без всякого воздействия.

Причина — случайность. В любом измерении есть доля везения, настроения, ошибки бланка. Крайний результат часто означает, что случайность сложилась удачно (или неудачно). При повторе она так удачно уже не сложится — и балл «откатится» к норме.

Опасна эта ловушка тем, что маскируется под эффект вмешательства. Особенно если вы отбирали людей в группу по самому результату — например, «взяли всех с высокой тревожностью». Как с этим бороться — разбираем ниже. А заодно: что такое достоверность сдвига и зачем нужна контрольная группа.

Откуда берётся эффект

Любой измеренный балл можно мысленно разложить на две части:

Истинный уровень. Реальная тревожность, сила, мотивация человека — то, что вы хотите измерить.

Случайный шум. Сегодня не выспался, торопился, угадал пару пунктов, перепутал шкалу. В один день шум плюсует, в другой — минусует.

Когда человек попадает в «крайние» по выборке, часто это совпадение истинно высокого уровня и удачно сложившегося шума. Истинный уровень при повторе никуда не денется, а вот шум в среднем обнулится. Поэтому крайний балл при втором замере подтягивается к центру.

Когда ловушка особенно опасна

Регрессия к среднему бьёт сильнее всего, если совпали несколько условий:

Отбор по самому показателю. Вы набрали группу «по верхушке» или «по дну» — самых тревожных, самых слабых, отстающих. Это главный спусковой крючок: вы целенаправленно собрали людей с крайними значениями.

Один замер «до». Решение о крайности приняли по единственному измерению, где шум особенно влиятелен.

Нет контрольной группы. Сравнивать «после» не с чем, и любой откат вы припишете своему воздействию.

Шумная или ненадёжная методика. Чем ниже надёжность теста, тем больше доля случайного в каждом балле и тем сильнее откат.

Пример. Учитель взял 10 школьников с худшими результатами контрольной, провёл с ними допзанятия, дал повторную работу — баллы выросли. Но если бы он взял худших и не занимался с ними, средний балл этой десятки всё равно подрос бы: на первой работе им особенно не повезло, на второй повезло «как обычно».

Как отличить настоящий эффект от отката

Хорошая новость: регрессия к среднему — не приговор, а контролируемая помеха. Несколько приёмов позволяют её отделить.

Контрольная группа. Главный инструмент. Откат к среднему происходит в обеих группах одинаково. Если в экспериментальной сдвиг достоверно больше, чем в контрольной, — лишнее и есть ваш эффект. Поэтому сравнивают не «до vs после внутри группы», а разницу сдвигов между группами.

Случайный отбор, а не «по крайним». Если в группы людей распределили случайно, а не отобрали по высокому баллу, спусковой крючок не срабатывает.

Несколько замеров «до». Среднее из двух-трёх предварительных измерений усредняет шум — крайность оценивается надёжнее.

Учёт исходного уровня статистикой. Метод ANCOVA (ковариационный анализ) сравнивает группы «после», вводя балл «до» как ковариату, и частично снимает искажение от регрессии к среднему.

Чем это отличается от обычного «до/после»

Не всякий сдвиг в эксперименте — регрессия к среднему. Разберём, когда о ней вообще стоит думать.

Если вы взяли всю группу целиком (не отбирали по крайним баллам) и просто измерили её до и после — эффект регрессии к среднему минимален: средний по группе не «крайний», ему некуда откатываться. Здесь обычный анализ достоверности сдвига работает честно.

Ловушка включается именно при отборе по результату. Поэтому фраза-маркер риска в дипломе звучит так: «в группу отобраны участники с наиболее высокими/низкими показателями». Увидели её у себя — обязательно нужна контрольная группа.

Что писать в дипломе

Регрессию к среднему упоминают в двух местах: в описании дизайна и при обсуждении результатов.

Если контрольной группы нет, честно укажите ограничение:

«Поскольку участники отбирались по высокому уровню тревожности, часть наблюдаемого снижения может объясняться регрессией к среднему. Для разделения эффектов требуется контрольная группа.»

Если контрольная группа есть и сдвиг в ней меньше — это сильный аргумент:

«Снижение тревожности в экспериментальной группе (Me: 48 → 39) достоверно превысило изменение в контрольной (Me: 47 → 45; U = …, p < 0,05), что позволяет отнести эффект к воздействию программы, а не к регрессии к среднему.»

Таблица 1 — Сравнение сдвигов в двух группах (n = 24 в каждой)

Разница сдвигов (−9 против −2) и есть «чистый» эффект программы — около 7 пунктов. Без контрольной группы вы бы записали все 9 пунктов на счёт тренинга и завысили результат.

Частые ошибки

• Отобрали «худших», позанимались, обрадовались росту — без контрольной группы это не доказательство.
• Сравнивают только «до vs после» внутри одной отобранной группы — почти гарантированный самообман.
• Путают регрессию к среднему с регрессионным анализом — это разные вещи: первое про откат крайних значений, второе про предсказание по уравнению.
• Считают, что значимый p-уровень спасает — критерий покажет «значимый сдвиг», даже если весь сдвиг — это откат к среднему.
• Игнорируют надёжность методики — на шумном тесте откат больше, и об этом стоит сказать.

Частые вопросы

Короткий алгоритм

1. Спросите себя: отбирал ли я людей в группу по крайнему результату? Если да — риск регрессии к среднему высок.
2. Заложите контрольную группу (или случайный отбор) ещё на этапе планирования.
3. Сравнивайте не «до/после» внутри группы, а разницу сдвигов между группами.
4. В обсуждении явно назовите эффект и покажите, что контрольная группа его учитывает (или укажите как ограничение).

Что ещё почитать

• Достоверность сдвига показателей до и после
• Педагогический эксперимент: контрольная и экспериментальная группы
• Ковариационный анализ (ANCOVA)
• Однородность групп до эксперимента
• Валидность и надёжность методики

Сомневаетесь, не съела ли регрессия к среднему ваш эффект? Загляните в базу методов или закажите консультацию — поможем выстроить корректное сравнение групп.