Педагогический эксперимент: контрольная и экспериментальная группы

Вы придумали новую методику тренировки или психологический тренинг и хотите доказать, что он реально работает. Просто измерить «было — стало» у одной группы мало: результат мог вырасти и сам по себе. Чтобы вывод приняли, нужен педагогический эксперимент с двумя группами — контрольной и экспериментальной.

Разберём по-простому: зачем нужна контрольная группа, как собрать обе так, чтобы на старте они не различались, и что измерять на каждом из трёх этапов.

В двух словах

Педагогический эксперимент — это проверка вашей методики «в полевых условиях»: одна группа занимается по-новому, другая — как обычно, а вы сравниваете, у кого изменения сильнее.

• ЭГ (экспериментальная группа) — занимается по вашей новой программе.
• КГ (контрольная группа) — занимается по обычной, чтобы было с чем сравнить.

Главная статистика тут — сравнение двух групп между собой. Для баллов и небольших выборок берут критерий Манна-Уитни, а изменения внутри каждой группы «до/после» проверяют критерием Вилкоксона. Прежде чем начинать, убедитесь, что групп хватает по размеру — об этом «Сколько респондентов нужно для диплома».

Зачем нужна контрольная группа

Представьте: вы месяц тренировали школьников по своей программе, и прыжок в длину вырос с 180 до 195 см. Победа? Не факт. За тот же месяц дети просто подросли, окрепли, привыкли к тесту. Без второй группы вы не отличите «эффект методики» от «эффекта времени».

Контрольная группа — это ваш «фон». Она проходит тот же месяц и те же замеры, но без вашего вмешательства (занимается по стандартной программе). Всё, что выросло в КГ, — это естественный фон. А ваш реальный эффект — это то, насколько ЭГ обогнала КГ.

Важно: контрольная группа не «простаивает», а занимается по обычной программе в том же объёме. Иначе вы сравните «занимались» с «вообще ничего не делали» — и докажете не пользу методики, а пользу самих занятий.

Пример. Прыжок в длину: в ЭГ +15 см, в КГ +6 см. Чистый эффект методики — примерно +9 см (15 − 6), а не +15. Именно эту разницу и проверяет статистика на контрольном этапе.

Как сформировать КГ и ЭГ

Две группы должны быть похожи на старте — по возрасту, полу, уровню подготовки. Иначе вы не поймёте, что сработало: методика или то, что в ЭГ изначально собрались ребята посильнее. Есть два честных способа разделить людей.

• Рандомизация (случайное распределение). Кидаете участников по группам случайно — жребий, генератор случайных чисел, чётные/нечётные номера в списке. Самый строгий вариант: случай сам уравнивает группы по всем признакам сразу.
• Уравнивание (попарный отбор). Сначала измеряете всех, потом разбиваете на пары с близкими результатами и одного из пары отправляете в КГ, другого — в ЭГ. Так удобно, когда людей мало и важно не «промахнуться».

На практике часто берут две уже готовые группы — например, два параллельных класса или две учебные группы. Это допустимо, но тогда вы обязаны доказать, что на входе они не различаются (об этом ниже).

Пример. В исследовании тревожности у студентов взяли две группы по 25 человек. Чтобы они были сопоставимы, отобрали ребят одного курса и примерно одного исходного уровня тревожности по шкале Спилбергера — Ханина.

Проверка на входе: группы НЕ должны различаться

Это шаг, который забывают чаще всего, — а рецензент спрашивает про него первым. Перед началом эксперимента вы сравниваете КГ и ЭГ по стартовым замерам и должны получить, что значимых различий нет (p > 0,05). Только тогда группы «равны» и сравнение в конце будет честным.

Сравнивают две независимые группы критерием Манна-Уитни (для баллов и небольших выборок). И тут логика p-значения переворачивается: обычно мы радуемся, когда p < 0,05, а на входе нам нужно ровно наоборот.

Три этапа эксперимента

Любой педагогический эксперимент разворачивается в три шага. Разберём, что вы делаете и что считаете на каждом.

• Констатирующий этап (вход). Фотографируете «как есть»: измеряете обе группы до всякого вмешательства. Задача — зафиксировать стартовый уровень и доказать, что КГ и ЭГ равны. Считаете: средние/медианы по группам, описательную статистику, и сравнение групп Манна-Уитни (ждём p > 0,05).
• Формирующий этап (само воздействие). Тут «варится» эксперимент: ЭГ занимается по вашей программе, КГ — по обычной. На этом этапе обычно ничего не считают — вы внедряете методику и собираете данные для финального замера.
• Контрольный этап (выход). Повторяете те же замеры в обеих группах. Считаете самое важное — три сравнения: сдвиг «до/после» внутри ЭГ (Вилкоксон), сдвиг внутри КГ (тоже Вилкоксон) и финальное сравнение ЭГ против КГ (Манна-Уитни, теперь ждём p < 0,05).

Какие критерии где применять

Чтобы не путаться, держите простую логику: сравнение двух разных групп между собой — это всегда независимые выборки, а замер «до/после» у одних и тех же людей — связанные.

• Манна-Уитни. Сравнивает две разные группы (ЭГ и КГ) — на входе и на выходе. Для баллов анкет и небольших выборок это рабочая лошадка эксперимента. Подробно — в руководстве по критерию Манна-Уитни.
• Вилкоксон. Сравнивает «до» и «после» внутри одной группы (отдельно по ЭГ, отдельно по КГ). Показывает, был ли сдвиг внутри группы. Детали — в руководстве по критерию Вилкоксона.
• Стьюдент. Если данные числовые (секунды, см, ЧСС) и распределены нормально — вместо непараметрических критериев можно взять критерий Стьюдента: независимый для сравнения групп, парный — для «до/после». Нормальность проверяют Шапиро-Уилком.

Если сомневаетесь, числовые у вас данные или балльные и какой критерий выбрать, загляните в общую шпаргалку «Как выбрать статистический критерий».

Пример. Эксперимент по выносливости: ЭГ тренировалась по интервальной программе, КГ — по обычной. Дистанцию мерили тестом Купера. Метры — числовые данные, распределение нормальное → группы сравнивали независимым критерием Стьюдента, а сдвиг внутри каждой группы — парным.

Как считать и оформить результат

Соберите всё в одну таблицу: что было в группах до, что стало после и значим ли итоговый разрыв между ЭГ и КГ. На таблицу в тексте обязательно сошлитесь: «Итоги эксперимента представлены в таблице 1».

Таблица 1 — Результаты педагогического эксперимента по уровню тревожности (КГ n = 25, ЭГ n = 25)

После таблицы — вывод словами: на входе группы по тревожности не различались (p > 0,05), а на выходе тревожность в ЭГ оказалась значимо ниже, чем в КГ (U = 192; p < 0,05). Значит, снижение — заслуга методики, а не общего фона.

Полезно показать динамику картинкой — столбиками «КГ против ЭГ» до и после. Так на защите сразу видно, что разрыв появился только к финалу.

Что писать в дипломе

Готовые формулировки, которые можно адаптировать под свои числа:

• Про вход: «На констатирующем этапе статистически значимых различий между контрольной и экспериментальной группами не выявлено (U = 298; p > 0,05), что подтверждает их сопоставимость».
• Про сдвиг в ЭГ: «В экспериментальной группе выявлен статистически значимый сдвиг показателя (T = 56; p < 0,05)».
• Про сдвиг в КГ: «В контрольной группе значимых изменений не обнаружено (T = 140; p > 0,05)».
• Про итог: «На контрольном этапе экспериментальная группа значимо превзошла контрольную (U = 192; p < 0,05), что доказывает эффективность предложенной методики».

Частые ошибки

• Нет контрольной группы. Самая грубая ошибка. Без КГ нельзя отделить эффект методики от эффекта времени — вывод «стало лучше» не доказателен.
• Группы неравны на старте. Если на входе p < 0,05, группы изначально разные, и финальное сравнение бессмысленно. Всегда проверяйте сопоставимость на констатирующем этапе.
• Разные условия у групп. КГ и ЭГ должны отличаться только вашей методикой. Разные залы, разное время дня, разные преподаватели — и вы уже не знаете, что именно сработало.
• Перепутаны критерии. Две группы сравнивают Манна-Уитни, а «до/после» внутри группы — Вилкоксоном. Применить связанный критерий к разным людям (или наоборот) — частая путаница.
• Сравнивают только финальные значения. Правильнее смотреть и стартовые: вдруг разрыв на выходе — это просто остаток стартового неравенства.

Частые вопросы

Сколько человек должно быть в каждой группе?

Чем больше, тем надёжнее. Для непараметрических критериев формально хватает 5–6 человек на группу, но на защите спокойнее смотрятся группы хотя бы по 15–20. Подробный разбор — в статье «Сколько респондентов нужно для диплома».

Группы должны быть одинакового размера?

Желательно, но не обязательно. Манна-Уитни и Стьюдент для независимых выборок корректно работают и при разном числе людей в КГ и ЭГ. Главное — чтобы группы были сопоставимы по составу, а не по количеству.

Что делать, если на входе группы всё-таки различаются?

Идеально — переформировать группы (рандомизация или попарное уравнивание). Если переделать нельзя, честно опишите это как ограничение исследования и анализируйте не финальные значения, а величину прироста в каждой группе.

Можно ли обойтись одной группой «до/после»?

Можно, но это уже не полноценный эксперимент с контролем, а более слабый дизайн: вы покажете, что был сдвиг, но не докажете, что его причина — именно ваша методика. Для диплома по педагогике почти всегда ждут две группы.

Чем измерять выраженность эффекта, а не только его наличие?

Кроме p-значения посчитайте размер эффекта — d Коэна. Он показывает, насколько сильно методика повлияла, а не только «значимо/незначимо».

Короткий алгоритм

1. Сформируйте две равные группы — рандомизацией или попарным уравниванием.
2. Констатирующий этап: измерьте обе группы и сравните их Манна-Уитни — нужно получить p > 0,05 (различий нет).
3. Формирующий этап: ЭГ занимается по вашей методике, КГ — по обычной программе.
4. Контрольный этап: повторите замеры. Проверьте сдвиг «до/после» внутри каждой группы Вилкоксоном.
5. Сравните ЭГ и КГ на выходе Манна-Уитни: p < 0,05 и значимый сдвиг в ЭГ — методика работает.

Что ещё почитать

• Руководство по критерию Манна-Уитни — главный критерий для сравнения КГ и ЭГ.
• Руководство по критерию Вилкоксона — как проверить сдвиг «до/после» внутри группы.
• Сколько респондентов нужно для диплома — чтобы группы были достаточного размера.
• Как выбрать статистический критерий — общая схема под ваши данные.
• Размер эффекта (d Коэна) — насколько сильным оказалось воздействие.

Не уверены, как развести группы и какой критерий взять, — загляните в базу методов или закажите консультацию: эксперт поможет спланировать эксперимент и посчитать результат.