Интерпретация результатов исследования: как сделать вывод

Критерий посчитан, в таблице стоит p = 0,006, а руководитель пишет на полях: «И что это значит?»

Значит, дело дошло до интерпретации: числа нужно перевести на язык вашей темы. Это отдельная работа со своими правилами, и в дипломе она обычно называется «Обсуждение результатов».

В двух словах

Интерпретация отвечает на вопрос «что это значит для моей темы», а не «какое число получилось». Числа вы уже показали в таблицах эмпирической главы.

Полная интерпретация одного результата держится на трех опорах: направление различия или связи, его величина (размер эффекта), степень уверенности (p-значение, а лучше еще и доверительный интервал).

«Статистически значимо» означает «на случайность списать трудно». Важность для практики этим словом не измеряется: значимой бывает и прибавка в 0,3 балла, которую тренер не заметит.

Из текста вычеркиваем «мы доказали», «гипотеза подтвердилась на 95 %», «достоверно установлено, что тревожность снижает успеваемость». Чем их заменить, разбираем ниже.

Где в дипломе живет интерпретация

Эмпирическая глава устроена как лестница, и на каждой ступени свой жанр текста.

Сначала идут результаты: таблицы, средние, значения критериев. Потом интерпретация: что эти числа означают содержательно. И только затем выводы, которые отвечают на задачи из введения. Границу между результатами и выводами подробно разбирает статья «Результаты и выводы в дипломе», а порядок разделов внутри главы задает структура эмпирической главы.

Типичная беда защиты выглядит так: студент прочитал вслух таблицу и замолчал. Комиссия услышала числа, но не услышала смысла, и первый же вопрос будет про него.

Четыре вопроса, из которых собирается обсуждение

Обсуждение результатов пишется не свободным потоком. Возьмите каждый значимый результат и ответьте на четыре вопроса по очереди.

• Что произошло с показателем и в какую сторону: вырос, снизился, связан положительно или отрицательно.
• Насколько сильно: разница в единицах измерения (секунды, сантиметры, баллы) плюс размер эффекта.
• Как это соотносится с гипотезой и с тем, что писали другие авторы в теоретической главе.
• Чем это можно объяснить: механизм, особенности выборки, условия эксперимента.

Четвертый пункт и отличает обсуждение от пересказа. Если объяснения нет, честно назовите альтернативные версии: возможен эффект новизны, сезонная подготовка, различия групп на старте.

Ссылка на теоретическую главу здесь работает лучше любых прилагательных. «Направление сдвига согласуется с данными, приведенными в п. 1.2», это и есть научный текст.

Значимо и важно: разные вещи

p-значение отвечает только на вопрос о случайности. Насколько велик эффект и стоит ли он внедрения, p не измеряет. Об этом прямо говорит пятый принцип заявления Американской статистической ассоциации о p-значениях: p-значение и статистическая значимость не измеряют ни величину эффекта, ни важность результата [4].

Величину показывает размер эффекта: d Коэна для сравнения средних, r или его квадрат для связи, эта-квадрат для дисперсионного анализа. Ориентиры Коэна: d около 0,2 малый эффект, 0,5 средний, 0,8 большой [3]. Посчитать можно в калькуляторе размера эффекта, теория и формулы разобраны в статье «Размер эффекта: d Коэна, r и эта-квадрат».

Пример из диплома по психологии. У 60 студентов посчитали связь ситуативной тревожности с успеваемостью: корреляция Спирмена дала rs = -0,28 при p = 0,03. Связь значима, но квадрат коэффициента около 0,08, то есть тревожность объясняет примерно 8 % разброса оценок. Честная интерпретация: связь есть, она слабая, строить на ней рекомендации по отбору студентов нельзя.

Как описать размер эффекта словами

Размер эффекта сам по себе ничего не объясняет: d = 0,71 нужно перевести в предложение.

Назовите числом и словом. «Размер эффекта составил d = 0,71, что по классификации Коэна соответствует средней величине».

Переведите в единицы измерения. «Прирост в экспериментальной группе составил 7,7 см против 1,4 см в контрольной».

Соотнесите с нормативом или практикой. «Прирост вывел среднегрупповой результат из зоны оценки „удовлетворительно“ в зону „хорошо“ по нормативам школьной программы для юношей 15 лет».

Не приписывайте порогам Коэна силы закона. Это ориентиры, предложенные для поведенческих наук в отсутствие лучших данных [3]. В своей теме сравнивайте с тем, что получали другие авторы.

Готовые формулировки для обсуждения

Подставьте свои числа. Формат записи самих статистик разобран в статьях «Как описать результаты статистики» и «Как записывать p-значение».

Значимые различия. «Различия между экспериментальной и контрольной группами статистически значимы (t = 3,42; p = 0,006), размер эффекта средний (d = 0,71). Это позволяет связать прирост прыгучести с примененной программой скоростно-силовой подготовки».

Значимо, но мало. «Различия достигли уровня значимости (U = 214; p = 0,041), однако размер эффекта мал (r = 0,19), поэтому практическая ценность выявленного сдвига ограничена».

Незначимо при заметном эффекте. «Значимых различий не выявлено (p = 0,08), при этом размер эффекта средний (d = 0,62). Вероятной причиной является малый объем выборки (по 15 человек в группе)». Что делать дальше, разбирает статья «Различия не значимы: что делать».

Связь. «Выявлена статистически значимая обратная связь умеренной тесноты между тревожностью и успеваемостью (rs = -0,28; p = 0,03). Направление связи согласуется с данными, приведенными в п. 1.3».

Чего писать нельзя

Эти фразы комиссия слышит каждый год и реагирует на них вопросом, а не кивком.

Опасные формулировки и корректная замена

Ограничения: раздел, который добавляет баллов

Абзац про ограничения читается как признак зрелого автора, а не как признание слабости.

Называйте конкретное: объем выборки, отсутствие рандомизации, один регион, короткий срок воздействия, самоотчет вместо объективного замера. И сразу пишите, как это сужает вывод: «полученные результаты корректно распространять на юношей 15 лет, занимающихся в спортивной секции, а не на всю возрастную группу».

Отсюда же вырастает практическая значимость работы: кому и в каких условиях выводы применимы. Формулировки для этого раздела собраны в статье «Практическая значимость исследования».

Частые ошибки

• Пересказ таблицы вместо обсуждения. «Среднее выросло с 178,4 до 186,1» повторяет уже показанное и не добавляет смысла.К каждому числу добавьте предложение «это означает, что...» с привязкой к задаче исследования.
• Интерпретация без размера эффекта. По одному p-значению нельзя понять, велик сдвиг или ничтожен.Посчитайте d, r или эта-квадрат и назовите величину словом: малая, средняя, большая.
• Вывод шире данных. Замер на 24 школьниках одной школы превращается во фразу «для подростков России».Опишите границу применимости в том же абзаце: возраст, пол, уровень подготовки, условия.
• Значимость подменяет важность. При выборке в 400 человек значимой становится разница в 0,2 балла.Переведите разницу в единицы измерения и спросите, заметит ли ее тренер или педагог.
• Обсуждение не связано с теоретической главой. Обзор литературы живет сам по себе, результаты сами по себе.В каждом абзаце обсуждения сошлитесь на пункт первой главы: совпало, не совпало, почему.
• Ноль альтернативных объяснений. Любой сдвиг приписывается авторской программе.Проверьте эффект новизны, естественный рост, различия групп на старте и напишите, что из этого исключено и как.

Частые вопросы

Короткий алгоритм

1. Выпишите по каждой задаче исследования результат: направление, величину в единицах измерения, статистику критерия и p.
2. Посчитайте размер эффекта и назовите его величину словом.
3. Ответьте на четыре вопроса: что произошло, насколько сильно, совпало ли с гипотезой и литературой, чем объясняется.
4. Проверьте текст по таблице запрещенных формулировок: «доказали», проценты уверенности, причина из корреляции.
5. Допишите абзац об ограничениях и границах применимости.
6. Перенесите в выводы только ответы на задачи, без объяснений и без новых чисел.

Пересчитать сам критерий или проверить размер эффекта перед защитой можно в базе методов, а разобрать спорный результат вместе со специалистом получится на консультации.

Источники

1. Наследов А. Д. Математические методы психологического исследования. Анализ и интерпретация данных: учеб. пособие. СПб.: Речь, 2004. 392 с.
2. Сидоренко Е. В. Методы математической обработки в психологии. СПб.: Речь, 2000. 350 с.
3. Cohen J. Statistical Power Analysis for the Behavioral Sciences. 2nd ed. Hillsdale, NJ: Lawrence Erlbaum Associates, 1988. 567 p.
4. Wasserstein R. L., Lazar N. A. The ASA's Statement on p-Values: Context, Process, and Purpose // The American Statistician. 2016. Vol. 70, no. 2. P. 129-133.
5. Publication Manual of the American Psychological Association. 7th ed. Washington, DC: American Psychological Association, 2020. 428 p.

Что еще почитать

• Статистическая значимость: что значит p < 0,05
• Размер эффекта: d Коэна, r и эта-квадрат
• Результаты и выводы в дипломе: в чем разница
• Эмпирическая глава диплома: структура
• Различия статистически не значимы: что делать