Критерий Макнемара: сдвиг долей «до/после»

Вы задали людям один и тот же вопрос дважды — до и после — и ответ был «да» или «нет». Сдал зачёт или нет. Курит или бросил. Справился с заданием или нет. И теперь надо доказать, что доля «да» изменилась не случайно.

Обычный хи-квадрат тут не подходит: люди-то одни и те же. Для такой ситуации есть специальный критерий — Макнемара. Разберём его на пальцах.

В двух словах

• Критерий Макнемара проверяет, изменилась ли доля ответа «да» у одних и тех же людей в двух замерах (до и после). Данные бинарные: только «да/нет», «есть/нет», «1/0».
• Считается он через калькулятор хи-квадрат на связанной таблице 2×2 либо вручную по короткой формуле — её разберём ниже.
• Это «брат» критерия знаков: оба смотрят только на тех, у кого ответ поменялся, и игнорируют тех, кто не сдвинулся.

Если вам нужна общая логика таблиц «строка × столбец» для разных групп — она в руководстве по хи-квадрату.

Когда нужен именно Макнемара

Критерий подходит, когда выполняются три условия сразу:

1. Признак бинарный — ровно две категории: справился / не справился, да / нет, норма / не норма.
2. Это одни и те же люди, измеренные дважды (до и после, первый замер и повторный).
3. Вам важно, сдвинулась ли доля «да» между двумя замерами.

Пример. До тренинга по технике безопасности правильно отвечали на контрольный вопрос 18 человек из 40, после — 31 из 40. Люди те же. Признак «ответил верно» — это «да/нет». Значит, Макнемара.

Связанная таблица 2×2 — как её собрать

Главная хитрость в том, как разложить людей по клеткам. В обычном хи-квадрате в таблице стоят группы. Здесь — каждый человек попадает в одну клетку по паре своих ответов «до» и «после».

Получается четыре варианта:

• a — было «да» и осталось «да» (не изменился);
• b — было «нет», стало «да» (улучшился);
• c — было «да», стало «нет» (ухудшился);
• d — было «нет» и осталось «нет» (не изменился).

Таблица 1 — Связанная таблица 2×2 «до/после» для критерия Макнемара

Обратите внимание: клетки a и d — это люди, у которых ничего не поменялось. Критерий Макнемара их не учитывает вообще. Ему интересны только «перебежчики» — клетки b и c. Логика простая: если тренинг работает, перебежчиков «в плюс» (b) должно быть заметно больше, чем «в минус» (c).

Запомните главное: Макнемара сравнивает только b и c — тех, кто сменил ответ. Если b и c примерно равны, доля не сдвинулась, как бы много людей ни сидело в клетках «не изменился».

Формула: как считается

Базовая формула критерия выглядит так:

χ² = (b − c)² / (b + c)

Полученное значение сравнивают с критическим для хи-квадрата при одной степени свободы (df = 1): на уровне p ≤ 0,05 это 3,84. Если ваше χ² больше — сдвиг значим.

Когда «перебежчиков» мало (b + c меньше ~25), используют поправку на непрерывность (поправка Йейтса) — она делает оценку аккуратнее:

χ² = (|b − c| − 1)² / (b + c)

А при совсем маленьком числе сменивших ответ (b + c меньше ~10–20) надёжнее не приближённая формула, а точный тест — его считают по биномиальному распределению, и по сути это критерий знаков, применённый к сдвигам «плюс/минус».

Пример с расчётом от начала до конца

Возьмём тренинг по решению типовых задач. 40 студентов решали контрольную задачу до курса и ту же по типу задачу после. Фиксировали только «решил / не решил».

Разложим всех 40 человек по четырём клеткам:

• a = 14 — решили и до, и после;
• b = 16 — не решали до, но решили после (улучшились);
• c = 3 — решали до, но не решили после (ухудшились);
• d = 7 — не решили ни до, ни после.

Проверка: 14 + 16 + 3 + 7 = 40, всё сходится.

Сменили ответ b + c = 19 человек — это меньше 25, поэтому берём формулу с поправкой Йейтса:

χ² = (|16 − 3| − 1)² / (16 + 3) = (13 − 1)² / 19 = 144 / 19 ≈ 7,58.

Сравниваем с критическим 3,84. Наше 7,58 заметно больше → сдвиг значим (p < 0,05). Доля решивших задачу после курса выросла не случайно.

Таблица 2 — Доля решивших задачу до и после курса по критерию Макнемара (n = 40)

После таблицы — вывод словами: «Доля студентов, справившихся с задачей, выросла с 43 % до 75 %; сдвиг статистически значим (χ² = 7,58; df = 1; p < 0,05)».

Макнемара или Вилкоксон: когда что брать

Эти критерии часто путают, потому что оба про связку «до/после» у одних людей. Разница — в типе данных.

• Берите Макнемара, если ваш признак бинарный: только «да/нет», «справился/не справился», «норма/патология». Никаких баллов, только две категории.
• Берите Вилкоксона, если у вас числа или баллы: тревожность по шкале, время на дистанции, количество правильных ответов из десяти. То есть когда сдвиг можно измерить «насколько», а не только «сменил или нет».

Пример. Если вы фиксируете «уложился в норматив по пробе Штанге: да/нет» — это Макнемара. А если записываете сами секунды задержки дыхания до и после подготовки — это уже числа, и тут Вилкоксон.

Если замеров три и больше (до, в середине, после) и признак бинарный — Макнемара уже не подойдёт; для нескольких связанных замеров смотрят критерий Фридмана или его аналоги для долей.

Что писать в дипломе

Главный показатель — p-значение (как его читать, разобрано в статье «Что такое p-значение»):

• p < 0,05 — доля «да» изменилась значимо;
• p > 0,05 — значимого сдвига долей нет.

Готовые формулировки:

• «Для оценки сдвига доли справившихся с заданием применялся критерий Макнемара для связанных выборок».
• «Доля респондентов, давших положительный ответ, значимо выросла после тренинга (χ² = 7,58; df = 1; p < 0,05)».
• «Статистически значимого изменения доли не выявлено (χ² = 1,2; df = 1; p = 0,27)».

Обязательно приводите обе доли — «до» и «после» в процентах, — иначе по одному p непонятно, в какую сторону сдвиг и насколько он велик. Как аккуратно подать таблицу и диаграмму, описано в материале «Как оформить таблицы и рисунки в дипломе».

Частые ошибки

• Считать обычный хи-квадрат вместо Макнемара. Если люди одни и те же, независимый хи-квадрат завышает значимость — нужен именно связанный вариант.
• Учитывать всех, а не только сменивших ответ. В формулу идут только b и c. Большие a и d на результат не влияют — это нормально.
• Применять Макнемара к баллам. Для числовых сдвигов «до/после» нужен Вилкоксон, а не критерий долей.
• Забывать про поправку на малых числах. Когда сменивших ответ меньше ~25, без поправки Йейтса (или точного теста) результат неаккуратен.
• Путать строки и столбцы в таблице 2×2. Перепутаете «до» и «после» местами — поменяете b и c ролями. На само χ² это не повлияет (там модуль разности), но на трактовку «выросло/упало» — повлияет.

Частые вопросы

Чем Макнемара отличается от обычного хи-квадрата?

Обычный хи-квадрат сравнивает разные группы (например, мужчин и женщин по доле курящих). Макнемара сравнивает одну группу с самой собой в двух замерах. Он смотрит только на тех, кто сменил ответ, поэтому корректно учитывает, что измерения связаны.

Сколько человек нужно для критерия?

Формально критерий работает от нескольких сменивших ответ, но устойчивый вывод даёт, когда сумма «перебежчиков» (b + c) хотя бы около 10–25. Если поменяли ответ всего 2–3 человека, любой вывод будет шатким — лучше набрать больше пар.

Что делать, если ответ не сменил никто (b = 0 и c = 0)?

Тогда считать нечего: доля не сдвинулась вообще, и критерий неприменим. На практике это значит, что у вас либо слишком стабильный признак, либо слишком маленькая выборка.

Можно ли посчитать Макнемара онлайн?

Да. Введите четыре числа связанной таблицы 2×2 в калькулятор хи-квадрат — он распознаёт связанный случай и применяет критерий Макнемара с нужной поправкой автоматически.

А если категорий не две, а три и больше?

Тогда базовый Макнемара не подходит — он только для «да/нет». Для нескольких категорий или нескольких замеров используют его расширения; начните с подбора метода в базе методов.

Короткий алгоритм

1. Признак бинарный («да/нет») и люди одни и те же дважды? Если нет — вам нужен другой критерий (хи-квадрат для разных групп или Вилкоксон для баллов).
2. Разложите всех людей по четырём клеткам a, b, c, d связанной таблицы 2×2.
3. Возьмите только b и c (сменивших ответ) и посчитайте χ² по формуле — или загрузите числа в калькулятор.
4. Сравните с 3,84 (или смотрите p): меньше 0,05 — сдвиг доли значим.
5. В дипломе укажите обе доли в процентах, χ², df = 1 и p-значение.

Что ещё почитать

• Руководство по критерию хи-квадрат — общая логика таблиц частот и долей.
• Критерий Стьюдента или Вилкоксона — как сравнивать «до/после», когда данные числовые.
• Что такое p-значение простыми словами — как правильно прочитать результат.
• Эффективность тренировки в цифрах — как доказать сдвиг показателей после занятий.
• Калькулятор хи-квадрат и критерий знаков — посчитать онлайн.

Не уверены, какой критерий брать под ваши данные — загляните в базу методов или закажите консультацию: эксперт подберёт критерий и всё посчитает за вас.