Поправка Бонферрони - калькулятор
Один критерий ошибается в пяти случаях из ста: это и есть уровень значимости 0,05. Но в дипломе критерий применяют не один раз: четыре группы дают шесть пар, восемь шкал опросника - восемь проверок. Ошибиться может каждая, и вероятность найти различия там, где их нет, растет вместе с числом проверок: при шести сравнениях она уже 26 %. Поправка Бонферрони возвращает ее к заявленным пяти процентам одним действием: уровень значимости делят на число сравнений, а p-уровни в таблице умножают на то же число. Калькулятор считает оба направления и показывает, сколько мощности стоит такая защита.
Делить порог или умножать p - это одно и то же действие
Поправку Бонферрони записывают двумя способами, и студенты считают их разными методами. Первый: уровень значимости делят на число сравнений и с полученным порогом сравнивают свои p. Второй: каждый p умножают на число сравнений и сравнивают с обычными 0,05. Вывод выходит один и тот же, потому что неравенство p < a/m и неравенство p·m < a равносильны. В таблице диплома удобнее второй способ: уровень значимости в шапке остается привычным, а исправленные p стоят в своей колонке. Калькулятор считает оба.
Сравнений получается: 6.Поправка считает ВСЕ проверки, которые вы сделали в одной серии, а не только те, что вошли в текст. Шесть пар по каждой из пяти шкал опросника - это тридцать сравнений, а не шесть: поле «показателей» для этого и стоит. Сюда же попадают проверки, которые ничего не дали и в работу не вошли: если их не считать, поправка перестает защищать от того, ради чего делается.
Уровень значимости - допустимая вероятность ошибиться, признав различия там, где их нет. Поправка Бонферрони удерживает эту вероятность на заявленном уровне не для одной проверки, а для всей серии сразу. Для педагогических и психологических исследований почти всегда достаточно 0,05. Выбирают уровень до расчета, а не подгоняют под результат. Подробнее: что такое p-значение и ось значимости.
Строка - одна проверкаОдна пара групп, одна шкала опросника, один замер. Назовите строку так, как она будет называться в таблице работы.
Значение - сырой pТот, что выдал критерий до всяких поправок. Пишите от 0 до 1: 1,8 % - это 0,018. Точку вместо запятой калькулятор тоже понимает.
Таблица заполнена примером
Диплом по физической культуре: гибкость плечевого пояса у пловцов с разным стажем занятий - от первого до четвертого года, по 15 человек в группе. Все шесть пар сравнивали критерием Манна-Уитни, в таблице собраны полученные p. Без поправки значимыми выглядят четыре пары из шести. Нажмите кнопку расчета и посмотрите, сколько их останется.
| Что сравнивали | |
|---|---|
Названия можно переписать — они попадут в результат и в таблицу для диплома. Если столбцов много, таблица прокручивается вбок. Данные из Excel вставляются целиком: скопируйте диапазон и вставьте в первую ячейку.
Бонферрони не единственная поправка, и часто не лучшая
Она универсальна: работает после любого критерия и объясняется одной строкой. Платой за это служит мощность - поправка одинаково строго обходится и с сильными, и со слабыми различиями. Когда сравнений много, разумнее взять метод, который учитывает структуру задачи.
Поправка Холма
Та же защита, но ступенчатая: самый маленький p умножается на m, следующий на m-1. Находит больше при той же надежности. Считается на странице критерия Данна.
Критерий Данна с поправками Холма и БонферрониКритерий Тьюки
Если сравниваются все пары групп после дисперсионного анализа и группы равного размера. Учитывает, что сравнения не независимы, и потому мощнее Бонферрони.
Критерий Тьюки после ANOVAКритерий Шеффе
Тоже после дисперсионного анализа, но при неравных группах и для сложных сравнений вида «две группы против одной».
Критерий ШеффеКритерий Данна
Ранговый post-hoc после критерия Краскела-Уоллиса: для порядковых данных и распределений, далеких от нормального.
Критерий Данна после Краскела-УоллисаНичего не понятно или не хотите разбираться?
Закажите расчет у эксперта: он подберет метод под вашу тему, учтет множественность сравнений, напишет готовый вывод и оформит таблицы по ГОСТ.
Заказать расчет у экспертаКогда поправка нужна, а когда нет
Правило простое: поправка нужна там, где по одному набору данных проверяется несколько гипотез сразу и вывод делается по принципу «хоть где-то нашлось». Именно тогда отдельные пятипроцентные риски складываются в общий, и он выходит далеко за заявленный уровень.
Считать надо все проверки одной серии, а не только те, что попали в текст работы. Если из двадцати сравнений в главу вошли три значимых, число сравнений все равно двадцать: отбор по результату и есть тот самый способ найти случайное различие.
- Групп три и больше, и они сравниваются попарно: три группы дают три пары, четыре - шесть, пять - десять.
- Один и тот же критерий прогнан по нескольким шкалам опросника или нескольким контрольным упражнениям.
- Замеров у одной группы больше двух: начало, середина и конец эксперимента сравниваются между собой.
- Поправка не нужна, если сравнение одно: делить уровень значимости не на что.
- Поправка не нужна, если показатели проверяются как независимые гипотезы и каждая имеет собственный вывод в работе. Тогда это не серия, а отдельные задачи.
Две записи одного действия
Поправку записывают двумя способами, и студенты принимают их за разные методы. Первый: уровень значимости делят на число сравнений и с полученным порогом сравнивают свои исходные p. При шести сравнениях порог из 0,05 превращается в 0,00833.
Второй: каждый p умножают на число сравнений и сравнивают с обычными 0,05. Вывод получается тот же самый: поделить порог на число сравнений и умножить на него p - это одно и то же неравенство, записанное с разных сторон.
Для диплома удобнее второй способ: уровень значимости в шапке таблицы остается привычным, а исправленные p стоят своей колонкой, и проверяющий видит, что множественность учтена. Значения, которые после умножения превысили единицу, так и записывают: 1,000.
Сколько стоит отказ от поправки
Цена считается точно, без оговорок. Если проверок m и каждая держит уровень 0,05, вероятность хотя бы одной ложной находки равна единице минус 0,95 в степени m. Для трех сравнений это 14,3 %, для шести - 26,5 %, для десяти - уже 40,1 %.
Обратная сторона тоже измерима. Поправка снижает порог, а вместе с ним и мощность: при двух группах по 15 человек и большом эффекте d = 0,8 мощность падает с 56,2 % при пороге 0,05 до 28,0 % при пороге 0,00833. То есть сравнение, которое и так находило различия лишь в половине случаев, после поправки находит их в четверти. Это не довод против поправки, а довод за то, чтобы считать размер выборки до сбора данных.
Порог и риск при разном числе сравнений (уровень значимости 0,05)
| Сравнений m | Групп при сравнении всех пар | Порог a/m | Риск ложной находки без поправки |
|---|---|---|---|
| 1 | 2 | 0,05 | 5,0 % |
| 3 | 3 | 0,0167 | 14,3 % |
| 6 | 4 | 0,00833 | 26,5 % |
| 10 | 5 | 0,005 | 40,1 % |
| 15 | 6 | 0,00333 | 53,7 % |
| 21 | 7 | 0,00238 | 65,9 % |
| 28 | 8 | 0,00179 | 76,2 % |
Риск посчитан по формуле 1 минус (1 минус a) в степени m. Столбец «групп» показывает, из скольких групп получается такое число пар: m = k(k-1)/2.
Когда вместо Бонферрони берут другой метод
Бонферрони универсален: он прикладывается к любому критерию и объясняется одной строкой. Платой служит мощность, и при большом числе сравнений плата становится непосильной. Тогда берут метод, который учитывает устройство задачи.
- Поправка Холма дает ровно ту же защиту, но умножает не все p на одно число: самый маленький на m, следующий на m-1 и так далее. При той же надежности она находит больше, и ее считает калькулятор критерия Данна.
- Критерий Тьюки подходит, если сравниваются все пары после дисперсионного анализа и группы равного размера: он знает, что сравнения не независимы, и потому мощнее.
- Критерий Шеффе нужен при неравных группах и при сложных сравнениях вида «две группы против одной».
- Критерий Данна применяют после критерия Краскела-Уоллиса, когда данные порядковые или распределение далеко от нормального.
- Поправка Шидака чуть мягче Бонферрони и точна, когда проверки независимы. Разница между ними мала: при шести сравнениях порог 0,00851 против 0,00833.
Как оформить в работе
Поправку называют по имени и показывают число сравнений: «уровень значимости скорректирован по методу Бонферрони на 6 попарных сравнений, скорректированный порог составил 0,00833». Без числа сравнений формулировка неполная, и проверяющий вправе спросить, откуда взялся порог.
В таблице оставляют обе колонки: исходный p и p с поправкой. Так видно, что было до и что стало после, а вывод о значимости делается по второй колонке. Готовая формулировка с подставленными числами собирается под таблицей результата.