Каппа Коэна — онлайн-калькулятор согласия экспертов
Каппа Коэна (κ) измеряет согласие двух экспертов, когда те не ранжируют объекты, а раскладывают их по категориям: «годен — не годен», «высокий — средний — низкий». Простая доля совпадений здесь обманывает: два эксперта, ставящие всем подряд «годен», совпадут на сто процентов, ничего при этом не оценив. Каппа вычитает согласие, которое возникло бы случайно. Введите оценки обоих экспертов — калькулятор посчитает κ с доверительным интервалом и построит таблицу сопряжённости.
Согласие двух экспертов, которые раскладывают объекты по категориям («годен / не годен», «высокий / средний / низкий»). В отличие от простой доли совпадений, каппа вычитает согласие, которое получилось бы у экспертов случайно.
Эксперт — тот, кто оцениваетДвое, кто выносил решение по каждому объекту независимо друг от друга: два тренера, два преподавателя, врач и методист. Их имена можно вписать прямо в заголовки колонок.
Объект — то, что оцениваютТо, что оценивали: спортсмен, ученик, работа, видеозапись попытки. В клетке — категория, которую ему поставил эксперт: «годен», «не годен».
| Объект \ Эксперт | ||
|---|---|---|
Названия можно переписать — они попадут в результат и в таблицу для диплома. Если столбцов много, таблица прокручивается вбок. Данные из Excel вставляются целиком: скопируйте диапазон и вставьте в первую ячейку.
В клетках слова, а не числа: пишите категорию целиком, как в протоколе — «не годен», «ниже среднего». Написание должно совпадать буква в букву, иначе «годен» и «Годен» посчитаются разными категориями. Из Excel два столбца вставляются целиком: скопируйте диапазон и вставьте в первую клетку.
Ничего не понятно или не хотите разбираться?
Закажите расчёт у эксперта: он подберёт метод под вашу тему, посчитает, напишет готовый вывод и оформит таблицы по ГОСТ. Останется вставить в работу.
Заказать расчёт у экспертаКогда нужна каппа Коэна
- Экспертов ровно двое, и они выставляют категории, а не ранги и не баллы.
- Нужно доказать надёжность экспертной оценки: два специалиста независимо приходят к одному решению.
- Проверяется согласие наблюдателей при кодировании данных — например, при контент-анализе.
- Если эксперты ранжируют объекты по важности, нужна конкордация. Если экспертов трое и больше, а оценки категориальные, — каппа Флейса.
Как понять результат
Каппа меняется от −1 до 1. Ноль означает, что согласие не лучше случайного, единица — полное совпадение решений. Отрицательные значения говорят, что эксперты систематически расходятся сильнее, чем при случайных ответах.
Общепринятая трактовка — шкала Лэндиса и Коха. Обращайте внимание и на доверительный интервал: при малом числе объектов он широкий, и говорить о точной величине согласия нельзя.
Трактовка каппы по Лэндису и Коху
| Значение κ | Сила согласия |
|---|---|
| менее 0,20 | незначительное |
| 0,21 — 0,40 | слабое |
| 0,41 — 0,60 | умеренное |
| 0,61 — 0,80 | значительное |
| 0,81 — 1,00 | почти полное |
Для практических выводов обычно требуют κ не ниже 0,6.
Почему нельзя считать просто процент совпадений
Представьте: из ста работ девяносто заведомо зачтены. Два эксперта, ставящие «зачтено» почти всем, совпадут в девяноста случаях — доля совпадений 90 %. Но это не оценка, а следствие перекоса выборки.
Каппа считает, сколько совпадений вышло бы при случайных ответах с теми же пропорциями, и вычитает их. В примере выше κ окажется близкой к нулю, честно показав, что содержательного согласия нет.