Коэффициент конкордации Кендалла (W): согласие экспертов

Вы попросили несколько человек — жюри, экспертов, группу студентов — расставить что-то по местам: лучшие работы, самые важные ценности, приоритетные проблемы. И теперь хотите доказать, что они оценивают похоже, а не «кто в лес, кто по дрова».

Для этого есть специальная мера — коэффициент конкордации Кендалла, его обозначают буквой W. Он показывает одним числом, насколько дружно несколько судей согласны между собой.

В двух словах

• Коэффициент конкордации W измеряет согласованность рангов от нескольких экспертов сразу (трёх и больше). Значение от 0 (полный разнобой) до 1 (идеальное единодушие).
• Это «командный» родственник парных коэффициентов ранговой корреляции — Спирмена и Кендалла τ, которые сравнивают только двух оценщиков.

Если экспертов всего двое — берите ранговую корреляцию. Если их трое и больше, и вопрос звучит «насколько вся группа единодушна», — это как раз случай для W.

Что именно показывает W

Представьте, что каждый эксперт расставил объекты по местам: 1-е, 2-е, 3-е и так далее. W отвечает на вопрос: эти расстановки похожи друг на друга или случайны?

• W = 1 — все эксперты выстроили объекты в один и тот же порядок. Полное согласие.
• W = 0 — расстановки никак не связаны, словно ранги тянули из шапки наугад.
• Промежуточные значения — частичное согласие: общая тенденция есть, но в деталях судьи расходятся.

Грубый ориентир для интерпретации: до 0,3 — согласие слабое, 0,3–0,5 — умеренное, 0,5–0,7 — заметное, выше 0,7 — сильное. Это не строгие границы, а подсказка, как описать результат словами.

Пример. Пять преподавателей оценили 8 дипломных работ, расставив их по качеству от 1 до 8. Получили W = 0,82 — преподаватели почти единодушны в том, какие работы сильнее, а какие слабее.

Как W считается: по шагам и без страха

Формула выглядит громоздко, но идея за ней простая. Логика такая: если эксперты согласны, то у «хороших» объектов сумма мест будет маленькой почти у всех судей, а у «слабых» — большой. То есть суммы рангов по объектам будут сильно различаться. Если же согласия нет, суммы у всех объектов получатся примерно одинаковыми.

W измеряет именно этот разброс сумм и переводит его в шкалу от 0 до 1.

Пошагово, для m экспертов и n объектов:

1. Постройте таблицу рангов: строки — объекты, столбцы — эксперты, в клетках — место, которое эксперт дал объекту.
2. Сложите ранги по каждому объекту — получите сумму мест Rᵢ для каждой строки.
3. Найдите среднюю сумму рангов по всем объектам.
4. Посчитайте сумму квадратов отклонений каждой Rᵢ от средней — это и есть величина разброса S.
5. Поделите S на максимально возможный разброс (он был бы при полном согласии). Результат — W.

Формула в компактном виде:

W = 12·S / [ m²·(n³ − n) ]

где S — сумма квадратов отклонений сумм рангов от их среднего, m — число экспертов, n — число объектов.

Маленький числовой пример

Покажем на трёх экспертах и четырёх объектах (A, B, C, D). В таблице 1 — кто какое место присвоил.

Таблица 1 — Ранги четырёх объектов от трёх экспертов и суммы мест

Средняя сумма рангов = (4 + 6 + 8 + 12) / 4 = 7,5. Отклонения от неё: −3,5; −1,5; 0,5; 4,5. Их квадраты: 12,25 + 2,25 + 0,25 + 20,25 = 35 (это S).

Подставляем: W = 12·35 / [3²·(4³ − 4)] = 420 / [9·60] = 420 / 540 ≈ 0,78. Согласие экспертов сильное: объект D все дружно поставили последним, A — в лидеры, разнобой только в середине.

Как проверить значимость W

Высокий W сам по себе ещё не доказательство — особенно при малом числе объектов он может оказаться большим случайно. Поэтому нужна проверка статистической значимости: отличается ли согласие от нулевого «по-настоящему».

Здесь работает наша обычная логика гипотез (подробнее — в статье «Гипотеза исследования: H₀ и H₁»):

• H₀ — согласия между экспертами нет (в генеральной совокупности W = 0);
• H₁ — согласие есть (W > 0).

Способ проверки зависит от числа объектов n:

• n ≤ 7 — сравнивают величину S с табличным критическим значением для конкордации (есть в статистических таблицах).
• n ≥ 8 — используют приближение через критерий хи-квадрат: χ² = m·(n − 1)·W. Если полученное χ² больше критического при df = n − 1, согласие значимо.

Где W пригодится в дипломе

Метод чаще всего встречается в нескольких типичных сюжетах. Вот живые ситуации.

Пример (экспертные оценки). Семь тренеров оценили технику выполнения упражнения у 10 спортсменов, расставив их по местам. W = 0,68 — тренеры в целом согласны, кого считать техничнее. Это обосновывает, что оценка объективна, а не вкусовщина одного судьи.

Пример (ценности группы). Студенты проранжировали 12 терминальных ценностей (например, по методике Рокича). Высокий W покажет, что у группы есть общая, разделяемая иерархия ценностей, а не у каждого своя.

Пример (приоритеты экспертов). Десять методистов расставили по важности 6 проблем учебного процесса. Значимый W означает: проблемы можно объединить в общий рейтинг приоритетов и опираться на него в рекомендациях.

Что писать в дипломе

Сначала — общий вывод о согласованности, затем цифры. Готовые формулировки:

• «Согласованность мнений экспертов оценивалась коэффициентом конкордации Кендалла. Получено W = 0,68 при χ² = 42,8; p < 0,05, что свидетельствует о статистически значимой согласованности оценок».
• «Коэффициент конкордации составил W = 0,21 (p > 0,05): значимого согласия между экспертами не выявлено, мнения судей расходятся».
• «Высокое значение W (0,82) позволяет считать построенный экспертами рейтинг работ объективным и использовать его для дальнейшего анализа».

В тексте обязательно укажите: число экспертов и число объектов, само значение W, статистику проверки (χ² или S) и p-значение. Без этого набора вывод «эксперты согласны» не считается доказанным.

Частые ошибки

• Считать W для двух экспертов. Для пары оценщиков берут ранговую корреляцию — Спирмена или Кендалла τ. W нужен для трёх и более судей.
• Радоваться высокому W без проверки значимости. При 3–4 объектах большой W бывает случайным. Всегда смотрите p-значение.
• Путать W с τ (тау). Это разные коэффициенты Кендалла: τ — между двумя рядами, W — согласие многих. Не подменяйте один другим в выводах.
• Не учитывать одинаковые ранги (связки). Если эксперт поставил двум объектам одно место, нужны связанные ранги и поправка в формуле — иначе W завышается.
• Делать вывод о «правильности», а не о согласии. W говорит лишь, что эксперты единодушны, но не что они правы. Дружно ошибаться они тоже могут.

Частые вопросы

Чем W отличается от корреляции Спирмена?

Спирмен сравнивает два ряда рангов между собой. W обобщает эту идею на любое число экспертов сразу и даёт одно общее число согласия. Фактически W связан со средней попарной корреляцией Спирмена между всеми экспертами.

Сколько нужно экспертов и объектов?

Экспертов — минимум 3 (иначе это просто корреляция). Объектов желательно не меньше 5–7, чтобы проверка значимости была надёжной: при 3–4 объектах даже случайные ранги легко дают высокий W.

Что делать, если W получился низким?

Низкий и незначимый W — это тоже результат. Он честно говорит: единого мнения у экспертов нет. В дипломе так и пишут: согласованность не достигнута. Иногда это повод обсудить, почему судьи расходятся.

Можно ли применять W к баллам, а не к местам?

Да. Если эксперты выставляли баллы (по шкале), их сначала переводят в ранги внутри каждого эксперта, а потом считают W. Калькулятор делает это автоматически.

W подходит для шкал Лайкерта из анкеты?

Не для этого. W — про согласие судей, а не про надёжность пунктов опросника. Внутреннюю согласованность шкалы из множества пунктов оценивают альфой Кронбаха — это другая задача.

Короткий алгоритм

1. Соберите ранги: таблица «объекты × эксперты». Если эксперты ставили баллы — переведите их в места.
2. Экспертов двое? → вам нужна ранговая корреляция Спирмена или Кендалла τ, а не W.
3. Экспертов трое и больше? → считайте W (от 0 до 1).
4. Проверьте значимость: при p ≤ 0,05 согласие реальное; при p > 0,05 — единодушия нет.
5. Опишите словами: слабое / умеренное / сильное согласие, приведите W, χ² и p.

Что ещё почитать

• Руководство по корреляции Спирмена — парная ранговая связь, основа для понимания W.
• Корреляция Пирсона или Спирмена — когда брать ранговые методы вообще.
• Калькулятор корреляции Кендалла и калькулятор корреляции Спирмена — посчитать онлайн.
• Что такое p-значение простыми словами — как читать значимость согласия.
• Ценностные ориентации Рокича — типичная методика, где пригодится конкордация.

Не уверены, как обсчитать экспертные ранги, — загляните в базу методов или закажите консультацию: подберём расчёт и посчитаем W за вас.