Опросник пользовательской вовлечённости (UES): обработка и онлайн-расчёт
Оценка глубины и интенсивности вовлечённости пользователя во взаимодействие с цифровой системой (в данной адаптации — с чат-ботом на основе генеративного ИИ).
- Полное название
- Опросник для измерения пользовательской вовлечённости, краткая форма (User Engagement Scale — Short Form, UES-SF)
- Авторы
- H. L. O'Brien, P. Cairns, M. Hall, 2018; русскоязычная адаптация (для взаимодействия с чат-ботом) — А. Н. Воронин, А. С. Рафикова, 2025
- Назначение
- Оценка глубины и интенсивности вовлечённости пользователя во взаимодействие с цифровой системой (в данной адаптации — с чат-ботом на основе генеративного ИИ).
- Контингент
- Взрослые пользователи цифровых систем и чат-ботов; выборка адаптации — 210 респондентов 18–60 лет.
Опросник для измерения пользовательской вовлечённости (User Engagement Scale, UES) — 12 утверждений о том, насколько глубоко человек погружается во взаимодействие с цифровой системой. В этом варианте формулировки адаптированы для оценки общения с чат-ботом: респондент оценивает утверждения по 5-балльной шкале согласия, а результат раскладывается на четыре составляющие вовлечённости.
Методику User Engagement Scale разработала Хизер О'Брайен с коллегами как инструмент HCI-исследований (human-computer interaction): она измеряет не удовлетворённость и не эффективность работы с системой, а именно вовлечённость — насколько пользователь погружён в процесс, увлечён им и получает от него удовольствие. Краткая форма (UES-SF) из 12 пунктов сохраняет исходную теоретическую модель полной 31-пунктовой версии, но заполняется значительно быстрее.
Русскоязычная адаптация (Воронин, Рафикова, 2025) выполнена специально для оценки взаимодействия с чат-ботами на основе генеративного ИИ: авторы провели прямой и обратный перевод, экспертную оценку и апробацию на выборке 210 респондентов 18–60 лет. В дипломной работе методика уместна в разделах про UX цифровых продуктов, восприятие чат-ботов и ассистентов на базе ИИ, геймификацию и вовлечённость в онлайн-обучение — часто по схеме «до / после» внедрения нового интерфейса или чат-бота.
Онлайн-расчёт и генерация данных
БесплатноПройдите тест для себя и узнайте свой результат — или обработайте данные группы для диплома: таблица, график и выгрузка в Word.
Шаг 1. Что вам нужно?
Шкалы методики
Позитивный опыт взаимодействия
Насколько результат взаимодействия был нужным, полезным и интересным.
пункты 10, 11, 12
Погружение (вовлечённость)
Насколько глубоко пользователь погрузился в процесс и потерял ощущение времени.
пункты 1, 2, 3
Привлекательность интерфейса
Насколько интерфейс и само взаимодействие воспринимаются как приятные и эстетичные.
пункты 7, 8, 9
Трудности взаимодействия
Насколько взаимодействие вызывало разочарование, путаницу и утомление.
пункты 4, 5, 6 (обратные)
Полный текст методики
Оцените, насколько вы согласны с каждым из следующих утверждений о вашем взаимодействии с чат-ботом.
Шкала ответов: 1 — совершенно не согласен 2 — частично не согласен 3 — не уверен 4 — частично согласен 5 — совершенно согласен
- 1.Я погрузился с головой во взаимодействие с чат-ботом.
- 2.Взаимодействуя с чат-ботом, я не заметил, как пролетело время.
- 3.Я был полностью поглощён взаимодействием с чат-ботом.
- 4.Я был разочарован взаимодействием с чат-ботом.
- 5.Чат-бот показался мне запутанным в использовании.
- 6.Взаимодействие с чат-ботом было утомительным.
- 7.Интерфейс чат-бота был притягательным.
- 8.Чат-бот выглядел эстетически привлекательно.
- 9.Взаимодействие с чат-ботом было приятным.
- 10.Взаимодействие с чат-ботом дало тот результат, который был мне нужен.
- 11.Опыт взаимодействия с чат-ботом был для меня полезным.
- 12.Мне было интересно, когда я взаимодействовал с чат-ботом.
Ключи: как обрабатываются ответы
- 1Каждый пункт оценивается по 5-балльной шкале согласия: 1 — совершенно не согласен, 5 — совершенно согласен.
- 2Пункты 4, 5, 6 (субшкала «Трудности взаимодействия») сформулированы в обратную сторону: при подсчёте общего балла вовлечённости их значение разворачивают по формуле 6 − балл.
- 3Балл по каждой из четырёх субшкал — среднее арифметическое трёх входящих в неё пунктов.
- 4Общий балл вовлечённости — среднее по всем 12 пунктам (для пунктов 4, 5, 6 берётся уже развёрнутое значение).
Как оценить результат
Средний балл по каждой шкале (от 1 до 5):
1–2
Низкая вовлечённость
2–3
Вовлечённость ниже среднего
3–4
Вовлечённость выше среднего
4–5
Высокая вовлечённость
Как обрабатывать математически
Единица измерения
Баллы от 1 до 5 (среднее по пунктам шкалы)
Тип шкалы
Порядковая → ранговые методы
Как описывать
Медиана и квартили (Me, Q1–Q3)
Основные критерии
Вилкоксон / Манна-Уитни
Балл вовлечённости — среднее по пунктам 5-балльной шкалы Лайкерта, а это порядковая шкала: расстояния между «частично согласен» и «совершенно согласен» не гарантированно равны. Поэтому для сравнения групп и замеров «до / после» берут непараметрические критерии, а не критерий Стьюдента.
Пошаговый план расчёта
- 1Шаг 1. Развернуть пункты 4, 5 и 6 (субшкала «Трудности взаимодействия»): новое значение = 6 − балл респондента. Остальные девять пунктов оставить как есть.
- 2Шаг 2. Посчитать средний балл по каждой из четырёх субшкал (по 3 пункта на субшкалу) и, если нужен единый показатель, — среднее по всем 12 пунктам с учётом разворота.
- 3Шаг 3. Сравнить группы или замеры «до / после» подходящим непараметрическим критерием.
Какой критерий выбрать
Пример обработки результатов
У 10 пользователей сравнили общий балл вовлечённости до и после того, как интерфейс чат-бота поддержки заменили на диалоговую версию с более естественными репликами.
До: 2,5 2,8 2,3 3,0 2,6 2,9 2,4 2,7 3,1 2,5
После: 3,4 3,6 3,0 3,8 3,3 3,5 3,1 3,4 3,9 3,2
- 1У каждого пользователя посчитан общий балл вовлечённости (среднее по 12 пунктам, пункты 4–6 развёрнуты).
- 2Дизайн: замеры «до / после» у одних и тех же людей, шкала порядковая → критерий Вилкоксона.
- 3У всех 10 пользователей балл вырос (разности: 0,9; 0,8; 0,7; 0,8; 0,7; 0,6; 0,7; 0,7; 0,8; 0,7) — все сдвиги одного знака.
- 4T эмп = 0 (сумма рангов противоположного по знаку сдвига). Для n = 10: T крит = 8 (p ≤ 0,05) и T крит = 3 (p ≤ 0,01). Поскольку 0 ≤ 3, сдвиг значим при p < 0,01.
Как оформить это в дипломе
В таблице 1 представлены медиана и квартили общего балла вовлечённости до и после замены интерфейса чат-бота.
Таблица 1 — Общий балл вовлечённости пользователей чат-бота до и после редизайна (n = 10)
| Замер | Q₂₅ | Me | Q₇₅ | T эмп | T крит | p |
|---|---|---|---|---|---|---|
| До | 2,5 | 2,65 | 2,9 | — | — | — |
| После | 3,2 | 3,4 | 3,6 | 0 | 3 | < 0,01 |
На рисунке 1 графически представлены средние баллы по четырём составляющим вовлечённости до и после редизайна.
Рисунок 1 — Составляющие вовлечённости пользователей чат-бота до и после редизайна
Все четыре составляющие выросли: позитивный опыт взаимодействия — с 2,6 до 3,4 балла, погружение — с 2,5 до 3,3, привлекательность интерфейса — с 2,7 до 3,5, трудности взаимодействия (где рост балла означает МЕНЬШЕ трудностей) — с 2,8 до 3,5. Наиболее выраженный сдвиг — по погружению и позитивному опыту.
Сдвиг общего балла вовлечённости оценивался критерием Вилкоксона (замеры «до / после» у одних и тех же пользователей, порядковая шкала). T эмп = 0 при T крит = 8 (p ≤ 0,05) и T крит = 3 (p ≤ 0,01) для n = 10. Поскольку T эмп ≤ T крит, сдвиг статистически значим (p < 0,01).
Вывод
После редизайна интерфейса общая вовлечённость пользователей значимо выросла (Me 2,65 → 3,4; T эмп = 0 ≤ T крит = 3, p < 0,01), рост заметен по всем четырём составляющим.
Четыре составляющие вовлечённости
Эксплораторный факторный анализ на выборке 210 респондентов выделил четыре фактора, которые в сумме объяснили 74,3 % дисперсии; конфирматорный факторный анализ подтвердил эту структуру (χ²/df = 2,777, CFI = 0,930, RMSEA = 0,074). Структура воспроизводит теоретическую модель оригинальной методики (O'Brien, Cairns, Hall, 2018), но с другим весом факторов: в русскоязычной адаптации для взаимодействия с чат-ботами на первый план выходит позитивный опыт взаимодействия, а трудности использования становятся наименее весомым фактором — авторы связывают это с интуитивно понятным интерфейсом современных генеративных систем.
Таблица — факторная структура опросника (n = 210)
| Фактор | Доля объяснённой дисперсии | Пункты |
|---|---|---|
| Позитивный опыт взаимодействия | 41,9 % | 10, 11, 12 |
| Погружение (вовлечённость) | 17,9 % | 1, 2, 3 |
| Привлекательность интерфейса | 8,7 % | 7, 8, 9 |
| Трудности и неудобства взаимодействия | 5,9 % | 4, 5, 6 |
Источник: Воронин А. Н., Рафикова А. С., 2025 (эксплораторный факторный анализ, метод главных компонент, вращение варимакс).
Надёжность и валидность русскоязычной версии
На выборке 210 респондентов (18–60 лет) внутренняя согласованность общей шкалы высокая: α Кронбаха = 0,83, стандартизированная α = 0,88, средняя межпунктовая корреляция 0,38. Ретестовая надёжность через 1–2 месяца (n = 98) — r = 0,81 (корреляция Спирмена).
Конвергентная валидность подтверждена сильными связями с воспринимаемым удобством использования (шкала UMUX-LITE, r = 0,823) и поглощённостью деятельностью по Flow Short Scale (r = 0,834), а также умеренной связью с позитивным аффектом по шкале PANAS (r = 0,643). Дивергентная валидность — слабые связи с негативным аффектом (r = −0,120), склонностью к скуке (r = −0,120) и удовлетворённостью жизнью (r = 0,024): вовлечённость во взаимодействие с чат-ботом — самостоятельный конструкт, не сводимый к общему эмоциональному фону.