- 6 шкал
- 6 вопросов
- Онлайн-расчёт бесплатно
- Авторы
- S. G. Hart, L. E. Staveland, 1988 (Human Performance Research Group, NASA Ames Research Center); пакет «бумага и карандаш» v. 1.0
NASA-TLX — многомерная оценка субъективной рабочей нагрузки. Человек после задачи оценивает шесть сторон нагрузки по шкале 0–100: умственную, физическую и временную нагрузку, результативность, усилия и фрустрацию. Затем он 15 раз сравнивает шкалы попарно и выбирает ту, что сильнее повлияла на нагрузку в этой задаче. Эти выборы дают веса от 0 до 5, а итог — взвешенное среднее оценок.
Метод разработала группа Human Performance Research Group в NASA Ames Research Center в ходе трёхлетней программы, которая включала более 40 лабораторных, симуляторных и полётных экспериментов. Он вырос из более ранней девятишкальной версии: шкалы, не связанные с нагрузкой или дублировавшие друг друга (усталость, стресс и фрустрация), убрали, и осталось шесть. Три шкалы описывают требования задачи (умственные, физические, временные), три — взаимодействие человека с задачей (усилия, фрустрация, результативность).
Идея метода в том, что одна и та же нагрузка складывается из разных источников в разных задачах. В одной задаче главное — время, в другой — умственное напряжение, в третьей — невозможность выполнить её хорошо при любых усилиях. Парные сравнения показывают, какие источники важны именно для этого человека и этой задачи, и дают им больший вес. Авторы подчёркивают, что вес и оценка могут не совпадать: умственные требования могут быть главным источником нагрузки, даже если сами по себе они оценены невысоко.
В дипломных работах NASA-TLX применяют для сравнения интерфейсов, рабочих мест и режимов труда: операторов, водителей, диспетчеров, медиков, пользователей программ. Типичные постановки — замер «до / после» перепроектирования интерфейса и сравнение нескольких условий задачи. NASA-TLX не даёт норм, по которым нагрузку можно назвать «высокой» или «низкой», поэтому результаты сравнивают между собой. Русскоязычной адаптации в открытых источниках найти не удалось, и в работе это нужно оговорить.
Онлайн-расчёт и генерация данных
БесплатноПосчитайте по своим данным или подберите правдоподобный набор для диплома — с таблицей и экспортом в Word.
Шаг 1. Что вам нужно?
Шкалы методики
Умственная нагрузка
Сколько умственной и перцептивной активности потребовала задача: думать, решать, вычислять, помнить, смотреть, искать.
шкала 1 (оценка 0–100)
Физическая нагрузка
Сколько физической активности потребовала задача: толкать, тянуть, поворачивать, управлять, приводить в действие.
шкала 2 (оценка 0–100)
Временная нагрузка
Насколько сильное давление времени человек ощущал из-за темпа, в котором шли задачи или их элементы.
шкала 3 (оценка 0–100)
Результативность
Насколько успешно, по мнению человека, он достиг целей задачи и насколько доволен тем, как это сделал. Шкала направлена наоборот: высокий балл означает плохой результат.
шкала 4 (оценка 0–100; 0 — хорошая, 100 — плохая)
Усилия
Насколько усердно пришлось работать (умственно и физически), чтобы достичь своего уровня результативности.
шкала 5 (оценка 0–100)
Фрустрация
Насколько неуверенно, обескураженно, раздражённо, напряжённо и досадно человек себя чувствовал по сравнению с уверенностью, удовлетворением, спокойствием и расслабленностью.
шкала 6 (оценка 0–100)
Полный текст методики
Инструкция участнику (перевод разделов 6 и 7 пакета NASA, с сокращениями). Нас интересует не только качество выполнения задачи, но и то, что вы пережили в разных условиях. Мы будем оценивать «рабочую нагрузку», которую вы испытали. Её определить непросто, но интуитивно понять легко: она складывается из требований самой задачи, вашего отношения к своим результатам, приложенных усилий, стресса и досады. Чтобы не сводить всё к одной общей оценке, мы просим оценить шесть сторон нагрузки по отдельности. Внимательно прочитайте описание шкал. После каждой задачи вы получите лист и поставите «X» на каждой из шести линий в точке, которая соответствует вашему опыту. У каждой линии два конца с подписями. Обратите внимание: шкала «Результативность» идёт от «хорошая» слева до «плохая» справа, этот порядок многих запутывает. Оценивайте каждую шкалу отдельно. Затем вам предложат пары названий шкал (например, «Усилия» и «Умственная нагрузка») и попросят выбрать, какая из двух сильнее повлияла на нагрузку в только что выполненной задаче. Обведите название более важной шкалы. Правильного набора ответов нет, нас интересует ваше мнение. Ниже даны определения шести шкал.
Шкала ответов: Каждая шкала — линия от 0 до 100 с шагом 5. Концы: «низкая» — «высокая»; у «Результативности»: «хорошая» — «плохая»
- 1.Умственная нагрузка (от «низкая» до «высокая»). Сколько умственной и перцептивной активности потребовалось (например, думать, принимать решения, вычислять, запоминать, смотреть, искать)? Была ли задача лёгкой или требовательной, простой или сложной, строгой (не терпящей неточностей) или допускающей их?
- 2.Физическая нагрузка (от «низкая» до «высокая»). Сколько физической активности потребовалось (например, толкать, тянуть, поворачивать, управлять, приводить в действие)? Была ли задача лёгкой или тяжёлой, медленной или быстрой, спокойной или напряжённой, расслабляющей или утомительной?
- 3.Временная нагрузка (от «низкая» до «высокая»). Насколько сильное давление времени вы ощущали из-за скорости или темпа, в котором шли задачи или их элементы? Был ли темп медленным и неспешным или быстрым и лихорадочным?
- 4.Результативность (от «хорошая» до «плохая»). Насколько успешно, по вашему мнению, вы достигли целей задачи, поставленных экспериментатором (или вами самим)? Насколько вы довольны тем, как достигли этих целей?
- 5.Усилия (от «низкие» до «высокие»). Насколько усердно вам пришлось работать (умственно и физически), чтобы достичь вашего уровня результативности?
- 6.Фрустрация (от «низкая» до «высокая»). Насколько неуверенно, обескураженно, раздражённо, напряжённо и досадно вы себя чувствовали — или, наоборот, уверенно, удовлетворённо, спокойно, расслабленно и благодушно
Ключи: как обрабатываются ответы
- 1Оценки. После задачи человек отмечает на каждой из шести линий точку, соответствующую его опыту. Линия разбита на 20 равных отрезков (21 деление, от 0 до 100 с шагом 5). Если отметка между делениями, берут правое.
- 2Веса. Человек проходит 15 парных сравнений шести шкал и в каждой паре обводит ту шкалу, которая сильнее повлияла на нагрузку в этой задаче. Для каждой шкалы считают, сколько раз её выбрали: вес от 0 (не важна) до 5 (важнее любой другой). Сумма весов по шести шкалам должна быть равна 15; если нет, где-то ошибка подсчёта.
- 3Взвешенная оценка. Каждую оценку умножают на вес этой шкалы, шесть произведений складывают и сумму делят на 15.
- 4Итог — число от 0 до 100: чем выше, тем выше субъективная нагрузка. Результативность оценивается по направлению «хорошая — плохая» и в подсчёте участвует без перекодировки.
- 5Для каждой задачи или группы похожих задач веса собирают отдельно. Если вклад шести факторов в нагрузку похож, один набор весов можно применить к нескольким версиям задачи. Веса получают после того, как человек хотя бы немного поработал с задачей.
- 6Границ «низкая / высокая нагрузка» автор не задаёт: итог сравнивают между условиями и группами.
Как обрабатывать математически
Единица измерения
Баллы 0–100 по шести шкалам и итог
Тип шкалы
Порядковая (визуальная аналоговая) → ранговые методы
Как описывать
Медиана и квартили (Me, Q1–Q3) по каждой шкале и по итогу
Основные критерии
Вилкоксон / Манна-Уитни / Фридман
Оценки на графической шкале 0–100 субъективны и обычно не подчиняются нормальному закону, а итог получен усреднением разных шкал. Поэтому берут ранговые критерии. Если один и тот же человек оценивает несколько условий задачи, используют критерии для связанных выборок.
Пошаговый план расчёта
- 1Для каждого участника и каждого условия получите шесть оценок 0–100 (шкала размечена с шагом 5; если отметка между делениями, берут правое — то есть округляют вверх).
- 2Соберите веса из 15 парных сравнений: сколько раз участник выбрал каждую шкалу. Веса — целые числа от 0 до 5, их сумма должна быть 15.
- 3Умножьте каждую оценку на её вес, сложите шесть произведений и разделите на 15. Получится взвешенный итог 0–100.
- 4Посчитайте медианы и квартили по шкалам и по итогу и выберите критерий по дизайну исследования.
Какой критерий выбрать
Пример обработки результатов
8 операторов диспетчерского центра выполнили одну и ту же задачу сначала в старом интерфейсе, затем в переработанном. Каждый оценил нагрузку по NASA-TLX, веса собрали отдельно для каждого. Сравниваем итоговые взвешенные баллы.
До: 62 55 70 48 66 58 73 52
После: 51 49 60 45 52 57 58 41
- 1Дизайн: одни и те же 8 операторов в двух условиях, шкала порядковая → критерий Вилкоксона.
- 2Разности «после − до»: −11, −6, −10, −3, −14, −1, −15, −11. Все 8 сдвигов отрицательные, поэтому сумма рангов редкого знака T эмп = 0.
- 3Двусторонняя точная вероятность для n = 8 при T = 0 равна 2 / 2⁸ = 0,008, то есть p < 0,01.
- 4Медиана итога снизилась с 60 до 51,5 балла: в новом интерфейсе операторы оценивают нагрузку ниже.
Как оформить это в дипломе
В таблице 1 представлены медианы и квартили итога NASA-TLX при работе в старом и новом интерфейсе, а также результат критерия Вилкоксона.
Таблица 1 — Итог NASA-TLX в старом и новом интерфейсе (n = 8)
| Условие | Q₂₅ | Me | Q₇₅ | T эмп | p |
|---|---|---|---|---|---|
| Старый интерфейс | 53,5 | 60 | 68 | 0 | 0,008 |
| Новый интерфейс | 47 | 51,5 | 57,5 | — | — |
На рисунке 1 графически представлены медианные значения итога NASA-TLX в двух условиях.
Рисунок 1 — Медианы итога NASA-TLX в старом и новом интерфейсе
Медиана итогового балла снизилась с 60 до 51,5 (−8,5 балла). У всех восьми операторов итог в новом интерфейсе оказался ниже, чем в старом, снижение составило от 1 до 15 баллов.
Значимость различий оценивали критерием Вилкоксона, так как итог NASA-TLX получен по субъективным оценкам и считается порядковым, а замеры связанные. T эмп = 0 при n = 8, точная двусторонняя вероятность p = 0,008, различия значимы на уровне p < 0,01.
Вывод
В переработанном интерфейсе субъективная нагрузка операторов по NASA-TLX значимо ниже (T эмп = 0, p = 0,008): медиана итога снизилась с 60 до 51,5 балла.
15 парных сравнений для определения весов
После оценок участник проходит все 15 пар из шести шкал (число сочетаний по два из шести равно 15). В каждой паре он обводит шкалу, которая сильнее повлияла на нагрузку в этой задаче. В бланке NASA пары напечатаны на отдельных карточках, и каждому участнику их предъявляют в случайном порядке.
Все пары шкал для сравнения
| № | Первая шкала | Вторая шкала |
|---|---|---|
| 1 | Умственная нагрузка | Физическая нагрузка |
| 2 | Умственная нагрузка | Временная нагрузка |
| 3 | Умственная нагрузка | Результативность |
| 4 | Умственная нагрузка | Усилия |
| 5 | Умственная нагрузка | Фрустрация |
| 6 | Физическая нагрузка | Временная нагрузка |
| 7 | Физическая нагрузка | Результативность |
| 8 | Физическая нагрузка | Усилия |
| 9 | Физическая нагрузка | Фрустрация |
| 10 | Временная нагрузка | Результативность |
| 11 | Временная нагрузка | Усилия |
| 12 | Временная нагрузка | Фрустрация |
| 13 | Результативность | Усилия |
| 14 | Результативность | Фрустрация |
| 15 | Усилия | Фрустрация |
Каждая шкала встречается в пяти парах, поэтому вес любой шкалы — от 0 до 5, а сумма всех весов равна 15.
Числовой пример подсчёта итога одного участника
Участник оценил задачу и по результатам 15 парных сравнений получил веса. Итог — сумма произведений оценки на вес, делённая на 15.
Подсчёт взвешенного итога NASA-TLX
| Шкала | Оценка | Вес | Оценка × вес |
|---|---|---|---|
| Умственная нагрузка | 70 | 4 | 280 |
| Физическая нагрузка | 10 | 0 | 0 |
| Временная нагрузка | 60 | 3 | 180 |
| Результативность | 40 | 2 | 80 |
| Усилия | 65 | 4 | 260 |
| Фрустрация | 50 | 2 | 100 |
| Сумма | — | 15 | 900 |
Итог: 900 / 15 = 60. Числа условные, они показывают порядок действий.