StatBlank
Профориентация

OTSES — самоэффективность в онлайн-технологиях

Оценить уверенность студента в своей способности пользоваться онлайн-технологиями (интернетом, чатом, электронной почтой, форумом), необходимыми для успешного прохождения онлайн-курса.

  • 1 шкала
  • 29 вопросов
  • Онлайн-расчёт бесплатно
Авторы
M. Miltiadou, C. H. Yu, 2000 (Университет штата Аризона, США)
Контингент
Студенты колледжей и вузов, обучающиеся на онлайн-курсах (валидизация — около 330 студентов пяти вузов юго-запада США).

OTSES содержит 29 утверждений о конкретных действиях в сети: от открытия браузера до отправки файла на форум онлайн-курса. Студент отмечает, насколько он уверен, что справился бы с каждым действием, по четырём вариантам от «совсем не уверен» до «очень уверен». Суммарный балл — от 29 до 116.

Шкала создана в Университете штата Аризона для раннего выявления студентов, которым будет трудно в онлайн-курсе из-за технической неуверенности. Идея авторов: если преподаватель в начале курса видит, кто не чувствует себя уверенно с интернетом, почтой или форумом, он может вовремя помочь и повысить уверенность студента.

Пункты сгруппированы в четыре блока: интернет (1–9), синхронный чат (10–13), электронная почта (14–22) и асинхронные форумы (23–29). Однако факторный анализ показал, что пункты не разделяются на четыре подшкалы, а подшкалы тесно связаны, поэтому авторы рекомендуют единый общий балл. Надёжность всей шкалы высокая: альфа Кронбаха = 0,95.

В дипломных работах OTSES применяют, чтобы сравнить уверенность студентов до и после вводного курса по цифровым инструментам, а также связать её с успеваемостью, вовлечённостью в учёбу и отсевом на дистанционном обучении. Все пункты прямые: обратных пунктов нет. Порогов «низкий/высокий» авторы не задали.

Онлайн-расчёт и генерация данных

Бесплатно

Пройдите тест для себя и узнайте свой результат — или обработайте данные группы для диплома: таблица, график и выгрузка в Word.

Шаг 1. Что вам нужно?

Шкалы методики

Самоэффективность в онлайн-технологиях (общий балл)

Уверенность студента в своей способности выполнять действия в интернете, синхронном чате, электронной почте и асинхронном форуме. Сумма 29–116: чем выше, тем увереннее студент.

пункты 1–29 (обратных пунктов нет)

Полный текст методики

Ниже перечислены действия, которые нужны для обучения на онлайн-курсе. Отметьте, насколько вы уверены, что справились бы с каждым из них: «очень уверен», «достаточно уверен», «не очень уверен» или «совсем не уверен». Важно не то, делали ли вы это раньше, а то, насколько вы уверены, что смогли бы это сделать. Если вы не знаете, что означает утверждение, выберите «совсем не уверен». Правильных и неправильных ответов нет. Каждый пункт начинается словами «Я был бы уверен, что смогу…».

Шкала ответов: 4 — очень уверен 3 — достаточно уверен 2 — не очень уверен 1 — совсем не уверен

  1. 1.Открыть веб-браузер.
  2. 2.Прочитать текст на веб-сайте.
  3. 3.Перейти по ссылке на нужный веб-сайт.
  4. 4.Открыть нужный веб-сайт, набрав его адрес (URL).
  5. 5.Добавить веб-сайт в закладки.
  6. 6.Распечатать страницу веб-сайта.
  7. 7.Выполнить поиск в интернете по одному или нескольким ключевым словам.
  8. 8.Скачать (сохранить) изображение с веб-сайта на диск.
  9. 9.Скопировать фрагмент текста с веб-сайта и вставить его в документ в текстовом редакторе.
  10. 10.Указать свой псевдоним в системе синхронного чата (если это нужно).
  11. 11.Прочитать сообщения одного или нескольких участников системы синхронного чата.
  12. 12.Ответить на сообщение или написать своё сообщение в системе синхронного чата (общение «один со многими»).
  13. 13.Общаться лично с одним участником системы синхронного чата (общение «один на один»).
  14. 14.Войти в систему электронной почты и выйти из неё.
  15. 15.Отправить электронное письмо конкретному человеку (общение «один на один»).
  16. 16.Отправить одно электронное письмо сразу нескольким людям (общение «один со многими»).
  17. 17.Ответить на электронное письмо.
  18. 18.Переслать электронное письмо другому адресату.
  19. 19.Удалить полученные по электронной почте письма.
  20. 20.Создать адресную книгу.
  21. 21.Сохранить файл, прикреплённый к электронному письму, на диск и затем открыть его и просмотреть содержимое.
  22. 22.Прикрепить файл (изображение или текст) к электронному письму и отправить его.
  23. 23.Войти в систему асинхронного общения (форум) и выйти из неё.
  24. 24.Опубликовать новое сообщение в системе асинхронного общения (создать новую тему).
  25. 25.Прочитать сообщение, опубликованное в системе асинхронного общения.
  26. 26.Ответить на сообщение в системе асинхронного общения так, чтобы ответ видели все участники.
  27. 27.Ответить на сообщение в системе асинхронного общения так, чтобы ответ видел только один участник (ответ автору).
  28. 28.Скачать (сохранить) файл из системы асинхронного общения на диск.
  29. 29.Загрузить (отправить) файл в систему асинхронного общения.

Ключи: как обрабатываются ответы

  1. 1Каждый из 29 пунктов оценивается по 4-балльной шкале уверенности: 4 — очень уверен, 3 — достаточно уверен, 2 — не очень уверен, 1 — совсем не уверен. Если студент не знает, что значит утверждение, он выбирает «совсем не уверен» (так сказано в инструкции авторов).
  2. 2Обратных пунктов нет — перекодировка не требуется. Все 29 ответов суммируются напрямую.
  3. 3Итоговый балл — от 29 до 116: чем выше, тем сильнее уверенность в онлайн-технологиях.
  4. 4Блоки по номерам пунктов (интернет 1–9, чат 10–13, почта 14–22, форумы 23–29) авторы использовали при разработке, но по результатам факторного анализа подшкалы не разделились, поэтому интерпретируют общий балл.
  5. 5Пороги «низкий / средний / высокий» авторы не задали: интерпретируйте балл в сравнении с другой группой или с замером «до/после».

Как обрабатывать математически

Единица измерения

Суммарный балл 29–116

Тип шкалы

Порядковая → ранговые методы

Как описывать

Медиана и квартили (Me, Q1–Q3)

Основные критерии

Вилкоксон / Манна-Уитни

OTSES даёт сумму 29 порядковых ответов по 4-балльной шкале, а нормальность распределения такой суммы в малых студенческих выборках обычно не подтверждается. Поэтому выбирают непараметрические (ранговые) критерии; при нормальном распределении (проверьте критерием Шапиро-Уилка) допустимы и параметрические.

Пошаговый план расчёта

  1. 1Убедитесь, что заполнены все 29 пунктов, а ответы закодированы числами 1–4 (1 — совсем не уверен, 4 — очень уверен). Обратных пунктов нет, перекодировка не нужна.
  2. 2Просуммируйте баллы по всем 29 пунктам. Итоговый балл — от 29 до 116.
  3. 3Рассчитайте медиану и квартили (Me, Q1–Q3) по группе, выберите критерий по схеме исследования и проверьте значимость.

Какой критерий выбрать

Пример обработки результатов

8 студентов-первокурсников заполнили OTSES в начале онлайн-курса и после двухнедельного вводного модуля по работе с платформой (почта, форум, чат). Сравниваем суммарные баллы уверенности.

До:   62 48 75 55 80 41 67 59

После: 78 66 90 70 95 58 82 74

  1. 1Дизайн: одни и те же 8 студентов, два замера → критерий Вилкоксона.
  2. 2До модуля: Me = 60,5 (Q1–Q3 = 51,5–71,0); после: Me = 76,0 (Q1–Q3 = 68,0–86,0). Рост медианы на 15,5 балла.
  3. 3У всех 8 студентов балл вырос, сдвигов в обратную сторону нет: T эмп = 0. При n = 8 T крит = 3 (p ≤ 0,05). Поскольку T эмп ≤ T крит, рост уверенности статистически значим (p < 0,05).

Как оформить это в дипломе

В таблице 1 представлены медиана и квартили суммарного балла OTSES до и после вводного модуля, а также результат критерия Вилкоксона.

Таблица 1 — Суммарный балл OTSES до и после вводного модуля (n = 8)

ПоказательQ₂₅MeQ₇₅T эмпT критp
Самоэффективность в онлайн-технологиях51,560,571,003< 0,05

На рисунке 1 графически представлена динамика медианного суммарного балла OTSES до и после вводного модуля.

2972,511660,576Самоэффективность в онлайн-технологияхСамоэффективность в онлайн-технологияхСуммарный балл (29–116)ДоПосле

Рисунок 1 — Медиана суммарного балла OTSES до и после вводного модуля

Медианный суммарный балл OTSES вырос с 60,5 до 76,0 (на 15,5 балла из возможных 29–116): после вводного модуля студенты стали увереннее справляться с интернетом, почтой, чатом и форумом. Рост отмечен у всех 8 студентов.

Значимость сдвига оценивалась непараметрическим критерием Вилкоксона для связанных выборок (суммарный балл — композит порядковых пунктов, замеры парные, выборка малая). T эмп = 0 при T крит = 3 (n = 8, p ≤ 0,05). Поскольку T эмп ≤ T крит, рост показателя после вводного модуля признаётся статистически значимым (p < 0,05).

Вывод

После вводного модуля уверенность студентов в онлайн-технологиях по OTSES значимо выросла (T эмп = 0, p < 0,05): медиана увеличилась с 60,5 до 76,0 балла, рост отмечен у всех 8 студентов.

Состав блоков OTSES

Блоки соответствуют разделам приложения авторов. Нумерация пунктов — финальная, из 29-пунктной версии (исходный пункт о создании простой веб-страницы авторы удалили). По факторному анализу блоки в самостоятельные подшкалы не складываются, поэтому в карточке считается один общий балл.

Блоки OTSES: номера пунктов и диапазон суммы

БлокНомера пунктовКол-воДиапазон суммы
A. Интернет1–999–36
B. Синхронный чат10–1344–16
C. Электронная почта14–2299–36
D. Асинхронный форум23–2977–28
Общий балл1–292929–116

Суммы по блокам приведены только для справки (описание структуры); авторы интерпретируют общий балл. Обратных пунктов нет.

Почему у шкалы нет готовых уровней

Авторы OTSES не задали границы «низкий / средний / высокий» и не привели средних значений выборки: в публикации описаны разработка шкалы, факторная структура и надёжность (α = 0,95). Мы не придумываем пороги за авторов.

В работе сравнивайте результаты между своими группами или до и после вмешательства. Если пороги нужны для классификации студентов, задайте их в самой работе (например, по квартилям своей выборки) и прямо оговорите это в тексте.

Частые вопросы