Пилотажное исследование: зачем и как провести

Вы собрали анкету, придумали процедуру, готовы запускать сбор данных на всей выборке. И тут возникает вопрос: а вдруг половину вопросов поймут не так, инструкция окажется мутной, а заполнение займёт не 10 минут, а час?

Чтобы не обнаружить это уже на 60 заполненных бланках, проводят пилотажное (пробное) исследование — маленький «тест-драйв» вашей методики на нескольких людях.

В двух словах

Пилотажное исследование — это предварительная проверка инструмента и процедуры на маленькой группе (обычно 5–15 человек) перед основным сбором данных. Его задача — поймать кривые формулировки, непонятную инструкцию и технические сбои, пока их легко исправить.

Это не самостоятельное научное исследование с выводами и статистикой, а репетиция. Если вы только собираете анкету — начните с разбора в статье «Как составить анкету», а готовность самой методики проверяйте по валидности и надёжности.

Зачем нужен пилотаж: что он реально выявляет

Пилотаж отвечает на простой вопрос: «работает ли моя методика так, как я задумал?» Конкретно он ловит четыре вещи.

Понятность вопросов. Вы написали «Оцените интенсивность ваших тренировок», а респондент не знает, в чём её мерить — в часах, в усталости, в количестве подходов. На пилотаже это всплывает сразу.

Работу инструкции и шкалы. Часто оказывается, что половина людей не поняла, что отвечать нужно по шкале от 1 до 5, а не «да/нет». Или что вопрос с двойным отрицанием («не считаете ли вы, что не стоит…») вгоняет в ступор.

Время и удобство. Вы узнаёте реальное время заполнения. Если анкета на 80 пунктов отнимает 40 минут, люди начнут халтурить к середине — это видно по «прямым столбикам» одинаковых ответов.

Технику и процедуру. Хватает ли места для ответа, печатает ли принтер бланк без обрезанных краёв, не сбоит ли гугл-форма, успеваете ли вы за урок физкультуры протестировать весь класс.

Сколько человек нужно для пилотажа

Жёсткого норматива нет, но есть рабочие ориентиры. Пилотаж намеренно маленький — его задача поймать проблемы, а не доказать гипотезу.

Таблица 1 — Ориентировочный объём пилотажа по типу работы

Как видно из таблицы 1, чаще всего хватает 5–15 человек. Главное правило: участники пилотажа должны быть похожи на вашу основную выборку (тот же возраст, уровень, контекст), но в основное исследование их потом не включают — они уже «испорчены» знакомством с методикой.

Чем пилотаж отличается от основного исследования

Это разные этапы с разными целями, и в дипломе их нельзя смешивать.

Цель. Пилотаж проверяет инструмент и процедуру. Основное исследование проверяет гипотезу — есть ли различие, связь, эффект программы.

Объём. Пилотаж — 5–15 человек. Основная выборка считается под задачу и статистику (обычно десятки, см. требования критериев вроде t-критерия Стьюдента или критерия Манна-Уитни).

Результат. У пилотажа результат — это список правок в анкете и процедуре. У основного — цифры, таблицы и проверенная гипотеза.

Статистика. На пилотаже серьёзную статистику обычно не считают: выборка слишком мала. Максимум — прикинуть разброс ответов и согласованность пунктов, чтобы заметить совсем нерабочую шкалу.

Как провести пилотаж по шагам

Покажем на сквозном примере. Допустим, вы делаете анкету мотивации к занятиям спортом для студентов первого курса.

Шаг 1. Соберите 8–10 человек, похожих на основную выборку. Берёте 9 первокурсников — тех, кто потом в основную выборку не войдёт.

Шаг 2. Проведите процедуру «как на самом деле». Те же бланки, та же инструкция, тот же формат (аудитория или онлайн). Засеките время.

Шаг 3. Зафиксируйте сбои. Например, вы получили: среднее время заполнения — 18 минут (планировали 10); пункт №7 («Я не чувствую отсутствия желания тренироваться») трое отметили как непонятный; в гугл-форме вопрос №12 не имел варианта «затрудняюсь ответить».

Шаг 4. Прикиньте качество ответов. Если все 9 человек в шкале из 12 пунктов ставили почти одинаковые баллы — шкала не различает людей. Грубо это видно по разбросу в описательной статистике, а согласованность пунктов — через альфу Кронбаха.

Шаг 5. Внесите правки. Переписали пункт №7 без двойного отрицания, разбили анкету на 2 блока, добавили вариант «затрудняюсь ответить», сократили формулировки.

Шаг 6. Зафиксируйте итог одним абзацем — он пойдёт в диплом.

Что писать в дипломе

Пилотаж обычно описывают в главе про организацию и методы исследования, одним-двумя абзацами. Подставьте свои числа.

• «На предварительном этапе было проведено пилотажное исследование с участием 9 студентов первого курса с целью проверки понятности формулировок анкеты и адекватности процедуры её проведения».
• «По итогам пилотажа среднее время заполнения составило 18 минут, что потребовало сокращения объёма анкеты с 40 до 28 пунктов».
• «Выявлены затруднения при восприятии пунктов № 7 и № 12; формулировки были переработаны, в шкалу добавлен вариант ответа “затрудняюсь ответить”».
• «Участники пилотажного исследования в основную выборку не включались».
• «Предварительная оценка внутренней согласованности шкалы (α Кронбаха = 0,68) подтвердила пригодность инструмента после доработки».

Частые ошибки

• Включить пилотажную группу в основную выборку. Они уже знакомы с методикой, это искажает данные. Берите для основного исследования новых людей.
• Провести «для галочки» и ничего не менять. Тогда пилотаж теряет смысл — его проводят ради правок.
• Считать на пилотаже серьёзную статистику и делать выводы о гипотезе. Выборка 5–15 человек для этого мала; статистику считают на основном этапе.
• Брать случайных людей не из своей среды. Школьники не выявят проблемы анкеты для тренеров.
• Путать пилотаж с проверкой валидности и надёжности. Это связано, но не одно и то же — глубокую психометрику смотрите в статье «Валидность и надёжность методики».

Частые вопросы

Обязателен ли пилотаж в дипломе?

Если вы используете готовую, стандартизированную методику с известными нормами — пилотаж можно не проводить, достаточно сослаться на её апробацию. Но если вы составили свою анкету или адаптировали процедуру — пилотаж практически обязателен, и научный руководитель почти наверняка про него спросит.

Чем пилотаж отличается от апробации?

Пилотаж — это ваша внутренняя проверка инструмента перед сбором данных. Апробация методики — более широкая процедура (часто многоэтапная), в ходе которой методику проверяют на больших выборках, считают нормы, валидность и надёжность. Пилотаж можно считать первым маленьким шагом в эту сторону.

Можно ли считать статистику по пилотажным данным?

Описательную — можно (средние, разброс), чтобы увидеть, «дышит» ли шкала. А вот критерии различий и связей (Стьюдент, корреляции) на 5–15 наблюдениях дают неустойчивый результат — выводы по ним в диплом не выносят. Серьёзные расчёты оставьте на основной этап.

Сколько всё-таки человек — минимум?

Для анкеты рабочий минимум — около 5–7 человек, чтобы хотя бы поймать явно непонятные пункты. Комфортный объём — 10–15. Для проверки процедуры эксперимента иногда хватает 3–5 «прогонов».

Нужно ли пилотаж проводить, если методика взята из учебника?

Если методика стандартная и вы ничего в ней не меняете — нет. Но стоит провести мини-проверку процедуры (успеваете ли по времени, понятна ли инструкция вашему контингенту), особенно если работаете с детьми или спортсменами в полевых условиях.

Короткий алгоритм

1. Возьмите 5–15 человек, похожих на основную выборку (но не из неё).
2. Проведите процедуру «как по-настоящему», засеките время.
3. Зафиксируйте: непонятные пункты, сбои, реальное время заполнения.
4. Прикиньте разброс ответов в описательной статистике, при необходимости — α Кронбаха.
5. Внесите правки в анкету и процедуру.
6. Опишите в дипломе одним абзацем: сколько, что проверяли, что нашли, что исправили.

Что ещё почитать

• Как составить анкету — собрать рабочий опросник, который пройдёт пилотаж с минимумом правок.
• Валидность и надёжность методики — следующий уровень проверки инструмента после пилотажа.
• Педагогический эксперимент: КГ и ЭГ — как устроено основное исследование с контрольной и экспериментальной группами.
• Калькулятор описательной статистики — посмотреть разброс пилотажных ответов.
• Альфа Кронбаха — прикинуть согласованность пунктов шкалы.

Не уверены, готова ли ваша методика к основному сбору данных, — загляните в базу методов или закажите консультацию: поможем спланировать пилотаж и грамотно описать его в дипломе.