Психометрические характеристики

Методика была разработана 2020 году компанией «ЮЭЙ-ТЕСТ» при участии Юлии Ткаченко — авторки и разработчицы методики.

Что измеряет?

Методика измеряет 4 группы показателей.

Мягкие навыки, необходимые для изучения нового и профессиональной реализации. К ним относятся базовые компетентности (такие, как критическое мышление, осознанность, решение проблем и другие), социальные компетентности, способность к изменениям и проактивность.

Профессиональные направленности — интересы и склонности к различным сферам профессиональной деятельности.

Личностные характеристики — общие черты, которые влияют на формирование и проявление профессиональных интересов и склонностей, мягких навыков.

Дополнительные показатели — информационно-цифровая компетентность (умение безопасно использовать веб-ресурсы для решения проблем) и субъективное благополучие — общий уровень внутреннего благополучия, благоприятность социальной среды и отношение к себе.

Из чего состоит?

Методика состоит из 19 базовых показателей (шкал) и 13 дополнительных показателей (подшкал). Всего содержит 212 пункта — элемента оценивания (утверждения для самооценки, элементы практических задач).

Этапы разработки

Предварительное исследование и выбор элементов оценки

Авторами методики были исследованы существующие подходы и тенденции в сфере школьного оценивания, профориентации, изменений на рынке труда, прогнозов развития занятости будущего.

В разработке тестирования «СТАЖЕРЫ» авторы опирались на идеи, заложенные в модель компетенций и Программу международного оценивания учащихся (PISA) от Организации экономического сотрудничества и развития (OECD), модель будущей занятости от Всемирного экономического форума категории профессиональной информации от Профессиональной информационной сети (O*NET), модель рабочих навыков будущего от института будущего (IFTF) и Научно-исследовательского института университета Феникса.

Дополнительно проводился полуструктурированный опрос родителей учеников и работников учебных заведений для выявления основных убеждений о будущем рынка труда, профориентации, роль мягких навыков и проблем, с которыми они сталкиваются в понимании склонностей, интересов и компетенций детей.

На этом этапе были определены основные блоки оценки: мягкие навыки и общие компетентности, личностные черты и профессиональные направленности. Поскольку именно сочетание этих блоков позволяет оценить полную картину склонностей и интересов, умений и характеристик. Использование этих разрезов позволяет строить будущий профессиональный выбор на комплексном понимании личности в соответствии с идеями непрерывного обучения в течение жизни.

Продолжительность этого этапа составляла около 4 месяцев.

Разработка прототипа измерения

На этом этапе исследовались существующие инструменты оценки мягких навыков, базовых компетенций, личностных черт и профессиональных устремлений, различные подходы к оценке.

В частности исследовались теории личностных черт Большой пятерки, соответствия личности и среды Голланда, существующие профориентационные инструменты.

Исследовались возможности субъективной и объективной оценки различных показателей (субъективное самооценивание респондентом себя по определенному параметру и объективная оценка проявления этого параметра) для более комплексного измерения.

На этом этапе был разработан первый вариант методики, который включал 23 основных показателя (шкалы), 45 дополнительных показателей (подшкал) и 304 элемента измерения (пункты).

Продолжительность этапа — 6 месяцев.

Пилотное исследование

Пилотное исследование проходило в 2 этапа. К нему было привлечено 1 542 учащихся 8–11 классов из 43 школ из разных регионов Украины.

На первом этапе школьники проходили прототип тестирования.

На втором этапе они проходили ряд уже существующих тестов: профориентационный пакет тестов «Магелано Университет», опросник самонаправленного поиска Голланда SDS-5 * и Личностный опросник «Большая пятерка»*. Эти тестирования являются адаптированными для Украины в соответствии с требованиями Международной тестовой комиссии.

* эти методики были адаптированы для взрослых, впрочем авторами было принято решение использовать их на данном этапе исследования, поскольку в Украине нет адаптированных в соответствии с требованиями Международной тестовой комиссии аналогов для подростков; а также результаты использовались для исследования связей, корреляций, а не для анализа уровней проявления характеристик (для которого нужна дополнительная адаптация методик для подростков).

Продолжительность обоих этапов — 9 месяцев.

Статистический анализ и обновление методики «СТАЖЕРЫ»

На этом этапе оценивались психометрические характеристики прототипа теста (согласованность шкал, факторизация, корреляции) для оценки надежности и внутренней валидности, соответствия теоретической модели данным; и связи показателей прототипа методики с результатами существующих, адаптированных методик для оценки внешней конструктной валидности.

По результатам (подробнее приведены ниже), было пересмотрено прототип методики, обновлено пункты (элементы оценки, задачи), шкалы. В частности по методике были исключены задачи, которые имели слабую связь с другими задачами соответствующих шкал или отрицательную корреляцию с близкими по смыслу шкалами существующих методик, и исключено подшкалы, которые имели неудовлетворительную согласованность (например, подшкалам «Осознанность в когнитивный сфере») или пункты которые группировались в подшкалы по результатам факторного анализа (например, индивидуальное и коллективное решение проблем).

Продолжительность этапа — 2 месяца.

Повторное исследование и нормирование

На этом этапе учащиеся повторно проходили тестирование обновленным вариантом методики.

В финальную выборку нормирования вошло 684 человека. Параллельные нормы созданы для 4 групп: по полу (юноши и девушки) и по возрастным группам (младшая группа 8–9 класс обучения и старшая — 10–11 класс). Во второй половине 2021 запланировано обновление норм с расширением выборки нормирования.

Дополнительно ученики опрашивались по удобству работы с интерфейсом методики «СТАЖЕРЫ».

Повторно оценивались психометрические характеристики (согласованность шкал, факторизация), исследовалась значимость различий между разными группами по возрасту и полу, создавалось нормирование (подсчитывались средние значения и стандартные отклонения по шкалам для различных групп).

Надежность методики

Определялась по показателю внутренней согласованности шкал α Cronbach’s.

* Не указано показатель α Cronbach’s для показателя «Когнитивная гибкость», поскольку в нем использованы задания на сортировку подобные (но не идентичны) к Висконсинтскому тесту сортировки карточек. В данном типе заданий показатель α Cronbach’s не является целесообразным.

Границы α Cronbach’s варьируются от условно удовлетворительных до высоких.

По ряду шкал абсолютный показатель ниже эталонного (0,700), что связано с небольшим количеством пунктов в ряде шкал. Авторами было принято решение включить в финальную версию шкалы с небольшим количеством пунктов для уменьшения фактора усталости во время тестирования.

Также в ряде шкал достаточно разнонаправленные задания. Например, в шкале «Решение проблем» есть подшкала субъективной самооценки (самоописание) и подшкала «результативности» (правильность решения практических задач). Сюда также относятся шкалы: эмоциональная компетентность, толерантность к неопределенности.

И допустимо некоторое снижение показателя α Cronbach’s в субтестах связанных с решением прикладных задач (как задание на критическое мышление или правильность решения задач), поскольку очень высокая согласованность может влиять на снижение дискриминативности заданий. То есть означать, что все задания являются одного уровня сложности, отсутствуют задания легче или сложного уровня, которые под силу неодинаковой пропорции людей.

Валидность методики

Валидность исследовалась в несколько этапов, в частности исследовалась конструктная валидность путем эксплораторного факторного анализа результатов тестирования прототипом методики и финальной версией. Ниже приводятся показатели для финальной версии тестирования.

Факторный анализ проводился методом Главных компонент с использованием вращения Варимакс с нормализацией Кайзера. Были исключены подшкалы, вопросы которых не выделялись в отдельный фактор (например, была исключена подшкала «Осознанность в когнитивной сфере»). В финальную версию вошли подшкалы, пункты которые группировались в отдельные факторы, с достаточным показателем степени адекватности выборки Кайзера-Мейера-Олкина.

Коэффициент корреляции Пирсона для результатов методики «СТАЖЕРЫ» и соответствующих шкал опросника «Большая пятерка»

Показатели свидетельствуют о достаточно выраженной корреляции между результатами двух методик, то есть шкалы методики «СТАЖЕРЫ», оценивают те же конструкты, что и опросник «Большая пятерка».

Менее выраженная корреляция наблюдается за фактором доброжелательности/общительности. Отсутствует значимая связь между шкалой методики «СТАЖЕРЫ» Добро­желательность и шкалой «Большой пятерки» Общительность. В то же время, наблюдается умеренная связь с подшкалой «Большой пятерки» «Эмпатия», что указывает на то, что основной фокус показателя Добро­желательность методики «СТАЖЕРЫ» на внутренней ориентации больше, чем на навыках и внешних проявлениях.

Отсутствие значимых достоверных корреляций со шкалами «Открытости к новому» авторы связывают с не адаптированностью методики «Большой пятерки» для подростков: именно эта шкала может иметь более нерелевантные для подростков вопросы (просмотр телепередач, чтение монографий и т. п.).

Коэффициенты корреляции Пирсона между показателями блока направленностей методики «СТАЖЕРЫ» и Опросника самонаправленного поиска SDS-5

Все характеристики блока направленностей методики «СТАЖЕРЫ» соединены с выраженностью типов Голланда по методике SDS-5. Различные направления имеют разное количество и силу связей, поскольку методика SDS-5 не была адаптирована для подростков, поэтому может не в полной мере отражать деятельности, интересы, профессии, актуальные для современных подростков.

Коэффициенты корреляции Пирсона между показателями методики «СТАЖЕРЫ» и показателями профориентационного пакета тестов «Магелано Университет»

* Обратная корреляция свидетельствует об обратной связи показателей, приводимых для тех показателей, которые в соответствии с теорией Голланда являются разнонаправленными (наименее близкими).

Результаты показывают близость ряда конструктов методики «СТАЖЕРЫ» и пакета тестов «Магелано Университет».

Не между всеми близкими по содержанию показателями имеются значимые корреляции. Например, социальная направленность («СТАЖЕРЫ») и Виды деятельности, связанные с общением («Магелано Университет»), предпринимательская направленность («СТАЖЕРЫ») и Коммерческий профессиональный интерес («Магелано Университет»). Поскольку профессиональные направленности в методике «СТАЖЕР» строились на основе идей теории Голланда, то более важными по этим показателям являются взаимосвязи с результатами методики Самонаправленного поиска SDS-5.

Статистические данные указывают на достаточную надежность и конструктную валидность профориентационной методики «СТАЖЕРЫ», результаты которой согласуются с результатами адаптированных для Украины профориентационных методик и личностных опросников. Методика «СТАЖЕРЫ» является подходящим и достоверным инструментом для оценки профессиональных направленностей, личностных характеристик и компетентностей подростков.