Психометрические характеристики

Методика была разработана 2020 году компанией «ЮЭЙ-ТЕСТ» при участии Юлии Ткаченко — авторки и разработчицы методики.

Что измеряет?

Методика измеряет 4 группы показателей.

Мягкие навыки, необходимые для изучения нового и профессиональной реализации. К ним относятся базовые компетентности (такие, как критическое мышление, осознанность, решение проблем и другие), социальные компетентности, способность к изменениям и проактивность.

Профессиональные направленности — интересы и склонности к различным сферам профессиональной деятельности.

Личностные характеристики — общие черты, которые влияют на формирование и проявление профессиональных интересов и склонностей, мягких навыков.

Дополнительные показатели — информационно-цифровая компетентность (умение безопасно использовать веб-ресурсы для решения проблем) и субъективное благополучие — общий уровень внутреннего благополучия, благоприятность социальной среды и отношение к себе.

Из чего состоит?

Методика состоит из 19 базовых показателей (шкал) и 13 дополнительных показателей (подшкал). Всего содержит 212 пункта — элемента оценивания (утверждения для самооценки, элементы практических задач).

Этапы разработки

Предварительное исследование и выбор элементов оценки

Авторами методики были исследованы существующие подходы и тенденции в сфере школьного оценивания, профориентации, изменений на рынке труда, прогнозов развития занятости будущего.

В разработке тестирования «СТАЖЕРЫ» авторы опирались на идеи, заложенные в модель компетенций и Программу международного оценивания учащихся (PISA) от Организации экономического сотрудничества и развития (OECD), модель будущей занятости от Всемирного экономического форума категории профессиональной информации от Профессиональной информационной сети (O*NET), модель рабочих навыков будущего от института будущего (IFTF) и Научно-исследовательского института университета Феникса.

Дополнительно проводился полуструктурированный опрос родителей учеников и работников учебных заведений для выявления основных убеждений о будущем рынка труда, профориентации, роль мягких навыков и проблем, с которыми они сталкиваются в понимании склонностей, интересов и компетенций детей.

На этом этапе были определены основные блоки оценки: мягкие навыки и общие компетентности, личностные черты и профессиональные направленности. Поскольку именно сочетание этих блоков позволяет оценить полную картину склонностей и интересов, умений и характеристик. Использование этих разрезов позволяет строить будущий профессиональный выбор на комплексном понимании личности в соответствии с идеями непрерывного обучения в течение жизни.

Продолжительность этого этапа составляла около 4 месяцев.

Разработка прототипа измерения

На этом этапе исследовались существующие инструменты оценки мягких навыков, базовых компетенций, личностных черт и профессиональных устремлений, различные подходы к оценке.

В частности исследовались теории личностных черт Большой пятерки, соответствия личности и среды Голланда, существующие профориентационные инструменты.

Исследовались возможности субъективной и объективной оценки различных показателей (субъективное самооценивание респондентом себя по определенному параметру и объективная оценка проявления этого параметра) для более комплексного измерения.

На этом этапе был разработан первый вариант методики, который включал 23 основных показателя (шкалы), 45 дополнительных показателей (подшкал) и 304 элемента измерения (пункты).

Продолжительность этапа — 6 месяцев.

Пилотное исследование

Пилотное исследование проходило в 2 этапа. К нему было привлечено 1 542 учащихся 8–11 классов из 43 школ из разных регионов Украины.

На первом этапе школьники проходили прототип тестирования.

На втором этапе они проходили ряд уже существующих тестов: профориентационный пакет тестов «Магелано Университет», опросник самонаправленного поиска Голланда SDS-5 * и Личностный опросник «Большая пятерка»*. Эти тестирования являются адаптированными для Украины в соответствии с требованиями Международной тестовой комиссии.

* эти методики были адаптированы для взрослых, впрочем авторами было принято решение использовать их на данном этапе исследования, поскольку в Украине нет адаптированных в соответствии с требованиями Международной тестовой комиссии аналогов для подростков; а также результаты использовались для исследования связей, корреляций, а не для анализа уровней проявления характеристик (для которого нужна дополнительная адаптация методик для подростков).

Продолжительность обоих этапов — 9 месяцев.

Статистический анализ и обновление методики «СТАЖЕРЫ»

На этом этапе оценивались психометрические характеристики прототипа теста (согласованность шкал, факторизация, корреляции) для оценки надежности и внутренней валидности, соответствия теоретической модели данным; и связи показателей прототипа методики с результатами существующих, адаптированных методик для оценки внешней конструктной валидности.

По результатам (подробнее приведены ниже), было пересмотрено прототип методики, обновлено пункты (элементы оценки, задачи), шкалы. В частности по методике были исключены задачи, которые имели слабую связь с другими задачами соответствующих шкал или отрицательную корреляцию с близкими по смыслу шкалами существующих методик, и исключено подшкалы, которые имели неудовлетворительную согласованность (например, подшкалам «Осознанность в когнитивный сфере») или пункты которые группировались в подшкалы по результатам факторного анализа (например, индивидуальное и коллективное решение проблем).

Продолжительность этапа — 2 месяца.

Повторное исследование и нормирование

На этом этапе учащиеся повторно проходили тестирование обновленным вариантом методики.

В финальную выборку нормирования вошло 684 человека. Параллельные нормы созданы для 4 групп: по полу (юноши и девушки) и по возрастным группам (младшая группа 8–9 класс обучения и старшая — 10–11 класс). Во второй половине 2021 запланировано обновление норм с расширением выборки нормирования.

Дополнительно ученики опрашивались по удобству работы с интерфейсом методики «СТАЖЕРЫ».

Повторно оценивались психометрические характеристики (согласованность шкал, факторизация), исследовалась значимость различий между разными группами по возрасту и полу, создавалось нормирование (подсчитывались средние значения и стандартные отклонения по шкалам для различных групп).

Надежность методики

Определялась по показателю внутренней согласованности шкал α Cronbach’s.

Показатели методики «СТАЖЕРЫ»

α Cronbach’s

Кол-во
пунктов

Осознанность

0,653

5

Критическое мышление

0,582

18

Когнитивная гибкость

−*

15

Экстраверсия

0,724

5

Добро­желательность

0, 747

5

Ответственность

0, 756

5

Эмоциональная стабильность

0,715

5

Открытость к новому

0,763

5

Субъективное благополучие

0,889

25

Информационно-цифровая компетентность

0,659

7

Решение проблем

0,660

14

Эмоциональная компетентность

0,633

26

Толерантность к неопределенности

0, 640

13

Реалистическая направленность

0,758

11

Исследовательская направленность

0,767

11

Художественная направленность

0,800

11

Социальная направленность

0,780

11

Предпринимательская направленность

0,702

11

Конвенциональная направленность

0,694

11

* Не указано показатель α Cronbach’s для показателя «Когнитивная гибкость», поскольку в нем использованы задания на сортировку подобные (но не идентичны) к Висконсинтскому тесту сортировки карточек. В данном типе заданий показатель α Cronbach’s не является целесообразным.

Границы α Cronbach’s варьируются от условно удовлетворительных до высоких.

По ряду шкал абсолютный показатель ниже эталонного (0,700), что связано с небольшим количеством пунктов в ряде шкал. Авторами было принято решение включить в финальную версию шкалы с небольшим количеством пунктов для уменьшения фактора усталости во время тестирования.

Также в ряде шкал достаточно разнонаправленные задания. Например, в шкале «Решение проблем» есть подшкала субъективной самооценки (самоописание) и подшкала «результативности» (правильность решения практических задач). Сюда также относятся шкалы: эмоциональная компетентность, толерантность к неопределенности.

И допустимо некоторое снижение показателя α Cronbach’s в субтестах связанных с решением прикладных задач (как задание на критическое мышление или правильность решения задач), поскольку очень высокая согласованность может влиять на снижение дискриминативности заданий. То есть означать, что все задания являются одного уровня сложности, отсутствуют задания легче или сложного уровня, которые под силу неодинаковой пропорции людей.

Валидность методики

Валидность исследовалась в несколько этапов, в частности исследовалась конструктная валидность путем эксплораторного факторного анализа результатов тестирования прототипом методики и финальной версией. Ниже приводятся показатели для финальной версии тестирования.

Факторный анализ проводился методом Главных компонент с использованием вращения Варимакс с нормализацией Кайзера. Были исключены подшкалы, вопросы которых не выделялись в отдельный фактор (например, была исключена подшкала «Осознанность в когнитивной сфере»). В финальную версию вошли подшкалы, пункты которые группировались в отдельные факторы, с достаточным показателем степени адекватности выборки Кайзера-Мейера-Олкина.

Коэффициент корреляции Пирсона для результатов методики «СТАЖЕРЫ» и соответствующих шкал опросника «Большая пятерка»

Показатель методики «СТАЖЕРЫ»

Показатель Опросника «Большая пятерка»

Коэффициент
корреляции
Пирсона

Уровень
значимости
корреляции

Энергичность

Энергичность

0,638

0,01

Активность

0,622

0,01

Конкурентность

0,520

0,01

Добро­желательность

Эмпатия

0,375

0,05

Ответственность

Добросовестность

0,730

0,01

Скурпулезность

0,642

0,01

Настойчивость

0,568

0,01

Эмоциональная стабильность

Эмоциональная стабильность

0,653

0,01

Эмоциональная стойкость

0,676

0,01

Выдержка

0,590

0,01

Открытость к новому

Показатели свидетельствуют о достаточно выраженной корреляции между результатами двух методик, то есть шкалы методики «СТАЖЕРЫ», оценивают те же конструкты, что и опросник «Большая пятерка».

Менее выраженная корреляция наблюдается за фактором доброжелательности/общительности. Отсутствует значимая связь между шкалой методики «СТАЖЕРЫ» Добро­желательность и шкалой «Большой пятерки» Общительность. В то же время, наблюдается умеренная связь с подшкалой «Большой пятерки» «Эмпатия», что указывает на то, что основной фокус показателя Добро­желательность методики «СТАЖЕРЫ» на внутренней ориентации больше, чем на навыках и внешних проявлениях.

Отсутствие значимых достоверных корреляций со шкалами «Открытости к новому» авторы связывают с не адаптированностью методики «Большой пятерки» для подростков: именно эта шкала может иметь более нерелевантные для подростков вопросы (просмотр телепередач, чтение монографий и т. п.).

Коэффициенты корреляции Пирсона между показателями блока направленностей методики «СТАЖЕРЫ» и Опросника самонаправленного поиска SDS-5

Показатель методики «СТАЖЕРЫ»

Показатель опросника самонаправленного поиска SDS-5

Коэффициент
корреляции
Пирсона

Уровень
значимости
корреляции

Реалистическая направленность «СТАЖЕРЫ»

Общий показатель Реалистического типа

0,455

0,01

Субтест Занятия Реалистического типа

0,426

0,05

Субтест Профессии Реалистического типа

0,412

0,05

Исследовательская направленность «СТАЖЕРЫ»

Общий показатель Исследовательского типа

0,595

0,01

Субтест Занятие Исследовательского

0,584

0,01

Субтест Профессии Исследовательского типа

0,379

0,05

Субтест Самооценка 1 Исследовательского

0,448

0,01

Субтест Самооценка 2 Исследовательского типа

0,373

0,05

Художественная направленность «СТАЖЕРЫ»

Общий показатель Художественного типа

0,847

0,01

Субтест Занятия Художественного типа

0,799

0,01

Субтест Компетенции Художественного типа

0,658

0,01

Субтест Профессии Художественного типа

0,852

0,01

Субтест Самооценка 1 Художественного типа

0,780

0,01

Субтест Самооценка 2 Художественного типа

0,534

0,05

Социальная направленность «СТАЖЕРЫ»

Субтест Профессии Социального типа

0,470

0,01

Предпринимательская направленность «СТАЖЕРЫ»

Общий показатель Предпринимательского типа

0,681

0,01

Субтест Занятия Предпринимательского типа

0,723

0,01

Субтест Компетенции Предпринимательского типа

0,563

0,01

Субтест Профессии Предпринимательского типа

0,532

0,01

Субтест Самооценка 1 Предпринимательского типа

0,385

0,05

Субтест Самооценка 2 Предпринимательского типа

0,667

0,05

Конвенциональная направленность «СТАЖЕРЫ»

Субтест Занятия Конвенционального типа

0,364

0,05

Все характеристики блока направленностей методики «СТАЖЕРЫ» соединены с выраженностью типов Голланда по методике SDS-5. Различные направления имеют разное количество и силу связей, поскольку методика SDS-5 не была адаптирована для подростков, поэтому может не в полной мере отражать деятельности, интересы, профессии, актуальные для современных подростков.

Коэффициенты корреляции Пирсона между показателями методики «СТАЖЕРЫ» и показателями профориентационного пакета тестов «Магелано Университет»

Показатель методики «СТАЖЕРЫ»

Показатель «Магелано Университет»

Коэффициент
корреляции
Пирсона

Уровень
значимости
корреляции

Осознанность

Самоопределение

0,385

0,05

Критическое мышление

Общий фактор (способности)

0,493

0,01

Гибкость мышления

0,396

0,05

Вербальное критическое мышление

Вербальные способности

0,345

0,05

Понимание текста

0,473

0,01

Абстрактное критическое мышление

Абстрактное мышление

0,469

0,01

Пространственные способности

0,353

0,05


Реалистичная направленность

Технико-механический профессиональный интерес

0,439

0,01

Механические виды деятельности

0,373

0,05

Социально-психологический культурный интерес

0,379 *

0,05

Художественная направленность

Технико-механический профессиональный интерес

−0,537 *

0,01

Технико-научный профессиональный интерес

−0,478 *

0,01

Механические виды деятельности

−0,522 *

0,01


Конвенциональная направленность

Административный профессиональный интерес

0,394

0,05

Юридический профессиональный интерес

0,410

0,05

Результативность при решении проблем

Анализ и отбор информации

0,432

0,01

Самоконтроль эффективности обучения

0,336

0,05

* Обратная корреляция свидетельствует об обратной связи показателей, приводимых для тех показателей, которые в соответствии с теорией Голланда являются разнонаправленными (наименее близкими).

Результаты показывают близость ряда конструктов методики «СТАЖЕРЫ» и пакета тестов «Магелано Университет».

Не между всеми близкими по содержанию показателями имеются значимые корреляции. Например, социальная направленность («СТАЖЕРЫ») и Виды деятельности, связанные с общением («Магелано Университет»), предпринимательская направленность («СТАЖЕРЫ») и Коммерческий профессиональный интерес («Магелано Университет»). Поскольку профессиональные направленности в методике «СТАЖЕР» строились на основе идей теории Голланда, то более важными по этим показателям являются взаимосвязи с результатами методики Самонаправленного поиска SDS-5.

Статистические данные указывают на достаточную надежность и конструктную валидность профориентационной методики «СТАЖЕРЫ», результаты которой согласуются с результатами адаптированных для Украины профориентационных методик и личностных опросников. Методика «СТАЖЕРЫ» является подходящим и достоверным инструментом для оценки профессиональных направленностей, личностных характеристик и компетентностей подростков.