Психометричні характеристики

Методика була розроблена 2020 року компанією «ЮЕЙ-ТЕСТ» за участі Юлії Ткаченко — авторки та розробниці методики.

Що вимірює?

Методика вимірює 4 групи показників.

М’які навички, необхідні для опановування нового та професійної реалізації. До них входять базові компетентності (такі як критичне мислення, усвідомленість, вирішення проблем та інші), соціальні компетентності, здатність до змін та проактивність.

Професійні спрямованості — інтереси та схильності до різних сфер професійної діяльності.

Особистісні характеристики — загальні риси, які впливають на формування та проявлення професійних інтересів та схильностей, м’яких навичок.

Додаткові показники — інформаційно-цифрова компетентність (вміння безпечно використовувати веб-ресурси для вирішення проблем) та суб’єктивне благополуччя — загальний рівень внутрішнього добробуту, сприятливість соціального середовища та самоставлення.

З чого складається?

Методика складається з 19 базових показників (шкал) та 13 додаткових показників (підшкал). Усього містить 212 пункти — елементи оцінювання (твердження для самооцінювання, елементи практичних завдань).

Етапи розробки

Попереднє дослідження та вибір елементів оцінювання

Авторами методики було досліджено існуючі підходи й тенденції у сфері шкільного оцінювання, профорієнтації, змін на ринку праці, прогнозів розвитку зайнятості майбутнього. В розробці тестування «СТАЖЕРИ» автори спиралися на ідеї, закладені у модель компетенцій і Програму міжнародного оцінювання учнів (PISA) від Організації економічного співробітництва та розвитку (OECD), модель майбутньої зайнятості від Всесвітнього економічного форуму, категорії професійної інформації від Професійної інформаційної мережі (O*NET), модель робочих навичок майбутнього від Інституту майбутнього (IFTF) та Науково-дослідного інституту університету Фенікса.

Додатково проводилося напівструктуроване опитування батьків учнів та працівників закладів освіти для виявлення основних переконань про майбутнє ринку праці, профорієнтації, роль м’яких навичок та проблем, з якими вони стикаються в розумінні схильностей, інтересів та компетенцій дітей.

На цьому етапі було визначено основні блоки оцінювання: м’які навички та загальні компетентності, особистісні риси та професійні спрямованості. Оскільки саме поєднання цих блоків дозволяє оцінити повнішу картину схильностей та інтересів, вмінь та характеристик. Використання цих розрізів дозволяє будувати майбутній професійний вибір на комплексному розумінні особистості відповідно до ідей безперервного навчання протягом життя.

Тривалість цього етапу складала близько 4 місяців.

Розробка прототипу вимірювання

На цьому етапі досліджувалися існуючі інструменти оцінювання м’яких навичок, базових компетенцій, особистісних рис та професійних спрямованостей, різні підходи до оцінювання.

Зокрема досліджувалися теорії особистісних рис Великої п’ятірки, відповідності особистості та середовища Голланда, існуючі профорієнтаційні інструменти.

Досліджувалися можливості суб’єктивної та об’єктивної оцінки різних показників (суб’єктивне самооцінювання респондентом себе за певним параметром та об’єктивна оцінка прояву цього параметру) для більш комплексного вимірювання.

На цьому етапі було розроблено перший варіант методики, який включав 23 основні показники (шкали), 45 додаткових показників (підшкал) та 304 елементи вимірювання (пункти).

Тривалість етапу — 6 місяців.

Пілотне дослідження

Пілотне дослідження проходило у 2 етапи. До нього було залучено 1 542 учнів 8–11 класів з 43 шкіл з різних регіонів України.

На першому етапі школярі проходили прототип тестування.

На другому етапі вони проходили ряд уже існуючих тестувань: профорієнтаційний пакет тестів «Магелано Університет», Опитувальник самоспрямованого пошуку Голланда SDS-5 * та Особистісний опитувальник «Велика п’ятірка»*. Ці тестування є адаптованими для України згідно з вимогами Міжнародної тестової комісії.

* Ці методики було адаптовано для дорослих, втім авторами було прийнято рішення використовувати їх на даному етапі дослідження, оскільки в Україні не існує адаптованих відповідно до вимог Міжнародної тестової комісії аналогів для підлітків; а також результати використовувалися для дослідження зв’язків, кореляцій, а не для аналізу рівнів прояву характеристик (для якого потрібна додаткова адаптація методик для підлітків).

Тривалість обох етапів — 9 місяців.

Статистичний аналіз та оновлення методики «СТАЖЕРИ»

На цьому етапі оцінювалися психометричні характеристики прототипу тесту (узгодженість шкал, факторизація, кореляції) для оцінки надійності та внутрішньої валідності, відповідності теоретичної моделі даним; та зв’язки показників прототипу методики з результатами існуючих, адаптованих методик для оцінки зовнішньої конструктної валідності.

За результатами (детальніше наведені нижче), було переглянуто прототип методики, оновлено пункти (елементи оцінювання, завдання), шкали. Зокрема з методики було виключені завдання, які мали слабкий зв’язок з іншими завданнями відповідних шкал або негативну кореляцію з близькими за змістом шкалами існуючих методик, та виключено підшкали, які мали незадовільну узгодженість (наприклад, підшкала «Усвідомленість у когнітивний сфері») або пункти яких не групувалися у підшкали за результатами факторного аналізу (наприклад, індивідуальне та колективне рішення проблем).

Тривалість етапу — 2 місяці.

Повторне дослідження та нормування

На цьому етапі учні повторно проходили тестування оновленим варіантом методики.

До фінальної вибірки нормування увійшло 684 людини. Паралельні норми створені для 4 груп: за статтю (хлопці та дівчата) та за віковими групами (молодша група 8–9 клас навчання та старша — 10–11 клас). У другій половині 2021 року заплановано оновлення норм з розширенням вибірки нормування.

Додатково учні опитувалися щодо зручності роботи з інтерфейсом методики «СТАЖЕРИ».

Повторно оцінювалися психометричні характеристики (узгодженість шкал, факторизація), досліджувалася значимість відмінностей між різними групами за віком та статтю, створювалося нормування (підраховувалися середні значення та стандартні відхилення за шкалами для різних груп).

Надійність методики

Визначалася за показником внутрішньої узгодженості шкал α Cronbach’s.

* Не зазначено показник α Cronbach’s для показника «Когнітивна гнучкість», оскільки в ньому використані завдання на сортування подібні (але не ідентичні) до Вісконсинтського тесту сортування карток. В даному типі завдань показник α Cronbach’s не є доцільним.

Межі α Cronbach’s варіюються від умовно задовільних до високих.

За рядом шкал абсолютний показник є нижчим за еталонний (0,700), що пов’язано з невеликою кількістю пунктів у ряді шкал. Авторами було прийнято рішення включити у фінальну версію шкали з невеликою кількістю пунктів для зменшення фактору втоми під час тестування.

Також в ряді шкал є досить різноспрямовані завдання. Наприклад, у шкалі «Вирішення проблем» є підшкала суб’єктивної самооцінки (самоопис) та підшкала «Результативності» (правильність вирішення практичних завдань). Сюди також відносяться шкали: емоційна компетентність, толерантність до невизначеності.

Та допустиме певне зниження показника α Cronbach’s в субтестах пов’язаних з вирішенням прикладних задач (як завдання на критичне мислення чи правильність вирішення задач), оскільки дуже виска узгодженість може впливати на зниження дискримінативності завдань. Тобто означати, що усі завдання є одного рівня складності, відсутні завдання легшого чи складнішого рівня, які під силу не однаковій пропорції людей.

Валідність методики

Валідність досліджувалася в кілька етапів, зокрема досліджувалася конструктна валідність шляхом експлораторного факторного аналізу результатів тестування прототипом методики та фінальною версією. Нижче наводяться показники для фінальної версії тестування.

Факторний аналіз проводився методом Головних компонент з використанням обертання Варімакс з нормалізацією Кайзера. Були виключені підшкали, питання яких не виділялися в окремий фактор (наприклад, була виключена підшкала «Усвідомленість у когнітивній сфері»). У фінальну версію ввійшли підшкали, пункти яких групувалися в окремі фактори, з достатнім показником міри адекватності вибірки Кайзера-Мейера-Олкіна.

Інший розріз конструктної валідності досліджувався шляхом порівняння результатів за прототипом та за фінальною версією методики «СТАЖЕРИ» з результатами за уже існуючими методиками: профорієнтаційним пакетом тестів «Магелано Університет», Опитувальником самоспрямованого пошуку Голланда SDS-5 та Особистісним опитувальником «Велика п’ятірка». Нижче наводяться показники для фінальної версії методики «СТАЖЕРИ».

Коефіцієнт кореляції Пірсона для результатів методики «СТАЖЕРИ» та відповідних шкал опитувальника «Велика п’ятірка»

Показники свідчать про достатньо виражену кореляцію між результатами двох методик, тобто шкали методики «СТАЖЕРИ», оцінюють ті ж конструкти, що і опитувальник «Велика п’ятірка».

Менш виражена кореляція спостерігається за фактором доброзичливості/товариськості. Відсутній значимий зв’язок між шкалою методики «СТАЖЕРИ» Доброзичливість та шкалою «Великої п’ятірки» Товариськість. Водночас простежується помірний зв’язок з підшкалою «Великої п’ятірки» «Емпатія», що вказує на те, що основний фокус показника Доброзичливість методики «СТАЖЕРИ» на внутрішній орієнтації, аніж на навичках та зовнішніх проявах.

Відсутність значимих достовірних кореляцій зі шкалами «Відкритості нового» автори пов’язують з не адаптованістю методики «Великої п’ятірки» для підлітків: саме ця шкала може мати більше нерелевантних для підлітків питань (про перегляд телепередач, читання монографій тощо).

Коефіцієнти кореляції Пірсона між показниками блоку спрямованостей методики «СТАЖЕРИ» та Опитувальника самоспрямованого пошуку SDS-5

Усі показники блоку спрямованостей методики «СТАЖЕРИ» пов’язані з вираженістю типів Голланда за методикою SDS-5. Різні спрямованості мають різну кількість та силу зв’язків, оскільки методика SDS-5 не була адаптована для підлітків, тому може не повною мірою відображати діяльності, інтереси, професії, які є актуальні для сучасних підлітків.

Коефіцієнти кореляції Пірсона між показниками методики «СТАЖЕРИ» та показниками профорієнтаційного пакету тестів «Магелано Університет»

* Обернена кореляція свідчить про зворотній зв’язок показників, наводиться для тих показників, які відповідно до теорії Голланда є різнонаправленими (найменш близькими).

Результати показують близькість ряду конструктів методики «СТАЖЕРИ» та пакету тестів «Магелано Університет».

Не між усіма близькими за змістом показниками наявні значимі кореляції. Наприклад, соціальна спрямованість («СТАЖЕРИ») та Види діяльності, пов’язані зі спілкуванням («Магелано Університет»), підприємницька спрямованість («СТАЖЕРИ») та Комерційний професійний інтерес («Магелано Університет»). Оскільки професійні спрямованості в методиці «СТАЖЕРИ» будувалися на основі ідей теорії Голланда, то більш важливими за цими показниками є взаємозв’язки з результатами методики Самоспрямованого пошуку SDS-5.

Статистичні дані вказують на достатню надійність та конструктну валідність профорієнтаційної методики «СТАЖЕРИ», результати якої узгоджуються з результатами адаптованих для України профорієнтаційних методик та особистісних опитувальників. Методика «СТАЖЕРИ» є відповідним та достовірним інструментом для оцінки професійних спрямованостей, особистісних характеристик та компетентностей підлітків.