Отчет об адаптации теста благонадежности Веритас

Тест Веритас – это результат сотрудничества специалистов по дознанию и психометристов - конструкторов психологических тестов. Основной идеей создания теста был синтез преимуществ существующих на тот момент методик, преодоление их главного недостатка – социальной желательности – и применение технологий из сферы дознания и полиграфологии для извлечения максимума достоверной информации.

Первую валидацию тест прошел на этапах создания, в 2004 году. Результаты исследования на реальных кандидатах показали, что сам тест в сочетании с методами, применяемыми в нем, позволяет получить немалое количество признаний в краже, даче и принятии взяток, в отсутствии лояльности, в заведомой дезинформации работодателя и других недобросовестных действиях, в употреблении наркотиков и пр. Признания, получаемые с помощью тестирования, являются объекивным критерием его валидности.

Надежность шкал

Для оценки надежности каждой из шкал теста был рассчитан коэффициент альфа Кронбаха:

 

Параметр тестирования

Число элементов

Надежность (Alpha)

Лояльность

24

0.75

Порядочность

44

0.71

Кражи

53

0.74

Взятки

27

0.56

Наркотики

23

0.87

Алкоголь

12

0.83

Азартные игры

18

0.65

Агрессия

19

0.72

Домогательства

12

0.62

ИТ-нарушения

12

0.59

 

 

 

 

 

 

 

 

Данные значения показателя надежности более чем удовлетворительны, в особенности учитывая, что элементы, составляющие шкалы имеют весьма низкое значение разброса. Подобные результаты были получены в репликационном исследовании В. Аргаман 2012 года, а также в результате украинской адаптации в 2013.

Меры по снижению социальной желательности

В тесте применяются следующие методы для борьбы с явлением социальной желательности:

  • Автоматический переход от вопроса к вопросу и возможность вернуться для исправления только на один шаг назад - система позволяет исправление ошибок, но препятствует изучать свои ответы, чтобы преобразовать их в «желаемые».
  • Ограничение времени дачи ответа для каждого элемента – исследования показали, что давление временем ведет к более искренним ответам (напр.: Robieetal., 2000).
  • Преумножение пунктов –каждая шкала исследует поведение в различных ракурсах с помощью большого количества вопросов. Это осложняет формирование «идеального образа» и сохранение этого «идеального образа», не допустив противоречий в ответах.
  • Преумножение вариантов ответа – Например: в элементе «Крали ли Вы в прошлом?» даны варианты: никогда, один раз, два раза, несколько раз, много раз, очень много раз. При таком раскладе, легче признаться, в эпизодической краже на фоне злостного воровства. В случае, если есть только «да» и «нет», само по себе, напрашивается «нет».
  • Наличие стимуляций и «наводящих» вопросов – тест благонадежности построен с использованием техник и методик из сферы полиграфологии и дознания, направленных на то, чтобы указать тестируемому, какие ответы являются «благоразумными», а также на то, чтобы ввести его в определенный психологический модус.
  • Индекс социальной желательности – шкала социальной желательности.

В ходе исследования была проверена эффективность вышеописанных методов. В соответствии с полученными данными, с применением этих методов статистически значимо увеличилось количество признаний, т. е. было обнаружено больше потенциально неблагонадежных индивидов. Об эффективности методов также свидетельствовало статистически значимое снижение показателя социальной желательности, наблюдаемое с их применением.

Конвергентная и дискриминантная валидность

Для получения дополнительных свидетельств о валидности теста помимо получаемых признаний был использован метод конвергентной и дискриминантной валидации. Конвергентная валидация -это метод, при котором в доказательство валидности методики приводятся данные о том, что оценки, ею возвращаемые, коррелируют с оценками других методик, исследующих концептуально связанные явления. Дискриминантная валидация – это метод, при котором эмпирически демонстрируется отсутствие связи с явлениями, с которыми связи быть не должно. Приведение данных, подкрепляющих конвергентную и дискриминантную валидность одновременно, считается свидетельством конструктной валидности теста.

С целью приведения свидетельств конвергентной валидности, в исследовании была продемонстрирована связь оценок теста с индексом «добросовестности», измеряемом в тесте. Среди всех базовых шкал оценки личности, добросовестность более всех связана с благонадежностью и порядочностью, равно как и с эффективностью труда. Шкала добросовестности отражает тенденцию индивида контролировать свое поведение, способность к самодисциплине и ответственности. Была обнаружена статистически значимая корреляция оценок теста с оценками по шкале добросовестности, встроенной в тест, что и требовалось показать.

Дополнительным свидетельством конвергентной валидности можно считать взаимосвязанность шкал между собой. Все шкалы теста статистически значимо коррелируют между собой.  Это свидетельствует об общем для всех шкал факторе благонадежности, который определяет эту взаимосвязь. Более того, особо выраженной является связь между шкалами Лояльность, Порядочность и Кражи. Такая картина говорит о существовании двух факторов благонадежности, получившими название организационной и индивидуальной благонадежности. Такая интерпретация определяется тем, что три упомянутых шкалы исследуют поведение, напрямую наносящее вред организации, в то время, как другие шкалы, как например, Алкоголь и Наркотики, вредят в первую очередь самом индивиду, нарушая его способность работать, или ввергают его в жизненную ситуацию, предрасполагающую к неблагонадежному поведению по отношению к работодателю, как, например, Азартные игры.

В дальнейшем, с развитием новых шкал, к категории организационной благонадежности присоединится также шкала Агрессии. Результаты адаптационного исследования на украинской выборке свидетельствуют о том, что в украинской (но не в израильской) культуре к организационной благонадежности относится также шкала Взятки. Все это свидетельствует о конструктной валидности теста, поскольку распределение данных соответствует концепции о благонадежности, о поведении, вредящем интересам и благополучию работодателя, а также о культурных особенностях благонадежности в Украине.

Для дискриминантной валидации теста использовались показатели общего интеллекта, а также была продемонстрирована независимость оценок тестирования от уровня развития познавательных и мыслительных способностей. Во-первых, надо сказать, что удалось продемонстрировать полное отсутствие какой бы то ни было статистически значимой связи оценок тестирования с уровнем интеллекта, что подкрепляет гипотезу о валидности теста. Далее следует отметить, что независимость оценок от умственных способностей и развития интеллекта, говорит не только о валидности теста, но и о его хорошей способности выполнять свое назначение: даже если тестируемый умен и сообразителен, его шансы «обмануть» тест от этого не увеличиваются.

Конкурентная валидность

Для того, чтобы убедиться еще более в валидности теста, кроме конвергентной и дискриминантной валидации, были применены еще и другие методы исследования. В рамках отбора персонала, одновременно с тестированием, проводилось собеседование, целью которого было установить благонадежность кандидатов. Собеседование проводили опытные специалисты по дознанию, и результатом этого собеседования являлось заключение с рекомендацией о приеме или же об отказе в приеме на работу для данного конкретного кандидата. Из 85 человек, вошедших в выборку этого исследования, 69 человек успешно «прошли» собеседование, а 16 – «провалили» его (т. е. относительно них было выдано заключение с рекомендацией отказать в приеме наработу).

Оценки тестирования «успешно прошедших» и «заваливших» собеседование были сопоставлены между собой. Сравнение средних оценок у двух групп делалось при помощи t-критерия Стьюдента. В результате сравнения было обнаружено, что у группы «заваливших» собеседование, по результатам тестирования,  статистически достоверно обнаруживается более высокий риск к неблагонадежному поведению, нежели среди «успешно прошедших» собеседование.

В репликационном исследовании 2012 года, это исследование было воспроизведено. Проводилось тестирование и собеседование (заметим, что интервьюеры не знали о результатах тестирования ни в первом ни в этом исследовании), а результаты сравнивались. Во-первых, результаты предыдущего исследования получили подтверждение и снова была показана статистически значимая связь между заключениями интервью и оценками теста. А во-вторых, что интересно, не было ни одного случая, чтобы тест «пропустил» человека, который «завалил» собеседование. С другой стороны, 14% выборки попало в категорию «прошедших» собеседование, но «проваливших» тестирование. Veritas-I оказался более эффективным методом детекции потенциально неблагонадежных индивидуумов, чем профессиональное собеседование, проводимое специалистом по дознанию.

Прогностическая валидность

Вдобавок к этому, валидность теста увеличивается с каждой успешной репликацией, то есть повторением исследования с другими испытуемыми и, в случае успеха, получением сопоставимых результатов. В исследовании 2012 года были проведены те же сравнения (конвергентная и дискриминантная валидации, что и в исследовании 2004 года, и были получены результаты, сообразные с теми, что были получены в исследовании Сохера в 2004. К тому же, поскольку тест использовался на тот момент уже 8 лет, имелась возможность оценить его прогностическую валидность. Данный тип валидности является самым ценным, поскольку истинным назначением теста является прогноз вероятности неблагонадежного поведения в будущем.

Выборка для прогностической валидации состояла из работников крупной розничной сети, которые проходили опрос с использованием полиграфа в разные моменты времени в рамках своей работы в компании. Некоторые из этих служащих проходили прежде тест Veritas-I, а некоторые – нет. В связи с проблемами, свойственными методике опроса с использованием полиграфа (ОИП) как таковой, а также абстрагируясь от возможных личных перемен у самих работников, а также от возможных изменений в организации, было решено сосредоточиться на кражах в качестве основного индикатора прогностической валидности теста. То есть, за зависимую переменную был принят результат опроса с использованием полиграфа (ОИП) по вопросу, замешан ли он в кражах на работе. Данные были проанализированы двумя способами:

  • сравнение результатов ОИП между выборками работников, проходивших и не проходивших ранее тест Veritas-I. Если тест валиден, то среди тех работников, которые прошли в прошлом тест, должно быть меньше «проваливших» ОИП («причастность подтверждается»), нежели среди тех, кто тестирование не проходил;
  • сравнение результатов ОИП между выборками работников, получивших в свое время оценку 1 в тесте (низкий риск) и оценку 3 (высокий риск).Предполагается, что среди тех, у кого был обнаружен высокий риск к неблагонадежному поведению также будет больше «проваливших» ОИП («причастность подтверждается»).

Оба сравнительных анализа представлены на Рис. 1 и Рис. 2 соответственно.

АдаптацияТестаВеритас 01

Рис. 1. Результаты ОИП в процентах у работников, проходивших и не проходивших тестирование Veritas-I.

 

АдаптацияТестаВеритас 01

Рис. 2. Результаты ОИП в процентах с высоким и низким риском к контрпродуктивному поведению по результатам тестирования Veritas-I.

 

Из 88 работников, не проходивших ранее тест Веритас, 16 (18.2%) были причастны по результатам ОИП к кражам на рабочем месте, в то время, как из 32 работников, которые проходили Веритас и получили оценку 1, - только 3 (9.3%). Из полученных результатов видно, что использование тестирования Веритас позволило уменьшить численность работников компании, вовлеченных в кражи на 51%.

Кроме того, из данных, представленных на рис. 2, видно, что рутинный ОИП среди 7 работников, поступивших в компанию с оценкой 3, полученной в результате теста Веритас, обнаружил причастность к кражам на рабочем месте у 3-х, что составило 42%. Это по сравнению с 9.3% «причастных» среди прошедших тест и получивших оценку 1. Такие результаты подкрепляют гипотезу о прогностической валидности теста Веритас, как и ожидалось.

Адаптация для Украины

Адаптация теста для использования на украинском рынке – это тоже репликация предыдущих валидационных исследований. Но результаты, полученные в адаптационном исследовании свидетельствуют не только о валидности теста в целом, но и об эквивалентности русскоязычной версии своему прототипу. В следствие этого свидетельства валидности теста Веритас, полученные в 2004 и в 2012 года распространяются также и на русскоязычную версию.

В рамках адаптации использованы те же методы конвергентной и дискриминантной валидации, что и в предыдущих исследованиях 2004 и 2012 годов. Результаты, полученные на украинской выборке согласуются с более ранними исследованиями: была показана статистически значимая связь с индексом добросовестности, равно как и отсутствие связи и зависимости от уровня интеллекта. Следовательно, данные результаты также подкрепляют гипотезу о валидности теста в русском переводе.

Кроме того, как уже было сказано ранее, в данных украинской выборки (209 реальных кандидатов на различные должности) отражается особое значение, которое имеет взяточничество в нашей культуре. Это видно из анализа корреляционных матриц, называемого «Метод корреляционных плеяд Терентьева», где были выделены наиболее значимые корреляции между шкалами теста. Эти результаты свидетельствуют о том, что тест исследует благонадежность в украинской культуре соответственно тому, как она представлена в ней.

 

АдаптацияТестаВеритас 03

Рис. 3. Диаграмма корреляционных плеяд Терентьева, 3а – украинская выборка, 3б – израильская выборка, где: 1 – Лояльность, 2 – Порядочность, 3 – Кража, 4 – Взятка, 5 – Наркотики, 6 – Алкоголь, 7 – Азартные игры, 8 – Агрессия, 9 – Сексуальные домагательства, 10 – Информационныепреступления. 

 

Дополнительным свидетельством валидности русскоязычного перевода явлется то, по результатам тестирования, оценки украинцев в среднем выше, чем у израильтян. Это значит, что в украинской выборке тестируемые в среднем более склонны к неблагонадежному поведению, чем в израильской. Такие результаты соответствуют мировым рейтингам, публикуемым такими известными аудиторскими компаниями, как PwCи KPMG. Согласно данным глобальных исследований экономических преступлений, Украина входит в первую десятку стран, с самым высоким уровнем преступности этого вида.

Видно, что данные, получаемые с помощью теста Веритас, отражают реальную картину благонадежности в Украине. Такие хорошие результаты стали возможны благодаря тому, что перевод теста осуществлялся в соответствии с требованиями Международной тестовой комиссии, так называемым методом «прямого перевода».Тест был переведен на русский язык, после чего перевод подвергался многократной ревизии другими независимыми переводчиками. Далее, обе версии – перевод и оригинал – были представлены фокус-группе двуязычных индивидуумов, замечания которых также были учтены.

Графическое представление оценок подтверждает факт конструктной валидности русскоязычного перевода, отражая те культурные различия, которые имеются между израильтянами и украинцами.

Например, наибольшие отличия в благонадежности украинцев наблюдаются по шкалам: 

 

АдаптацияТестаВеритас 04АдаптацияТестаВеритас 05

 

 

АдаптацияТестаВеритас 06АдаптацияТестаВеритас 07

 

В то время, как шкалы распределения оценок по следующим шкалам не отличаются между собой

 

АдаптацияТестаВеритас 08АдаптацияТестаВеритас 09

 

АдаптацияТестаВеритас 10

Причины отличий по шкалам Алкоголь и Взятки очевидны: в Украине существует проблема взяточничества и чрезмерного употребления алкоголя. Различия по шкалам лояльности и порядочности тоже понятны: в Израиле, как во многих развитых странах, принято докладывать начальству обо всех нарушениях, как только они становятся известны работнику. В Украине же такие действия считаются «стукачеством», а поскольку в шкалах Лояльность и Порядочность серия вопросов относится к докладам о нарушениях коллег, больше украинцев, чем израильтян, отвечает на них отрицательно.

Что касается шкал личностного компонента теста, то распределение подчиняется закону нормальности в обеих выборках, и нет статистически значимой разницы между выборками. Это соответствует ожиданиям, поскольку в русскоязычном переводе использовались формулировки адаптированного для русскоязычной популяции Калифорнийского психологического опросника, который возвращает оценки, распределяющиеся нормально.

АдаптацияТестаВеритас 11

 

АдаптацияТестаВеритас 12

 

АдаптацияТестаВеритас 13

Сравнительный анализ распределений показал, что нет статистически значимых различий в оценках по личностным шкалам между выборками.

Таким образом, получено достаточно свидетельств в пользу того, что, как оригинальная, так и переведенная версия теста Веритас, являются валидными и надежными инструментами для оценки склонности к неблагонадежному поведению, и тест может быть использован в рамках процедуры оценки.

Заставь человека взглянуть правде в лицо, как тут же увидишь его затылок

Аврелий Марков

В отдел участковых инспекторов милиции Соломенского района столицы обратились представители администрации одного крупного супермаркета с сообщением о том, что один из их сотрудников украл деньги и скрылся. Об этом сообщает ОСО ГУМВД Украины в г. Киеве.

Подробнее...