Психологические тесты в современной организационной практике

Обзор ситуации

В последние несколько лет в России стал постепенно оформляться рынок услуг в области тестирования и психодиагностики. При очевидной потребности многих организаций в качественном инструментарии для отбора, оценки и развития персонала, до последнего времени у нас в стране наблюдался серьезный недостаток компаний, которые в явном виде позиционировали бы себя как создателей и дистрибьюторов оригинальных методик. В 90-е годы пользователям приходилось либо закупать дорогие и плохо адаптированные западные методики, либо (что чаще) создавать что-то своими руками, либо (что происходило и происходит постоянно) пользоваться обширным багажом нелицензионных переводных методик, доступных повсеместно. Доля оригинальных отечественных тестов, активно используемых на предприятиях, была незначительна. При этом среди них уже тогда появлялись уникальные разработки, не имевшие однако шансов из-за неразвитого и неплатежеспособного спроса того времени .

Эта волна, обусловленная экономической конъюнктурой эпохи «дикого капитализма», на многие годы отбросила любые попытки сформировать достойное предложение на внутреннем рынке [Шмелев, 2000]. Культура безнаказанного использования и «зарабатывания» на всём, что плохо лежит, превалировала в течение длительного времени. Большинство популярных западных методик, переведенных учеными-психологами для собственных нужд, было выброшено в свободное хождение при помощи книг типа «100 лучших психологических тестов» и небольших команд психологов с программистами, которые создали целый набор программ с зашитыми в них нелегальными методиками. При этом тексты и ключи (способ подсчета) никто не выверял, а новые издания этого «контрафакта» зачастую просто перепечатывались с предыдущих версий [Бурлачук, 2009]. Очевидно, что всё то многообразие методик, которое в одночасье оказалось общедоступным, даже помимо юридических проблем обладало целым рядом существенных ограничений в использовании.

Добавим к этому, что с течением времени эти тесты стали стремительно устаревать. Ошибки и недоразумения множились, и сейчас уже трудно сказать определенно, что же действительно измеряют эти растиражированные «гороскопы» (многие проблемы из этого запутанного клубка хорошо описаны в статье А.Г. Шмелева «Каша из топора…» [Шмелев, 2000]).

Однако в начале 2000-х годов ситуация стала постепенно меняться и сейчас уже можно констатировать определенные сдвиги в развитии этой области. На рынке труда с каждым годом появляется всё больше специалистов-психологов, имеющих определенные знания и навыки работы с тестами. Они пополняют и ряды производителей, а главное, ряды потребителей, что повышает спрос на качественные продукты. Заказчики становятся всё более разборчивыми. Нередким в последнее время становится запрос на информацию о стандартизации той или иной методики, о параметрах надежности и валидности.

С другой стороны сами производители ведут активную пропаганду, доказывая, что без соблюдения минимальных психометрических требований, инструментом пользоваться нельзя. По сути, это шарлатанство, да еще и с претензией на научность.

Еще один позитивный сдвиг, который нельзя не отметить, это постепенное формирование настоящего Сообщества психологов, а в частности психодиагностов. Активизировало свою работу Российское Психологическое Общество. При его поддержке лидеры российской психодиагностики – профессора Н.А. Батурин и А.Г. Шмелев – ведут проект по подготовке системы сертификации психологических методик, их создателей и пользователей . На территории РФ стали проводиться профильные конференции различного уровня; некоторые из них целиком посвящены проблемам организационной диагностики и развития. В сети Интернет появилось несколько сообществ профессионалов, которые активно обсуждают актуальные проблемы своей области и при этом открыты для взаимодействия с «внешним миром» (например «Блогосфера» на сайте ht.ru, социальная сеть на flogiston.ru, Псипортал на psy.piter.com).

Заметное развитие психодиагностики у нас в стране на данном этапе заставляет задуматься, где же действительно та ниша, на которую претендуют новые искатели славы Кеттелла и Майерс – Бриггс? Какое место занимают тесты в современных российских системах работы с персоналом? Ведь известно, что традиционное применение подобных инструментов в контексте подбора и оценки персонала часто подвергается серьезной и вполне обоснованной критике и со стороны участников тестирования, и со стороны специалистов, эти тесты применяющих. В бизнесе существует некий обобщенный социально одобряемый образ успешного сотрудника – экстраверт, эффективный командный игрок, планирующий на ближайшую и на далёкую перспективу, стрессоустойчивый, с хорошо развитым интеллектом, рационально взвешивающий альтернативы при принятии решений и т.п. Большинство современных работников хорошо осознают этот запрос и легко воспроизводят необходимую картину, заполняя всевозможные опросники и тесты.

И тогда возникает важнейший вопрос о перспективах данной науки, которая редко добивается результатов выше, чем корреляция с успешностью деятельности на уровне 0,2- 0,3? На сегодняшний день представляется важным осознать те проблемы, которые существуют в области применения тестов в России. На наш взгляд, это позволит выделить ключевые ориентиры и найти собственный путь развития стандартизированных методов оценки в нашей стране.


Организация опроса

Для того чтобы получить некое первичное представление о ситуации в России на данный момент, нами было проведено пилотное исследование. Руководителям и специалистам служб персонала было предложено поучаствовать в опросе на тему «Использование психологических тестов в работе HR».

Таблица 1

Участники исследования состояния рынка психодиагностических услуг

Область бизнеса

Кол-во компаний

Промышленность, производство

10

Продажи

7

ИТ, телеком, связь, интернет

6

Нефть, газ, энергетика, добыча сырья

6

Консалтинг, стратегическое развитие

5

Упр. персоналом, тренинги, повыш. квалификации

5

Банки, инвестиции, лизинг

5

СМИ, изд-во, полиграфия, дизайн

4

Маркетинг, реклама, PR

3

Строительство, недвижимость, архитектура

3

Автомобильный бизнес

2

Искусство, культура, развлечения

2

Медицина, фармацевтика

2

Транспорт, логистика

2

Страхование

1

Юриспруденция

1

Всего:

64

В опросе приняло участие 64 российские и международные организации, представляющие, главным образом, средний и крупный бизнес. Распределение по отраслям народного хозяйства в выборке представлено в Таблице 1. Большая часть - это производственные и телекоммуникационные компании, нефтедобывающий комплекс и ритейл. Распределение по численности персонала представлено на Рис. 1. Данные собирались в Москве и в Челябинске, что позволило (хотя бы частично смягчить) фактор «Москва – не Россия».


Рис. 1. Численность персонала компаний-участниц опроса.

Результаты по выборке из 64 компаний, безусловно, не могут претендовать на звание всеобъемлющего исследования, но определенную репрезентативность и интересные факты нам получить удалось.

Результаты и их обсуждение

Итак, наиболее интересным было узнать, применяют ли тесты в компаниях в принципе? Результаты показали, что 25% используют их «регулярно», 33% «иногда», и 42% «никогда». То есть больше половины компаний из выборки тесты всё-таки используют. Для зарождающегося рынка российских производителей тестов это позитивный сигнал. Более того, явно видны возможности для роста в том сегменте, где тесты используются, но эпизодически.

Большинство HR менеджеров, не использующих тесты, так или иначе, указали на негативное отношение к ним в компании. С сожалением приходится констатировать, что наследие советских времен дает о себе знать и по сей день. Полный запрет на тестирование (с 1936 по 1957 гг.), нелегальный и некачественный перевод, массовое применение при массовой неграмотности их применяющих и т.п. – всё это по-прежнему играет против создания конструктивного диалога с 42% компаний, нуждающихся в качественной оценке своего персонала не меньше, чем остальные 58%. В глазах многих руководителей тесты полностью дискредитированы. Инструменты в массе своей не отвечают стандартам, а отсутствие внятных механизмов контроля качества услуг в области психодиагностики ставят эту сферу в глазах критически настроенных менеджеров на один уровень с астрологией и прочими «голубями из рукава».

Также специалистам был задан вопрос, а какие же конкретно методики используются у них в работе. 43% тех, кто так или иначе работает с тестами, прибегают к различным методикам, измеряющим интеллект. Используются тесты Амтхауэра, Векслера, Гилфорда- Салливена, методика «Кубики Коса», КОТ, КИТ СпЧ, прогрессивные матрицы Равенна, EPQ Айзенка, VMG, NMG. Главным образом, применяют их крупные компании численностью от 1000 человек, а также консалтинговые организации, оказывающие различные услуги тем же самым крупным компаниям. Эти данные хорошо согласуются с подобными масштабными исследованиями, проведенными десять лет назад в США .

Отдельно хочется заметить, что среди названных методик шесть раз встретился известный тест КОТ (Краткий Ориентировочный Тест), который является нелицензированной российской адаптацией 1992 года известной методики Вандерлика (Wonderlic Personnel Test). С тех пор он имеет широкое хождение на территории России, и ответы на него можно без усилий найти в сети Интернет.

Пример с КОТом, на наш взгляд, хорошо иллюстрирует описанную выше картину бесконтрольного использования тестов в нашей стране. Выучить тест и ответы к нему не составляет никакого труда (помимо Интернета многие книжные издательства продолжают печатать сборники тестов так, как будто это «всеобщее наследие мировой культуры»). Современных статистических норм по тесту не существует; в лучшем случае пользователи посчитали свои локальные нормы по компании.

При этом в среде специалистов по оценке уже в течение последних 10 лет утвердилось четкое понимание, что подобные тесты хороши именно своей новизной для участников и отсутствием публикаций текстов заданий. Они стали либо закупать их у производителей, либо разрабатывать сами . А между тем нелицензированная и растиражированная адаптация западного теста и по сей день активно используется, и на её основании принимаются определенные кадровые решения.

Следующие по популярности использования идут большие личностные опросники типа 16PF Кеттелла, MBTI, MMPI, CPI, OPQ и др.

Анализируя список опросников, используемых в компаниях-участницах исследования, нельзя не заметить позитивную тенденцию – многие организации стали обращаться к профессиональным производителям, в том числе и российским. Среди них в нашей выборке оказались четыре ведущие компании по созданию и дистрибуции тестов в России – «Гуманитарные технологии» (Москва), «Иматон» (Санкт-Петербург), «Психрон» (Челябинск), Когито-Центр (Москва). В списке также фигурируют разработчики специальных тестов для оценки персонала – Мотайп (Герчиков В.И., Топ-Менеджмент Консалт), Камертон-2 (Мигашкин Н.В.). Список международных компаний возглавляет безусловный лидер по количеству упоминаний SHL, следом идет Thomas International (Система Томаса или DISC), Hay Group, Hogan Assessment Systems, OnTarget (Psytech Int.), Success Insights Int., Belbin Associates, IBSA (методика Structogram), PI Worldwide (методика Predictive Index).

Сам по себе этот тренд в направлении легальных инструментов и их создателей не может не радовать. Ведь работа с профессиональными компаниями «воспитывает» пользователей и прививает им культуру грамотного использования тестов. Именно эта совместная работа позволяет надеяться на то, что через некоторое время в России появится более или менее многочисленная группа специалистов, которая сможет отстоять необходимость квалифицированного применения качественных инструментов.

Вместе с тем нельзя не отметить то, что в списке наблюдается очевидный перевес в сторону западных компаний-производителей. В дополнение к собранным в анкете данным в 2008-2009 гг. нами был проведен анализ российского рынка тестов. Основные методы: анализ периодики, специальной литературы и Интернета. По результатам этой работы к уже названным отечественным компаниям, разрабатывающим и продающим тесты, необходимо добавить следующие имена: Институт прикладной психологии (Москва, научный руководитель Л.Н. Собчик), «Психология и бизнес онлайн» (Москва), НПЦ Психодиагностика (Ярославль) .

По собранной нами информации количество иностранных компаний, имеющих или разрабатывающих тесты для русскоязычных клиентов, явно больше. Дополним приведенный выше перечень этих организаций: Center for Leadership Studies, CNT-Consult, CPP/OPP, Cubiks, Cut-e, DDI, Extended DISC, IDI, Inscape Publishing, International Assessment Network, Herrmann International, Human Qualities, Lüscher Arbeitskreis, LTP, Persona Global, Pilat, Profiles International, Psychological Assessment Resources, Saville Consulting, SIGMA Assessment Systems, TalentQ, TMSDI.

Как видно, список получается достаточно внушительным. Тридцать одна  западная компания, среди которых многие ведущие имена мировой психодиагностики, против девяти отечественных организаций, имеющих скромный бизнес на территории РФ. Такой неожиданный и не очень приятный факт легко объясняется тем, что в Европе и США психодиагностика развивалась без остановок и находится сейчас на очень хорошем уровне, вполне пригодном для экспорта технологий. Можно предположить, что рынки в развитых странах большей частью уже поделены, и Россия рассматривалась (на период до кризиса) как отличная возможность для успешного расширения бизнеса в новом регионе.

Такая ситуация требует критического рассмотрения возможностей, которые привносят с собой импортеры психодиагностических услуг. С одной стороны, качество инструментария ведущих иностранных компаний не подвергается сомнению. Более того, оно постоянно подтверждается публикуемыми исследованиями и специализированными сертификационными организациями (например, PTC/MW, Buros Institute). Очевидно также, что использование тестов с международным именем повышает статус проводимых организационных исследований и делает их результаты открытыми для публикации и обсуждения в авторитетной мировой периодике и на конференциях.

Однако априорное доверие «западным» решениям сулит и много опасностей, которые важно осознавать. Очевидно, что качество маркетинга иностранных продуктов на порядки выше отечественных аналогов. Но за серьезными рекламными усилиями неподготовленному пользователю бывает крайне сложно рассмотреть объективные показатели качества методик. Приведем лишь несколько основных моментов, на которые следует обращать внимание при выборе провайдера (организации-поставщика) по предоставлению услуг тестирования:

  • Наличие данных о надежности и валидности тестов, необходимой составляющей «паспорта качества» методики [см. напр. Анастази, Урбина, 2007]. Часто бывает, что они либо декларируются, либо не приводятся вовсе;
  • Описание выборки стандартизации. Другими словами, кто были те люди, на которых собирались тестовые нормы. Будь то студенты факультета психологии или консультанты крупной аудиторской фирмы из «большой четверки», эти данные могут быть весьма специфичными и не соответствовать Вашему контингенту сотрудников. А поскольку в тестах результат человека сравнивается с этой самой выборкой, то и итоговые баллы могут сильно разниться в зависимости от группы сравнения. Лучшими можно считать репрезентативные нормы, собранные в самой компании-пользователе теста;
  • Возраст норм. Последняя дата, когда эти нормы обновлялись в последний раз, имеет значение: известно, что за 5-7 лет нормы серьезно устаревают, а значит и сравнение с ними будет неадекватным;
  • Универсальность теста. Чем более инструмент универсален, чем шире круг вопросов  он обещает решить, тем сильнее следует усомниться и перепроверить его качество. Во всём, что связанно с диагностикой человека, готовые рецепты крайне опасны. Психологи пока еще не придумали точных универсальных измерительных «линеек», поэтому ответ на все вопросы о человеке за 5 минут во многом схож с лечением алкоголизма по фотографии;
  • Качество отчетов. Красивые отчеты, автоматически выдаваемые из компьютерных систем обработки, часто напрямую переводятся с языка оригинала без какой-либо научной модификации. Производителю удобно в одной он-лайн системе содержать одинаковую структуру данных, чтобы обеспечивать универсальность (создавать отдельные системы для каждой страны очень накладно). А ведь многие шкалы (отдельные измерения в тесте) могут измерять абсолютно разные качества в разных культурах. Такие виднейшие специалисты в психодиагностике как Л.Ф. Бурлачук, Л.Н. Собчик, А.Г. Шмелев не устают повторять известный тезис о том, что адаптация иноязычных методик по стоимости и трудозатратам практически равна созданию новой (за вычетом расходов на создание самой теоретической модели методики) [см. напр. Собчик, 2008].

Здесь необходимо сделать важное замечание по поводу иностранных методик в принципе: адаптация теста в режиме обычного перевода текста – грубая ошибка. Профессиональную «локализацию» зарубежной методики можно сравнить скорее с переводом поэзии. Чтобы сделать хороший перевод качественного теста, нужно «отработать» на уровне Пастернака или Маршака, создавших великие творения Шекспира на русском языке. Другими словами, переводя методику нужно сделать фактически новое произведение, имеющее свое глубокое и выверенное внутреннее содержание, которое, помимо всего прочего, обосновано специальными математическими методами проверки.

В связи с вышесказанным, представляется важным порекомендовать пользователям более тщательно вникать в содержательную сторону описания тестовых продуктов или привлекать к их анализу специалистов.


В следующем блоке анкеты был задан вопрос, в каких именно областях применяются тесты в организации (см. Рис. 2).

Рис. 2. Области применения тестов.

Явными лидерами оказались подбор и оценка персонала. Данный результат показателен с точки зрения преемственности в научной и практической среде. Первые тесты, получившие широкое распространение в практике (например, тест Бине-Симона, «Бланк личностных данных» Вудвортса), фактически использовались для целей отбора «годных» и «непригодных». Такая направленность понятна и оправдана с экономической точки зрения. Действительно, массовое тестирование значительно дешевле, чем массовые интервью, беседы, наблюдения и проч. Как мы видим, сегодня ситуация кардинальным образом не изменилась. Более того, мы находим подтверждения нарастающей популярности этого метода на фоне развития новых информационных технологий. Крупным компаниям оказывается удобным проводить первые этапы отбора дистанционно, когда кандидаты проходят входное тестирование на своей территории (дома или в интернет-кафе) без непосредственного очного участия HR-службы в этой процедуре.

Особо обратим внимание, что в 8% случаев тестирование используется для проведения аттестации (вряд ли трудовая инспекция одобрила бы такие решения). На основании таких данных можно сделать вывод, что доверие к тестам в некоторых организациях весьма высоко.

С другой стороны, начиная с середины прошлого века проблемы, связанные с применением тестов в так называемой «ситуации экспертизы» (когда участник тестирования не является заказчиком оценки), стали хорошо осознаваться специалистами. Социальная желательность, то есть потребность человека соответствовать некоему идеальному образу, одобряемому обществом (или потенциальным работодателем), в данном случае становится чуть ли не главным фактором, влияющим на результаты. Естественно, что когда тестирование определяет дальнейшую судьбу человека, он старается угадать, чего от него ожидают услышать.

Для борьбы с этой поистине первоочередной проблемой были подняты большие силы. В тестах стали появляться шкалы лжи и их модификации, специальные индикаторы, указывающие на тенденцию респондента отвечать по шаблону. С развитием математической статистики и программного обеспечения появилась возможность обрабатывать данные по целым батареям методик и объединять множество шкал из них в несколько ведущих факторов [Анастази, Урбина, 2007]. При этом считается, что последовательно «обманывать» разные по форме и наполнению опросники крайне затруднительно, что повышает их прогностическую силу.

Другой пример прогресса на почве математического моделирования - это IRT (Item Response Theory) [Звонников, Челышкова, 2009; Аванесов]. Обычно она переводится как «Теория тестовых заданий», но чаще встречается в русскоязычной профессиональной литературе в виде англоязычной аббревиатуры IRT. Теория предназначена для оценки скрытых свойств респондентов и параметров заданий теста посредством применения математико-статистических моделей измерения. Данный подход специфичен тем, что здесь делается попытка рассмотреть ответ на каждый вопрос (item) в отдельности, определив его «индивидуальный» вклад в общий результат.

В последние несколько лет популярность приобрели так называемые «ипсативные» вопросы, развиваемые как раз на базе IRT [Brown, 2008]. Ипсативные вопросы - пункты опросников, в которых респонденту приходится совершать вынужденный выбор между несколькими альтернативами, прямо друг с другом не соотносимыми (из разных шкал). (например, «Вы предпочтете провести полостную операцию или отправиться на собаках к Южному полюсу»). Определенная искусственность состоит в том, что ни одна из альтернатив может не отражать истинных пристрастий человека. При этом считается, что «шкалы, сконструированные по ипсативному принципу, позволяют эффективно преодолевать тенденцию испытуемых давать социально желательные ответы, так как оба суждения, включенных в вопрос, специально подобраны так, что уравновешены по предварительно установленному уровню «социальной желательности» ».

Все перечисленные методы принесли успехи на почве защиты инструментов от фальсификации участниками тестирования. Однако сказать, что это стало окончательной победой пока еще рано, тем более в России, где новые психодиагностические технологии появляются пока с большим опозданием.

Со своей стороны считаем важным отметить, что использование личностных тест-опросников в ситуации «клиента» (когда участник тестирования является заказчиком тестирования) является, на сегодняшний день, более предпочтительным. Когда человек заинтересован в развернутой обратной связи, особенно если она будет использоваться для формирования развивающих мероприятий для него, то результаты чаще всего оказываются значительно более яркие и «выпуклые». Специалисту намного легче работать над рекомендациями, а принятие результатов участником повышается в разы. В нашем опросе в 32% случаев тесты были названы как реально используемые для целей развития. Остается надеяться, что удельный вес практики такого рода будет возрастать. Ведь работа, направленная на развитие персонала с применением качественного диагностического инструментария, лучше всего согласуется с гуманистическими принципами современного HR менеджмента.

Анализируя ответы на вопрос о наиболее качественных тестах, известных респондентам на сегодняшний день, нельзя не отметить достаточно консервативную позицию большинства отвечавших. Наиболее «качественным» большинство назвало личностный опросник Кеттелла 16PF (13 ответов из 40). Можно добавить к этому числу современные модификации и аналоги этого опросника (16РФ Лаборатории «Гуманитарные технологии» (2) и 15 FQ+ компании OnTarget (1)), так как принципиально в них заложены те же самые идеи. Тогда получается, что ориентиром для большинства специалистов является методика, основные разработки которой велись в 50 – 70-е годы XX века [Анастази, Урбина, 2007; Шмелев, 2000].

Популярность 16PF подтверждает и беглый анализ российской сети Интернет. Данный опросник можно найти практически на каждом сайте, посвященном тестированию и психологии. При этом ни проблема некорректных норм, ни ошибки, ни устаревшие вопросы (наиболее популярной остается версия 1987 года) не отбивают охоты у новых специалистов смело браться за работу с этой методикой. Несколько издательств, занимающихся продажей тестов, выставляют скромные, но вполне «ощутимые» деньги за контрафакт, переложенный в их собственную компьютерную оболочку. При этом их не смущает полное сходство с оригиналом, права на который сейчас принадлежат британской компании OPP (Oxford Psychologists Press). К слову, OPP выпустили уже пятую версию данного опросника с множеством разнообразных опций и отчетов, далеко ушедших от первых версий.

На втором месте с результатом 10 ответов оказался опросник Майерс-Бриггс (MBTI) и его современный российский аналог ТОП-ЮНИТ Лаборатории «Гуманитарные технологии». Первая версия опросника была создана в 1942 году, а пик популярности MBTI в мире пришелся на 70-80 гг. прошлого века. Сейчас опросник продолжает занимать важное место в работе консультантов и HR во всём мире, и Россия, как мы видим, не исключение. Правда, по поводу оригинальной американской методики существуют две очень важные оговорки, которые упускаются из вида многими отечественными пользователями этого опросника:

  • Официального российского перевода MBTI не существует. Права на оригинальную методику принадлежат американской компании CPP (Consulting Psychologists Press), европейским представителем которого является упомянутая выше OPP [Веселков, 2009]. Существующие переводы на русский делались исключительно в научных целях и попали в свободное хождение по описанной в начале статьи схеме;
  • MBTI не рекомендуется использовать в ситуации экспертизы (что в России делается сплошь и рядом). Методика недостаточно защищена от проблемы социально желательных ответов, так как в ней говорится о предпочтениях респондентов.

Вторая проблема частично решена в российском ТОП-ЮНИТ-2 («Гуманитарные технологии»), где есть шкала контроля социальной желательности, собраны специфические нормы для ситуации экспертизы, и в сами формулировки вопросов заложены интересные находки Лаборатории, защищающие опросник от попыток фальсификации результатов. Однако это не отменяет тезиса о том, что в ситуации клиента использовать данную методику явно предпочтительнее.

Третьим по популярности в нашем опросе (9 упоминаний) стал MMPI (Миннесотский Многофакторный Личностный Опросник, разработан в начале 40-х годов XX века). Результат этот несколько удивил. Плачевно, что в среде HR до сих пор ориентиром качества является громоздкая клиническая методика, абсолютно не предназначенная для организационного контекста. Критика в адрес пользователей MMPI и других клинических опросников в бизнесе ведется уже в течение длительного времени [см. напр. Завьялова, 2003]. Известно, что в США применение MMPI для целей отбора персонала фактически запрещено: здесь было выиграно несколько дел против работодателей, отказавших в работе на основании результатов этого опросника. Ведь при очевидных плюсах (комплексность, шкалы лжи, психометрическое обоснование), вопросы типа «У меня никогда не было затруднений при мочеиспускании» или «Кое–то управляет моими мыслями» ставят большинство соискателей в тупик. Да и типовые ответы на них вряд ли интересуют профессиональных оценщиков. Достаточно сказать, что для создания пунктов теста использовался перечень наиболее частых и характерных жалоб людей с различными психическими расстройствами [Анастази, Урбина, 2007].

На наш взгляд, основной причиной такого «перекоса» в сторону старых западных методик обусловлен, в первую очередь, теми образовательными программами, которые по-прежнему существуют в большинстве учебных заведений, готовящих психологов. В методических пособиях и практикумах российских ВУЗов рекомендуются именно те тесты, которые были названы в первой тройке (16PF, MBTI и MMPI). Более того, никакого контроля над использованием (другими словами, лицензирования) этих серьезных инструментов по-прежнему нет. Неудивительно, что по окончании обучения люди возвращаются к этим легко доступным методикам, несмотря на все указанные минусы.

Кстати другой крайностью является полный отказ от применения тестов. Напомним, что в нашем исследовании это 42% респондентов. И аргументы в этом случае практически всегда строятся вокруг того негатива, который очевидно привнесли с собой названные популярные методики и их непрофессиональное и неуместное использование.

Пока эта ситуация не изменится и современные издательства качественных методик не начнут вести массированную пропаганду новых технологий и лоббировать свои интересы в высших эшелонах власти, большая часть страны так и будет считать последним словом техники «Жигули 2101 «Копейка»», честно скопированные с Фиата в далеком 1970-м.

 

Измерение компетенций с использованием тестов

В последнее десятилетие издателям психологических тестов для бизнеса приходится серьезно работать с реалиями компетентностного подхода к оценке и развитию персонала. Компетенции стали популярными  не только HR-менеджеров, но и руководителей, далеких от непосредственной работы с персоналом. В этих условиях компании-производители тестов вынуждены адаптировать классический психометрический подход под те новые запросы, которые появились у отделов по работе с персоналом крупных организаций. Типовое обращение может выглядеть так: «Нужно оценить большое количество людей (например, кадровый резерв крупной производственной компании) по ключевым корпоративным компетенциям и выявить, кто из сотрудников наиболее перспективный. С целью экономии дополнительно может возникать необходимость произвести оценку прямо на рабочих местах».

Ключевые издатели тестов на российском рынке (SHL, OnTarget, «Гуманитарные технологии») предлагают инструменты, которые, по их мнению, позволяют эффективно оценивать компетенции при таких запросах (более точно – прогнозировать их проявление и развитие на рабочем месте). Суть технологии состоит в том, что специалисты по оценке предварительно выясняют, какие именно шкалы из типового личностного опросника или интеллектуального теста теоретически могут прогнозировать определенную компетенцию . Затем определяется относительная значимость этих шкал для данной компетенции и уровни на шкале, после которых можно делать уверенные прогнозы о потенциале развития / неразвитости компетенции. Такие профили могут быть разработаны для разных специальностей и эффективно (в первую очередь, с точки зрения временны затрат) использоваться даже в дистанционном режиме.

Этот подход к оценке компетенций можно назвать психометрическим, поскольку в нем утверждается принципиальная возможность использования тестов как основных инструментов диагностики компетенций.

Другая крайность, которая уже обсуждалась выше, заключается в полном отрицании тестов как возможного метода оценки, в том числе и компетенций. Чаще всего такая позиция связана с недоверием к тестированию как таковому. Другой важной причиной здесь является последовательный подход специалистов в определении и диагностике компетенции именно как характеристики поведения. Очевидно, что бескомпромиссная ориентация на реально проявляемое человеком поведение не оставляет места для «самоописания» при помощи опросников. С такой позицией иногда приходится сталкиваться при реализации конкретных оценочных проектов для заказчиков, не имеющих в штате специалистов соответствующей квалификации или сильно разочарованных в тестировании.

Менее радикальную позицию можно встретить у большинства практиков в сфере оценки персонала, например, у Т.Ю. Базарова (ЦКТ XXI век), А.К. Ерофеева (LASPI), Ю.М. Жукова (Арбор), М.В. Розина (ЭКОПСИ Консалтинг) и др. Заключается она в следующем: тесты имеет смысл использовать для оценки компетенций, однако они могут дать лишь вспомогательную информацию, прямо не соотносимую с баллами по компетенциям. Характерно, что такую позицию занимают именно люди, решающие задачи оценки, но не занимающиеся производством тестов. Последних же, число которых относительно невелико, конъюнктурный спрос вынуждает создавать такое же конъюнктурное предложение доступными им средствами.

Похожую картину мы можем наблюдать и в полученных нами данных опроса (см. Рис. 3).

Рис. 3. Целесообразность использования тестов для оценки компетенций.

Как видно, 72% опрошенных считает, что в некоторых случаях использовать тесты для оценки компетенций можно. Поскольку специального уточнения об этих «случаях» мы не делали, рискнем предположить, что большинство разделяет описанную выше «среднюю» позицию по отношению к тестам. Использование тестов оправдано, в первую очередь, с экономической точки зрения в ситуациях массовой оценки. Правда в этих случаях говорить о точном прогнозе стоит с большими оговорками. Во-вторых, и это, на наш взгляд, наиболее существенно, тесты позволяют качественно расширить спектр возможных методов оценки, что критически важно для комплексных методов оценки (таких как, ЦО, например). Поведенческие процедуры (бизнес-кейсы, деловые и ролевые игры, презентации), дополненные интервью и тестами, по мнению большинства специалистов, представляют на сегодняшний день наиболее эффективный сплав методов для оценки человека в бизнесе [Баллантайн, Пова, 2003; Кляйнманн, 2004]. В данном случае имеет смысл рассматривать тест-опросник как часть комплексной процедуры оценки, привносящую в нее возможность сравнительного анализа результатов с выборкой на основе мат.статистических алгоритмов. Важно, что это не больше и не меньше, чем самоотчет. Человек мог «врать», но и это само по себе является важной информацией, когда мы имеем возможность «пронаблюдать» сотрудника в групповых поведенческих процедурах и проверить свои гипотезы в ходе интервью.

Далее приведем результаты по вопросу, какие тесты Вы бы предпочли использовать – известные, зарекомендовавшие себя на международном рынке и адаптированные в России или же специально разработанные под нужды компании (см. Рис. 4).

Рис. 4. Предпочтения в выборе тестов.

Предпочтения опрошенных в данном случае оказались близки к соотношению 50/50 с небольшим перевесом в сторону специально разработанных тестов. Это интересный результат. Надеемся, он отражает готовность 52% компаний более тщательно работать с используемым инструментарием и продумывать его использование до мелочей. Ведь опробованные на многих тысячах респондентов известные методики проходят долгий путь от разработки до коммерческого успеха и вбирают в себя огромный пласт замечаний и предложений пользователей, которые позволяют тесту работать в широком спектре ситуаций. Создание же специализированных инструментов, хотя и может помочь ответить на более конкретные вопросы, волнующие организацию, требует большой квалификации разработчиков и пользователей, огромных временных и денежных затрат. И при этом еще необходима готовность терпеть поражения. Ведь часто работа исследователя, требующая проверки основных психометрических характеристик теста (надежность, критериальная и конструктная валидность), может не приносить значимых результатов. Тогда нужно иметь смелость отказаться от сделанного и серьезно пересмотреть сам подход к созданию инструмента.


Выводы

В завершении данной работы хотелось бы еще раз акцентировать внимание на ключевых идеях относительно судьбы тестов в современной России. Профессор Н.А. Батурин, резюмируя дискуссию об основных причинах кризиса российской психодиагностики, организованной на конференции «Современная психодиагностика в изменяющейся России» (г. Челябинск, ЮУрГУ, сентябрь 2008 г.), выделяет шесть её системных проблем:

  • Малое количество в России профессиональных психодиагностов, занимающихся разработкой, адаптацией и стандартизацией тестов;
  • Ничтожное количество отечественных профессиональных психодиагностических методик при неоправданном доверии к давно устаревшим зарубежным методикам;
  • Низкая психодиагностическая и особенно психометрическая культура психологов-пользователей тестов;
  • Устаревшее содержание программ обучения психодиагностике;
  • Порочная практика издания в открытой печати и распространение методик любому покупателю [Батурин, 2008 b].

Ответственность за борьбу с этими серьезнейшими проблемами лежит на всех заинтересованных сторонах, иначе собственных качественных тестов, используемых наравне с западными конкурентами, в России не будет никогда.

В этом смысле пример западных компаний типа SHL, DeTech (OnTarget), SLG Thomas Int., Belbin Associates достаточно показателен. Они сами стараются прививать своим клиентам культуру корректного применения своих тестов. Доступ к любым методикам осуществляется только через полноценное обучение будущих пользователей. Очевидно при этом, что стоимость и обучения, и самих методик весьма высоки. Российские производители, работая в нижних ценовых сегментах, такого себе позволить не могут и предлагают обучение только в качестве дополнительной опции.

Остается надеяться, что в случае ухода контрафактной продукции и нормального развития рынка отечественные и международные компании смогут реально конкурировать и ценовая политика скорректируется. А именно она всегда является маркером общего состояния дел в отрасли. Ведь разрыв в ценах за один отчет сравнимых по классу методик достигает иногда невероятной разницы. Например, по нашим данным, отчет по опроснику 16РФ («Гуманитарные технологии») при покупке на сайте составлял 350 руб. (по состоянию на декабрь 2008), а по свежепереведенному и только начинающему адаптацию тесту HDS (Hogan Assessment Systems) превышал 300 евро. Такая ситуация прямо указывает на то, что нормального рынка услуг психодиагностики в масштабах страны пока не существует.

Российские компании-производители в большей степени обслуживают спрос на «дженерики» старых иностранных методик, популярных благодаря плохо обновляющемуся учебному контенту психологического образования и несформированному спросу на современные технологии диагностики. При этом работают они с крайне низкой маржей (иначе никто вообще не будет покупать), что не позволяет всерьез заниматься маркетингом и дополнительными разработками, не приносящими непосредственной прибыли в краткосрочной перспективе. Хотя кадры для создания современных качественных методик в стране уже есть.

Западные же организации, пришедшие в страну «на плечах» своих крупных международных клиентов, заинтересованных в локализованных версиях принятых в головных офисах методик, пока недостаточно интересуются реалиями и проблемами массового небогатого потребителя в России. Для них, по большому счету, достаточно того спроса, который порождает их бренд у таких же известных международных компаний. Последние готовы платить цену, которую назовут, в обмен на «всемирно известное качество», красивые двадцатистраничные отчеты и технологическое удобство (он-лайн системы с использованием созданных профилей должностей позволяют эффективно фильтровать большие объемы людей и экономить за счет распечатки отчетов только на тех, кто соответствует ожидаемому профилю).

Видится, что в такой ситуации одним из наиболее важных факторов, сдвигающих процесс обновления с мертвой точки, может стать формирование качественного спроса на психодиагностические услуги в организациях, которые занимаются оценкой и развитием своего персонала. Это и понимание возможностей / ограничений психологического тестирования, и проникновение в смысл основных психометрических показателей (надежность, валидность), и отсутствие боязни тестов, и полный бойкот любых контрафактных изданий психодиагностических методик (в том числе в Интернете). А главное – осознание сложности этого тончайшего продукта, на качественную разработку которого уходят годы квалифицированной работы передовых научных и консалтинговых объединений.

Об авторе

Лурье Евгений Валентинович – руководитель центра разработки оценочных технологий в компании ЭКОПСИ Консалтинг. Окончил факультет психологии МГУ. Область научных и практических интересов – комплексные методы оценки персонала, компетенции, практический интеллект, психодиагностика.

Список литературы:

  • Аванесов, В.С. Item Response Theory: основные понятия и положения [Электронный ресурс] // Теория и методика педагогических измерений. URL: http://www.testolog.narod.ru/Theory.html (дата обращения: 10.10.2009)
  • Анастази, А., Урбина, С. Психологическое тестирование. - 7-е изд. – СПб.: Питер, 2007.
  • Батурин, Н.А. Компендиум психодиагностических методик России (1997-2007гг.): описание и первичный анализ // Вестник ЮУрГУ. Серия «Психология». – 2008. – Вып. 1. – № 31(131). – С. 63-68.
  • Батурин, Н.А. Современная психодиагностика в России // Вестник ЮУрГУ. Серия «Психология». – 2008. – Вып. 2.
  • Бурлачук, Л.Ф. Психологические тесты в Украине: вчера, сегодня, завтра [Электронный ресурс] // IPP.HSE.ru: сайт ИПП ГУ ВШЭ. 2009. URL: http://ipp.hse.ru/publications/64.html (дата обращения: 20.11.2009).
  • Веселков, А. MBTI и авторское право [Электронный ресурс] // HRM.ru: страв.-информ. сайт. URL: http://www.hrm.ru/db/hrm/21A1099CA2FCE347 C325756C0077C216/vid/article/article.html (дата обращения: 07.08.2009).
  • Вырковский, А. Тест для тестов // Секрет фирмы. -№ 28(67) 26.07.2004
  • Завьялова, Ж. Тесты на пробу // Секрет фирмы. – № 3, 2003.
  • Звонников, В.И., Челышкова, М.Б.  Контроль качества обучения при аттестации. Компетентностный подход. Учебное пособие для ВУЗов. – М.: Логос, 2009.
  • Кляйнманн, М. Ассессмент-Центр. Современные технологии оценки персонала. – Харьков: Гуманитарный центр, 2004.
  • Собчик, Л.Н. Управление персоналом и психодиагностика. Практическое руководство. – М.: Боргес, 2008.
  • Шмелев, А.Г. 16PF в России или «каша из топора» [Электронный ресурс] // HT.ru: сайт Лаборатории «Гуманитарные технологии». М. 2000. URL: http://www.ht.ru/press/articles/?view=art19 (дата обращения: 23.07.2009).
  • Brown A. (2008) The impact of questionnaire item format on ability to “fake good” [Электронный ресурс] // Materials of ITC Conference. Liverpool. 2008. URL: http://www.bps.org.uk/downloadfile.cfm?file_uuid=C58EFD12-1143-DFD0-7EC3... (дата обращения: 15.07.2009).

 

Статья опубликована в журнале Кадровик. Кадровый менеджмент в 2009 г.

Выходные данные:

Лурье Е.В. Психологические тесты в оценке компетенций // Кадровик. Кадровый менеджмент. - 2009. - №9. - С. 65-78.

В качестве примера можно привести игровые компьютерные методики Лаборатории «Гуманитарные технологии»: имитационно-игровой тест управления предприятием СТИМУЛ, лабиринтный тест на кооперативно-конфликтные стратегии взаимодействия МИМИКС и др.

Подробнее см. URL:  http://www.ht.ru/press/certification/ (дата обращения: 03.10.2009).

Институт Бэроса в США издает специализированный сборник (компендиум психологических методик) Tests in Print, в 5-й версии (1999 г.) которого приведены данные по частоте использования различных категорий тестов при написании научных статей. Тесты на измерение интеллекта встречаются в 45% публикаций [Цит. по Батурин, 2008 a].

В качестве примера можно привести тест КИТ СПЧ (совместный проект ЮУрГУ и СПбГУ), КТО (Лаборатория «Гуманитарные Технологии»).

В данный список не попало большое число организаций, занимающихся продажей чужих тестов, «зашитых» в программные оболочки без разрешения авторов. Оценить их точное число трудно, однако с уверенностью можно сказать, что их в несколько раз больше, чем разработчиков и поставщиков оригинальных методик. Также в этом списке отсутствуют создатели тестов, которые публикуют свои методики с ключами в открытой печати.

См. напр., описание методики «В5-Ипсативная версия» на сайте Лаборатории «Гуманитарные технологии». URL: http://www.ht.ru/press/events/b5i.php (дата обращения: 03.12.2009).

См. например, исследование по валидизации 15FQ+ (OnTarget) на российской выборке. URL: http://www.ontarget.ru/research_15fq.html (дата обращения: 17.06.2009).

 

Рубрика: 
Ключевые слова: 
Аватар пользователя HRTrud