Неэффективный центр оценки глазами наблюдателей и участников

Центр оценки (ЦО) известен среди оценщиков как самый точный метод измерения потенциальной успешности. Последние исследования показывают, что ЦО эффективнее тестов способностей в оценке менеджерского потенциала (Sackett, Shewach, & Keiser, 2017). За счёт своей комплексности и оценки именно поведения – ЦО воспринимается как валидный инструмент и самими участниками (Anderson, Salgado, & Hülsheger, 2010). Всё это делает ЦО широко используемым – в российской практике его применяет 81% компаний (Центр оценки: современная практика применения в России, 2014). Для оценки потенциала ЦО используют 56% российских компаний и 30% зарубежных (Оценка потенциала в российских организациях, 2016; Church & Rotolo, 2015).

ЦО – метод оценки, наиболее приближенный к реальному поведению, к организационной жизни участника. Но по ЦО до сих нет обзора проблем и слабых сторон ЦО, как их видят участники процесса – наблюдатели и сами оцениваемые. Все текущие обзоры далеки от "полевой" оценки и посвящены, в основном, проблеме конструктной валидности ЦО (которая на самом деле проблема конструктной валидности компетенций, о чём мы расскажем в отдельной статье). Для восполнения данного пробела мы делимся с вами результатами одного очень интересного исследования.

Британские исследователи провели опрос, посвящённый слабым сторонам центров оценки (ЦО). В опросе приняли участие разработчики ЦО (25 чел.), наблюдатели (95 чел.) и сами участники (64 чел.). Их просили выбрать из списка проблемы, часто или всегда присутствующие в практике ЦО.

1. Разработчики ЦО видят основные проблемы в подготовке и работе наблюдателей:

— Наблюдатели вынуждены работать "на износ" (38% – здесь и далее приведён процент людей, указавших это проблему как часто или всегда присутствующую). 
— Наблюдатели не имеют возможности ознакомиться с упражнениями до самой оценки (25%). 
— Наблюдатели имеют слишком мало времени для подготовки к ЦО, их приглашают "в последнюю минуту" (23%). 

2. Наблюдатели описывают две группы проблем – связанные с процедурой оценки и с сессиями, на которых они сводят оценки:

2.1. Процедура оценки:

— Участники проходят упражнения в разном порядке (66%). Это делает процедуру ЦО несправедливой – часть участников могут сначала пройти более трудные упражнения, другая часть – более лёгкие. В результате на них влияют эффекты усталости и научения. 
— Какая-либо компетенция оценивается в ЦО один раз вместо необходимых двух (53%). 
— Наблюдатели имеют слишком мало времени для наблюдения за участниками и выставления им оценок (49%). 

2.2. Сведение оценок:

— Сведение проводится слишком быстро из-за дефицита времени (51%). 
— Участникам, которые рассматриваются в начале сведения, уделяется больше времени (42%). 
— Сведение превращается в непродуктивную дискуссию (40%). 

3. Участники связывают основные проблемы с недостатком информации  до или после оценки:

— Отсутствие понятного описания, как на основе упражнений будут выставляться оценки (55%).

Важно: Мы рекомендуем объяснять участникам механизм получения оценки (поведение, которое может к ней привести) в сессии обратной связи. Подробное объяснение этого ДО оценки может снизить точность ЦО. Исследования показывают, что большей валидностью обладают упражнения, помещающие человека в ситуацию неопределённости. Слишком "прозрачная" оценка, наоборот, имеет более низкую валидность.

— Низкое качество обратной связи по результатам (51%). 
— Плохо разработанная оценка в целом (34%). 

Все описанные проблемы можно объединить в 2 группы. 

К первой группе относится то, что внешне маркируется как дефицит времени – на подготовку, оценку, сведение. Наблюдатели попадают в слишком сжатые сроки. Один из вариантов решения проблемы – автоматизация и стандартизация центров оценки. Это касается, в первую очередь, этапа проведения и заключается в следующих пунктах:

1. Автоматизация упражнений типа ин-баскета (проведение в компьютеризированным виде с автоматической обработкой).

2. Осуществление наблюдения через электронные чек-листы. 

3. Статистическое сведение оценок – обсуждение только существенных расхождений в оценках наблюдателей по одному участнику.

4. Создание отчётов на основе шаблонов. 

Можно порекомендовать настроить коммуникацию с коллегами, ответственными за планирование оценки. Подробное описание этапов и сроков проведения эффективного ЦО поможет сформировать лучшее представление о процедуре и далее более оптимально её спланировать. Также можно рассмотреть расширение пула оценщиков или привлечение консалтинговой компании. Большее количество наблюдателей позволит уделить больше времени каждому отдельному ЦО.

Во вторую группу входят нарушения базовых принципов ЦО:

— Оценка какой-либо компетенции в менее чем двух упражнениях.
— Недостаток информирования участников.

Требования к центру оценки и базовые принципы его проведения описаны в Российском стандарте центра оценки. В частности, каждая компетенция должна оцениваться минимум в двух упражнениях. Участники должны быть проинформированы о критериях отборах; по результатам им должна быть предоставлена устная обратная связь с описанием примеров поведения и сделанных выводов.

ecopsy.ru

Рубрика: 
Ключевые слова: 

Поделиться

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий