Рост экспериментальных оценок в организациях - или то, что экономисты называют полевыми экспериментами, - способен изменить процесс принятия организационных решений, обеспечивая свежий взгляд на самые разные области - от разработки продукта до управления персоналом и государственной политики. Компании, которые инвестируют в рандомизированные оценки, могут получить преимущество в игре.
Однако, несмотря на стремительный рост числа экспериментов, особенно в технологических компаниях, мы видим, что многие из них проводятся неправильно. Даже если они поставлены правильно, во время их проведения часто происходят ошибки, которых можно избежать. В результате многие организации не получают реальных преимуществ научного метода.
В этой статье изложены семь шагов, которые помогут обеспечить эффективность вашего эксперимента. Эти принципы основаны на академических исследованиях полевых экспериментов, а также на нашей работе с различными организациями - от Yelp до правительства Великобритании.
1. Определите узкий вопрос. Заманчиво провести эксперимент по такому вопросу, как "Стоит ли реклама таких затрат?" или "Должны ли мы снизить (или повысить) наши годовые бонусы?". Действительно, начать с вопроса, который является центральным для ваших более широких целей, - это хорошее начало. Но ошибочно полагать, что один эксперимент сделает все возможное. Причина проста: Ответы на такие важные вопросы зависят от множества факторов.
Возьмем, к примеру, вопрос о том, стоит ли реклама затрат. О какой форме рекламы идет речь, для каких продуктов, в каких СМИ, в какие периоды времени? Ваш вопрос должен быть проверяемым, а это значит, что он должен быть узким и четко определенным. Более точный вопрос может звучать так: "Насколько реклама нашего бренда в Google AdWords увеличивает ежемесячные продажи?". Это эмпирический вопрос, на который может ответить эксперимент - и это подкрепляет вопрос, который вы в конечном итоге надеетесь решить. На самом деле, именно с помощью такого эксперимента исследователи eBay обнаружили, что давняя стратегия рекламы бренда в Google не оказала никакого влияния на скорость посещения eBay платёжеспособными клиентами.
2. Используйте большой молоток. Компании экспериментируют, когда не знают, что сработает лучше всего. В условиях такой неопределенности может показаться привлекательным начать с малого, чтобы не нарушить привычный ход вещей. Но ваша цель должна заключаться в том, чтобы проверить, будет ли какая-то версия вашего вмешательства - вашего нового изменения - иметь значение для ваших клиентов. Для этого необходимо достаточно большое вмешательство.
Например, предположим, что продуктовый магазин рассматривает возможность добавления этикеток на товары, чтобы показать покупателям, что он закупает продукты в основном у местных фермеров. Какого размера должны быть этикетки и где они должны быть прикреплены? Мы бы предложили начать с больших этикеток на лицевой стороне упаковок, потому что если этикетки будут маленькими или на задней стороне упаковок, а эффекта не будет (обычный результат для тонких вмешательств), менеджерам магазина останется только гадать, заметили ли покупатели этикетки (эффект лечения был недостаточно большим) или им действительно было все равно (эффекта лечения не было). Начав с большого молотка, магазин мог бы узнать, заботятся ли покупатели о местном производстве. Если нет никакого эффекта от больших этикеток на фасадах упаковки, то магазину следует отказаться от этой идеи. Если же эффект есть, экспериментаторы смогут впоследствии доработать этикетки до нужных характеристик.
3. Проведите аудит данных. Как только вы узнали, в чем заключается ваше вмешательство, вам нужно выбрать, какие данные следует изучить. Составьте список всех внутренних данных, связанных с результатом, на который вы хотели бы повлиять, и когда вам нужно будет проводить измерения. Включите данные как о том, что, как вы надеетесь, изменится, так и о том, что, как вы надеетесь, не изменится в результате вмешательства, потому что вам нужно быть начеку в отношении непреднамеренных последствий. Подумайте также об источниках внешних данных, которые могут добавить перспективу.
Допустим, вы запускаете новый косметический продукт и хотите узнать, какой тип упаковки приводит к наибольшей лояльности и удовлетворенности клиентов. Вы решили провести рандомизированное контролируемое исследование в разных географических регионах. Помимо измерения повторяющихся заказов и отзывов покупателей на линии помощи (внутренние данные), вы можете отслеживать отзывы пользователей на Amazon и искать различия между покупателями в разных штатах (внешние данные).
4. Выбор исследуемой группы населения. Выберите подгруппу среди ваших покупателей, которая соответствует профилю покупателя, который вы хотите понять. Может возникнуть соблазн поискать самый простой способ получить подгруппу (например, интернет-пользователей), но будьте осторожны: если ваша подгруппа плохо представляет ваших целевых покупателей, результаты вашего эксперимента могут оказаться неприменимыми. Например, молодые онлайн-покупатели, совершающие покупки исключительно на вашей платформе электронной коммерции, могут вести себя совсем иначе, чем более взрослые покупатели в магазине. Вы можете использовать первых для обобщения стратегии вашей онлайн-платформы, но вы можете ошибиться, если попытаетесь сделать выводы из этой группы для ваших физических магазинов.
5. Рандомизация. Случайным образом распределите часть людей в группу лечения, а часть - в контрольную группу. Лечебная группа получает изменения, которые вы хотите протестировать, а контрольная группа получает то, что вы предлагали ранее - и убедитесь, что нет никаких различий, кроме тех, которые вы тестируете. Первое правило рандомизации - не позволять участникам решать, в какой группе находиться, иначе результаты будут бессмысленными. Второе - убедиться, что между лечением и контролем действительно нет различий.
Следовать второму правилу не всегда легко. Например, мы видели, как компании экспериментировали, предлагая в воскресенье другой купон, чем в понедельник. Проблема в том, что покупатели в воскресенье могут систематически отличаться от покупателей в понедельник (даже если вы контролируете количество покупателей в каждый день).
6. Примите план и придерживайтесь его. Прежде чем проводить эксперимент, подробно изложите свои планы. Сколько наблюдений вы проведете? Как долго вы будете проводить эксперимент? Какие переменные будут собраны и проанализированы? Запишите эти детали. Это может быть как просто создание электронной таблицы Google, так и официальное использование публичного реестра испытаний. Такой уровень прозрачности не только позволит всем быть на одной волне; он также поможет вам избежать известных подводных камней при проведении экспериментов.
После проведения эксперимента оставьте его в покое! Если вы получите результат, которого ожидали, - отлично; если нет - тоже хорошо. Единственное, что не в порядке: Проводить эксперимент до тех пор, пока результаты не будут выглядеть так, как будто они соответствуют вашей гипотезе, а не до тех пор, пока исследование не завершится в запланированном режиме. Такая практика привела к "кризису репликации" в психологических исследованиях. Это может серьезно исказить ваши результаты и снизить уровень понимания, которое вы получите. Урок? Придерживайтесь плана, насколько это возможно.
7. Пусть данные говорят. Чтобы получить полное представление о результатах, сообщайте о нескольких итогах. Конечно, некоторые из них могут быть неизменными, не впечатляющими или вовсе необъяснимыми. Но лучше быть прозрачным, чем игнорировать их. После изучения основных результатов спросите себя, действительно ли вы обнаружили основной механизм, лежащий в основе ваших результатов, - фактор, который ими движет. Если вы не уверены, доработайте свой эксперимент и проведите еще одно испытание, чтобы узнать больше.
Эксперименты уже являются центральной частью социальных наук; они быстро становятся центральными и для организаций. Если ваши эксперименты хорошо спланированы, они расскажут вам что-то ценное. Самые успешные из них разрушат ваши предположения, изменят вашу практику и опередят конкурентов. Экспериментирование - это долгосрочный, богатый информацией процесс, в котором каждое испытание является отправной точкой для следующего.
Об авторе
Оливер Хаузер - доцент экономики в Эксетерском университете, стипендиат программы UKRI Future Leaders Fellow и стипендиат программы Тьюринга в Институте Алана Тьюринга. Он получил степень доктора философии в Гарвардском университете, затем проходил стажировку в Гарвардской школе бизнеса и Гарвардской школе Кеннеди.
- Hbr.org
Поделиться
