Алгоритмы - мощные инструменты прогнозирования, но при неправильном применении они могут сбиться с пути. Вспомните, что часто происходит с сайтами социальных сетей. Сегодня многие из них используют алгоритмы, чтобы решить, какие объявления и ссылки показывать пользователям. Но когда эти алгоритмы слишком узко фокусируются на максимизации количества переходов по ссылкам, сайты быстро засоряются низкокачественным контентом. В то время как количество кликов растет, удовлетворенность клиентов падает.
По мнению авторов, проблема не в алгоритмах, а в том, как мы с ними взаимодействуем. Менеджеры должны признать два основных ограничения алгоритмов: Во-первых, они абсолютно буквальны; алгоритмы делают именно то, что им говорят, не обращая внимания на все остальные соображения. В то время как человек понял бы, что разработчики сайтов хотели максимизировать качество, измеряемое кликами, алгоритмы максимизировали клики в ущерб качеству. Во-вторых, алгоритмы - это черные ящики. Хотя они могут с большой точностью предсказывать будущее, они не скажут, что вызовет то или иное событие и почему. Например, они скажут вам, какими журнальными статьями, скорее всего, будут делиться в Twitter, не объясняя, что побуждает людей писать о них в Twitter.
Чтобы избежать ошибок, при разработке алгоритмов необходимо четко сформулировать все свои цели - жесткие и мягкие. Вы также должны учитывать долгосрочные последствия использования данных в алгоритмах, чтобы убедиться, что они не ориентированы на краткосрочные результаты. И выбирайте правильные исходные данные, не забывая собирать широкий спектр информации из разных источников.
Идея вкратце
Проблема
Алгоритмы - важные инструменты для планирования, но они могут легко сбить с пути тех, кто принимает решения.
Причины
Все алгоритмы имеют две общие характеристики: Они буквальны, что означает, что они будут делать именно то, о чем вы их просите. И они являются "черными ящиками", то есть не объясняют, почему они предлагают те или иные рекомендации.
Решение
При разработке алгоритмов четко формулируйте все свои цели. Учитывайте долгосрочные последствия изучаемых данных. И убедитесь, что вы выбрали правильные исходные данные.
Работа большинства менеджеров связана с прогнозированием. Когда специалисты по кадрам решают, кого нанять, они прогнозируют, кто будет наиболее эффективен. Когда маркетологи выбирают, какие каналы сбыта использовать, они прогнозируют, где продукт будет продаваться лучше всего. Когда венчурные инвесторы решают, стоит ли финансировать стартап, они прогнозируют, будет ли он успешным. Чтобы сделать эти и множество других бизнес-прогнозов, компании сегодня все чаще обращаются к компьютерным алгоритмам, которые выполняют пошаговые аналитические операции с невероятной скоростью и масштабом.
Алгоритмы делают прогнозы более точными, но они также создают свои собственные риски, особенно если мы их не понимаем. Громких примеров тому множество. Когда компания Netflix провела конкурс на миллион долларов на разработку алгоритма, который мог бы определить, какие фильмы понравятся тому или иному пользователю, команды специалистов по обработке данных объединили усилия и выявили победителя. Но этот алгоритм был применим к DVD-дискам, а когда зрители Netflix перешли на потоковое вещание, их предпочтения изменились таким образом, что не совпали с прогнозами алгоритма.
Еще один пример можно привести из социальных сетей. Сегодня многие сайты используют алгоритмы, чтобы решить, какие объявления и ссылки показывать пользователям. Когда эти алгоритмы слишком узко фокусируются на максимизации количества переходов пользователей по ссылкам, сайты засоряются низкокачественными статьями "приманкой для кликов". Количество переходов увеличивается, но общая удовлетворенность клиентов может резко упасть.
< <
Эта статья также появляется в:
-
HBRs 10 Must Reads on AI, Analytics, and the New Machine Age
Technology & Operations BOOK
- АВТОР
перед заключительным
для каждого дополнительного автора. Без пробелов и запятых. --> 24.95 Добавить в корзину
Проблемы, подобные этим, не являются неизбежными. В ходе нашей работы по разработке и внедрению алгоритмов и определению новых источников данных в различных организациях мы убедились, что источником трудностей часто являются не ошибки в алгоритмах, а ошибки в том, как мы с ними взаимодействуем. Чтобы избежать ошибок, руководители должны понимать, что алгоритмы делают хорошо - на какие вопросы они отвечают, а на какие нет.
Почему умные алгоритмы сбивают нас с пути?
Как показывает растущее число доказательств, очеловечивание алгоритмов делает их более удобными для нас. Это может быть полезно, например, если вы разрабатываете функцию автоматического вызова. Голос реального человека с большей вероятностью заставит людей прислушаться, чем электронный голос. Однако основная проблема заключается в том, что люди относятся к алгоритмам и машинам, которые их запускают, так же, как они относились бы к сотруднику, начальнику или коллеге. Но алгоритмы ведут себя совсем не так, как люди, причем в двух важных аспектах:
Алгоритмы чрезвычайно буквальны.
В последнем фильме "Мстители" Тони Старк (известный также как Железный человек) создает Ультрона, систему защиты с искусственным интеллектом, которой поручено защитить Землю. Однако Ультрон понимает эту задачу буквально и приходит к выводу, что лучший способ спасти Землю - это уничтожить всех людей. Во многих отношениях Ультрон ведет себя как типичный алгоритм: Он делает именно то, что ему говорят, и игнорирует все остальные соображения. Мы попадаем в беду, когда не управляем алгоритмами тщательно.
Сайты социальных сетей, которые внезапно были завалены клик-бейтами, попали в похожую ловушку. Их общая цель была ясна: предоставлять контент, который будет наиболее привлекательным и интересным для пользователей. Донося ее до алгоритма, они выработали набор инструкций, которые казались хорошим прокси: "Найдите элементы, на которые пользователи будут кликать чаще всего. И это не плохой вариант: Люди обычно кликают на контент, потому что он их интересует. Но отбор только на основе кликов быстро наполнил сайты поверхностными и оскорбительными материалами, которые нанесли ущерб их репутации. Человек бы понял, что разработчики сайтов имели в виду "максимизировать качество по количеству кликов", а не "максимизировать количество кликов даже в ущерб качеству". Алгоритм, с другой стороны, понимает только то, что ему прямо говорят.
Алгоритмы - это черные ящики.
В шекспировском "Юлии Цезаре" прорицатель предупреждает Цезаря "остерегаться мартовских идов". Рекомендация была совершенно ясной: Цезарю лучше быть осторожным. Но в то же время она была совершенно непонятна. Чего остерегаться? Почему? Цезарь, раздосадованный загадочным посланием, отмахнулся от прорицателя, заявив: "Он - мечтатель, оставим его". И действительно, мартовские иды оказались неудачным днем для правителя. Проблема заключалась в том, что прорицатель предоставил неполную информацию. И не было никакой подсказки о том, чего не хватает и насколько важна эта информация.
Подобно шекспировскому прорицателю, алгоритмы часто могут предсказывать будущее с большой точностью, но не могут сказать, что вызовет то или иное событие и почему. Алгоритм может прочитать каждую статью в New York Times и сказать, какой из них с наибольшей вероятностью будет опубликован в Twitter, не объясняя при этом, почему люди захотят написать об этом в Twitter. Алгоритм может сказать вам, какие сотрудники с наибольшей вероятностью добьются успеха, не определив, какие атрибуты наиболее важны для успеха.
Признание этих двух ограничений алгоритмов - первый шаг к более эффективному управлению ими. Теперь давайте рассмотрим другие шаги, которые вы можете предпринять для более успешного использования алгоритмов.
Объясните все свои цели
У каждого человека есть цели и директивы, но мы также знаем, что цель не всегда оправдывает средства. Мы понимаем, что существуют мягкие (часто невысказанные) цели и компромиссы. Мы можем отказаться от небольшой прибыли сегодня ради повышения репутации завтра. Мы можем стремиться к равенству, даже если это причиняет боль организации в краткосрочной перспективе. Алгоритмы, с другой стороны, будут преследовать определенную цель единолично. Лучший способ смягчить это - быть предельно ясным во всем, чего вы хотите достичь.
Если вам важна мягкая цель, вы должны сформулировать ее, определить и количественно оценить, насколько она важна. В той мере, в какой мягкие цели трудно измерить, не забывайте о них, когда действуете в соответствии с результатами алгоритма.
В компании Google (которая финансировала некоторые наши исследования по другим темам) проблема мягких целей возникла в связи с алгоритмом, определяющим, какие объявления показывать. Профессор Гарвардского университета Латания Суини обнаружила ее в ходе исследования. Она обнаружила, что когда вы набираете в Google имена, типично афроамериканские, например "Латания Фаррелл", вам показывается реклама, предлагающая изучить возможные записи об аресте, но не когда вы ищете по таким именам, как "Кристен Харинг".Жесткая цель Google - максимизировать количество кликов по рекламе - привела к тому, что алгоритмы, усовершенствованные с помощью обратной связи, фактически порочили людей с определенными именами. Это произошло потому, что люди, искавшие определенные имена, с большей вероятностью нажимали на записи об арестах, в результате чего эти записи появлялись еще чаще, создавая самоподдерживающуюся петлю. Возможно, это не было запланированным результатом, но без наличия "мягкой цели" не было механизма, который мог бы направить алгоритм в другое русло.
Алгоритмы не понимают компромиссов, они преследуют цели единолично.
Недавно мы увидели важность "мягких целей" в действии. Один из нас работал с городом на Западном побережье над повышением эффективности проверок ресторанов. На протяжении десятилетий город проводил их в основном наугад, но чаще проверял заведения, в которых ранее были нарушения. Однако выбор заведений для проверки - идеальная работа для алгоритма. Наш алгоритм обнаружил гораздо больше переменных, а не только прошлые нарушения, которые могут быть предсказуемыми. В результате департамент здравоохранения смог легче выявлять вероятных нарушителей, а затем находить фактические нарушения при гораздо меньшем количестве проверок.
Чиновникам понравилась идея сделать процесс более эффективным, и они захотели перейти к ее реализации. Мы спросили, есть ли какие-либо вопросы или опасения. После неловкого молчания один человек поднял руку. Я не знаю, как об этом говорить, - сказала она. Но есть вопрос, который мы должны обсудить". Она объяснила, что в некоторых районах с тесными кварталами, как правило, больше нарушений. В этих районах также проживает больше меньшинств с низким уровнем доходов. Она не хотела, чтобы эти районы стали объектом чрезмерного внимания алгоритма. Она выражала мягкую цель, связанную со справедливостью. Наше простое решение заключалось в том, чтобы включить эту цель в алгоритм, установив предельное количество проверок в каждом районе. Это позволило бы достичь жесткой цели - выявить рестораны с наибольшей вероятностью возникновения проблем, но при этом соблюсти мягкую цель - гарантировать, что бедные районы не будут выделяться.
Обратите внимание на дополнительный шаг, который позволил нам включить мягкие цели: дать каждому возможность высказать свои опасения. Мы обнаружили, что люди часто формулируют мягкие цели как озабоченность, поэтому прямой вопрос о них способствует более открытому и плодотворному обсуждению. Также очень важно дать людям разрешение быть откровенными и открытыми - говорить то, что они обычно не говорят. Такой подход может выявить множество проблем, но чаще всего мы видим, что они касаются справедливости и разрешения деликатных ситуаций.
< <
Эта статья также опубликована в:
-
HBRs 10 Must Reads 2017
Leadership & Managing People Book
- АВТОР
перед последним
для каждого дополнительного автора. Без пробелов и запятых. --> 24.95 Добавить в корзину .
Имея на руках основную цель и список проблем, разработчик алгоритма может затем встроить в него компромиссы. Часто это может означать расширение цели за счет включения нескольких результатов, взвешенных по степени важности.
Минимизация близорукости
Популярная компания по производству потребительских товаров закупала дешевые товары в Китае и продавала их в США. Она выбрала эти продукты после запуска алгоритма, который предсказал, какие из них будут продаваться лучше всего. Конечно же, продажи взлетели и пошли в гору, пока через несколько месяцев покупатели не начали возвращать товары.
Как оказалось, удивительно высокий и стабильный процент возвратов можно было предсказать (даже если алгоритм не смог его предугадать). Компания явно заботилась о качестве, но она не воплотила этот интерес в алгоритме, который тщательно прогнозировал удовлетворенность потребителей; вместо этого она попросила алгоритм сосредоточиться на продажах. В конечном счете, новый подход компании заключался в том, чтобы стать отличным специалистом в прогнозировании не только того, насколько хорошо будет продаваться продукция, но и того, насколько людям понравится их продукция и насколько они останутся довольны ею. Теперь компания ищет предложения, о которых покупатели будут восторженно отзываться на Amazon и других платформах, и процент возврата продукции резко упал.
Эта компания столкнулась с распространенным подводным камнем при работе с алгоритмами: Алгоритмы склонны к близорукости. Они фокусируются на имеющихся данных, а эти данные часто касаются краткосрочных результатов. Может возникнуть противоречие между краткосрочным успехом и долгосрочной прибылью и более широкими корпоративными целями. Люди неявно понимают это, а алгоритмы - нет, пока вы им этого не скажете.
Эту проблему можно решить на этапе постановки задач, определив и уточнив долгосрочные цели. Но, действуя на основе прогнозов алгоритма, менеджеры должны также учитывать, насколько алгоритм соответствует долгосрочным целям.
Миопия также является основной слабостью программ, которые создают низкокачественный контент, стремясь максимизировать количество кликов. Алгоритмы оптимизируются для достижения цели, которую можно измерить в данный момент - нажимает ли пользователь на ссылку - без учета более долгосрочной и более важной цели - чтобы пользователи были довольны своим пребыванием на сайте.
Близорукость может быть проблемой и в маркетинговых кампаниях. Рассмотрим обычную рекламную кампанию Gap в Google. Скорее всего, она приведет к увеличению числа посещений сайта Gap.com, поскольку алгоритм Google хорошо предсказывает, кто кликнет на рекламу. Проблема в том, что реальной целью является увеличение продаж, а не увеличение количества посещений сайта. Чтобы решить эту проблему, рекламные платформы могут собирать данные о продажах по различным каналам, например, в рамках партнерства с платежными системами, и включать их в свои алгоритмы.
Алгоритмы фокусируются на имеющихся данных, которые часто относятся к краткосрочным результатам.
Более того, посещение сайта - это краткосрочное поведение, в то время как долгосрочное воздействие рекламы включает в себя последующее влияние на имидж бренда и повторный бизнес. Хотя точные данные о таких эффектах найти трудно, тщательный аудит данных может оказать большую помощь. Менеджеры должны систематически перечислять все внутренние и внешние данные, которые могут иметь отношение к рассматриваемому проекту. При проведении кампании в Google маркетологи Gapa™ могли бы начать с формулировки всех своих целей: высокие продажи, низкий уровень возвратов, хорошая репутация и т.д., а затем определить способы измерения каждой из них. Возврат товара, отзывы в Интернете и поиск по слову "Gap" - все это отличные показатели. Лучший алгоритм может строить прогнозы на основе комбинации всех этих характеристик с учетом их относительной важности.
Выбирайте правильные исходные данные
Возвратимся к примеру с департаментами здравоохранения, которые пытаются выявить рестораны, подверженные риску возникновения заболеваний, передающихся через продукты питания. Как уже упоминалось ранее, исторически сложилось так, что города проводят проверки либо случайным образом, либо на основе результатов предыдущих проверок. Работая с Yelp, один из нас помог городу Бостон использовать онлайн-отзывы для определения того, какие рестораны с наибольшей вероятностью нарушают местные санитарные нормы, создав алгоритм, который сравнивал текст в отзывах с данными предыдущих проверок. Применив этот алгоритм, город выявил то же количество нарушений, что и обычно, но с помощью на 40% меньшего числа инспекторов, что значительно повысило эффективность работы.
Такой подход сработал не только потому, что у нас было много ресторанов для изучения, но и потому, что отзывы Yelp предоставляли большой набор данных, о которых города не задумывались. Отзыв на Yelp содержит много слов и разнообразную информацию. Данные также разнообразны, поскольку берутся из разных источников. Одним словом, они совсем не похожи на данные, созданные инспекторами, с которыми привыкли работать города.
Выбирая подходящие ресурсы данных, помните о следующем:
Шире - значит лучше.
Одна из ловушек, в которую часто попадают компании, - это представление о больших данных как о просто большом количестве записей - например, о миллионе клиентов вместо 10 000. Но это только половина картины. Представьте, что ваши данные организованы в виде таблицы, в которой есть строка для каждого клиента. Количество клиентов - это длина таблицы. Количество информации, которую вы знаете о каждом клиенте, определяет ширину - сколько характеристик записано в каждой строке. И хотя увеличение длины данных улучшит ваши прогнозы, вся мощь больших данных проявляется при сборе обширной информации. Использование всеобъемлющей информации лежит в основе прогнозирования. Каждая дополнительная деталь, которую вы узнаете о результате, подобна еще одной подсказке, и ее можно объединить с уже собранными подсказками. Например, текстовые документы - отличный источник обширных данных; каждое слово - это подсказка.
Разнообразие имеет значение.
Следствием этого является то, что данные должны быть разнообразными, в том смысле, что различные источники данных должны быть относительно не связаны друг с другом. Именно в этом случае появляется дополнительная предсказательная сила. Рассматривайте каждый набор данных как рекомендацию от друга. Если наборы данных слишком похожи, то каждый дополнительный набор не принесет значительной предельной пользы. Но если каждый набор данных имеет уникальную перспективу, то ценность будет намного выше.
Понимание ограничений
Знание того, что ваш алгоритм не может вам сказать, не менее важно, чем знание того, что он может. Легко поддаться ошибочному убеждению, что прогнозы, сделанные в одном контексте, будут одинаково хорошо применимы и в другом. Именно это не позволило компании Netflix в 2009 году извлечь из конкурса больше пользы: Алгоритм, который точно предсказывал, какой DVD-диск человек захочет заказать по почте, был не так хорош в определении того, какой фильм человек захочет посмотреть прямо сейчас. Netflix получила полезные сведения и хорошую рекламу от конкурса, но данные, собранные ею по DVD-дискам, не применимы к потоковому вещанию.
Алгоритмы используют существующие данные для прогнозирования того, что может произойти при несколько иной обстановке, населении, времени или вопросе. По сути, вы переносите понимание из одного контекста в другой. Поэтому разумно перечислить причины, по которым алгоритм может быть неприменим к новой проблеме, и оценить их значимость. Например, алгоритм нарушения санитарных норм, основанный на отзывах и нарушениях в Бостоне, может оказаться менее эффективным в Орландо, где более жаркая погода и, соответственно, другие проблемы с безопасностью продуктов питания.
Также помните, что корреляция еще не означает причинно-следственную связь. Предположим, алгоритм предсказывает, что короткие твиты будут ретвитить чаще, чем длинные. Это никоим образом не означает, что вы должны сокращать свои твиты. Это предсказание, а не совет. Оно работает как предсказание, потому что существует множество других факторов, которые коррелируют с короткими твитами и делают их эффективными. Именно поэтому он также не работает как совет: Укорачивание твитов не обязательно изменит эти другие факторы.
Рассмотрим опыт компании eBay, которая в течение многих лет размещала рекламу через Google. EBay видела, что люди, которые просматривали эту рекламу, с большей вероятностью совершали покупки на eBay, чем те, кто этого не делал. Но она не понимала, заставляет ли эта реклама (которая показывалась миллионы раз) людей приходить на ее сайт. В конце концов, реклама намеренно показывалась вероятным покупателям eBay. Чтобы отделить корреляцию от причинно-следственной связи, компания eBay провела большой эксперимент, в ходе которого она случайным образом показывала рекламу одним людям, а другим - нет. Результат? Оказалось, что реклама была по большей части бесполезной, поскольку люди, которые ее видели, уже знали о eBay и все равно совершали покупки там.
Алгоритмы, способные делать прогнозы, не избавляют от необходимости проявлять осторожность при установлении связей между причиной и следствием; они не заменяют контролируемые эксперименты. Но то, что они могут делать, является чрезвычайно мощным: выявление закономерностей, слишком тонких для человеческого наблюдения, и использование этих закономерностей для создания точных выводов и принятия более эффективных решений. Наша задача состоит в том, чтобы понять их риски и ограничения и с помощью эффективного управления раскрыть их замечательный потенциал.
Об авторе
Майкл Лука - доцент кафедры делового администрирования Ли Дж. Стайслингера III в Гарвардской школе бизнеса и соавтор (совместно с Максом Х. Базерманом) книги The Power of Experiments: Decision Making in a Data-Driven World (готовится к изданию в MIT Press).
- Hbr.org
Поделиться
