В последнее время алгоритмы подвергаются большой критике за принятие необъективных решений. Должны ли мы возмущаться предвзятостью, отраженной в результатах работы алгоритмов? Да. Но от того, как организации реагируют на свои алгоритмы, зависит, добьются ли они успехов в смягчении своих решений или еще больше увековечат предвзятое принятие решений. Организациям следует использовать алгоритмы в качестве увеличительных стекол: алгоритмы могут объединять отдельные точки данных с целью выявления закономерностей, которые людям трудно обнаружить. Когда алгоритмы выявляют предвзятость, компании должны использовать этот "провал" как возможность узнать, когда и как возникает предвзятость. Таким образом, у них будет больше возможностей для пересмотра текущей практики и улучшения процесса принятия решений в целом.
В последнее время алгоритмы часто подвергаются нападкам за необъективные решения. Люди возмущены алгоритмом рекрутинга, разработанным компанией Amazon, который не учитывал женщин, претендующих на работу. Точно так же они возмущены предиктивной работой полиции и предиктивным вынесением приговоров, которые непропорционально наказывают цветное население. Важно отметить, что раса и пол не были включены в качестве исходных данных ни в один из этих алгоритмов.
Должны ли мы возмущаться предвзятостью, отраженной в результатах работы алгоритмов? Да. Но от того, как организации реагируют на свои алгоритмы, зависит, добьются ли они успехов в смягчении своих решений или еще больше увековечат предвзятое принятие решений.
До сих пор типичная реакция СМИ сводилась к тому, чтобы обвинить алгоритм, а компания вернулась к принятию решений человеком. Но это неправильный подход к выявлению и устранению предвзятости. Скорее, организациям следует использовать статистические алгоритмы в качестве увеличительных стекол: Алгоритмы могут объединять отдельные точки данных с целью выявления закономерностей, которые людям трудно обнаружить. Когда алгоритмы выявляют предвзятость, компании должны использовать этот "провал" как возможность узнать, когда и как возникает предвзятость. Таким образом, они будут лучше оснащены для того, чтобы изменить свою текущую практику и улучшить процесс принятия решений в целом.
Проблема с обвинением алгоритмов
Называя алгоритмы предвзятыми, мы антропоморфизируем их. Рассмотрим, например, такие заголовки, как "Почему совершенно неудивительно, что ИИ Amazon при приеме на работу предвзято относился к женщинам", "Amazon отбраковывает секретный инструмент ИИ для рекрутинга, который показал предвзятое отношение к женщинам" и "Сексистский алгоритм Amazon при приеме на работу все еще может быть лучше, чем человек". Даже исследователи наделяют алгоритмы полномочиями, задавая вопрос: "Почему искусственный интеллект дискриминирует?" и обозначая результаты как "Машинная предвзятость" и "Алгоритмическая предвзятость". Этот простой выбор формулировки может показаться непримечательным, но антропоморфизация алгоритмов перекладывает вину на инструмент, в конечном итоге освобождая от ответственности тех, кто принимает решения. (В машинном обучении "предвзятость" имеет другое значение; проблема заключается в более разговорном применении этого термина.)
Фактические лица, принимающие решения, - это люди, принимающие решения о найме. Неправильное направление нашего возмущения означает, что эти лица, принимающие решения, и их руководители не несут ответственности за решение проблем, выявленных в результате алгоритмической обработки. Входные данные для алгоритмов Amazon состояли из исторических данных: предыдущих решений о найме, принятых людьми; именно здесь зародилась предвзятость, и именно здесь организации должны сосредоточить усилия по ее устранению. Обвинять алгоритм в том, что он выдает необъективные результаты, так же контрпродуктивно, как обвинять зеркало в том, что оно отражает синяк на вашем лбу. Выбросив зеркало, вы не вылечите синяк, но сможете продлить время, необходимое для устранения проблемы и выявления будущих синяков.
Возврат к человеческому суждению не решает проблему
Когда компании отказываются от алгоритмов в ответ на обратную реакцию, они возвращаются к своим первоначальным, ошибочным процессам принятия решений. В большинстве решений организации исторически полагались на человеческое суждение. Многолетние исследования показывают, что человеческие суждения часто предсказуемо необъективны.
Люди не только непоследовательны (что исследователи считают "низкой надежностью"), но и отвлекаются на нерелевантную информацию (которая имеет "низкую предсказательную достоверность"). Возьмем прием на работу и продвижение по службе: даже после контроля пола и возраста исследователи обнаружили, что более высокие люди получают больше денег. Один дюйм роста стоит дополнительных 789 долларов в год зарплаты. Маловероятно, что менеджеры намерены нанимать или повышать сотрудников на основе роста, но, похоже, эта информация влияет на их суждения. Кроме того, по мере обработки большего количества информации мы устаем, что увеличивает вероятность совершения подобных ошибок.
Если этого недостаточно, то процесс мышления человека также удручающе непрозрачен. Попросите менеджера рассказать, как он набирает высокоэффективных сотрудников, и он может объяснить, что ищет "командных игроков". Но что именно это значит? Они могут сказать, что ищут человека, который хорошо работает с другими. Но какую информацию они ищут в резюме или во время собеседования, чтобы показать это? Люди могут полагаться на субъективные критерии при принятии решений и даже не осознавать этого, пока не попытаются объяснить ход своих мыслей. Это затрудняет создание прозрачного процесса принятия решений, делая последовательность практически невозможной. Вот почему опасно отказываться от алгоритмов в пользу человеческого суждения. В конечном счете, это зарывает наши предубеждения еще глубже, делая их более сложными для обнаружения.
Довод в пользу алгоритмов
Люди устают и отвлекаются. Алгоритмы - нет. По определению, математические уравнения выполняют созданные для них правила. Они остаются последовательными. Вот почему даже самый простой алгоритм, регрессия, часто оказывается точнее экспертов.
В то время как люди часто затрудняются объяснить свои мыслительные процессы, большинство алгоритмов прозрачны - по крайней мере, для их создателя. Для простой линейной регрессии человеку нужно указать, какой вес, или важность, имеет каждая входная переменная в уравнении. Уравнение требует входных и выходных переменных, которые достаточно объективны для количественной оценки. Таким образом, числовые показатели вносят прозрачность в процесс принятия решений. (Исключение составляют некоторые формы машинного обучения. Хотя человек решает, какой набор данных использовать, правила принятия решений, используемые обученным алгоритмом, нелегко объяснить.)
Конечно, существует законное беспокойство по поводу слепого следования всем алгоритмическим выводам, независимо от конкретных обстоятельств, поскольку алгоритмы могут эффективно усугублять предвзятость, присутствующую во входных данных. Алгоритм усиливает любые закономерности во входных данных, поэтому если в них присутствует предубеждение, алгоритм также усиливает это предубеждение.
Не удивительно, что это опасение особенно актуально, когда организации уделяют мало внимания переменным данным, используемым в качестве входных. И еще большее беспокойство вызывает ситуация, когда организации не подвергают алгоритм итерационному тестированию. Человеческое суждение необходимо для оценки точности алгоритмического вывода, а алгоритмы нуждаются в обратной связи для улучшения. Готовность организации инвестировать в алгоритмы без включения обратной связи в процесс вызвала призыв к алгоритмическому аудиту.
На самом деле Amazon действительно проверила результаты работы своих алгоритмов. И, к счастью, они поделились своими "неудачами". Эти результаты рассказали нам кое-что удивительно конкретное о том, как предвзятость проникла в процессы найма в компании. Amazon использовала 500 моделей, чтобы определить, какие признаки предсказывают успех, определяемый как прием на работу в компанию. Обнаружив существование предвзятости, компания также обнаружила подсказки о том, откуда она берет свое начало. Определенные слова в резюме людей были связаны с приемом на работу - глаголы, выражающие уверенность и описывающие способ выполнения задач, включая "выполнил" и "захватил". Большинство кандидатов, использовавших эти слова, были мужчинами; статистически эти признаки коррелировали с полом.
Это позволило Amazon выявить предвзятость в своих прошлых решениях о найме. Менеджеры по найму, скорее всего, не знали, что именно этот язык оказывает на них влияние. Или, возможно, они воспринимали такие высказывания как сигнал о чьей-то уверенности. Возможно, они полагались на это больше, чем на другую информацию в резюме, считая, что уверенность является более полезным показателем компетентности, чем это есть на самом деле.
Обнаружение такого рода ассоциаций позволяет компании улучшить свою текущую практику найма. Например, компания Amazon может отредактировать эти не относящиеся к делу слова в резюме до их рассмотрения, если она знает, что они ассоциируются с полом и в остальном неинформативны. Кроме того, программисты могут статистически учитывать эти слова, чтобы алгоритм не использовал их в качестве прогностической подсказки.
Использование алгоритмов в качестве увеличительных стекол
Организации могут использовать алгоритмы для целенаправленного увеличения потенциальных предубеждений, чтобы выявить и устранить их. Обнаружение - это первый шаг к устранению проблемы. Когда алгоритмы выявляют предубеждения, компании узнают о своих прошлых процессах принятия решений, о том, что движет предубеждениями и какая нерелевантная информация отвлекает нас от полезной. Компании могут применять эту стратегию увеличительного стекла к любому важному процессу принятия решений, связанному с прогнозами, от приема на работу до повышения по службе.
Использование алгоритмов в качестве увеличительных стекол может сэкономить время организации. Например, если отдел ежегодно принимает на работу двух человек, может потребоваться время, чтобы понять, что в отделе из десяти сотрудников постоянно работает только одна женщина. Но когда алгоритм объединяет нечастые решения, он обнаруживает закономерности, которые мы не замечали бы годами. Если предвзятость становится очевидной, у организаций появляется возможность решить проблему. Альтернатива заключается в том, что организации продолжают вести бизнес как обычно, позволяя предвзятости просачиваться практически в каждый прием на работу или продвижение по службе.
Контрольный список для использования алгоритмов в качестве увеличительных стекол
Подготовка к созданию алгоритма
Команда: Насколько разнообразной является команда, создающая алгоритм? Разнообразие мышления - ключ к обнаружению наших собственных слепых зон.
Выход: Прояснили ли мы и определили ли количественно наши цели для составления прогноза? Определили ли мы, что именно мы хотим предсказать? Статистика фокусируется на одной зависимой переменной в ущерб другим, а алгоритмы не понимают компромиссов.
Вход: Насколько субъективной является информация, которую мы будем использовать для составления прогноза? Если ваши входные переменные трудно определить количественно, есть вероятность, что ваши цели недостаточно ясны. Попытайтесь лучше определить выходную переменную (например, разложите по полочкам, что значит быть высокоэффективным сотрудником).
Построение алгоритма
Входные цели: Правильно ли мы выбрали данные? Богатые данные должны включать множество факторов, описывающих каждый случай наблюдения (широкие данные), которые, как у вас есть веские основания полагать, имеют отношение к прогнозу. Например, если есть возможность, задайте потенциальным сотрудникам те же 10 вопросов вместо всего 4.
Плохие подводные камни, которых следует избегать: Рассмотрите источник и демографический состав входных данных. Репрезентативны ли они для населения, которое мы хотели бы получить для принятия будущих решений? Является ли она разнообразной? Если нет, можем ли мы отсеять переменные, которые являются косвенными показателями демографии? (Помните, что география может коррелировать с расой и социально-экономическим статусом.)
Тестирование: Проводили ли мы несколько итераций этапов тестирования? Обратная связь необходима для разработки алгоритма, поэтому изучите результат, полученный с помощью контуров обратной связи. Если результат смещен, изучите взаимосвязи, агрегированные алгоритмом, чтобы понять, почему происходит смещение (т.е. какой конкретный входной сигнал производит смещенный результат). Потратьте время на то, чтобы подумать, следует ли внести изменения в алгоритм.
Интерпретация результатов работы алгоритма
Проверка на безумие: Проверили ли мы, что алгоритм предсказывает то, что мы ожидаем от него при новой выборке (так называемые "вневыборочные" предсказания)?
Аудит: Проверили ли мы, что выходные данные выглядят несмещенными? Отдельная команда должна провести аудит процесса, чтобы проверить, насколько уместен выходной результат и подтверждает ли здравый смысл связь между входной и выходной переменной. Важно отметить, что команда должна рассмотреть, нет ли неучтенных переменных, которые могли бы объяснить результат. Наконец, рассмотрели ли мы потенциальные косвенные переменные?
Принятие решений на основе данных: Какие действия, согласно результатам, нам следует предпринять? Возможно, результаты проливают свет на предположения, сделанные при создании алгоритма, или предлагают внести изменения в процесс принятия решений командой. Например, результаты могут побудить команду рассмотреть возможность исключения или включения определенных входных переменных.
После обнаружения предвзятости организации могут исправить предвзятые решения тремя основными способами. Первый способ может быть самым сложным. Он предполагает создание более качественных входных данных для алгоритма, что начинается с изменения текущей практики найма. Во-вторых, можно продолжать использовать те же исторические данные, но создать новые правила для алгоритма, например, включить переменную, указывающую на разнообразие. В-третьих, мы можем изучить, как существующие входные переменные могут внести предвзятость, или рассмотреть новые, более подходящие входные переменные. Подробный контрольный список о том, как использовать алгоритмы в качестве увеличительных стекол, см. в разделе "Подробнее" выше.
Спросите "Какова альтернатива?"
Ни один алгоритм не совершенен. Но и люди не совершенны. Если бы это было так, мы бы знали будущее. Когда люди сталкиваются с менее чем идеальным алгоритмическим результатом, они могут рефлекторно захотеть его выбросить.
Во время обсуждения в моем классе "Психология больших данных" студенты прочитали об алгоритме, созданном для предсказания того, какие студенты с наибольшей вероятностью бросят колледж. Алгоритм был точен примерно в 85% случаев. Дискуссия развернулась вокруг того, стоит ли доверять менее чем идеальным результатам. Я попросил их рассмотреть альтернативу, когда они будут думать о том, насколько стоит доверять алгоритму. Насколько хорошо человек мог бы предсказать тот же результат? Смог бы он достичь 60% точности? По сравнению с эталоном в 60 % точности, 85 % выглядит гораздо лучше.
При прямом сравнении точности алгоритмов и человека точность прогнозирования алгоритмов неизменно выбивает из колеи даже экспертные оценки. Вот почему нам необходимо рассмотреть альтернативу алгоритмическим суждениям. На самом деле, в моем исследовании с коллегами Джулией Минсон из Гарвардского университета и Доном Муром из Калифорнийского университета в Беркли мы обнаружили, что эксперты, игнорирующие советы алгоритма, делают менее точные прогнозы по сравнению с обычными людьми, которые готовы следовать этим советам.
В конечном счете, алгоритмы - это инструменты. Люди создают их, определяют, являются ли их результаты точными, и решают, когда и как действовать в соответствии с этими результатами. Данные могут обеспечить понимание, но люди несут ответственность за решения, принятые на их основе.
Об авторе
Дженнифер М. Логг - доцент кафедры менеджмента в Школе бизнеса Макдоно Джорджтаунского университета. Ранее она была постдокторантом Гарвардского университета и получила степень доктора философии в Школе бизнеса Хаас Калифорнийского университета в Беркли. В своих основных исследованиях она использует эксперименты, чтобы проверить, как люди реагируют на все более широкое распространение информации, создаваемой алгоритмами. Ее программа исследований изучает, как люди ожидают различий между алгоритмическими и человеческими суждениями (исследование, которое она называет "Теория машины", что является переиначиванием классической "теории разума").
- Hbr.org
Поделиться
