Является ли рост алгоритмического принятия решений хорошим явлением? Похоже, растет число авторов, ученых и журналистов, которые отвечают на этот вопрос отрицательно.A В основе этой работы лежит обеспокоенность тем, что алгоритмы часто являются непрозрачными, предвзятыми и неподотчетными инструментами, используемыми в интересах институциональной власти. Эти критические замечания и расследования часто бывают проницательными и поучительными, и они проделали хорошую работу, чтобы разубедить нас в том, что алгоритмы являются чисто объективными. Но среди этих критиков есть одна закономерность: они редко задаются вопросом, насколько хорошо работали бы анализируемые ими системы без алгоритмов. А ведь это самый важный вопрос для практиков и политиков: Как предвзятость и производительность алгоритмов сопоставимы с производительностью людей? Не секрет, что алгоритмы предвзяты. Но люди, которых они заменяют, являются значительно более предвзятыми. В конце концов, откуда берутся институциональные предубеждения, если не от людей, которые традиционно были главными?
Сейчас происходит тихая революция. В отличие от большинства публикаций в прессе об искусственном интеллекте, эта революция не связана с восхождением армии разумных андроидов. Скорее, она характеризуется неуклонным ростом автоматизации традиционно человеческих процессов принятия решений в организациях по всей стране. Хотя такие достижения, как AlphaGo Zero, привлекают внимание, именно обычные методы машинного обучения и статистики - обычные наименьшие квадраты, логистическая регрессия, деревья решений - приносят реальную пользу многим организациям. Приложения в реальном мире варьируются от медицинских диагнозов и судебных приговоров до профессионального рекрутинга и распределения ресурсов в государственных учреждениях.
Хороша ли эта революция? Похоже, растет число авторов, ученых и журналистов, которые отвечают на этот вопрос отрицательно. Среди книг этого жанра - Оружие математического разрушения, Автоматизация неравенства и Общество черного ящика. В последнее время также появилось множество разоблачительных статей, таких как "Машинная предвзятость", "Аскетизм - это алгоритм" и "Строят ли алгоритмы новую инфраструктуру расизма?" В основе этих работ лежит обеспокоенность тем, что алгоритмы часто являются непрозрачными, предвзятыми и неподотчетными инструментами, используемыми в интересах институциональной власти. Так насколько мы должны быть обеспокоены современным господством алгоритмов?
<
Инсайт-центр
-
Принятие ИИ
При спонсорстве SAS Как компании используют искусственный интеллект в своих деловых операциях.
Эти критические замечания и расследования часто бывают проницательными и поучительными, и они проделали хорошую работу, разуверив нас в том, что алгоритмы являются чисто объективными. Но среди этих критиков есть одна закономерность: они редко задаются вопросом, насколько хорошо работали бы анализируемые ими системы без алгоритмов. А ведь это самый важный вопрос для практиков и политиков: Как соотносятся предвзятость и эффективность алгоритмов со статус-кво? Вместо того чтобы просто спрашивать, есть ли у алгоритмов недостатки, мы должны спросить, как эти недостатки соотносятся с человеческими.
Что говорят исследования?
Существует большое количество исследований, посвященных алгоритмическому принятию решений, которые появились несколько десятилетий назад. И все существующие исследования на эту тему имеют удивительно похожий вывод: Алгоритмы менее предвзяты и более точны, чем люди, которых они заменяют. Ниже приводится пример исследований о том, что происходит, когда алгоритмы получают контроль над задачами, которые традиционно выполнялись людьми (все выделения мои):
- В 2002 году группа экономистов изучала влияние алгоритмов автоматизированного андеррайтинга в сфере ипотечного кредитования. Их основные выводы заключались в том, что "системы [автоматизированного андеррайтинга] более точно предсказывают дефолт, чем ручные андеррайтеры", и "эта повышенная точность приводит к более высоким показателям одобрения заемщиков, особенно для заявителей, не имеющих достаточного уровня обслуживания".Вместо того чтобы маргинализировать традиционно недостаточно обеспеченных покупателей жилья, алгоритмическая система на самом деле принесла наибольшую пользу этому сегменту потребителей.
- К аналогичному выводу пришел Бо Каугилл из Колумбийской школы бизнеса, изучая работу алгоритма отбора на работу в компании по разработке программного обеспечения (исследование готовится к публикации). Когда компания запустила алгоритм для принятия решения о том, какие кандидаты должны пройти собеседование, алгоритм фактически отдавал предпочтение "нетрадиционным" кандидатам гораздо больше, чем это делали люди. По сравнению с людьми, алгоритм проявлял значительно меньше предвзятости к кандидатам, которые были недопредставлены в фирме (например, к тем, у кого не было личных рекомендаций или дипломов престижных университетов).
- В контексте слушаний по досудебному освобождению под залог в Нью-Йорке группа выдающихся компьютерных ученых и экономистов определила, что алгоритмы способны принимать значительно более справедливые решения, чем судьи, которые в настоящее время принимают решения по освобождению под залог, при этом "сокращение числа заключенных под стражу [достигает] 41.Они также обнаружили, что в их модели "все категории преступлений, включая насильственные преступления, показывают сокращение [количества заключенных в тюрьму]; и этих успехов можно достичь, одновременно сокращая расовое неравенство.Недавно журнал "Нью-Йорк Таймс" опубликовал лонгформную статью, призванную ответить на вопрос: "Может ли алгоритм определить, когда дети находятся в опасности?" Оказалось, что ответ "да", и что алгоритмы могут выполнять эту задачу гораздо точнее, чем люди. Вместо того чтобы усугублять пагубные расовые предубеждения, связанные с некоторыми государственными службами, "опыт Allegheny говорит о том, что инструмент скрининга не так плохо взвешивает предубеждения, как это делали люди
- И наконец, изучив исторические данные о публично торгуемых компаниях, команда профессоров финансов решила создать алгоритм для выбора лучших членов совета директоров для данной компании. Исследователи не только обнаружили, что компании будут работать лучше с членами совета директоров, подобранными с помощью алгоритма, но и по сравнению с предложенным ими алгоритмом, они "обнаружили, что компании [без алгоритма] склонны выбирать директоров, которые с гораздо большей вероятностью являются мужчинами, имеют большую сеть, большой опыт работы в совете директоров, в настоящее время работают в большем количестве советов директоров и имеют финансовое образование.a€
В каждом из этих примеров ученые, изучающие данные, сделали то, что звучит как тревожная вещь: они обучили свои алгоритмы на прошлых данных, которые, несомненно, предвзяты историческими предрассудками. Так что же здесь происходит? Как получилось, что в столь разных областях - кредитные заявки, отбор на работу, уголовное правосудие, распределение государственных ресурсов и корпоративное управление - алгоритмы могут уменьшать предвзятость, в то время как многие комментаторы говорят нам, что алгоритмы должны делать обратное?
Человек - удивительно плохой человек, принимающий решения
Не слишком скрытый секрет вышеупомянутых алгоритмов заключается в том, что они действительно предвзяты. Но люди, которых они заменяют, значительно более предвзяты. В конце концов, откуда берутся институциональные предубеждения, если не от людей, которые традиционно были главными?
Но ведь люди не могут быть настолько плохими, верно? Да, мы можем быть предвзятыми, но, несомненно, существует некая мера эффективности, по которой мы принимаем хорошие решения. К сожалению, десятилетия психологических исследований в области суждений и принятия решений снова и снова демонстрируют, что люди очень плохо оценивают качество в самых разных контекстах. Благодаря новаторской работе Пола Мила (и последующей работе Робин Доуз), мы знаем, по крайней мере, с 1950-х годов, что очень простые математические модели превосходят предполагаемых экспертов в предсказании важных результатов в клинических условиях.
Во всех вышеупомянутых примерах люди, принимавшие решения, были настолько плохи, что замена их алгоритмами одновременно повысила точность и уменьшила институциональные предубеждения. Это то, что экономисты называют улучшением Парето, когда одна политика выигрывает у альтернативной по всем интересующим нас результатам. Хотя многие критики любят намекать на то, что современные организации стремятся к операционной эффективности и большей производительности за счет равенства и справедливости, все имеющиеся свидетельства в этих контекстах говорят о том, что такого компромисса нет: алгоритмы обеспечивают более эффективные и более справедливые результаты. Если что-то и должно вас настораживать, так это тот факт, что так много важных решений принимается людьми, которые, как мы знаем, непоследовательны, предвзяты и феноменально плохо принимают решения.
Улучшение статус-кво
Конечно, мы должны делать все возможное, чтобы искоренить институциональную предвзятость и ее пагубное влияние на алгоритмы принятия решений. Критика алгоритмического принятия решений породила новую волну исследований в области машинного обучения, в которых более серьезно рассматриваются социальные и политические последствия алгоритмов. В статистике и машинном обучении появляются новые методы, разработанные специально для решения проблем, связанных с алгоритмической дискриминацией. Существует даже ежегодная научная конференция, на которой исследователи не только обсуждают этические и социальные проблемы машинного обучения, но и представляют новые модели и методы для обеспечения положительного влияния алгоритмов на общество. Эта работа, вероятно, станет еще более важной по мере распространения менее прозрачных алгоритмов, таких как глубокое обучение.
Но даже если технология не сможет полностью решить социальные проблемы институциональной предвзятости и предвзятой дискриминации, рассмотренные здесь факты свидетельствуют о том, что на практике она может сыграть небольшую, но измеримую роль в улучшении статус-кво. Это не аргумент в пользу алгоритмического абсолютизма или слепой веры в силу статистики. Если в некоторых случаях мы обнаружим, что алгоритмы обладают неприемлемо высокой степенью предвзятости по сравнению с текущими процессами принятия решений, то нет никакого вреда в том, чтобы следовать доказательствам и сохранять существующую парадигму. Но приверженность следованию доказательствам имеет обе стороны, и мы должны быть готовы признать, что в некоторых случаях алгоритмы будут частью решения для снижения институциональной предвзятости. Поэтому в следующий раз, когда вы прочитаете заголовок о вреде алгоритмической предвзятости, не забудьте посмотреть в зеркало и вспомнить, что вред от человеческой предвзятости, скорее всего, еще хуже.
Об авторе
Алекс П. Миллер - докторант кафедры информационных систем и технологий в Уортонской школе Университета Пенсильвании.
- Hbr.org
Поделиться
