Алгоритмическое принятие решений и искусственный интеллект ("ИИ") обладают огромным потенциалом и, вероятно, станут экономическими блокбастерами, но мы обеспокоены тем, что шумиха заставила многих людей упустить из виду серьезные проблемы внедрения алгоритмов в бизнес и общество. Сегодня уже совершенно ясно, что если не принимать меры, алгоритмы ИИ, встроенные в цифровые и социальные технологии, будут кодировать общественные предубеждения, ускорять распространение слухов и дезинформации, усиливать эхо-камеры общественного мнения, перехватывать наше внимание и даже ухудшать наше психическое состояние. Обеспечение отражения общественных ценностей в алгоритмах и технологиях ИИ, вероятно, потребует не меньше творчества, упорного труда и инноваций, чем разработка самих технологий ИИ. У нас есть предложение, с чего начать: с аудита. Компании уже давно обязаны выпускать аудированную финансовую отчетность в интересах финансовых рынков и других заинтересованных сторон. Это связано с тем, что, подобно алгоритмам, внутренние операции компаний выглядят как "черные ящики" для тех, кто находится снаружи. Это дает менеджерам информационное преимущество перед инвестирующей общественностью, которым могут злоупотреблять неэтичные субъекты. Требование к менеджерам периодически отчитываться о своей деятельности обеспечивает контроль над этим преимуществом. Для повышения достоверности этих отчетов нанимаются независимые аудиторы, которые обеспечивают разумную уверенность в том, что отчеты, поступающие из "черного ящика", не содержат существенных искажений. Мы должны подвергнуть алгоритмы "черного ящика", оказывающие влияние на общество, такой же тщательной проверке.
Алгоритмическое принятие решений и искусственный интеллект (ИИ) обладают огромным потенциалом и, вероятно, станут экономическими блокбастерами, но мы обеспокоены тем, что шумиха заставила многих людей упустить из виду серьезные проблемы внедрения алгоритмов в бизнес и общество. Действительно, мы видим, что многие поддаются тому, что Кейт Кроуфорд из Microsoft называет "фундаментализмом данных" - представлению о том, что огромные массивы данных являются хранилищами, которые дают надежные и объективные истины, если только мы можем извлечь их с помощью инструментов машинного обучения. Необходим более тонкий взгляд. Сегодня уже совершенно ясно, что если не контролировать алгоритмы ИИ, встроенные в цифровые и социальные технологии, могут кодировать общественные предубеждения, ускорять распространение слухов и дезинформации, усиливать эхо-камеры общественного мнения, перехватывать наше внимание и даже ухудшать наше психическое состояние.
Обеспечение того, чтобы общественные ценности отражались в алгоритмах и технологиях ИИ, потребует не меньше творчества, упорного труда и инноваций, чем разработка самих технологий ИИ. У нас есть предложение, с чего начать: с аудита. Компании уже давно обязаны выпускать аудированную финансовую отчетность в интересах финансовых рынков и других заинтересованных сторон. Это связано с тем, что, подобно алгоритмам, внутренние операции компаний выглядят как "черные ящики" для тех, кто находится снаружи. Это дает менеджерам информационное преимущество перед инвестирующей общественностью, которым могут злоупотреблять неэтичные субъекты. Требование к менеджерам периодически отчитываться о своей деятельности обеспечивает контроль над этим преимуществом. Для повышения достоверности этих отчетов нанимаются независимые аудиторы, которые обеспечивают разумную уверенность в том, что отчеты, поступающие из "черного ящика", не содержат существенных искажений. Не должны ли мы подвергнуть алгоритмы "черного ящика", оказывающие влияние на общество, аналогичной проверке?
Действительно, некоторые дальновидные регуляторы начинают изучать такую возможность. Например, Общий регламент ЕС по защите данных (GDPR) требует, чтобы организации могли объяснять свои алгоритмические решения. Город Нью-Йорк недавно создал целевую группу для изучения возможных предубеждений в системах принятия алгоритмических решений. Разумно предположить, что появление новых нормативных актов может привести к тому, что рынок начнет тянуться к услугам, связанным с алгоритмической отчетностью.
Как же может выглядеть дисциплина аудита алгоритмов? Во-первых, она должна иметь целостную перспективу. Информатика и методы машинного обучения будут необходимой, но, скорее всего, недостаточной основой для дисциплины аудита алгоритмов. Также необходимы стратегическое мышление, контекстуально обоснованное профессиональное суждение, коммуникация и научный метод.
В результате, для достижения успеха аудит алгоритмов должен быть междисциплинарным. Он должен объединять профессиональный скептицизм с методологией социальных наук и концепциями из таких областей, как психология, поведенческая экономика, дизайн, ориентированный на человека, и этика. Специалист по социальным наукам задается не только вопросом: "Как оптимально смоделировать и использовать закономерности в этих данных?", но и вопросом: "Является ли эта выборка данных достаточно репрезентативной для основной реальности?". Специалист по этике может пойти дальше и задать такой вопрос, как: "Является ли распределение, основанное на сегодняшней реальности, подходящим для использования?". Предположим, например, что в сегодняшнем распределении успешных сотрудников высшего звена в организации непропорционально много мужчин. Наивное обучение алгоритма найма на данных, представляющих эту популяцию, может скорее усугубить, чем смягчить проблему.
Аудитор должен задать и другие вопросы: Является ли алгоритм достаточно прозрачным для конечных пользователей? Будет ли он использоваться социально приемлемым образом? Может ли он произвести нежелательный психологический эффект или непреднамеренно использовать естественные человеческие слабости? Используется ли алгоритм в обманных целях? Есть ли доказательства внутренней предвзятости или некомпетентности при его разработке? Адекватно ли он сообщает о том, как он приходит к своим рекомендациям, и указывает ли он уровень своей уверенности?
Даже при вдумчивом проведении аудита алгоритмов все равно возникают сложные вопросы, на которые может ответить только общество - через своих избранных представителей и регулирующие органы. Например, возьмем пример расследования ProPublica в отношении алгоритма, используемого для принятия решения о том, следует ли освободить из тюрьмы человека, обвиняемого в преступлении, до суда. Журналисты ProPublica обнаружили, что чернокожим, которые не совершили повторного преступления, чаще, чем белым, которые не совершили повторного преступления, присваивались баллы среднего или высокого риска. Интуитивно разное количество ложных срабатываний указывает на явный случай расовой предвзятости алгоритма. Но оказалось, что алгоритм на самом деле удовлетворяет другому важному понятию "справедливости": высокий балл означает примерно одинаковую вероятность повторного преступления, независимо от расы. Последующие научные исследования показали, что, как правило, невозможно одновременно удовлетворить оба критерия справедливости. Как показывает этот эпизод, журналисты и активисты играют важную роль в информировании ученых, граждан и политиков, когда они исследуют и оценивают такие компромиссы. Однако аудит алгоритмов должен быть отделен от этой (важной) деятельности.
На самом деле, задача аудитора должна быть более рутинной - обеспечить соответствие систем ИИ конвенциям, обсуждаемым и установленным на общественном и государственном уровне. По этой причине аудит алгоритмов в конечном итоге должен стать сферой компетенции изучаемой профессии (науки о данных) с соответствующими полномочиями, стандартами практики, дисциплинарными процедурами, связями с академическими кругами, непрерывным образованием и обучением этике, регулированию и профессионализму. Можно создать экономически независимые органы для обсуждения и выпуска стандартов разработки, отчетности и поведения. Такой научно обоснованный и этически обоснованный подход к аудиту алгоритмов является важной частью более широкой задачи по созданию надежных систем управления, аудита, управления рисками и контроля ИИ.
По мере того как ИИ переходит из исследовательской среды в реальную среду принятия решений, он превращается из проблемы компьютерных наук в проблему бизнеса и общества. Десятилетия назад принятие систем управления и аудита помогло обеспечить широкое отражение ценностей общества в бизнесе. Давайте попробуем повторить этот успех для ИИ.
Об авторе
Джеймс Гушча - специалист по изучению данных с более чем 20-летним опытом практической и преподавательской деятельности. В настоящее время он является научным сотрудником Центра перспективных исследований в области поведенческих наук Стэнфордского университета на период 2020-21 гг.
- Hbr.org
Поделиться
