Внедавней серии подкастов под названием Instaserfs бывший водитель Uber по имени Мансур дал леденящее кровь описание нового рабочего места с компьютерным управлением. Сначала компания пыталась уговорить его взять грабительский кредит на покупку новой машины. Очевидно, кто-то из специалистов по расчету счел, что он подвергается высокому риску дефолта. Во-вторых, Uber никогда не отвечал ему лично — он только отправлял текстовые сообщения и электронные письма. Этот стиль надзора представлял собой серию ультиматумов «бери или оставляй» — цифровой босс, закодированный заранее.
Затем компания внезапно взяла большую долю доходов от него и других водителей. И, наконец, то, что казалось Мансуру самым возмутительным: его работу могли уволить без предупреждения, если несколько пассажиров дали ему оценку в одну звезду, так как это могло снизить его средний балл ниже 4,7. По его словам, у Uber нет реальной апелляционной или иной надлежащей правовой процедуры для рейтинговой системы, которая может мгновенно лишить водителя работы — она просто подсчитывает цифры.
История Мансура сжимает давние тенденции в сфере кредитования и занятости – и она ни в коем случае не уникальна. Интернет-магазины живут в страхе перед «смертной казнью Google» — внезапным загадочным падением рейтинга в поисковых системах, если они сделают что-то, что алгоритмы обнаружения спама Google расценят как мошенничество. Кандидаты на работу в Walmart в США и других крупных компаниях проходят загадочные «личностные тесты», которые обрабатывают их ответы неизвестным образом. А белые воротнички сталкиваются с программным обеспечением для сортировки резюме, которое может занижать или полностью игнорировать их квалификацию. Один алгоритмический CV-анализатор обнаружил, что все 29 000 человек, претендовавшие на «достаточно стандартную инженерную должность», не имели квалификации.
Детство Интернета закончилось. По мере взросления онлайн-пространства Facebook, Google, Apple, Amazon и другие влиятельные корпорации устанавливают правила, регулирующие конкуренцию между журналистами, писателями, программистами и фирмами электронной коммерции. Uber, Postmates и другие платформы добавляют слой кода к таким профессиям, как вождение и обслуживание. Киберпространство больше не является бегством от «реального мира». Теперь это сила, управляющая им через алгоритмы: похожие на рецепты наборы инструкций для решения проблем. От поиска в Google до подбора партнеров OkCupid — программное обеспечение упорядочивает и взвешивает сотни переменных в понятных и простых интерфейсах, переводя нас от запроса к решению. В основе таких ответов лежит сложная математика, но она скрыта от посторонних глаз либо благодаря секретности, установленной законом, либо благодаря сложности, которую посторонние не могут разгадать.
Алгоритмы приобретают все большее значение, потому что предприятия, которые редко считаются высокотехнологичными, усвоили уроки успеха интернет-гигантов. Следуя совету Джеффа Джарвиса « Что бы сделал Google », они собирают данные как от сотрудников, так и от клиентов, используя алгоритмические инструменты для принятия решений, чтобы отделить желаемое от одноразового. Компании могут анализировать ваш голос и кредитную историю, когда вы звоните им, чтобы определить, соответствуете ли вы статусу «идеального клиента» или просто «отходы», к которым можно относиться с пренебрежением. Epagogix советует киностудиям, какие сценарии покупать, основываясь на том, насколько они соответствуют прошлым успешным сценариям. Даже виноделы делают алгоритмические суждения, основанные на статистическом анализе погоды и других характеристик хороших и плохих лет урожая.
Для вин или фильмов ставки не очень высоки. Но когда алгоритмы начинают влиять на важные возможности для трудоустройства, карьерного роста, здоровья, кредита и образования, они заслуживают более тщательного изучения. Больницы США используют системы, основанные на больших данных, чтобы определить, какие пациенты относятся к группе высокого риска, и данные, выходящие далеко за рамки традиционных медицинских записей, используются для этих определений. Теперь IBM использует инструменты алгоритмической оценки для сортировки сотрудников по всему миру по критериям рентабельности, но избавляет топ-менеджеров от такой же навязчивой слежки и ранжирования. В правительстве алгоритмическая оценка опасности также может привести к более длительным срокам заключения для осужденных или запретным для полетов спискам для путешественников. Кредитный скоринг обеспечивает кредитование на миллиарды долларов, но методы скоринга остаются непрозрачными.
Эта тенденция к использованию большего количества данных более неясными способами для ранжирования и оценки может показаться неизбежной. Тем не менее, точное развитие таких компьютеризированных методов сортировки далеко не автоматическое. Поисковые системы, например, являются образцом алгоритмической технологии, но их нынешний внешний вид во многом обязан правовым вмешательствам. Например, благодаря действиям Федеральной торговой комиссии в 2002 году законы США о защите прав потребителей требуют отделения рекламы от неоплачиваемого «органического» контента. В мире, где медиакомпании постоянно пытаются стереть различие между контентом и «нативной рекламой», этот закон имеет значение. Регулирующие органы Европейского Союза в настоящее время пытаются гарантировать, что неактуальные, устаревшие, или предвзятые материалы не преследуют результаты «поиска по имени» отдельных лиц — критически важная задача в эпоху, когда так много потенциальных работодателей ищут в Google тех, кого они рассматривают для работы. ЕС также призвал поисковые системы принимать во внимание человеческое достоинство – например, одобрив запрос «жертвы физического насилия, [которая] попросила удалить результаты, описывающие нападение, для запросов против ее имени».
Такие разногласия породили движение за алгоритмическую подотчетность. На конференции 2013 года «Управление алгоритмами» в Нью-Йоркском университете сообщество ученых и активистов объединилось для критического анализа результатов алгоритмических процессов. Сегодня эти ученые и активисты продвигают активный диалог об алгоритмической подотчетности, или сокращенно #algacc. Как и мобилизация «доступа к знаниям» (A2K) в 2000-х, #algacc привлекает внимание к ключевой проблеме социальной справедливости 2010-х. Кто-то в деловом мире предпочел бы, чтобы работа этого сообщества закончилась, даже не начавшись. Представители и лоббисты страховых компаний, банков и крупного бизнеса обычно считают, что ключевые алгоритмы заслуживают железной защиты коммерческой тайны, поэтому они никогда не могут быть проверены (не говоря уже о критике) посторонними. Но юристы уже сталкивались с таким ограждением и будут делать это снова.
Регулирующие органы могут сделать фирмы, ориентированные на данные, более подотчетными. Но сначала им нужно знать о множестве причин, по которым бизнес-вычисления могут пойти не так. Используемые данные могут быть неточными или неподходящими. Алгоритмическое моделирование или анализ могут быть предвзятыми или некомпетентными. И использование алгоритмов по-прежнему непрозрачно во многих критических секторах — например, мы можем даже не знать, оценивают ли нас наши работодатели по секретным формулам. На самом деле, однако, на каждом этапе алгоритмического принятия решений простые правовые реформы могут перевести основные средства защиты (такие как надлежащие правовые процедуры и антидискриминационный закон) в эпоху вычислений.
Всем известно, насколько неточными могут быть отчеты о кредитных операциях и как трудно их исправить. Но кредитные истории на самом деле являются одной из наиболее регулируемых областей экономики данных, и опытным потребителям доступно множество средств защиты. Гораздо большее беспокойство вызывает теневой мир тысяч в значительной степени нерегулируемых брокеров данных, которые создают профили людей, профили, созданные без ведома людей, их согласия и часто без права на проверку или исправление. Одно случайное оскорбление в ваш адрес может попасть в случайную базу данных без вашего ведома, а затем продолжить заполнение сотен других цифровых досье, якобы сообщающих о вашем состоянии здоровья, финансах, компетентности или судимости.
Этот новый цифровой преступный мир может разрушить репутацию. Одна женщина была ложно обвинена в торговле метамфетамином частным брокером данных, и ей потребовались годы, чтобы исправить ситуацию — годы, в течение которых арендодатели и банки отказывали ей в жилье и кредите. Правительственные базы данных могут быть еще хуже, например, в США, где невиновные помечаются «отчетами о подозрительной деятельности» (SAR) или содержат неточные записи об арестах. Обе проблемы годами преследуют незадачливых граждан. Прожорливость данных как со стороны государства, так и участников рынка означает, что суррогатные отчеты могут быстро распространяться.
Как бы много знаний о каждом моменте жизни рабочего ни добавлялось к итоговому результату, демократическое общество должно сопротивляться этому.
Когда ложная, наносящая ущерб информация может мгновенно распространяться между базами данных, но для исправления требуются месяцы или годы беготни и пропаганды, архитектура данных изначально дефектна. Будущие системы репутации должны позволять устранять стигму так же быстро, как они способствуют ее распространению. Это не неразрешимая проблема: в 1970 году Конгресс США принял Закон о честной кредитной отчетности, регулирующий практику сбора данных кредитными бюро. Расширение и модернизация его защиты встроит подотчетность, механизмы справедливости и возмещения ущерба в системы данных, которые в настоящее время объединены только с быстрой прибылью, а не с людьми или гражданами.
Проблемы сбора данных выходят за рамки неточности. Некоторые методы обработки данных слишком агрессивны, чтобы их можно было разрешить в цивилизованном обществе. Даже если соискатели настолько отчаянно нуждаются в работе, что позволяют снимать себя на видео в ванной в качестве условия приема на работу, закон о неприкосновенности частной жизни должен положить конец таким сделкам. Сбор цифровых данных также может пересекать черту. Например, бывшая сотрудница международной службы электронных переводов Intermex утверждает, что ее уволили после того, как она отключила приложение, которое позволяло фирме постоянно отслеживать ее местонахождение.
Обратите внимание, что у работодателя могут быть деловые причины для такого отслеживания, помимо вуайеризма; она может обнаружить, что сотрудники, которые всегда возвращаются домой к 8 вечера, как правило, работают лучше на следующий день, а затем постепенно внедрять стимулы или даже требовать такого поведения от всей своей рабочей силы. Как бы много знаний о каждом моменте жизни рабочего ни добавлялось к итоговому результату, демократическое общество должно сопротивляться этому. Должно быть какое-то разделение между работой и нерабочей жизнью.
Ограничения на сбор данных разочаруют знатоков больших данных. Генеральный директор ZestFinance с гордостью заявил, что «все данные являются кредитными данными», то есть прогнозная аналитика может взять практически любую информацию о человеке, проанализировать, соответствует ли она характеристике заведомо кредитоспособных людей, и экстраполировать соответственно. Такие данные могут включать сексуальную ориентацию или политические взгляды. Но даже если бы мы знали, что сторонники Джорджа Буша-младшего с большей вероятностью опоздают со своими счетами, чем избиратели Джона Керри, действительно ли мы доверяем это нашим банкам или кредитным экспертам? Это знания, которые они должныимеют? Консультации по вопросам брака могут рассматриваться как сигнал надвигающейся нестабильности и вести к повышению процентных ставок или снижению кредитных лимитов — одна американская компания CompuCredit уже урегулировала (не признавая правонарушений) судебный иск именно за это. Но такая интимная информация не должна монетизироваться. Слишком многие знатоки больших данных стремятся проанализировать всю доступную информацию, но когда их лихорадочные мечты об идеально известном мире противоречат базовым ценностям, они должны уступить.
ВВ то время как большинство борцов за конфиденциальность сосредоточены на проблеме сбора данных, угроза, исходящая от безрассудного, плохого или дискриминационного анализа, может оказаться более серьезной. Рассмотрим «вероятную оценку успешности трудоустройства», которая сильно зависит от расы заявителя, его почтового индекса или отсутствия текущей работы. Каждая из этих частей данных может быть невинной или даже уместной в правильном контексте. (Например, фирма Entelo пытается подобрать претендентов из меньшинства к фирмам, которые хотят большего разнообразия.) Но они также должны подвергаться тщательному анализу.
Рассмотрим расизм в первую очередь. Существует долгая и тревожная история дискриминации меньшинств. Существующие законы о дискриминации при приеме на работу уже запрещают предвзятость и могут привести к серьезным штрафам. Итак, многие сторонники алгоритмического принятия решений говорят, зачем беспокоиться о нашей новой технологии? Дискриминация в любом виде — личная, технологическая, какая там — уже запрещена. Это в лучшем случае наивно. Алгоритмические процессы принятия решений собирают личные и социальные данные из общества с проблемой дискриминации. Общество изобилует данными, которые часто являются простыми заменителями дискриминации — например, почтовый индекс или почтовый индекс.
Рассмотрим переменную, которая на первый взгляд кажется менее заряженной: месяцы с момента последней работы. Такие данные могут помочь работодателям, которые отдают предпочтение работникам, быстро переходящим с работы на работу, или дискриминируют тех, кому нужен отпуск, чтобы вылечиться от болезни. Обеспокоенные потенциально несправедливым влиянием таких соображений, некоторые юрисдикции запретили работодателям размещать объявления о том, что им нужна помощь, в которых безработным предлагается не подавать заявление. Это похвальный политический шаг, но какими бы ни были его достоинства, какие у него будут зубы, если работодатели никогда не увидят, что резюме исключаются алгоритмом, который заносит в черный список тех, чья последняя запись старше нескольких месяцев? Большие данные могут легко превратиться в изощренный инструмент для углубления уже распространенных форм несправедливого неблагополучия.
Правоохранителям будущего может быть трудно изучить все переменные, влияющие на решения о кредитах и трудоустройстве. Защищенные коммерческой тайной, многие алгоритмы остаются непроницаемыми для сторонних наблюдателей. Когда они пытаются раскрыть их, стороны могут столкнуться с Catch-22. Законно заинтересованные в прекращении «рыболовных экспедиций», суды, скорее всего, удовлетворят запросы о раскрытии информации только в том случае, если истец накопил некоторое количество доказательств дискриминации. Но если ключевым субъектом, принимающим решение, был безликий алгоритм «черного ящика», на чем основывались первоначальные подозрения в дискриминации?
Действительно, начиная с Закона о равных кредитных возможностях (1974 г.), регулирующие органы США часто поощряли предприятия использовать алгоритмы для принятия решений. Регулирующие органы хотят избежать иррациональных или подсознательных предубеждений лиц, принимающих решения, но, конечно же, люди, принимающие решения, разработали алгоритмы, изменили данные и повлияли на их анализ. Никакой «слой кода» не может создать игровое поле уровня «подключи и работай». Политика, человеческое суждение и закон всегда будут нужны. Алгоритмы никогда не предложат бегства от общества.
Правительства должны обеспечить, чтобы продвигаемые ими алгоритмы служили, а не противоречили заявленным целям. Кризис субстандартного кредитования предлагает хороший пример прошлых юридических неудач и новаторское решение этой проблемы. Рейтинговые агентства — например, Moody's и S&P — использовали алгоритмические оценки кредитоспособности, чтобы присвоить сомнительным ценным бумагам с ипотечным покрытием (MBS) статус AAA — наивысший рейтинг. Эти эрзац-имприматуры, в свою очередь, привлекли поток денег на субстандартные кредиты. Критики утверждают, что агентства изменили свои методы оценки, чтобы привлечь больше клиентов от тех, кто продает MBS. Рейтинги Triple-A после изменения метода могли означать что-то совершенно отличное от предыдущих, но многим инвесторам не хватало знаний о переходе.
Правительство может отказывать в контрактах компаниям, которые используют секретные алгоритмы для принятия решений о трудоустройстве.
Чтобы решить эту проблему, Закон Додда-Франка требует, чтобы рейтинговые агентства раскрывали информацию о существенных изменениях в своих методах. Такая открытость помогает тем, кто занимается рынками, понять «внутренности» рейтинга ААА, а не бездумно предполагать, что он всегда был и всегда будет обеспечивать определенный эталон надежности. Как скажет вам любой инвестор, информация — это сила, а кредитные рейтинги — это не обязательно информация — это просто стенограмма.
В то время как кредитные рейтинги оценивают стоимость ценных бумаг, алгоритмическая оценка потребителей оценивает людей по любому количеству параметров, включая (но не ограничиваясь) кредитоспособность. Как показал отчет Всемирного форума по конфиденциальности 2014 года «Оценка Америки», таких оценок тысячи. Когда важное лицо, принимающее решения, решает использовать его, он или она должен объяснить людям, которые были ранжированы и оценены, какие именно данные были использованы, как они были проанализированы и как можно выявить и исправить потенциальные ошибки, предубеждения или нарушения закона. или оспорено. В самых разных областях, от банковского дела и трудоустройства до жилья и страхования, алгоритмы вполне могут играть решающую роль, решая, кого нанять или уволить, кто получит повышение, а кого понизят в должности, кто получит 5-процентную или 15-процентную процентную ставку. Люди должны иметь возможность понять, как они работают или не работают.
Растущая индустрия «прогнозной аналитики» будет возражать против этого предложения, утверждая, что ее способы ранжирования и оценки людей заслуживают абсолютной защиты коммерческой тайны. Такая интеллектуальная собственность хорошо защищена действующим законодательством. Однако правительство может обусловить финансирование использованием или раскрытием данных и методов, используемых его подрядчиками. Власть правительства использовать свои рычаги влияния в качестве покупателя огромна, и оно может отказывать в заключении контрактов компаниям, которые, скажем, использовали секретные алгоритмы для принятия решений о найме или основывали кредитные решения на сомнительных данных.
В США пришло время, чтобы федеральный бюджет вознаграждал создание подотчетного алгоритмического принятия решений, а не просто платил за любые инструменты, которые придумали его подрядчики. Мы не потерпим парков, утыканных подслушивающим оборудованием, которое записывает каждый разговор коляски, или отказывать в туалетах тем, кто с помощью секретного программного обеспечения обозначен как «риск вандализма». Мы должны иметь аналогичные ожидания в отношении конфиденциальности и справедливого отношения к тысячам алгоритмических систем, которые государство прямо или косвенно финансирует каждый год.
СНекоторые участники клинических испытаний обнаружили, что люди, которые владеют минивэнами, не имеют маленьких детей и подписаны на многие каналы кабельного телевидения, чаще страдают ожирением. По крайней мере, в их базах данных, а возможно и в других, водители микроавтобусов, бездетные любители кабеля внезапно превращаются в новую группу — «более склонных к ожирению» — и этот вывод является новым фрагментом данных, созданных о них.
Такой вывод сам по себе может не стоить многого. Но как только люди идентифицируются таким образом, их можно легко комбинировать и рекомбинировать с другими списками — скажем, с покупателями больших размеров или частыми покупателями фаст-фуда — которые подтверждают вывод. Новый алгоритм Facebook мгновенно классифицирует людей на фотографиях по типу телосложения или позе. Святой Грааль алгоритмической репутации — это максимально полная база данных каждого человека, объединяющая кредиты, телекоммуникации, местоположение, розничную торговлю и десятки других потоков данных в цифровой двойник.
Как бы они ни были уверены в нашем росте, весе или состоянии здоровья, сборщикам данных удобно держать классификацию в тумане. В принципе, человек может возбудить иск о диффамации против брокера данных, который ложно утверждал, что заинтересованное лицо страдает диабетом. Но если брокер вместо этого выбирает более нечеткую классификацию, такую как «член домохозяйства, страдающего диабетом», это выглядит для судов гораздо больше как мнение, чем как факт. Мнения гораздо труднее доказать, что они являются диффамационными – как вы можете без сомнений продемонстрировать, что ваша семья никоим образом не «обеспокоена диабетом»? Но более мягкая классификация может привести к точно таким же невыгодным результатам, как и более жесткая, основанная на фактах.
Подобные арбитражные стратегии могут привлечь и другие компании. Например, если работодатель говорит вам, что не нанимает вас, потому что вы диабетик, это явно незаконно. Но что, если есть какая-то эвфемистическая терминология, которая оценивает вашу «надежность» как сотрудника? Даже если оценка частично основана на информации, связанной со здоровьем, это может быть почти невозможно доказать, потому что кандидаты почти никогда не знают, что стоит за решением работодателя не проводить с ними собеседование или не давать им работу. Работодатель может даже заявить, что не знает, что входит в счет. Действительно, на каком-то этапе процесса найма или оценки соискатели, скорее всего, столкнутся с менеджерами или сотрудниками отдела кадров, которые на самом деле не знают, что составляет рейтинг «надежности». Когда так много антидискриминационного законодательства требует от истцов доказать умыселиспользовать запрещенные классификации, невежество может быть блаженством.
Будет гораздо легче регулировать эти тревожные возможности до того, как они станут широко распространенными, повсеместными методами ведения бизнеса. Комиссия по равным возможностям при трудоустройстве (EEOC) рассматривает споры, возникающие в результате личностных тестов работодателей, включающих вопросы, которые, кажется, ищут модели мышления, связанные с психическими заболеваниями, но не связанные с добросовестной профессиональной квалификацией или производительностью. Эти исследования должны продолжаться и распространяться на растущий класс алгоритмических оценок прошлых или вероятных результатов. В некоторых случаях простого раскрытия и анализа алгоритмических оценок недостаточно, чтобы сделать их справедливыми. Скорее, их использование, возможно, придется запретить в важных контекстах, начиная от трудоустройства и заканчивая жильем, кредитами и образованием.
Когда выявляются проблемы с алгоритмическим принятием решений, крупные фирмы склонны играть в игру с музыкальным опытом. Адвокаты говорят, и им говорят, что они не понимают кодекса. Кодировщики говорят, и им говорят, что они не понимают закон. Экономисты, социологи и специалисты по этике слышат вариации обеих возражающих позиций.
Алгоритмическая подотчетность — это неотложная глобальная проблема, в которой заинтересованные и мобилизованные эксперты нуждаются в поддержке.
По правде говоря, потребовалось сочетание вычислительных, юридических и социальных научных навыков, чтобы раскопать каждый из рассмотренных выше примеров — вызывающий тревогу сбор, плохой или предвзятый анализ и дискриминационное использование. Сотрудничество между экспертами в различных областях, вероятно, приведет к еще более важной работе. Например, ученые-юристы Райан Кало из Вашингтонского университета и Джеймс Гриммельманн из Университета Мэриленда вместе с другими специалистами по этике предложили основы для оценки алгоритмического манипулирования контентом и людьми. Основанные на хорошо зарекомендовавших себя эмпирических методах социальных наук, их модели могут и должны информировать о регулировании фирм и правительств с помощью алгоритмов.
Эмпириков может разочаровать «черный ящик» алгоритмического принятия решений; они могут работать с учеными-правоведами и активистами, чтобы раскрыть определенные аспекты этого (через свободу информации и практику честных данных). Журналисты также объединились с программистами и социологами, чтобы разоблачить новые технологии сбора, анализа и использования данных, нарушающие конфиденциальность, а также подтолкнуть регулирующие органы к расправе над самыми злостными нарушителями.
Исследователи выходят за рамки анализа существующих данных и присоединяются к коалициям наблюдателей, архивариусов, активистов открытых данных и адвокатов по общественным интересам, чтобы обеспечить более сбалансированный набор «сырья» для анализа, синтеза и критики. Социологи и другие специалисты должны посвятить себя жизненно важному долгосрочному проекту по обеспечению того, чтобы алгоритмы давали достоверную и актуальную документацию; в противном случае государства, банки, страховые компании и другие крупные влиятельные игроки будут создавать и владеть все более и более недоступными данными об обществе и людях. Алгоритмическая подотчетность — это большой проект, требующий навыков теоретиков и практиков, юристов, социологов, журналистов и других. Это неотложное глобальное дело, в котором заинтересованные и мобилизованные эксперты ищут поддержки.
Мир полон алгоритмических решений. Одна ошибочная или дискриминационная часть информации может разрушить чью-то работу или кредитные перспективы. Крайне важно, чтобы граждане имели возможность просматривать и регулировать цифровые досье бизнес-гигантов и государственных учреждений. Даже если кто-то считает, что никакая информация не должна быть «удалена» — что каждый промах и ошибка, которую кто-либо совершает, должны навсегда записываться, — это все равно оставляет важные решения, касающиеся обработки данных, которые необходимо принять. Алгоритмы можно сделать более подотчетными, соблюдая права на справедливость и достоинство, за которые боролись поколения. Задача не техническая, а политическая, и первым шагом является закон, который позволяет людям видеть и оспаривать то, что алгоритмы говорят о нас.