Хотя интуитивно кажется, что алгоритм может быть слеп к конфиденциальным атрибутам, это не всегда так. ²⁴ Критики отмечают, что алгоритм может классифицировать информацию на основе онлайн-прокси для конфиденциальных атрибутов, что приводит к предубеждению против группы даже без принятия решений, непосредственно основанных на членстве в этой группе. Барокас и Селбст определяют онлайн-прокси как «факторы, используемые в процессе подсчета очков алгоритма, которые являются простыми заменителями для защищенных групп, таких как почтовый индекс в качестве прокси для расы или рост и вес в качестве прокси для пола». ²⁵ Они утверждают, что прокси-серверы, часто связанные с алгоритмами, могут приводить как к ошибкам, так и к дискриминационным результатам, например, в случаях, когда почтовый индекс используется для определения решений о цифровом кредитовании или когда чья-то гонка вызывает несопоставимый результат. ²⁶ Рекламная платформа Facebook содержала прокси-серверы, которые позволяли маркетологам жилья микронацеливаться на предпочтительных арендаторов и покупателей, щелкая точки данных, включая предпочтения почтового индекса. ²⁷ Таким образом, вполне возможно, что алгоритм, который полностью слеп к чувствительному атрибуту, может на самом деле дать тот же результат, что и алгоритм, использующий атрибут дискриминационным образом.

«Хотя интуитивно приятно думать, что алгоритм может быть слеп к конфиденциальным атрибутам, это не всегда так».

Например, Amazon принял корпоративное решение исключить определенные районы из своей системы доставки Prime в тот же день. Их решение основывалось на следующих факторах: имел ли конкретный почтовый индекс достаточное количество членов Prime, находился ли он рядом со складом и имел ли достаточно людей, готовых доставлять товары по этому почтовому индексу. ²⁸ Хотя эти факторы соответствовали модели прибыльности компании, они привели к исключению бедных, преимущественно афроамериканских кварталов, превратив эти точки данных в косвенные показатели для расовой классификации. Результаты, даже если они были непреднамеренными, дискриминировали расовые и этнические меньшинства, которые не были включены.

Аналогичным образом, алгоритм подбора работы может не получать поле пола в качестве входных данных, но он может выдавать разные оценки соответствия для двух резюме, которые отличаются только заменой имени «Мэри» на «Марк», поскольку алгоритм обучен для сделать эти различия с течением времени.

Существуют также аргументы в пользу того, что ослепление алгоритма чувствительными атрибутами может вызвать алгоритмическую предвзятость в некоторых ситуациях. Корбетт-Дэвис и Гоэл отмечают в своем исследовании алгоритма COMPAS, что даже после учета «законных» факторов риска эмпирически было обнаружено, что женщины во многих юрисдикциях совершают повторные правонарушения реже, чем мужчины. ²⁹ Если алгоритму запрещено сообщать о разной оценке риска для двух подсудимых по уголовным делам, которые различаются только по полу, судьи могут с меньшей вероятностью освободить подсудимых женщин, чем подсудимых мужчин с равными фактическими рисками совершения другого преступления до суда.Таким образом, ослепление алгоритма от любого типа чувствительных атрибутов может не устранить предвзятость.

Хотя участники круглого стола не пришли к единому мнению об использовании онлайн-прокси в моделировании, они в основном согласились с тем, что операторы алгоритмов должны быть более прозрачными в своей работе с конфиденциальной информацией, особенно если потенциальный прокси сам по себе может представлять юридический классифицирующий вред. ³⁰ Также обсуждалось, что использование конфиденциальных атрибутов как части алгоритма может быть стратегией обнаружения и, возможно, устранения преднамеренных и непреднамеренных предубеждений.Поскольку в настоящее время это может быть ограничено правилами конфиденциальности, такими как Общие правила защиты данных Европейского союза (GDPR) или предлагаемое федеральное законодательство США о конфиденциальности, можно привести аргумент в пользу использования регулятивных песочниц и безопасных гаваней, позволяющих использовать конфиденциальную информацию. информацию при выявлении и устранении предубеждений, оба из которых будут представлены как часть наших рекомендаций по политике.

При обнаружении систематической ошибки программисты обычно проверяют набор выходных данных, выдаваемых алгоритмом, на наличие аномальных результатов.Сравнение результатов для разных групп может быть полезным первым шагом. Это можно было бы сделать даже с помощью симуляций. Участник круглого стола Рич Каруана из Microsoft предложил компаниям рассмотреть возможность имитации прогнозов (как истинных, так и ложных), прежде чем применять их к реальным сценариям. «Нам почти нужен вторичный процесс сбора данных, потому что иногда модель [испускает] что-то совершенно другое», — поделился он. Например, если средний балл алгоритма подбора работы для соискателей-мужчин выше, чем для женщин, могут потребоваться дальнейшие исследования и моделирование.

Однако недостатком этих подходов является то, что не все неравные исходы несправедливы. Участник круглого стола Солон Барокас из Корнельского университета резюмировал это, заявив: «Возможно, мы обнаружим, что у нас есть очень точная модель, но она по-прежнему дает несопоставимые результаты. Это может быть прискорбно, но справедливо ли это?» Альтернативой учету неравных результатов может быть рассмотрение равенства коэффициентов ошибок и того, совершается ли больше ошибок для одной группы людей, чем для другой. По этому поводу Изабель Клуманн из Facebook поделилась, что «у общества есть ожидания. Один из них не заключает в тюрьму одну группу меньшинств непропорционально [в результате алгоритма]».

Как показали дебаты вокруг алгоритма COMPAS, даже частота ошибок не является простой лакмусовой бумажкой для необъективных алгоритмов. Компания Northpointe, разработавшая алгоритм COMPAS, опровергает заявления о расовой дискриминации. Они утверждают, что среди подсудимых, получивших одинаковую оценку высокого риска, афроамериканцы и белые обвиняемые имеют почти равные показатели рецидивизма, поэтому по этому показателю в решении алгоритма нет ошибки. ³¹ По их мнению, судьи могут рассматривать свой алгоритм без какой-либо ссылки на гонку в решениях об освобождении под залог.

В общем случае невозможно иметь одинаковые коэффициенты ошибок между группами для всех различных коэффициентов ошибок. ³² ProPublica сосредоточилась на одной частоте ошибок, а Northpointe — на другой. Таким образом, необходимо установить некоторые принципы, для которых коэффициенты ошибок должны быть уравнены в каких ситуациях, чтобы быть справедливыми.

Однако различение того, как алгоритм работает с конфиденциальной информацией, и потенциальных ошибок может быть проблематичным для операторов алгоритмов, политиков и групп гражданского общества. ³³ «Компании много потеряют, если мы не будем проводить различие между ними», — сказала Джули Брилл из Microsoft. По крайней мере, участники круглого стола сошлись во мнении, что алгоритмы не должны увековечивать историческое неравенство и что необходимо проделать дополнительную работу для решения проблемы онлайн-дискриминации. ³⁴

Компромиссы справедливости и точности

Далее необходимо обсудить компромиссы и этику. Здесь внимание должно быть сосредоточено на оценке как социальных представлений о «справедливости», так и возможных социальных издержках. В своем исследовании алгоритма COMPAS Корбетт-Дэвис, Гоэл, Пирсон, Феллер и Хак видят «неотъемлемое противоречие между сведением к минимуму насильственных преступлений и удовлетворением общепринятых представлений о справедливости». ³⁵ Они пришли к выводу, что оптимизация в интересах общественной безопасности приводит к решениям, которые наказывают цветных ответчиков, удовлетворяя при этом юридическим и социальным определениям справедливости, и могут привести к большему количеству освобождений обвиняемых с высокой степенью риска, что отрицательно скажется на общественной безопасности. ³⁶ Кроме того, негативное воздействие на общественную безопасность может также непропорционально сильно повлиять на афроамериканцев и белых соседей, что также создает издержки справедливости.

Если цель состоит в том, чтобы избежать усиления неравенства, что тогда должны сделать разработчики и операторы алгоритмов, чтобы смягчить потенциальные предубеждения? Мы утверждаем, что разработчики алгоритмов должны в первую очередь искать способы уменьшить неравенство между группами, не жертвуя общей производительностью модели, особенно когда возникает необходимость компромисса.

Несколько участников круглого стола утверждали, что существуют возможности для улучшения справедливости и точности алгоритмов. Для программистов исследование очевидных ошибок в программном обеспечении может показать, почему модель не обеспечивает максимальной точности. Устранение этих ошибок может затем повысить общую точность. Наборы данных, которые могут быть недостаточно репрезентативными для определенных групп, могут нуждаться в дополнительных данных для обучения, чтобы повысить точность принятия решений и уменьшить количество несправедливых результатов.Эксперименты Буоламвини по обнаружению лиц являются хорошими примерами такого подхода к справедливости и точности.

Сара Холланд из Google указала на толерантность к риску, связанную с этими типами компромиссов, когда она поделилась тем, что «[r]увеличение риска также влечет за собой поднятие вопросов справедливости». Таким образом, компании и другие операторы алгоритмов должны определить, оправданы ли социальные издержки компромиссов, вовлеченные заинтересованные стороны поддаются решению с помощью алгоритмов или необходимы лица, принимающие решения, для формулирования решения.

Этические принципы имеют значение

В основе этих компромиссов между справедливостью и точностью должны лежать обсуждения этических рамок и потенциальных барьеров для задач и систем машинного обучения. Существует несколько текущих и недавних международных и американских усилий по разработке стандартов этического управления для использования ИИ. ³⁷ Ожидается, что в ближайшее время Организация экономического сотрудничества и развития (ОЭСР), состоящая из 35 членов, опубликует собственные рекомендации по этичному ИИ. ³⁸ Европейский союз недавно выпустил «Руководство по этике для надежного ИИ», в котором изложены семь принципов управления: (1) человеческий фактор и надзор, (2) техническая надежность и безопасность, (3) конфиденциальность и управление данными, (4) прозрачность , (5) разнообразие, недискриминация и справедливость, (6) экологическое и общественное благополучие и (7) подотчетность. ³⁹ Этическая система ЕС отражает четкое понимание того, что «несправедливая дискриминация» неэтична. В рамках этих руководящих принципов государства-члены связывают разнообразие и недискриминацию с принципами справедливости, обеспечивая инклюзивность и разнообразие на протяжении всего жизненного цикла системы ИИ.Их принципы интерпретируют справедливость через призму равного доступа, инклюзивных процессов проектирования и равного обращения.

Тем не менее, даже с этими усилиями правительства, все еще удивительно трудно определить и измерить справедливость. ⁴⁰ Хотя не всегда возможно удовлетворить все понятия справедливости одновременно, компании и другие операторы алгоритмов должны знать, что не существует простой метрики для измерения справедливости, которую может применить инженер-программист, особенно при проектировании. алгоритмов и определение подходящего компромисса между точностью и справедливостью.Справедливость — это человеческое, а не математическое определение, основанное на общих этических убеждениях. Таким образом, алгоритмические решения, которые могут иметь серьезные последствия для людей, потребуют участия человека.

Например, несмотря на то, что несоответствия обучающих данных в алгоритме COMPAS могут быть скорректированы, человеческая интерпретация справедливости по-прежнему имеет значение. По этой причине, хотя такой алгоритм, как COMPAS, может быть полезным инструментом, он не может заменить процесс принятия решений, который остается на усмотрение арбитра-человека. ⁴¹ Мы считаем, что тщательное тестирование алгоритма может бросить вызов различным определениям честности, что является полезным упражнением для компаний и других операторов алгоритмов.

«Операторам и разработчикам алгоритмов важно всегда задавать себе вопрос: оставим ли мы некоторые группы людей в худшем положении в результате разработки алгоритма или его непредвиденных последствий? ”

При принятии решения о создании и выводе алгоритмов на рынок необходимо учитывать этические аспекты возможных результатов, особенно в тех областях, где правительства, гражданское общество или лица, определяющие политику, видят возможность причинения вреда и где существует риск сохранения существующих предубеждений или создания защищенных группы, более уязвимые перед существующим социальным неравенством. Вот почему операторам и разработчикам алгоритмов важно всегда задавать себе вопрос: Оставим ли мы некоторые группы людей в худшем положении в результате дизайна алгоритма или его непредвиденных последствий?

Мы предполагаем, что этот вопрос является одним из многих, которые создатели и операторы алгоритмов должны учитывать при разработке, выполнении и оценке алгоритмов, которые описаны в следующих предложениях по смягчению последствий. Наше первое предложение касается обновления U.S. законы о недискриминации, применимые к цифровому пространству.

Предложения по смягчению последствий

Чтобы завоевать доверие со стороны политиков, программисты, предприятия и другие операторы алгоритмов должны соблюдать законы и законодательные акты США, которые в настоящее время запрещают дискриминацию в общественных местах. Исторически сложилось так, что законы и статуты о недискриминации недвусмысленно определяют пороги и параметры неравного отношения к защищенным классам.Закон о гражданских правах 1964 года «запрещал дискриминацию по признаку пола, а также расы при приеме на работу, продвижении по службе и увольнении». Закон о справедливом жилищном обеспечении 1968 года запрещает дискриминацию при продаже, аренде и финансировании жилья, а также в других сделках, связанных с жильем, в отношении охраняемых государством классов. Закон о равных кредитных возможностях, принятый в 1974 году, не позволяет любому кредитору дискриминировать любого заявителя в отношении любого типа кредитной сделки на основании защищенных характеристик. Хотя эти законы не обязательно смягчают и устраняют другие неявные или бессознательные предубеждения, которые могут быть встроены в алгоритмы, компании и другие операторы должны остерегаться нарушения этих установленных законом ограничений при разработке алгоритмов, а также смягчать свою неявную заботу о предотвращении дискриминации в прошлом. продолжение.

Участница круглого стола Венди Андерсон из офиса конгрессмена Вэл Демингс заявила: «Обычно законодатели слышат только тогда, когда происходит что-то плохое. Нам нужно найти способ защитить тех, кто в этом нуждается, не подавляя инновации». Конгресс может разъяснить, как эти законы о недискриминации применяются к типам недовольства, недавно обнаруженным в цифровом пространстве, поскольку большинство этих законов были написаны до появления Интернета. ⁴² Такие законодательные действия могут обеспечить более четкие ограничения, которые срабатывают, когда алгоритмы способствуют причинению юридически признанного вреда.Более того, когда создатели и операторы алгоритмов поймут, что это могут быть более или менее не подлежащие обсуждению факторы, технический дизайн станет более продуманным в плане отказа от моделей, которые могут вызвать и усугубить явную дискриминацию, таких как рамки проектирования, которые исключают, а не включают некоторые входные данные или не проверяются на предвзятость. ⁴³

После того, как идея алгоритма будет проверена на соответствие законам о недискриминации, мы предлагаем, чтобы операторы алгоритмов разработали заявление о влиянии предубеждений, которое мы предлагаем в качестве шаблона вопросов, которые можно гибко применять, чтобы направлять их в процессе разработки, реализации и мониторинга. фазы.

В качестве практики саморегулирования заявление о влиянии на предвзятость может помочь исследовать и предотвратить любые потенциальные предубеждения, которые встроены в алгоритмическое решение или являются его результатом. В качестве наилучшей практики операторы алгоритмов должны провести мозговой штурм с основным набором первоначальных предположений о цели алгоритма до его разработки и выполнения. Мы предлагаем, чтобы операторы применяли заявление о воздействии смещения для оценки цели, процесса и производства алгоритма, где это уместно. Участники круглого стола также высказали мнение о важности создания межфункциональной и междисциплинарной группы для разработки и реализации заявления о воздействии предубеждений.

• Институт искусственного интеллекта Нью-Йоркского университета

Институт искусственного интеллекта Нью-Йоркского университета уже представил модельную структуру, которую государственные органы могут использовать для создания алгоритмических оценок воздействия (AIA), которые оценивают потенциальные пагубные последствия алгоритма таким же образом, как окружающая среда, конфиденциальность, данные или права человека. заявления о влиянии. ⁴⁴ Несмотря на то, что в зависимости от типа прогностической модели могут быть различия в реализации, AIA включает в себя несколько раундов проверки с участием внутренней, внешней и общественной аудитории. Во-первых, предполагается, что после этой проверки компания разработает список потенциального вреда или предубеждений в своей самооценке с помощью более технических внешних экспертов. Во-вторых, если кажется, что произошла предвзятость, AIA настаивает на том, чтобы уведомление было направлено затронутому населению, и был открыт период комментариев для ответа.И в-третьих, процесс AIA рассчитывает на то, что федеральные и другие организации поддержат право пользователей оспаривать алгоритмические решения, которые кажутся несправедливыми.

Несмотря на то, что процесс AIA поддерживает существенную петлю обратной связи, может отсутствовать как необходимая предусмотрительность, ведущая к решению, так и надзор за положениями алгоритма. Более того, предлагаемое нами заявление о влиянии на предвзятость начинается со структуры, которая определяет , какие автоматизированных решений должны подвергаться такой проверке, стимулированию операторов и привлечению заинтересованных сторон.

• Какие автоматизированные решения?

В случае определения того, какие автоматизированные решения требуют такой проверки, операторы алгоритмов должны начать с вопросов о возможных негативных или непреднамеренных последствиях алгоритма, для кого и серьезности последствий для членов затронутых группа, если она не обнаружена и не устранена. Обзор установленных правовых гарантий справедливого жилья, трудоустройства, кредита, уголовного правосудия и здравоохранения должен служить отправной точкой для определения того, какие решения следует рассматривать с особой осторожностью при разработке и тестировании любого алгоритма, используемого для прогнозирования результатов или принятия важных решений о приемлемости. о доступе к льготе.Это особенно верно, учитывая юридические предписания против использования данных, которые могут оказать несоизмеримое влияние на защищаемый класс или другой установленный вред. Таким образом, мы предлагаем, чтобы операторы постоянно ставили под сомнение потенциальные юридические, социальные и экономические последствия и потенциальные обязательства, связанные с этим выбором, при определении того, какие решения следует автоматизировать и как автоматизировать их с минимальными рисками.

• Какие стимулы для пользователей?

Стимулы также должны побуждать организации к упреждающему устранению алгоритмической предвзятости. И наоборот, операторы, которые создают и внедряют алгоритмы, обеспечивающие более справедливые результаты, также должны быть признаны политиками и потребителями, которые будут больше доверять им в их практике. Когда компании применяют эффективную алгоритмическую гигиену до, во время и после внедрения алгоритмического принятия решений, они должны быть вознаграждены и, возможно, публично признаны лучшими практиками.

• Каким образом вовлечены заинтересованные стороны?

Наконец, последний элемент, заключенный в заявлении о влиянии на предвзятость, должен предусматривать участие заинтересованных сторон, которые могли бы помочь программистам в выборе входных и выходных данных для определенных автоматизированных решений.«Технология успешна, когда пользователи понимают продукт лучше, чем его дизайнеры», — сказал Рич Каруана из Microsoft. Вовлечение пользователей на раннем этапе и на протяжении всего процесса приведет к улучшению алгоритмов, что в конечном итоге приведет к улучшению пользовательского опыта.

Обязанности заинтересованных сторон могут также распространяться на организации гражданского общества, которые могут внести свой вклад в обсуждение структуры алгоритма. «Компании [должны] привлекать гражданское общество», — поделилась Миранда Боген из Upturn. «Иначе они пойдут со своими жалобами в прессу и к регуляторам.«Возможным решением для операторов алгоритмов может стать создание консультативного совета организаций гражданского общества, которые, работая вместе с компаниями, могут помочь в определении масштабов процедуры и прогнозировании предубеждений на основе их опыта на местах.

• Образец заявления о воздействии предвзятости

Эти три основополагающих элемента заявления о воздействии смещения отражены в дискретном наборе вопросов, на которые операторы должны ответить на этапе проектирования, чтобы отфильтровать возможные смещения (таблица 1).В качестве саморегулируемой структуры программисты и другие операторы алгоритмов могут создавать инструменты такого типа до разработки и выполнения модели.

Что будет делать автоматизированное решение?

Кто является аудиторией алгоритма и на кого он больше всего повлияет?

Есть ли у нас данные для обучения, чтобы делать правильные прогнозы относительно решения?

Достаточно ли разнообразны и надежны обучающие данные? Каков жизненный цикл данных алгоритма?

Какие группы нас беспокоят, когда речь идет об ошибках обучающих данных, несопоставимой обработке и влиянии?

Как будет обнаруживаться потенциальное смещение?

Как и когда будет тестироваться алгоритм? Кто станет объектами тестирования?

Каким будет порог для измерения и корректировки смещения в алгоритме, особенно в отношении защищенных групп?

Каковы поощрения операторов?

Что мы получим при разработке алгоритма?

Каковы возможные плохие исходы и как мы об этом узнаем?

Насколько открыты (т. г., в коде или намерении) сделаем ли мы процесс разработки алгоритма внутренним партнерам, клиентам и заказчикам?

Какое вмешательство будет предпринято, если мы предскажем, что могут быть плохие результаты, связанные с разработкой или внедрением алгоритма?

Как вовлечены другие заинтересованные стороны?

Какова обратная связь по алгоритму для разработчиков, внутренних партнеров и клиентов?

Принимают ли участие организации гражданского общества в разработке алгоритма?

Учитывалось ли разнообразие при проектировании и исполнении?

Будет ли алгоритм иметь значение для культурных групп и по-разному ли действовать в культурном контексте?

Достаточно ли представительна команда разработчиков, чтобы уловить эти нюансы и предсказать применение алгоритма в различных культурных контекстах? Если нет, то какие шаги предпринимаются, чтобы сделать эти сценарии более заметными и понятными для дизайнеров?

Учитывая назначение алгоритма, достаточно ли разнообразны обучающие данные?

Существуют ли законодательные ограничения, которые компании должны пересмотреть, чтобы убедиться, что алгоритм является законным и этичным?

Разнообразие дизайна

Операторы алгоритмов также должны учитывать роль разнообразия в своих рабочих группах, данные обучения и уровень культурной чувствительности в своих процессах принятия решений. Предварительное использование разнообразия при разработке алгоритмов вызовет и потенциально предотвратит вредное дискриминационное воздействие на определенные защищенные группы, особенно на расовые и этнические меньшинства. Хотя непосредственные последствия предубеждений в этих областях могут быть незначительными, само количество цифровых взаимодействий и выводов может составить новую форму системного предубеждения. Следовательно, операторы алгоритмов не должны сбрасывать со счетов возможность или распространенность предвзятости и должны стремиться к тому, чтобы разрабатывала алгоритм разнообразная рабочая сила, интегрировать инклюзивные пространства в свои продукты или использовать «разнообразие в дизайне», когда преднамеренные и прозрачные действия будут должны быть предприняты для обеспечения того, чтобы культурные предубеждения и стереотипы устранялись заблаговременно и должным образом.Добавление инклюзивности в дизайн алгоритма может потенциально проверить культурную инклюзивность и чувствительность алгоритмов для различных групп и помочь компаниям избежать того, что может быть спорным и смущающим алгоритмическим результатом.

Заявление о влиянии на предвзятость не должно быть исчерпывающим инструментом. Для алгоритмов с более высокими ставками в процесс должен быть включен постоянный анализ их выполнения. Цель здесь состоит в том, чтобы отслеживать разрозненные воздействия, возникающие в результате модели, которые граничат с неэтичным, несправедливым и несправедливым принятием решений.Когда процесс определения и прогнозирования цели алгоритма будет достигнут, надежная петля обратной связи поможет обнаружить предвзятость, что приведет к следующей рекомендации, поощряющей регулярные проверки.

Другие передовые методы саморегулирования

Формальный и регулярный аудит алгоритмов для проверки на предвзятость — еще одна передовая практика для выявления и смягчения предвзятости. О важности этих проверок участник круглого стола Джон Клейнберг из Корнельского университета поделился тем, что «у алгоритма нет другого выбора, кроме как быть заранее обдуманным. Аудиты предполагают проверку как входных данных, так и выходных решений, а когда их проводит сторонний оценщик, они могут дать представление о поведении алгоритма. Хотя для некоторых аудитов может потребоваться техническая экспертиза, это не всегда так. Программное обеспечение для распознавания лиц, которое ошибочно идентифицирует цветных людей больше, чем белых, — это случай, когда заинтересованная сторона или пользователь могут обнаружить предвзятые результаты, ничего не зная о том, как алгоритм принимает решения. «Мы должны ожидать, что у компьютеров будет контрольный журнал», — поделилась участница круглого стола Миранда Боген из Upturn.Регулярная и тщательная проверка данных, собранных для работы алгоритма, наряду с ответами разработчиков, гражданского общества и других лиц, затронутых алгоритмом, позволит лучше выявлять и, возможно, сдерживать предубеждения.

«Разработка регулярного и тщательного аудита данных, собранных для работы алгоритма, наряду с ответами разработчиков, гражданского общества и других лиц, затронутых алгоритмом, позволит лучше выявлять и, возможно, предотвращать предубеждения».

Опыт государственных служащих округа Аллегейни свидетельствует о важности независимого аудита.В 2016 году Министерство социальных служб запустило инструмент поддержки принятия решений, Инструмент проверки семьи Аллегейни (AFST), чтобы получить оценку, по которой детей с наибольшей вероятностью заберут из дома в течение двух лет или повторно направят в специализированные учреждения. окружной службы защиты детей в связи с подозрением в жестоком обращении. Округ взял на себя ответственность за использование инструмента, работал в сотрудничестве с разработчиком и заказал независимую оценку его прямого и косвенного воздействия на процесс проверки на жестокое обращение, включая точность решений, рабочую нагрузку и последовательность.Чиновники округа также запросили у экспертов дополнительные независимые исследования, чтобы определить, дискриминирует ли программное обеспечение определенные группы. В 2017 году результаты выявили некоторые статистические диспропорции, при этом частота ошибок выше среди расовых и этнических групп. Белые дети с наивысшим риском жестокого обращения с меньшей вероятностью были изгнаны из дома по сравнению с афроамериканскими детьми с аналогичными показателями риска. ⁴⁵ Округ отреагировал на эти выводы в рамках перестройки инструмента, вторая версия которого была внедрена в ноябре 2018 года. ⁴⁶

Facebook недавно завершил аудит гражданских прав, чтобы определить, как он справляется с проблемами и лицами из защищенных групп. ⁴⁷  После того, как стало известно, как платформа решает различные проблемы, включая подавление избирателей, модерацию контента, конфиденциальность и разнообразие, компания взяла на себя обязательство провести обновленный аудит своей внутренней инфраструктуры, чтобы справиться с жалобами на гражданские права и решить проблему разнообразия в дизайн своих продуктов по умолчанию. Недавние действия Facebook по запрету белого националистического контента или борьбе с дезинформационными кампаниями являются одними из результатов этих усилий. ⁴⁸

Участники круглого стола в целом признали идею о том, что организации должны использовать кросс-функциональные команды. Но движение в этом направлении может быть затруднено в уже изолированных организациях, несмотря на технические, социальные и, возможно, юридические последствия, связанные с разработкой и реализацией алгоритма. Не все решения потребуют такого рода межгруппового обзора, но когда эти решения сопряжены с риском причинения реального вреда, их следует использовать.При уменьшении предвзятости и управлении рисками, связанными с алгоритмом, совместные рабочие группы могут компенсировать слепые пятна, которые часто упускаются в небольших, сегментированных беседах и обзорах. Объединение экспертов из различных отделов, дисциплин и секторов поможет внедрить стандарты и стратегии подотчетности для смягчения предубеждений в Интернете, в том числе из инженерных, юридических, маркетинговых, стратегических и коммуникационных сфер.

Кросс-функциональные рабочие группы — будь то внутренние или укомплектованные внешними экспертами — могут попытаться выявить предвзятость до и во время развертывания модели.Кроме того, партнерские отношения между частным сектором, учеными и организациями гражданского общества также могут способствовать большей прозрачности применения ИИ в различных сценариях, особенно в тех, которые затрагивают защищенные классы или распространяются в общественных интересах. Кейт Кроуфорд, исследователь ИИ и основатель AI Now Partnership, предположила, что «замкнутые петли не открыты для алгоритмического аудита, проверки или публичного обсуждения», потому что они обычно усугубляют проблемы, которые они пытаются решить. ⁴⁹  Участница круглого стола Наташа Дуарте из Центра демократии и технологий рассказала о проблеме Аллегейни, поделившись: «[Компании] должны более откровенно описывать ограничения своих технологий, а правительство должно знать, какие вопросы спрашивать в своих оценках», что говорит о важности расширения сотрудничества в этой области.

Даже со всеми перечисленными выше мерами предосторожности все еще существует некоторый риск того, что алгоритмы будут принимать предвзятые решения.Люди будут продолжать играть роль в выявлении и исправлении предвзятых результатов еще долго после того, как алгоритм будет разработан, протестирован и запущен. Хотя больше данных может дать информацию для автоматизированного принятия решений, этот процесс должен дополнять, а не полностью заменять человеческое суждение. Участник круглого стола Алекс Пейсахович из Facebook поделился: «Нам не нужно устранять модераторов-людей. Нам нужно нанять больше и заставить их сосредоточиться на крайних случаях». Такое мнение становится все более важным в этой области, поскольку сравнительные преимущества людей и алгоритмов становятся все более различимыми, а использование обоих улучшает результаты для онлайн-пользователей.

Однако последствия для конфиденциальности возникнут, когда все больше людей будут участвовать в управлении алгоритмами, особенно если более конфиденциальная информация будет задействована в создании модели или в проверке предсказаний алгоритма на предвзятость. Время проведения круглых столов, которые также были связаны с принятием GDPR ЕС, говорило о необходимости усиления принципов конфиденциальности потребителей, когда пользователи имеют право выбирать, какими данными они хотят делиться с компаниями.Поскольку США в настоящее время обсуждают необходимость федерального законодательства о конфиденциальности, доступ к персональным данным и их использование могут стать еще более сложными, что может сделать алгоритмические модели более предвзятыми. Поскольку ценности создателей и пользователей алгоритмов со временем меняются, люди должны разрешать конфликты между результатами и заявленными целями. В дополнение к периодическим проверкам участие человека обеспечивает непрерывную обратную связь о выполнении усилий по уменьшению предвзятости.

Другие рекомендации по государственной политике

Как указано в документе, политики играют решающую роль в выявлении и устранении предубеждений, обеспечивая при этом, чтобы технологии продолжали приносить положительные экономические и социальные выгоды.

Регуляторные песочницы воспринимаются как одна из стратегий создания временных отсрочек от регулирования, позволяющих технологии и правилам, связанным с ее использованием, развиваться вместе. Эти политики могут применяться к алгоритмической предвзятости и другим областям, где рассматриваемая технология не имеет аналога, подпадающего под действие существующих правил. Вместо того, чтобы расширять рамки существующих правил или создавать правила в ожидании потенциального вреда, песочница позволяет внедрять инновации как в технологии, так и в ее регулирование.Даже в строго регулируемой отрасли создание «песочниц», в которых можно тестировать инновации, наряду с более легким регулированием, может принести пользу.

«Вместо того, чтобы расширять рамки существующих правил или создавать правила с учетом потенциального вреда, песочница позволяет внедрять инновации как в технологии, так и в ее регулирование».

Например, компании финансового сектора, которые используют технологии или финтех, продемонстрировали, как регулятивные песочницы могут стимулировать инновации в разработке новых продуктов и услуг. ⁵⁰ Эти компании широко используют алгоритмы во всем: от обнаружения мошенничества до принятия решения о предоставлении кредита. Некоторые из этих действий повторяют действия обычных банков, и они по-прежнему будут подпадать под существующие правила, но в песочнице будут разрешены новые подходы к решению задач. ⁵¹  Поскольку песочницы дают новаторам большую свободу действий при разработке новых продуктов и услуг, они потребуют активного контроля, пока не созреют технологии и правила. Министерство финансов США недавно сообщило не только о преимуществах, которые реализовали страны, принявшие регулятивные песочницы в сфере финансовых технологий, но и рекомендовало США. S. внедрить финтех-песочницы, чтобы стимулировать инновации. ⁵²  Учитывая широкую полезность алгоритмов для стимулирования инноваций в различных регулируемых отраслях, участники круглых столов рассмотрели потенциальную полезность распространения регулятивных песочниц на другие области, где алгоритмы могут помочь стимулировать инновации.

Можно также использовать «безопасные гавани» регулирующих органов, когда регулирующий орган может указать, какие виды деятельности не нарушают существующие правила. ⁵³  Преимущество этого подхода заключается в повышении нормативной определенности для разработчиков алгоритмов и операторов.Например, раздел 230 Закона о приличии в коммуникациях снимает с веб-сайтов ответственность за действия их пользователей, что широко приписывают рост таких интернет-компаний, как Facebook и Google. Позже это исключение было сужено, чтобы исключить торговлю людьми в целях сексуальной эксплуатации с принятием Закона о запрещении торговли людьми в целях сексуальной эксплуатации в Интернете и Закона о борьбе с торговлей людьми в целях сексуальной эксплуатации в Интернете. Применение аналогичного подхода к алгоритмам может освободить их операторов от ответственности в определенных контекстах, сохраняя при этом защиту в других, где ущерб легче выявить.В соответствии с предыдущим обсуждением использования определенных защищенных атрибутов, безопасные гавани могут быть рассмотрены в случаях, когда сбор конфиденциальной личной информации используется для конкретных целей обнаружения и смягчения предвзятости.

Широко распространенная алгоритмическая грамотность имеет решающее значение для смягчения предвзятости. Учитывая более широкое использование алгоритмов во многих аспектах повседневной жизни, всем потенциальным субъектам автоматизированных решений было бы полезно знать, как эти системы функционируют.Точно так же, как компьютерная грамотность в настоящее время считается жизненно важным навыком в современной экономике, скоро может стать необходимым понимание того, как алгоритмы используют свои данные.

Субъекты автоматизированных решений заслуживают того, чтобы знать, когда предвзятость негативно влияет на них, и как реагировать, когда это происходит. Отзывы пользователей могут делиться и предвидеть области, в которых может проявляться предвзятость в существующих и будущих алгоритмах. Со временем создатели алгоритмов могут активно запрашивать отзывы у широкого круга субъектов данных, а затем предпринимать шаги по информированию общественности о том, как работают алгоритмы, чтобы помочь в этих усилиях.Государственные агентства, которые регулируют предвзятость, также могут работать над повышением алгоритмической грамотности в рамках своей миссии. Как в государственном, так и в частном секторе те, кто может больше всего потерять от необъективного принятия решений, также могут сыграть активную роль в его выявлении.

Заключение

В декабре 2018 года президент Трамп подписал Закон о первом шаге, новый закон об уголовном правосудии, поощряющий использование алгоритмов по всей стране. ⁵⁴  В частности, система будет использовать алгоритм для первоначального определения того, кто может использовать кредиты за отработанное время — сокращение срока наказания за завершение образовательных, профессиональных или реабилитационных программ — за исключением заключенных, считающихся повышенным риском.Существует вероятность того, что эти алгоритмы увековечат расовые и классовые различия, которые уже встроены в систему уголовного правосудия. В результате афроамериканцы и бедняки в целом с большей вероятностью будут отбывать более длительные сроки тюремного заключения.

«Когда алгоритмы разработаны ответственно, они могут избежать печальных последствий усиленной системной дискриминации и неэтичных приложений».

Как указано в документе, эти типы алгоритмов должны вызывать беспокойство, если не существует процесса, который включает в себя техническое усердие, справедливость и справедливость от проектирования до исполнения.То есть, когда алгоритмы разработаны ответственно, они могут избежать неблагоприятных последствий усиленной системной дискриминации и неэтичных приложений.

Некоторые решения будут лучше приниматься с помощью алгоритмов и других инструментов ИИ, в то время как другие могут потребовать тщательного рассмотрения до разработки компьютерных моделей. Кроме того, тестирование и проверка определенных алгоритмов также выявляют и, в лучшем случае, смягчают последствия дискриминации. Для операторов алгоритмов, стремящихся снизить риск и осложнения плохих результатов для потребителей, продвижение и использование предложений по смягчению последствий может создать путь к алгоритмической справедливости, даже если справедливость никогда не будет полностью реализована.

Институт Брукингса — некоммерческая организация, занимающаяся независимыми исследованиями и политическими решениями. Его миссия состоит в том, чтобы проводить высококачественные независимые исследования и на основе этих исследований предоставлять новаторские практические рекомендации для политиков и общественности. Выводы и рекомендации любой публикации Brookings принадлежат исключительно ее автору (авторам) и не отражают точку зрения Учреждения, его руководства или других ученых.

Amazon, Facebook, Google, IBM и Microsoft предоставляют общую неограниченную поддержку The Brookings Institution.Пол Резник также является консультантом Facebook, но эта работа независима, и его взгляды, выраженные здесь, являются его собственными. На результаты, интерпретации и выводы, опубликованные в этой статье, никакие пожертвования не повлияли. Brookings признает, что ценность, которую она предоставляет, заключается в абсолютной приверженности качеству, независимости и влиянию. Мероприятия, поддерживаемые его донорами, отражают это обязательство.

Приложение: Список участников круглого стола

Каталожные номера

Ангвин, Джулия и Терри Пэррис-мл. «Facebook позволяет рекламодателям исключать пользователей по расовому признаку». Текст/html. ProPublica, 28 октября 2016 г. https://www.propublica.org/article/facebook-lets-advertisers-exclude-users-by-race.

Ангвин, Джулия, Джефф Ларсон, Сурья Матту и Лаура Киршнер. «Машинный уклон». ProPublica, 23 мая 2016 г. Доступно по адресу https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing (последний доступ 19 апреля 2019 г.).

Барокас, Солон и Эндрю Д. Селбст, «Разрозненное воздействие больших данных», научная статья SSRN (Рочестер, штат Нью-Йорк: Исследовательская сеть социальных наук, 2016 г.).Доступно по адресу https://papers.ssrn.com/abstract=2477899.

Бласс, Андреа и Юрий Гуревичи. Алгоритмы: поиск абсолютных определений. Бюллетень Европейской ассоциации теоретической информатики 81, 2003 г. https://www.microsoft.com/en-us/research/wp-content/uploads/2017/01/164.pdf (последний доступ 12 апреля 2019 г.).

Бреннан, Тим, Уильям Дитрих и Беата Эрет. «Оценка прогностической достоверности системы оценки рисков и потребностей COMPAS». Уголовное правосудие и поведение 36 (2009): 21–40.

Чессел, Мэнди. «Этика больших данных и аналитики». IBM, nd Доступно по адресу https://www.ibmbigdatahub.com/sites/default/files/whitepapers_reports_file/TCG%20Study%20Report%20-%20Ethics%20for%20BD%26A.pdf (последний доступ 19 апреля 2019 г.).

Ходош, Сара. «Суды используют алгоритмы для вынесения приговора, но случайные люди получают одинаковые результаты». Popular Science, 18 января 2018 г. Доступно по адресу https://www.popsci.com/recidivism-algorithm-random-bias (последний доступ 15 октября 2018 г.).

Корбетт-Дэвис, Сэм, Эмма Пирсон, Ави Феллер и Шарад Гоэль. «Компьютерная программа, используемая для вынесения залога и вынесения приговора, была названа предвзятой по отношению к чернокожим. На самом деле это не так уж и ясно». Washington Post (блог), 17 октября 2016 г. Доступно по адресу https://www.washingtonpost.com/news/monkey-cage/wp/2016/10/17/can-an-algorithm-be-racist-our-analysis. -is-more-cautious-than-propublicas/ (последний доступ 19 апреля 2019 г.).

Корбетт-Дэвис, Сэм, Эмма Пирсон, Ави Феллер, Шарад Гоэль и Азиз Хук.«Алгоритмическое принятие решений и цена справедливости». ArXiv:1701.08230 [Cs, Stat], 27 января 2017 г. https://doi.org/10.1145/3097983.309809.

Кортленд, Рэйчел. «Детективы предвзятости: исследователи, стремящиеся сделать алгоритмы справедливыми», Nature 558, вып. 7710 (июнь 2018 г.): 357–60. Доступно по адресу https://doi.org/10.1038/d41586-018-05469-3 (последний доступ 19 апреля 2019 г.).

ДеАнгелиус, Стивен Ф. «Искусственный интеллект: как алгоритмы делают системы умными», журнал Wired, сентябрь 2014 г.Доступно по адресу https://www.wired.com//insights/2014/09/artificial-intelligence-algorithms-2/ (последний доступ 12 апреля 2019 г.).

Элехальде-Руис, Алексия. «Конец резюме? Наем происходит в разгар технологической революции с алгоритмами, чат-ботами». Чикаго Трибьюн (19 июля 2018 г.). Доступно на http://www. chicagotribune.com/business/ct-biz-artificial-intelligence-hiring-20180719-story.html.

Юбэнкс, Вирджиния. «Модель прогнозирования жестокого обращения с детьми не помогает бедным семьям», Wired, 15 января 2018 г.Доступно по адресу https://www.wired.com/story/excerpt-from-automating-inequality/ (последний доступ 19 апреля 2019 г.).

FTC Слушание № 7: Проблемы конкуренции и защиты прав потребителей в отношении алгоритмов, искусственного интеллекта и прогнозной аналитики, § Федеральная торговая комиссия (2018 г.). https://www.ftc.gov/system/files/documents/public_events/1418693/ftc_hearings_session_7_transcript_day_2_11-14-18.pdf.

Гарбейд, Майкл Дж. «Устранение путаницы: ИИ, машинное обучение и различия глубокого обучения», На пути к науке о данных, 14 сентября 2018 г.Доступно по адресу https://towardsdatascience//clearing-the-confusion-ai-vs-machine-learning-vs-deep-learning-differences-fce69b21d5eb (последний доступ 12 апреля 2019 г.).

Григгс против Duke Power Company, Ойез. Доступно по адресу https://www.oyez.org/cases/1970/124 (последний доступ 1 октября 2018 г.

Герен, Лиза. «Разрозненная дискриминация воздействия». www.nolo.com. Доступно по адресу https://www.nolo.com/legal-encyclopedia/disparate-impact-disparation.htm (последний доступ 24 апреля 2019 г.).

Хадхази, Адам.«Предвзятые боты: системы искусственного интеллекта повторяют человеческие предубеждения». Принстонский университет, 18 апреля 2017 г. Доступно по адресу https://www.princeton.edu/news/2017/04/18/biased-bots-artificial-intelligence-systems-echo-human-prejudices (последний доступ 20 апреля 2019 г.). ).

Гамильтон, Изобель Эшер. «Почему совершенно неудивительно, что рекрутинговый ИИ Amazon был настроен против женщин». Business Insider, 13 октября 2018 г. Доступно по адресу https://www.businessinsider.com/amazon-ai-biased-against-women-no-surprise-sandra-wachter-2018-10 (последний доступ 20 апреля 2019 г.).

Хардести, Ларри. «Исследование выявило предвзятость по признаку пола и типа кожи в коммерческих системах искусственного интеллекта». MIT News, 11 февраля 2018 г. Доступно по адресу http://news.mit.edu/2018/study-finds-gender-skin-type-bias-artificial-intelligence-systems-0212 (последний доступ 19 апреля 2019 г.).

Группа экспертов высокого уровня по искусственному интеллекту. «Этические рекомендации для надежного ИИ (проект)». Европейская комиссия, 18 декабря 2018 г.

Ингольд, Дэвид и Спенсер Соупер. «Amazon не учитывает расовую принадлежность своих клиентов.Должно ли это быть?» Bloomberg.com, 21 апреля 2016 г. http://www.bloomberg.com/graphics/2016-amazon-same-day/.

Кернс, Майкл. «Конфиденциальность данных, машинное обучение и конфиденциальность потребителей». Юридический факультет Пенсильванского университета, май 2018 г. Доступно по ссылке https://www.law.upenn.edu/live/files/7952-kearns-finalpdf (последний доступ 12 апреля 2019 г.).

Клейнберг, Джон, Сендхил Муллайнатан и Маниш Рагхаван, «Неотъемлемые компромиссы в справедливом определении оценок риска». В Трудах инноваций в теоретической информатике (ITCS), 2017. Доступно по адресу https://arxiv.org/pdf/1609.05807.pdf (последний доступ 19 апреля 2019 г.).

Ларсон, Джефф, Сурья Матту и Джулия Ангвин. «Непреднамеренные последствия географического таргетинга». Technology Science, 1 сентября 2015 г. Доступно по адресу https://techscience.org/a/20150

Локлир, Мэллори. «Facebook выпускает обновленную информацию о своей проверке гражданских прав». Engadget (блог), 18 декабря 2018 г. Доступно по адресу https://www.engadget.com/2018/12/18/facebook-update-civil-rights-audit/ (последний доступ 19 апреля 2019 г.).

Лопес, немец. «Закон о первом шаге, законопроект Конгресса о реформе уголовного правосудия, объяснение». Vox, 3 декабря 2018 г. Доступно по адресу https://www.vox.com/future-perfect/2018/12/3/18122392/first-step-act-criminal-justice-reform-bill-congress (последний доступ в апреле 16, 2019).

Мнучин, Стивен Т. и Крейг С. Филлипс. «Финансовая система, создающая экономические возможности — небанковские финансы, финтех и инновации». Вашингтон, округ Колумбия: Министерство финансов США, июль 2018 г.Доступно по адресу https://home.treasury.gov/sites/default/files/2018-08/A-Financial-System-that-Creates-Economic-Opportunities—Nonbank-Financials-Fintech-and-Innovation_0.pdf (последний доступ 19 апреля 2019 г.).

Райсман, Диллон, Джейсон Шульц, Кейт Кроуфорд и Мередит Уиттакер. «Алгоритмическая оценка воздействия: практическая основа подотчетности государственных органов». Нью-Йорк: AI Now, апрель 2018 г.

Ромеи, Андреа и Сальваторе Руджери. «Анализ данных о дискриминации: междисциплинарная библиография.В книге «Дискриминация и неприкосновенность частной жизни в информационном обществе», под редакцией Барта Кастерса, Т. Колдерса, Б. Шермера и Т. Зарского, стр. 109–35. Исследования в области прикладной философии, эпистемологии и рациональной этики. Springer, Berlin, Heidelberg, 2013. Доступно по адресу https://doi.org/10.1007/978-3-642-30487-3_6 (последний доступ 19 апреля 2019 г.).

Шац, Брайан. Закон об искусственном интеллекте в правительстве от 2018 г., опубл. Л. № С.Б. 3502 (2018). https://www.congress.gov/bill/115th-congress/senate-bill/3502.

Шпилькамп, Матиас.«Нам нужно пролить больше света на алгоритмы, чтобы они могли помочь уменьшить предвзятость, а не увековечить ее». Обзор технологий Массачусетского технологического института. По состоянию на 20 сентября 2018 г. Доступно по адресу https://www.technologyreview.com/s/607955/inspecting-algorithms-for-bias/ (последний доступ 19 апреля 2019 г.).

Стэк, Лиам. «Facebook объявляет о новой политике запрета контента белых националистов». The New York Times, 28 марта 2019 г., с. Бизнес. Доступно по адресу https://www.nytimes.com/2019/03/27/business/facebook-white-nationalist-supremacist.html (последний доступ 19 апреля 2019 г.).

Суини, Латанья и Джиньян Занг. «Насколько уместными могут быть решения по аналитике больших данных при размещении рекламы?» Презентация Powerpoint, представленная на конференции Федеральной торговой комиссии «Большие данные: инструмент для включения или исключения», Вашингтон, округ Колумбия. 15 сентября 2014 г. Доступно по адресу https://www.ftc.gov/systems/files/documents/public_events/313371/bigdata-slides-sweeneyzang-9_15_14.pdf (последний доступ 12 апреля 2019 г.).

Суини, Латания. «Дискриминация в доставке онлайн-рекламы.Рочестер, штат Нью-Йорк: Сеть исследований в области социальных наук, 28 января 2013 г. Доступно по адресу https://papers.ssrn.com/abstract=2208240 (последний доступ 12 апреля 2019 г.).

Сиделл, Лора. «Это не я, детка: исследователи нашли недостатки в полицейской технологии распознавания лиц». NPR.org, 25 октября 2016 г. Доступно по адресу https://www.npr.org/sections/alltechconsidered/2016/10/25/499176469/it-aint-me-babe-researchers-find-flaws-in-police. -facial-recognition (последний доступ 19 апреля 2019 г.).

«Глобальный проект по этике данных.Данные для демократии, н.д. https://www.datafordemocracy.org/project/global-data-ethics-project (последний доступ 19 апреля 2019 г.).

Тобин, Ариана. «HUD подает в суд на Facebook из-за жилищной дискриминации и говорит, что алгоритмы компании усугубили проблему». ProPublica (28 марта 2019 г.). Доступно по адресу https://www.propublica.org/article/hud-sues-facebook-housing-distribution-advertising-algorithms (последний доступ 29 апреля 2019 г.).

Тернер Ли, Никол. «Включение в технологии: как разнообразие приносит пользу всем американцам», § Подкомитет по защите прав потребителей и торговле, Комитет Палаты представителей США по энергетике и торговле (2019 г.).Также доступно на веб-сайте Brookings: https://www.brookings.edu/testimonies/inclusion-in-tech-how-diversity-benefits-all-americans/ (последний доступ 29 апреля 2019 г.).

Тернер Ли, Никол. Обнаружение расовой предвзятости в алгоритмах и машинном обучении. Журнал информации, коммуникации и этики в обществе 2018, Vol. 16 Выпуск 3, стр. 252-260. Доступно по адресу https://doi.org/10.1108/JICES-06-2018-0056/ (последний доступ 29 апреля 2019 г.).

«Понимание предвзятости в алгоритмическом дизайне», Impact.Engineered, 5 сентября 2017 г. Доступно по адресу https://medium. com/impact-engineered/understanding-bias-in-algorithmic-design-db9847103b6e (последний доступ 12 апреля 2019 г.).

Винсент, Джеймс. «По сообщениям, Amazon отказывается от внутреннего инструмента рекрутинга с использованием искусственного интеллекта, который был предвзят в отношении женщин». The Verge, 10 октября 2018 г. Доступно по адресу https://www.theverge.com/2018/10/10/17958784/ai-recruiting-tool-bias-amazon-report (последний доступ 20 апреля 2019 г.).

Зафар, Мухаммад Билал, Изабель Валера Мартинес, Мануэль Гомес Родригес и Кришна Гуммади.«Ограничения справедливости: механизм справедливой классификации». В материалах 20-й Международной конференции по искусственному интеллекту и статистике (AISTATS). Форт-Лодердейл, Флорида, 2017 г.

Зарский, Тал. «Понимание дискриминации в рейтинговом обществе». Научная статья SSRN. Рочестер, штат Нью-Йорк: Сеть исследований в области социальных наук, 15 января 2015 г. https://papers.ssrn.com/abstract=2550248.

MSSP после недавних изменений правил: что это нам говорит?

Запущенная Центрами услуг Medicare и Medicaid (CMS) в 2012 году программа общих сбережений Medicare (MSSP) является крупнейшей инициативой организации подотчетной медицинской помощи (ACO) Medicare и основным направлением усилий по переходу от платы за услугу к альтернативные модели оплаты. Существующие данные говорят о скромном успехе: ACO немного сократили расходы — даже с учетом премиальных выплат — и, похоже, они улучшили, по крайней мере, некоторые аспекты качества медицинской помощи. Более того, сбережения, по-видимому, растут, по крайней мере, для ACO, сформированных независимыми врачебными группами.

Окончательный успех программы будет зависеть от добровольного участия поставщиков медицинских услуг. Однако недавно опубликованные данные CMS об участии MSSP в 2019 году вызывают опасения, что теперь программа стала гораздо менее привлекательной для провайдеров.В период с 2012 по 2018 год чистое число участвующих ACO росло каждый год, при этом количество организаций, вступивших в программу, значительно превысило количество выбывших из программы. Однако в 2019 году количество организаций-участников впервые за всю историю программы сократилось из-за рекордно большого количества ACO, вышедших из программы, и рекордно низкого числа вступивших (рисунок 1). Другие уже указывали, насколько тревожным может быть сокращение участия для MSSP. Чтобы понять последствия изменений участия в расходах Medicare, важно понять факторы, влияющие на решение об участии, особенно те, которые связаны с параметрами полиса. В конце концов, поставщики должны участвовать в программе, чтобы сэкономить деньги Medicare.  

Приложение 1: Вход и выход из накопительной программы Medicare по годам

Источник: анализ данных Центров услуг Medicare и Medicaid, проведенный авторами.  

Модели участия

На сегодняшний день в MSSP поступило семь когорт ACO (2013 год стал первым полным годом участия участников 2012 года, которое началось в середине 2012 года). Все когорты значительно выбыли из программы после нескольких лет участия (пример 2), при этом показатель отсева увеличился в четвертый и седьмой годы программы, которые были годами продления контракта. (До 2019 года период действия контракта MSSP длился три года, а сейчас для всех новых контрактов составляет пять лет. ) В годы без продления в среднем только 5 процентов ACO выходят из программы. Однако в годы продления средний показатель ухода возрастает до 28 процентов. В совокупности такое поведение приводит к значительному исходу с течением времени внутри каждой когорты. Например, по состоянию на 2019 год в программе остается менее 40 процентов первоначальной когорты 2012–2013 годов, хотя несколько организаций перешли на другие программы ACO.  

Приложение 2: Показатели участия по когорте

Источник: анализ данных Центров услуг Medicare и Medicaid, проведенный авторами.  

Параметры программы, способствующие снижению участия

Ранее мы выражали озабоченность по поводу той роли, которую три конкретных параметра программы играют в решениях ACO о начале или возобновлении участия: изменение базисных показателей, регионализация ориентиров и введение риска ухудшения ситуации. Специфический когортный анализ на рисунке 2 поддерживает эти опасения. В частности, 45 процентов ACO в когорте 2016 года, которые не вышли из программы до продления, вышли из программы в 2019 году, когда они должны были перебазироваться в соответствии с новой методологией «Пути к успеху», которая ускоряет регионализация и риск снижения.Почти треть ACO, оставшихся из когорты 2012–2013 годов, единственной другой когорты, подлежащей перебазированию с региональной корректировкой в ​​соответствии с новыми правилами в 2019 году, вышли в 2019 году. история программы и единственные две когортные показатели выхода в 2019 году, превышающие историческую норму. Это должно вызвать беспокойство в следующем году (2020 г.), когда еще 153 ACO из групп 2014 и 2017 гг. должны будут продлить контракты и перебазироваться в соответствии с Pathways.  

Перебазировка

Перебазирование относится к практике снижения целевых показателей расходов или контрольных показателей ACO при продлении контракта на основе расходов, наблюдаемых в течение предыдущего периода действия соглашения. Перебазирование позволяет Medicare досрочно извлекать сбережения из программы. Тем не менее, мы считаем, что перебазирование, вероятно, в целом глупо.

В частности, храповой эффект изменения базы уменьшает стимул для ACO к сбережениям. Вознаграждение за снижение расходов в одном периоде компенсируется перспективой уменьшения вознаграждения или финансовых штрафов в последующем периоде при более низком, перебазированном контрольном показателе.Со временем изменение эталонных показателей может привести к тому, что у ACO останется мало возможностей для дальнейшей экономии. Точно так же увеличение расходов в один период вознаграждается будущим увеличением эталона (и, следовательно, большей вероятностью получения бонусов) в следующем периоде. Эта динамика не только препятствует сбережениям, но и может препятствовать участию. Степень, в которой это препятствует участию, остается неизвестной, но изменение базы может существенно способствовать всплескам ухода в годы продления.

Регионализация

Регионализация относится к практике установления контрольных показателей на основе расходов ACO по сравнению с другими поставщиками услуг в его регионе в дополнение к его собственным историческим расходам. Это может усилить стимулы к сбережениям, поскольку на региональные контрольные показатели лишь частично влияет собственное поведение ACO в отношении сбережений. Более того, регионализация в принципе привлекательна для тех, кто считает, что все ACO на одном рынке должны соответствовать одному стандарту. Однако регионализация негативно влияет на АСО с высокими расходами с поправкой на риск для своего региона, которые обладают наибольшим потенциалом экономии, и может препятствовать их участию. И наоборот, он субсидирует ACO с более низкими расходами с поправкой на риск по сравнению с их регионом, назначая им более высокие ориентиры, чем их исторические расходы оправдывают.При наличии неадекватной корректировки риска регионализация также перемещает ресурсы между организациями в зависимости от пациентов, которых они обслуживают, а не от их эффективности.

Хотя совместное влияние продления контракта и изменения базы на выход из программы невозможно окончательно разделить, мы можем эмпирически наблюдать, что регионализация подчеркивает взаимосвязь между продлением и выходом: 30 процентов ACO в когортах, для которых изменение базы сопровождалось процессом региональной корректировки, вышли в годы продления контракта (годы продления 2017–2019), в то время как только 23 процента ACO, которые не подверглись регионализации при изменении базы, вышли (год продления 2016).

Однако, как отмечалось выше, влияние регионализации на участие ACO зависит от организационных расходов по отношению к региону. Чтобы проиллюстрировать это явление, мы рассчитали коэффициент выхода для ACO в самом высоком и самом низком квартилях отклонения расходов ACO от их региона в годы продления, когда они столкнулись с регионализацией. На рисунке показаны проценты выходов при продлении контракта для этих ACO с высокими и низкими расходами, когда они столкнулись с перспективой регионализации при продлении (объединены по когортам).АСО с расходами выше своего региона выбывали чаще, чем те с расходами ниже своего региона, что согласуется с теорией о том, что регионализация препятствует участию АСО с высокими расходами и субсидирует АСО с низкими расходами.

Приложение 3. Доля выходов из программы Medicare Shared Savings во время продления с разбивкой по расходам в зависимости от региона

Источник: анализ данных Центров услуг Medicare и Medicaid, проведенный авторами.  

Мало того, что люди с высокими расходами по сравнению с регионом уходили с большей скоростью, профиль новых участников изменился после того, как в 2016 году было объявлено о регионализации, которая вступит в силу в 2017 году.Мы рассчитали отклонение расходов каждого ACO по сравнению с его регионом в базовый период (за три года до входа в MSSP) на основе методологии назначения CMS и наметили, как отклонения расходов новичков менялись с течением времени. На рис. 4 показано, что до 2016 года расходы организаций, вступивших в MSSP, обычно были в среднем немного выше, чем в их регионах, но в 2017 году, после объявления о регионализации, расходы участников в среднем были значительно выше. ниже своих регионов.Это говорит об упреждающем эффекте регионализации: те, кто тратит больше, не поощрялись к входу, а те, кто тратил меньше, были заинтересованы в этом. Возможно, это сделало MSSP более успешным с точки зрения экономии средств, поскольку для оценки производительности используются контрольные показатели; тем не менее, эта модель выбора фактически увеличивает расходы Medicare (по сравнению с контрфактическим отсутствием MSSP) и может привести к тому, что программа превратится в субсидию для поставщиков с низкими расходами.  

Доказательство 4. Отклонения в расходах перед вступлением в программу Medicare Shared Savings по когортам

Источник: авторский анализ данных центров Medicare и Medicaid Services S.  

Риск убытков

Риск снижения относится к требованию о том, чтобы ACO, расходы которых превышают контрольный показатель в определенной степени, возмещали правительству часть разницы между расходами и контрольным показателем. Это повышает ставки для ACO и может усилить влияние перебазирования и регионализации на участие. Несмотря на общее мнение о том, что риск убытков увеличивает сбережения ACO, существует мало строгих доказательств в поддержку таких утверждений. Поскольку до сих пор на ACO возлагался небольшой риск снижения, у нас также мало оснований судить о его влиянии на участие, хотя всплеск выхода с появлением Pathways предполагает, что перспектива риска снижения могла способствовать выходу.

Влияние на потенциал сбережений

Взаимосвязь между сбережениями и участием в программе играет центральную роль в оценке влияния выборочного выхода на программу. Чтобы оценить эту взаимосвязь, важно отметить, что истинная экономия ACO не определяется разницей между его эталоном и его расходами. Вместо этого экономия должна определяться на основе гипотетической оценки расходов, ожидаемых для бенефициаров ACO при отсутствии стимулов программы ACO.Наша предыдущая работа по изучению программы Pioneer ACO показала, что выбывшие ACO спасли Medicare в той же степени, что и продолжающие участие организации, но им не рекомендовалось продолжать участие в правилах, касающихся обновления эталонных показателей и атрибуции. Это означает, что правила программы, влияющие на участие, не имеют тесной связи с экономией ACO или потенциалом экономии. Мы также зафиксировали, что ACO, выбывшие из программы MSSP, сэкономили столько же, сколько и те, кто остался в программе, и выразили обеспокоенность тем, что контрпродуктивные модели выхода будут хуже в рамках программы «Пути к успеху».Нас больше всего беспокоит как перебазирование, так и регионализация, поскольку они препятствуют вхождению и усугубляют выход среди групп поставщиков, которые могли бы сэкономить, если бы участвовали в слегка реструктурированной программе. Описанные выше паттерны, в частности высокие показатели выхода из программы для тех, кто тратит больше средств, которые, следовательно, имеют больший потенциал сбережений, согласуются с нашими теоретическими ответами и предполагают, что недавнее сообщение об увеличении сбережений MSSP в 2018 году (на основе контрольных сравнений) может быть завышено. Хотя мы не смогли изучить влияние негативного риска на участие, поскольку он еще не применялся в больших масштабах в программе MSSP, мы также хотели бы предостеречь заинтересованные стороны, чтобы они не позволяли инстинктивной привлекательности негативного риска толкать нас дальше, чем факты.Пока перебазирование и регионализация приводят к несогласованным стимулам, дополнительный риск убытков может просто усугубить отрицательные стимулы к участию.

Выводы

Теоретически программы ACO предлагают модель оплаты, которая побуждает системы доставки внедрять инновации, повышающие эффективность, которые могут помочь им процветать в мире с низким ростом комиссий. На самом деле, оценки программы предполагают, по крайней мере, скромный потенциал успеха. Тем не менее, способность программы ACO выполнить это обещание зависит от параметров модели и участия поставщиков, особенно высокооплачиваемых, где возможности экономии являются самыми большими.

Существующие модели участия вызывают беспокойство, и наш анализ показывает, что правила программы могут играть большую роль в наблюдаемой тенденции. Например, перебазирование препятствует сбережениям и может препятствовать участию. Хотя это позволяет Medicare досрочно извлекать сбережения из программы, перебазирование может быть контрпродуктивным. Регионализация также может повредить участию, особенно среди наиболее важных для программы организаций, обладающих наибольшим потенциалом реальной экономии.По общему признанию, равенство требует некоторой конвергенции с течением времени в контрольных показателях между организациями с высокими и низкими расходами; некоторые из них могут происходить естественным образом. Но CMS следует действовать осторожно в этом отношении и помнить, что окончательный успех MSSP зависит от широкого участия разнообразной группы организаций.

Список высокого риска | U.S. GAO

Обновление: В нашем всеобъемлющем отчете о Законе CARES от 9 ^th руководство и координация действий Министерства здравоохранения и социальных служб (HHS) в чрезвычайных ситуациях в области общественного здравоохранения определены как высокий риск из-за значительных и давних проблем.На протяжении более десяти лет мы обнаруживали постоянные недостатки в руководящей роли HHS в подготовке и реагировании на чрезвычайные ситуации в области общественного здравоохранения, включая COVID-19 и другие инфекционные заболевания, такие как пандемия гриппа h2N1, вирусы Зика и Эбола, а также экстремальные погодные явления. например, ураганы.

HHS также столкнулся с проблемами, связанными с установлением четких ролей и обязанностей и обеспечением четкой и последовательной коммуникации с ключевыми партнерами и общественностью. (Ранее мы определили эту тему как новую проблему в нашем отчете о высоком риске за 2021 год.)

Список высокого риска — это список федеральных программ и операций, которые уязвимы для мошенничества, расточительства, злоупотреблений и бесхозяйственности или нуждаются в преобразовании. Список публикуется каждые 2 года в начале каждой новой сессии Конгресса, и за последние 15 лет федеральное правительство получило более 575 миллиардов долларов финансовой выгоды.

Наш список высокого риска на январь 2021 года содержит 36 областей высокого риска. С 2019 года мы добавили в список две области:

• Чрезвычайные кредиты для малого бизнеса .Администрация малого бизнеса предоставила кредиты и авансы на сотни миллиардов долларов, чтобы помочь малым предприятиям оправиться от экономических последствий COVID-19. Хотя эти кредиты помогли многим малым предприятиям, необходимо уделять больше внимания этим средствам и контролировать их из-за рисков мошенничества.
• Национальные усилия по предотвращению, реагированию и восстановлению после злоупотребления наркотиками . Национальные показатели злоупотребления наркотиками увеличились за последние два десятилетия и имели разрушительные последствия.Мы обнаружили несколько проблем в ответе федерального правительства на этот вопрос, таких как необходимость более эффективного руководства и координации национальных усилий, стратегического руководства, отвечающего всем законодательным требованиям, а также более эффективной реализации и мониторинга.

С 2019 года было улучшено семь областей, и мы удалили одну из этих областей – управление инфраструктурой поддержки Министерства обороны США в связи с прогрессом Министерства обороны США в решении этой проблемы. Например, министерство обороны США более эффективно использовало арендованные площади, сократило площадь своей инфраструктуры и расходы.Кроме того, 20 областей показали незначительные изменения.

Тем не менее, 5 областей ухудшились:

Кроме того, в этом отчете мы выявили две возникающие проблемы:

Эти две проблемы еще не включены в наш список высокого риска, но наша запланированная работа в этих областях может привести к тому, что в будущем мы отнесем эти проблемы к категории высокого риска.