Прозрачность алгоритмов как правовой принцип автоматизированной обработки данных о человеке

Мочалов Артур Николаевич ORCID: 0000-0003-2502-559X кандидат юридических наук доцент, кафедра конституционного права, Уральский государственный юридический университет им. В. Ф. Яковлева 620137, Россия, Свердловская область, г. Екатеринбург, ул. Комсомольская, 21 Mochalov Artur PhD in Law Associate Professor, Department of Constitutional Law, Ural State Law University named after V. F. Yakovlev 620137, Russia, Sverdlovsk region, Yekaterinburg, Komsomolskaya str., 21 artm84@gmail.com

Исследование выполнено при финансовой поддержке УрГЮУ имени В.Ф. Яковлева в рамках реализации проекта научной группы № 0202/23 «Трансформация конституционно-правовых институтов в условиях развития цифровых технологий и вызовов глобализации».

В современном мире значительная часть информации, касающейся индивидов, обрабатывается в автоматизированном режиме на основе алгоритмов, которые можно определить как запрограммированные процедуры преобразования входящей информации (input) в требуемый результат (output) на основе специальных вычислений ^{[1, с. 167]}. Алгоритмы, лежащие в основе компьютерных программ, сопровождают не только деятельность человека в онлайн-среде, но и его активность офлайн. Например, в Интернете мы постоянно сталкиваемся с результатами работы алгоритмов в рекомендательных системах (на маркетплейсах, в новостных агрегаторах); алгоритмы лежат в основе таргетированной рекламы, настроенной на показ пользователям, соответствующим заданным характеристикам. В офлайн-среде алгоритмы используются в компьютерных программах, предназначенных для обработки информации об индивиде с целью оценки его благонадежности и платежеспособности (например, при принятии банком решения о выдаче ему кредита), для распознавания людей по их изображениям, полученным с камер видеонаблюдения, контроля за их перемещением и т. д. В одних алгоритмах «выходом» является некоторая информация, на основании которой впоследствии принимается решение человеком (например, решение о выдаче кредита или об отказе в выдаче кредита в зависимости от информации, свидетельствующей о платежеспособности заемщика, вероятности возвращения им кредита). Другие же алгоритмы предполагают в качестве результирующего «выхода» само решение, принимаемое в автоматизированном режиме, т.е. без непосредственного участия человека. В зарубежной литературе появился термин «алгократия», означающий «власть алгоритмов» ^[2]. Высказывается мнение о переходе общества от информационного к алгоритмическому ^{[3, c. 32]}.

Трансформация общественных отношений под влиянием информационных технологий (которые всегда строятся на определенных алгоритмах) требует переосмысления правового регулирования этих отношений. В научной литературе последних лет уделяется повышенное внимание таким аспектам использования информационных технологий, как прозрачность (transparency) и подконтрольность (accountability) лежащих в их основе алгоритмов. В работах отечественных авторов часто делается акцент на правовых средствах обеспечения прозрачности алгоритмов искусственного интеллекта ^[4],[5],[6]. Вероятно, данная тенденция обусловлена тем, что прозрачность прямо названа в Национальной стратегии развития искусственного интеллекта на период до 2030 г. (утверждена указом Президента РФ от 10 октября 2019 г. № 490) в числе принципов развития и использования технологий искусственного интеллекта.

Представляется, однако, что принцип прозрачности алгоритмов не ограничивается только технологиями искусственного интеллекта. Обладая универсальным характером, он может рассматриваться применительно к любым информационным технологиям, предполагающим использование данных о человеке либо предназначенным для принятия решений, непосредственно затрагивающих интересы индивидов.

Работа любого алгоритма связана с обработкой и анализом некоторого исходного набора данных посредством компьютерных вычислений. Это могут быть как персональные данные, так и данные, характеризующие среду (например, время суток, погода и др.), а также информация технического характера, характеризующая, например, пользовательские устройства, сети связи или установленное на устройствах программное обеспечение. В любом случае вся эта информация в той или иной степени относится к человеку. Комбинирование различных по характеру данных, установление статистически значимых корреляций между разными классами данных позволяет использовать средства т.н. предиктивной (предсказательной) аналитики для прогнозирования вероятного поведения субъектов. Компьютерная обработка информации об индивиде и о его окружении с целью оценивания его личных, деловых, профессиональных качеств, состояния здоровья, предпочтений, определения вероятного поведения и т. п. получила название цифрового профилирования. Именно в таком значении термин «профилирование» (profiling) используется в Общем регламенте Европейского Союза № 2016/679 «О защите физических лиц при обработке персональных данных и о свободном обращении таких данных, а также об отмене Директивы 95/46/ЕС» (General Data Protection Regulation, далее – GDPR). Результатом работы алгоритмов, нацеленных на профилирование индивидов, всегда будет являться формирование новых (производных) данных – знаний о конкретном человеке (носящих определенный либо вероятностный характер), которые не были известны изначально и были получены в результате компьютерной обработки массива информации, поступившего на «входе».

Безусловно, определенные прогнозы относительно поведения того или иного человека можно сделать и без использования компьютерных вычислений. Но именно информационные технологии позволили собирать и обрабатывать огромные объемы структурированных и неструктурированных данных, касающихся большого числа людей – быстро, в режиме реального времени и без непосредственного участия человека. Это открывает широкие возможности для контроля над поведением значительной части людей со стороны правительств, частных корпораций, а также криминальных структур. Для обеспечения прав и свобод человека требуются законодательные меры, которые ограничивали бы произвольное и несоразмерное вмешательство в сферу частной жизни. Одной из таких мер может рассматриваться принцип прозрачности алгоритмов.

С одной стороны этот принцип направлен на обеспечение фундаментальных прав и свобод – таких, как право на неприкосновенность частной жизни, право на личную и семейную тайну, право на достоинство и т. д. С другой стороны, он служит проявлением права человека на информацию, в том числе безусловного права знать, какие, кем и как (каким образом, с какими целями) используются данные о нем. Реализация такого «права знать» (или «права на объяснение» ^[2]), в свою очередь, выступает гарантией других фундаментальных прав и свобод.

Одна из юридических проблем использования алгоритмов известна как проблема «черного ящика» ^[7]. Во многих случаях индивиды лишены права знать, как устроены алгоритмы и на основе каких принципов работают компьютерные программы, обрабатывающие их данные; какие исходные данные используются (а также источники их получения); какие знания об индивидах формируются на «выходе», как они взаимосвязаны с «входящими» данными и каким образом эти новые знания могут быть использованы в отношении индивида (в том числе против его интересов). Более того, далеко не всегда субъекты в принципе осведомлены об алгоритмической обработке сведений о них и уж точно не во всех случаях субъекты давали на это конкретное и информированное согласие. Вместе с тем, как справедливо отмечается в литературе использование алгоритмов для обработки данных о человеке (как персональных данных, так и иной информации, связанной с человеком и его средой) напрямую влияет на реализацию им фундаментальных прав и свобод ^[5],[6].

Так, рекомендательные системы, используемые в новостных агрегаторах, существенно суживают пространство для поиска и получения человеком информации во всем ее многообразии, поскольку предлагают только тот контент, который, по «мнению» алгоритма, с наибольшей вероятностью будет просмотрен пользователем-адресатом. Другой (и, возможно, более важный) аспект действия рекомендательных систем заключается в том, что, определяя интересы, потребности и склонности пользователя (потенциального покупателя) и прогнозируя его покупательское поведение, алгоритмы «вторгаются» в сферу его частной жизни, «узнавая» путем математических вычислений такую информацию о человеке, которую он не хотел бы раскрывать и которую стремился сохранить в тайне (или рассчитывал на то, что сохраняет в тайне). Наконец, еще одна угроза правам человека связана с тем, что алгоритмы могут содержать в себе дискриминационные практики. Это особенно ощутимо, когда автоматизация принятия решений используется в таких сферах, как найм на работу, выдача кредитов или предоставление публичных услуг. Компьютерные программы могут «отказывать» индивидам в их запросах только потому, что они принадлежат определенной группе (в литературе часто приводится пример с рекрутинговым роботом в компании Amazon, отдававшим предпочтение при отборе сотрудников мужчинам ^[7]).

Необходимость обеспечения прозрачности работы алгоритмов при обработке персональных данных была осмыслена довольно давно. В ст. 8 Конвенции о защите физических лиц при автоматизированной обработке персональных данных 1981 г. предусматривается право субъекта данных «знать о существовании автоматизированного файла персональных данных, знать его основные цели, а также название и место обычного проживания или местонахождение контролера файла», получать «подтверждение того, хранятся ли касающиеся его персональные данные в автоматизированном файле данных, а также получить такие данные в доступной для понимания форме». Протокол 2018 г. о внесении изменений в Конвенцию (не вступил в силу) вводит принцип прозрачности обработки данных и расширяет перечень сведений, касающихся обработки данных, которые субъект вправе получить от контролеров, в том числе сведения о происхождении данных.

Несколько дальше в этом вопросе пошел GDPR. Согласно его ст. 15 субъект данных вправе получать от контролера информацию о существовании автоматизированного процесса принятия решения (включая профилирования), в том числе информацию «о соответствующей логической схеме, а также о значимости и предполагаемых последствиях указанной обработки для субъекта данных».

В литературе высказывается немало критики в адрес соответствующих положений GDPR. Главная проблема заключается в том, что формулировка GDPR не обладает необходимой конкретикой и не позволяет однозначно сказать, каким образом контролер персональных данных должен исполнить соответствующую обязанность. Сложилось два подхода к толкованию этой нормы. Некоторые исследователи считают, что контролер обязан фактически раскрыть «черный ящик», раскрыв субъектам данных логику автоматизированного принятия решения, включая техническую информацию – например, какие «входные» данные влияют на итоговое решение в качестве факторов; каков вес каждого из этих факторов и т. д. Другая позиция заключается в том, что контролеру достаточно описать лишь в общих чертах, как посредством алгоритма принимается то или иное решение ^{[7, c. 142–143]}.

Каждый из этих подходов имеет недостатки. Так, требование обязательного раскрытия «черного ящика», т.е. технической стороны функционирования алгоритма, может представлять собой несоразмерное вмешательство в сферу экономических интересов хозяйствующих субъектов – разработчиков и правообладателей соответствующих компьютерных программ, нарушение их интеллектуальных прав. Часто компьютерные программы (в том числе лежащие в их основе алгоритмы сбора и обработки входящей информации) охраняются правообладателями в качестве секретов производства. Логика функционирования программы, ее архитектура может являться конкурентным преимуществом разработчика, оправдывающим его стремление сохранить такую информацию в тайне. При этом раскрытая техническая информация не всегда может быть полезна и понятна индивидам. Например, опубликование исходного кода программы формально будет представлять собой полное раскрытие логики функционирования компьютерного алгоритма, однако понятна эта логика будет лишь техническим специалистам. Наконец, контролер персональных данных может и сам не обладать информацией (особенно технической) о логике функционирования компьютерной программы – в том случае, если он не является ее разработчиком, а лишь приобрел лицензию на ее использование. Узкое толкование ст. 15 GDPR, допускающее возможность абстрактного описания алгоритмов, дает возможность контролерам персональных данных уклоняться от исполнения соответствующей обязанности, поскольку предоставляет им возможность самостоятельно определять, какую информацию и в каком объеме следует доводить до субъектов. В обоих случаях раскрытие информации об алгоритме может обрести формальный, декоративный характер.

Реализация требования раскрытия логических схем алгоритмов становится более затруднительной, если алгоритм предполагает использование технологий искусственного интеллекта на основе машинного обучения. Особенностью искусственного интеллекта является то, что компьютерная программа, самостоятельно выявляя новые значимые корреляции, которые изначально не были заложены разработчиками, и отбрасывая ошибочные корреляции, способна изменять изначально созданные логические схемы и перенастраивать логические операции. Вследствие этого результат работы «алгоритма, помноженного на искусственный интеллект», может оказаться непредсказуемым ^[4].

В связи с этим Ю. С. Харитонова высказывает сомнения в обоснованности требований об абсолютном раскрытии исходного кода или архитектуры применимых моделей искусственного интеллекта, признавая, что «такое раскрытие не может быть доскональным по ряду причин» ^{[6, c. 348]}. Кроме того, данный автор справедливо сомневается в юридической значимости раскрытия алгоритмов искусственного интеллекта, обращая внимание на то обстоятельство что системы искусственного интеллекта, лишенные понимания этических ценностей, во всяком случае таят в себе риск принятия «необъяснимых предвзятых решений», основанных лишь на математических корреляциях ^{[6, c. 345]}. В качестве альтернативы раскрытию «черного ящика» исследователь предлагает усиливать аудит полученного результата, контролировать результаты систем искусственного интеллекта программными средствами, созданными независимыми разработчиками. Задачей же юристов в данном случае является выработка критериев проверки результатов систем искусственного интеллекта на объективность.

Принимая аргументацию Ю. С. Харитоновой в части проблем, связанных с прозрачностью алгоритмов искусственного интеллекта, следует подчеркнуть, что данным автором смешиваются понятия прозрачности алгоритма и его подконтрольности. Несмотря на то, что прозрачность и подконтрольность взаимосвязаны и обусловливают друг друга, установление механизмов контроля и аудита в отношении алгоритмов и принимаемых ими решений не должно заменять или отменять действие принципа прозрачности, предполагающего объяснимость и понятность алгоритма пользователям, сведения о которых используются в работе такого алгоритма.

Э. В. Талапина отмечает, что наиболее рискованным с точки зрения нарушений прав человека является использование алгоритмов в публичном секторе ^[4]. По этой причине в ряде европейских стран правило об обязательном раскрытии логики используемых алгоритмов имеет первостепенное значение именно для публичных органов и учреждений. Например, Закон Франции о цифровой республике 2016 г. устанавливает, что правила, определяющие алгоритмическую обработку данных в государственном органе, должны публиковаться на сайте этого органа. В Великобритании Центральным офисом цифровых технологий и данных (Central Digital and Data Office) в декабре 2021 г. был опубликован Стандарт прозрачности алгоритмов (Algorithmic transparency standard)^[1], являющийся частью Национальной стратегии в отношении данных (UK National Data Strategy) и предназначенный для содействия организациям государственного сектора в предоставлении четкой информации об используемых ими алгоритмических инструментах и о том, почему они их используют. Алгоритмическая прозрачность понимается как «открытость в отношении того, как алгоритмические инструменты поддерживают принятие решений». Она включает в себя предоставление информации об алгоритмических инструментах и решениях с помощью алгоритмов в полном, открытом, понятном, легкодоступном и бесплатном формате.

В отличие от Франции и Великобритании, в Китайской Народной Республике требование обязательного раскрытия логики алгоритмов установлено на законодательном уровне в отношении рекомендательных систем, которые используются преимущественно в частном бизнесе (Положение об управлении алгоритмическими рекомендациями информационных услуг в сети Интернет от 16 ноября 2021 г.) ^[8]. Субъектами такой обязанности выступают поставщики услуг алгоритмической рекомендации, т. е. лица, непосредственно извлекающие выгоду от использования рекомендательной системы. Наряду с этой обязанностью Положение устанавливает также обязательную регистрацию таких алгоритмов в уполномоченном государственном ведомстве ^[9].

В России Федеральный закон «О персональных данных» от 27 июля 2006 г. № 152-ФЗ также содержит определенное регулирование, касающееся автоматизированной обработки персональных данных (ст. 16). В частности, обязанностью оператора персональных данных является разъяснение субъекту данных «порядка принятия решения на основании исключительно автоматизированной обработки его персональных данных и возможных юридических последствий такого решения». Впрочем, термин «порядок принятия решения», как представляется, не тождественен описанию логической схемы используемого для обработки данных алгоритма, в связи с чем говорить о том, что ст. 16 данного Закона предусматривает принцип прозрачности алгоритмов, можно с большой долей условности. Следует также отметить ограниченность применения самой ст. 16 Закона о персональных данных. Она распространяется лишь на случаи «исключительно автоматизированной обработки персональных данных», результатом которой является принятие «решений, порождающих юридические последствия в отношении субъекта персональных данных или иным образом затрагивающих его права и законные интересы». Остается дискуссионным (и не имеющим четкого ответа в законе) вопрос о том, можно ли считать в достаточной степени «затрагивающими права и законные интересы» субъектов данных результаты работы алгоритмов рекомендательных систем или таргетированной рекламы. Также действие ст. 16, следуя ее буквальному толкованию, не распространяется на случаи, когда посредством алгоритмической обработки данных лишь формируется профайл (цифровой профиль) индивида с информацией о его личных качествах и прогнозом вероятного поведения, а решение на основе анализа такого профайла принимается человеком (например, работником службы безопасности банка при рассмотрении заявки клиента на выдачу кредита).

В более отчетливом виде принцип прозрачности алгоритмов появился в российском законодательстве в 2023 г. с введением в Федеральный закон от 27 июля 2006 г. № 149-ФЗ «Об информации, информационных технологиях и о защите информации» статьи 10.2-2, предусматривающей особенности предоставления пользователям информации с применением рекомендательных технологий. Отчасти регулирование схоже с тем, которое существует в Китае (хотя и без требования обязательной регистрации алгоритмов). Согласно ч. 1 названной статьи, владелец сайта в сети Интернет, на котором используются рекомендательные технологии (т. е. «информационные технологии предоставления информации на основе сбора, систематизации и анализа сведений, относящихся к предпочтениям пользователей сети Интернет»), должен разместить на таком сайте информацию об использовании рекомендательных технологий (текст информационного сообщения является унифицированным, утвержден Приказом Роскомнадзора от 6 октября 2023 г. № 149) и правила применения рекомендательных технологий. Последние должны предусматривать, в частности, «описание процессов и методов сбора, систематизации, анализа сведений, относящихся к предпочтениям пользователей сети Интернет, предоставления информации на основе этих сведений, а также способов осуществления таких процессов и методов», а также виды используемых сведений и источники их получения.

Анализ правил применения рекомендательных технологий, размещенных на отдельных интернет-ресурсах, позволяет уже сейчас выявить некоторые очевидные пробелы нового регулирования. Во-первых, владельцы ресурсов часто указывают перечень обрабатываемых сведений не исчерпывающим образом. Например, правила сайта Дзен (dzen.ru), перечисляя сведения, в конце перечня используют формулировку «а также аналогичные параметры»^[2]. Еще любопытнее соответствующая формулировка в правилах сервиса Ozon (в части описания механизма функционирования рекомендательной технологии): «Также [мы] узнаём характеристики пользователя, например пол и возраст»^[3]. Характеристики пользователя в данном случае не конкретизированы, указаны лишь примеры. Во-вторых, законодательное регулирование не предусматривает такого критерия, как понятность описания алгоритма. В результате в правилах появляются описания типа того, которое можно увидеть на сайте Ozon: «В качестве модели Ozon использует один из методов машинного обучения — градиентный бустинг деревьев решений». Вызывает сомнение, насколько информативным для пользователей является подобное «описание». Не лучше с точки зрения понятности и описание технологии на сайте Дзен: «Применяются математические модели (в том числе для формирования признакового пространства), которые путем многофакторного анализа, классификации, ранжирования признаков контента позволяют оценить вероятность того, что информационный материал будет просмотрен до конца конкретным пользователем». Наконец, в-третьих, Закон не содержит регулирования, которое позволяло бы пользователю отказаться от использования рекомендательной технологии или ограничить (отключить) использование в ней тех или иных характеристик, которые относятся к его личности. Соответственно, нет такой опции и в интернет-сервисах, использующих рекомендательные системы.

Итак, принцип прозрачности алгоритма можно определить как фундаментальный принцип автоматизированной обработки данных о человеке (включая персональные данные и иную связанную с человеком и его окружением информацию), предполагающий открытость и доступность информации, объясняющей использование алгоритма для автоматизированной обработки данных о субъектах. Можно согласиться с утверждением У. Сеймора, что принцип прозрачности алгоритмов должен включать в себя как «прозрачность входа» (раскрытие информации о том, какие данные используются для обработки и из каких источников), так и «прозрачность выхода» (какие данные могут быть получены в результате обработки и в каких пределах могут быть использованы) ^[10].

Представляется, что такая информация, раскрывающая работу алгоритма, должна включать в себя предоставляемые или распространяемые оператором сведения:

- о существовании алгоритмической обработки данных;

- о круге (перечне) обрабатываемых данных и об источниках их получения;

- о производных данных, которые могут быть получены в результате автоматизированной обработки, о целях и способах их дальнейшего использования;

- о логической схеме (схемах), лежащих в основе алгоритма;

- о решениях, принимаемых в результате автоматизированной обработки данных, включая решения, принимаемые в автоматизированной режиме, и решения, которые могут быть приняты при непосредственном участии человека на основе полученных в результате обработки данных; о юридических последствиях таких решений;

- о рисках ошибочных решений и способах преодоления рисков, в том числе отмены или пересмотра решений по заявлению субъекта;

- о способах отказа субъекта от автоматизированной обработки его данных.

При этом важным представляется закрепление в законодательстве таких критериев прозрачности алгоритмов, как исчерпывающий характер информации о сведениях на «входе» и источниках их получения, а также понятность описания механизмов работы алгоритмов лицам, не являющихся специалистами в сфере информационных технологий.

При этом также представляется обоснованным, что, если автоматизированная обработка данных осуществляется не с целью принятия юридически значимых решений на основании закона (например, когда речь идет о таргетированной рекламе или рекомендательных системах), пользователю должна быть обеспечена возможность отказаться от использования в отношении него автоматизированной обработки данных либо определить перечень данных (или источников данных), которые он отказывается предоставлять для такой автоматизированной обработки. Например, пользователю должна быть предоставлена возможность запретить (в понятной для него форме и удобным способом) использовать для автоматизированной обработки, не связанной с осуществлением функций публичной власти, такие данные, как история поисковых запросов, геометки, хэштеги, история покупок и другие подобные сведения, которые, как правило, касаются только конкретного человека, образуют часть его частной жизни и, следовательно, не могут использоваться без согласия лица. В случае, если речь идет о рекомендательной системе, заслуживает внимания предложение установить требование к цифровым платформам, обеспечивающее возможность пользователя оценить уместность рекомендаций или полностью отказаться от соответствующей функции платформы ^{[9, c. 57]}.

Российское законодательство, сделав важный шаг в направлении урегулирования принципа прозрачности алгоритмов, пока далеко от совершенства. Актуальными направлениями развития законодательства Российской Федерации в этой области являются легальное закрепление указанного принципа, распространение его действия на все случаи алгоритмической обработки информации, затрагивающей интересы индивидов; законодательное закрепление требования понятности описания механизмов функционирования алгоритмов и необходимости указания в каждом случае исчерпывающего перечня обрабатываемых сведений. Важным является установление правовых механизмов отказа субъектов от применения в отношении них алгоритмов (в частности, в рекомендательных системах и в таргетированной рекламе), а также предоставление пользователям возможности отказаться от предоставления тех или иных сведений или от использования определенных источников их получения.

^[1] Algorithmic transparency standard. URL: https://www.gov.uk/government/collections/algorithmic-transparency-standard (дата обращения: 13.10.2023 г.).

^[2] О правилах применения рекомендательных технологий контентной платформой «Дзен». https://dzen.ru/legal/recommendation-technologies/index.html

^[3] Алгоритм рекомендаций на Ozon. https://docs.ozon.ru/legal/terms-of-use/site/algorithms/recomendation-algorithms.