Правила безопасности эвристических алгоритмов поведения, как прообраз «морали» робототехнических систем

Тиханычев Олег Васильевич ORCID: 0000-0003-4759-2931 кандидат технических наук заместитель начальника отдела управления перспективных разработок, ГК "Техносерв" 111395, Россия, г. Москва, ул. Юности, 13 Tikhanychev Oleg Vasilyevich PhD in Technical Science Deputy Head of Department in the Office of Advanced Development, Technoserv Group  111395, Russia, Moscow, Yunosti str., 13 tow65@yandex.ru Другие публикации этого автора

Введение

С появлением самых первых механизмов, начали формироваться как объективные правила их применения, так и субъективное отношение к механическим усилителям и заменителям функций человека. Росла сложность механизмов, сложнее и многообразнее становились данные правила и отношения. Их квинсистенцией можно считать взаимодействие человека с робототехническими системами. В аспекте тематики статьи можно отметить, что при выстраивании взаимодействия с механизмами, в том числе роботизированными, большое значение уделялось безопасности. Принимались меры для её обеспечения, сначала простые: кинетическую опасность парировали физическим разделением в пространстве, например, созданием защитных ограждений в роботизированных цехах. Разнообразие и область применения роботов увеличивались, робототехника более активно проникала в разные сферы деятельности: промышленность, транспорт, военное дело, росло общее количество применяемых роботов, и, соответственно, вероятность причинения ими ущерба.

Вполне закономерно, что к настоящему времени можно привести достаточно большое количество происшествий в процессе эксплуатации промышленных роботов и роботизированных транспортных средств. Наиболее представительная выборка подобных примеров – в части применения робототехнических систем в военном деле. Первоначально в боевых условиях роботы использовались для проведения разведки и разминирования, как одноразовые или многоразовые средства поражения. С развитием роботизированного вооружения, появилась возможность создания автономных боевых систем (Lethal autonomous robotics, LAR), применение которых объективно востребовано в условиях современного боя. 17 октября 2001 года, в ходе операции коалиционных сил США и НАТО в Афганистане зафиксирован первый случай применения оснащенного управляемой ракетой беспилотного летательного аппарата (БЛА) MQ-1 «Predator» для поражения самоходной зенитной установки с находящейся в ней расчётом. Уже не управляемый боеприпас, а роботизированный носитель обнаружил цель и применил вооружение по обитаемому объекту, но решение на удар удалённо выдал человек-оператор. А в марте 2021 года произошло событие, явившееся определённой вехой в истории взаимоотношений человека и созданных им механизмов: ударный беспилотный квадрокоптер Kargu-2 самостоятельно применил оружие, обнаружив и уничтожив цель без команды оператора. Как было отмечено впоследствии в докладе Совета безопасности ООН – это первый в истории случай, когда автономный аппарат совершил атаку, отрабатывая алгоритм автоматического поиска и уничтожения цели, не дожидаясь разрешения оператора.

Автономные беспилотные средства на дорогах, хоть и не предназначены для намеренного причинения ущерба, и, более того, запрограммированы на недопущение этого, тоже несут в себе определённую опасность. Она обусловлена не только ошибками собственного программного обеспечения роботов, но и их реакцией на поведение водителей и пешеходов, которые могут совершать действия, не всегда отвечающие логике поведения, записанной в типовых алгоритмах. Результатом являются дорожные происшествия, аварии и даже катастрофы. Первая катастрофа с участием беспилотного автомобиля зафиксирована в американском штате Флорида в 2016 году: робокар Tесла Model S под управлением автопилота протаранил грузовик с прицепом, погиб человек. Впоследствии отмечено ещё несколько аналогичных аварий разной степени тяжести. К сожалению, нет оснований считать этот список закрытым.

Исходя из складывающейся ситуации, появилась объективная необходимость надежного обеспечения безопасности применения робототехнических систем во всех сферах деятельности. Один из наиболее очевидных подходов снижения ошибок, с учётом того, что все современные роботизированные средства управляются с применением специализированного программного обеспечения (ПО) – реализация безопасности алгоритмов, которые реализуются указанным ПО.

Но, практическая реализация этого очевидного подхода затрудняется объективными сложностями, возникающими при попытках контролировать алгоритмы поведения робототехнических систем, особенно автономных ^[1,2]. А автономной в той или иной степени можно назвать любую робототехническую систему: даже действую под управлением оператора, она всё равно часть элементарных функций реализует самостоятельно, как и самостоятельно система начинает действовать при потере управления.

Возникает противоречие между потребностью в реализации автономных систем и возможностью безопасного внедрения подобного функционала в системы управления робототехнических устройств. Сформулированное противоречие порождает проблему, находящуюся на стыке правовой и технической областей регулирования: все используемые сейчас методы обеспечения безопасности робототехнических систем основаны на принципе неизменности заложенных в каждую систему детерминированных алгоритмов. Но, если принять то, что используемый алгоритм может быть адаптивным и, следовательно, модифицируемым, то он уже будет относиться к классу эвристических, и разработчик не может в полной мере отвечать за применение робототехнической системы после модификации того, что было им разработано и протестировано, а эксплуатант, в свою очередь, не может гарантированно отвечать за применение системы с не полностью известными ему принципами поведения.

Возникшее противоречие между необходимостью использования автономных роботов и проблемами безопасности их применения, определяется, в первую очередь, отсутствием надёжных методов контроля их алгоритмического обеспечения и требует оперативного решения. Что определяет актуальность темы, сформулированной в статье.

1.Анализ существующих проблем обеспечения безопасности алгоритмов робототехнических систем

Практика показывает, что наиболее актуальны проблемы контроля алгоритмического обеспечения автономных робототехнических систем в тех областях, где объективное требование автономности применения входит в противоречие с необходимостью обеспечения безопасности применения.

Осознавая это, разработчики программных средств для управления робототехническими системами пытаются реализовать определённые меры, в настоящее время, в связи с отсутствием других возможностей – преимущественно организационные. Примером может служить концепция использования искусственного интеллекта в военном деле, разработанная Минобороны США (US Department of Defense) и задающая основные принципы использования систем искусственного интеллекта в системах военного и двойного назначения ^[3], другие зарубежные регулирующие документы ^[4,5]. Положения данных документов реализуются в методиках контроля алгоритмов, например, контроля разработок в области искусственного интеллекта в ВС США и НАТО ^[6] реализуется программа тестирования TEVV (Testing, Evaluating, Verifying and Validating)

В нашей стране, разумеется, тоже разрабатываются документы, нормирующие применение искусственного интеллекта, в том числе в части особенностей, регламентирующих безопасность его алгоритмов. Примером может служить «Концепция развития регулирования отношений в сфере технологий искусственного интеллекта и робототехники на период до 2024 года», введённая в действие распоряжением Правительства РФ от 19 августа 2020 г. № 2129-р. В рамках реализации данной концепции, в 2021 году разработан «Национальный кодекс этики в сфере искусственного интеллекта».

Но, в практике использования подобных документов имеются нюансы.

Во-первых, как показывает анализ, у всех принимаемых законов и нормативных актов, как российских, так и зарубежных, есть общая проблема – они по содержанию самодостаточные, носят, преимущественно, описательный характер, не раскрывая механизмов реализации изложенных в них требований. А, с точки зрения практической реализации, именно отсутствие таких механизмов не позволяет решить проблему безопасности алгоритмов поведения робототехнических систем.

Во-вторых, ни один из разработанных документов не признаёт актором искусственный интеллект, все они описывают исключительно ответственность разработчиков и эксплуатантов. То есть, эти концепции – не положения для безопасного развития робототехники, а только основа для регламентирования действий её разработчиков и эксплуатантов, чего, конечно, недостаточно в условиях требования по повышению автономности робототехнических систем.

Можно возразить, что для систем с жёсткими алгоритмами и обучением с учителем (supervised learning), когда знания и алгоритмы меняются под контролем человека, решение по обеспечению безопасности в существующих условиях ещё может быть найдено, пусть хотя бы организационными методами.

Намного критичнее ситуация с самообучаемыми системами (unsupervised learning), с так называемым «сильным» искусственным интеллектом. Разумеется, базовые алгоритмы поведения этих систем в процессе самообучения пишет разработчик, он же задаёт правила для формирования новых алгоритмов в ходе обучения. Но где кончается контролируемая вложенность, до какого уровня можно быть безусловно уверенным в безопасности модифицируемых алгоритмов? Ведь формально, на каком-то этапе связь системы с разработчиком может прерваться и автономная система с самообучением, начнёт действовать по совсем иным правилам, отличным от заложенных при её разработке. Насколько они будут безопасны? Определить это заранее невозможно, но обеспечить безопасность объективно необходимо. Разрешить это противоречие, по крайней мере, на современном этапе развития предметной области, можно только задавая безусловные ограничения, не зависящие от изменчивости алгоритмов, в том числе эвристических.

Исходя из этого, для обеспечения применения автономных робототехнических систем, нужен механизм обеспечения безопасности, конкретный, основанный не на декларациях или запретах, описанных в общем виде, а на строгих математических правилах с подтверждённой эффективностью.

2.Возможные подходы к организации контроля безопасности алгоритмов

В настоящее время разработка алгоритмов, реализуемых в составе программного обеспечения, в том числе для робототехнических систем, осуществляется по определённым правилам, задаваемым нормативной документацией: международными и национальными стандартами (например, в Российской Федерации, по ГОСТ Р 60.2.2.1-2016/ ИСО 13482: 2014; Р 60.1.2.2-2016/ISO 10218-2:2011), техническими регламентами, другими подобными документами. Но, как показывает анализ предметной области, все существующие нормативные документы изначально ориентированы на разработку систем, реализующих детерминированные алгоритмы, то есть, все определяемые ими методы контроля основаны на принципе неизменности основных свойств алгоритмов. Анализ алгоритмов на наличие возможных ошибок при таком подходе производится сравнительными методами, предусматривающими применение формальных спецификаций и набора инструментов для синтаксического анализа и доказательства свойств алгоритмов.

Процесс доказательства эффективности и безопасности алгоритмов в настоящее время может осуществляться следующими способами:

· эвристический, основанный на анализе текстов реализующих их программ;

· по качественным критериям;

· по количественным показателям.

Первый подход используется для поэтапного (пооперационного) разбора сложных алгоритмов тестировщиками. Считается, что если все операции выполняются корректно, а их последовательность предсказуема, алгоритм безопасен. Это наиболее простая и субъективная из всех оценок.

Если результаты выполнения алгоритма можно комплексно оценить хотя бы в качественной форме, оценка его корректности осуществляется на основе заранее формируемого предиката. Такой подход реализован в упомянутой системе тестирования искусственного интеллекта TEVV. По условиям тестирования, если в результате реализации алгоритма на всём диапазоне возможных условий поведения предикат выполняется, алгоритм считается прошедшим испытание. Проблема данного метода в том, что он не имеет гарантированного подтверждения надёжности результата.

И, в случае, если результат реализации алгоритма возможно описать количественными параметрами, производится сравнение получаемых результатов с матрицей прогнозируемого соотношения входных-выходных данных. При этом используется так называемая «тройка Хоара», описывающая предусловия и постусловия, гарантирующие корректную работу проверяемого алгоритма:

{P}Q{S}

где P - предусловия, должные выполняться перед запуском программы Q;

R - постусловия, истинные после завершения работы реализующей алгоритм программы.

Проблема использования последнего метода заключается в необходимости описания всех без исключения возможных вариантов поведения исследуемой системы, что, в большинстве случаев, просто невозможно. Особенно для автономных систем и систем, действующих в группе.

Существуют и применяются ещё и косвенные методы контроля, например, анализ на надёжность и непротиворечивость всей совокупности используемых математических методов, служащий основой для формирования гипотезы о том, что нет оснований не доверять итоговому алгоритму, построенному на корректных методах. Но такие подходы строгого математического обоснования не имеют.

Более того, для систем, реализующих эвристические алгоритмы, рассмотренные подходы к тестированию корректно работать не могут по определению, в первую очередь в связи с тем, что качественные оценки предикатов или выходную матрицу «тройки Хоара» сформировать для них практически невозможно. Это определяется тем, что эвристические алгоритмы невозможно свести к виду детерминированных конечных автоматов. Вариант использования «теста Тьюринга», который иногда упоминают в ситуации контроля эвристических алгоритмов, в данном случае тоже неработоспособен, так как целевой установкой последнего является не контроль безопасности алгоритма, а только лишь установление его природы.

С учётом данных факторов, применяемые в настоящее время подходы контроля алгоритмов не обеспечивают безопасность использования автономных роботов, как в сфере вооруженного противоборства ^[7-10], так и в сфере мирного использования искусственного интеллекта ^[11,12].

В то же время, формулируя требования к разрабатываемым системам, заказчик и эксплуатанты автономных робототехнических комплексов оперируют такими требованиями к алгоритмам, как настраиваемость, модифицируемость (обучаемость и самообучаемость). Что подразумевает использование именно эвристических алгоритмов, но не отменяет соблюдения требований по безопасности поведения робототехнических систем.

В итоге становится актуальной задача контроля алгоритмов, заложенных в автономные системы, с учётом их возможной модификации в ходе эксплуатации (обучения, самообучения).

Сформулированная задача по своей сущности аналогична одной из проблем искусственного интеллекта: задаче удовлетворения ограничений (constraint satisfaction problem). Отметим, что для контроля безопасности эвристических алгоритмов, реализуемых в автономных робототехнических системах, эта задача до настоящего времени в прямой постановке не применялась.

В рамках задачи оптимизации поведения робототехнической системы, указанная задача может быть формализована в виде следующей связки:

· целевая функция с расчётными показателями вектора управления хj при условно постоянных коэффициентах сj;

· система из m ограничений поведения bi, описываемая в виде пределов изменения управляемых параметров .

Анализ системы ограничений bi позволяет разделить множество m на две группы:

· группа ограничений, реализуемых в составе самих алгоритмов, при их разработке, как правило, для заранее известных типовых ситуаций поведения;

· группа ограничений, формируемых при расчёте целевой функции в конкретных условиях поведения, относительно сложившейся ситуации и для всей системы в целом.

В соответствии с методами их формирования, первые логично определить как «внутренние» ограничения, вторые – как «внешние». При одинаковом, казалось бы, функционале, эти алгоритмы имеют разный физический смысл и разные принципы формирования. Для «внутренних» ограничений параметры целевой функции и значения могут быть определены однозначно и заранее, с учётом формируемого заблаговременно перечня типовых ситуаций и описания каждой из них. Для «внешних», множество вариантов параметров слишком велико и достоверно их полное множество определено быть не может.

Соответственно, возникает задача понять принципы применения разных групп ограничений и соотношение между ними в конкретных системах

Из анализа возможных ситуаций поведения можно сделать вывод, что в качестве «внутренних» ограничений можно использовать те, которые влияют на технические характеристики самой системы и могут быть надёжно спрогнозированы заранее: ограничения максимальной скорости при разных условиях движения, ограничение радиусов маневрирования в зависимости от скорости и возникающей предельной перегрузки, учёт габаритов системы при прохождении узкостей и другие аналогичные параметры.

«Внешние» ограничения могут формироваться на заранее не предусмотренные ситуации взаимодействия с внешней средой и другими участниками совместных действий: правил расхождения на пересекающихся курсах, правил перемещения в группе и тому подобное. Исходя из этого, к «внешним» ограничениям можно отнести задание границ поведения системы, описывающих допустимую область её применения в виде набора граничных правил. То есть ограничение не отдельных параметров функции F(x), и не частных алгоритмов выполнения операций, а вариантов итогового значения целевой функции в рамках пространства возможных поведенческих траекторий (областей).

При использовании разделения на «внешние» и «внутренние», необходимо учитывать, что использование каждого типа ограничений имеет свои особенности.

Так, применение с «внутренних» ограничений для эвристических алгоритмов может порождать ряд проблем их контроля:

Во-первых, алгоритмы на этапе разработки задаются для конкретного вида целевой функции, у которой в процессе поиска решения (выполнения задачи) предполагается изменять только управляемые параметры. В то же время, предусмотренная в автономных роботизированных системах динамическая модификация алгоритмов поведения может приводить к изменению не только управляемых параметров, но и самого вида поведенческой функции, что делает её контроль, проводимый на этапе разработки, малоэффективным;

Во-вторых, ограничения формируются заранее из условий безопасности самой робототехнической системы. И относительно этих условий алгоритмы могут быть проверены на безопасность в ходе приёмо-сдаточных испытаний. В реальной ситуации, при взаимодействии с переменчивой внешней средой и акторами, поведение которых заранее неизвестно, всё показатели, относительно которых проверялись алгоритмы, меняются. Соответственно, ранее проведённая проверка безопасности теряет легитимность.

А методов для достоверного обеспечения этой проверки пока нет и в обозримом будущем не предвидится. То есть, применение «внутренних» ограничений не может однозначно гарантировать безопасность поведения системы в целом.

Основной проблемой использования «внешних» ограничений является возможное урезание функционала робототехнической системы задаваемыми рамками поведения и крайне жесткие требования по динамичности их формирования бортовыми вычислительными средствами робототехнических систем.

Анализ предметной области показал, что выбор между «внутренними» и «внешними» ограничениями алгоритмов, а также ограничениями, автоматически формируемыми самой системой в рамках модификации алгоритмов её поведения, является одной из сложнейших проблем обеспечения безопасности функционирования автономных систем.

Если для решения задачи обеспечения безопасности применения автономных робототехнических систем выбирается метод «внутренних» ограничений, для контроля алгоритмов могут быть использованы известные подходы, реализуемые в качестве ограничений в оптимизационных методах поиска оптимума: поиск с отсечением, методы штрафных функций, методы согласования, генетические алгоритмы и другие. Впрочем, для эвристических алгоритмов, особенно самообучаемых систем, нет никаких гарантий на эффективность подобных методов. Более того, они, вероятно, не появятся и в обозримом будущем.

При выборе метода «внешних» ограничений, в качестве последних может быть использован принцип задания общих границ поведения системы: в пространстве и во времени, в виде набора разрешенных (запрещённых) пространственных и логических переменных, задаваемых в матричной или векторной форме. Данный метод является гарантированно надёжным, но может накладывать ограничения на функциональность автономных систем, а также существенно повышать требования к возможностям бортовых вычислителей.

Таким образом, оба рассматриваемых подхода имеют свои положительные стороны и недостатки, как с точки зрения простоты реализации и влияния на ограничение функциональности управляемой системы, так и обеспечения гарантированной безопасности её применения ^[13].

Исходя из этого, наиболее логичным представляется использование комбинированного подхода: там, где возможно по условиям модификации алгоритмов: использовать простые и динамичные «внутренние» ограничения, а для контроля поведения системы в целом – использовать «внешние» ограничения с гарантированной безопасностью. При этом, вероятно, объём ограничений будет сильно смещён в сторону «внешних» ограничений, так как «внутренние» можно использовать только в самых простых ситуациях, надёжно просчитываемых заранее.

При такой постановке задачи, вполне логично выстраивается аналогия с человеческой моралью, формирующей внутренние и общие правила поведения в различных условиях.

3.О принципах реализации предлагаемого подхода

Если принять гипотезу о работоспособности предлагаемого подхода к оценке безопасности эвристических алгоритмов, появляется задача описания принципов его реализации.

В рамках предлагаемого подхода определено, что одной из важнейших задач, решаемых при реализации алгоритмов, основанных на комбинированных ограничениях, является формирование предикатов, по которым будет проверяться безопасность реализации тех или иных действий. Возвращаясь к сформулированной аналогии с моралью, можно сказать, что потребуется сформировать нечто похожее на «категорический императив Канта», но для систем, управляемых искусственным интеллектом.

Можно напомнить, что в общем виде «категорический императив» строится на том, что побудительные мотивы человека не всегда ведут его к поступкам, полезным для других людей и общества в целом, так как зависят от объекта желания. Поэтому каждому индивидууму необходимо себя контролировать, оценивая результат каждого действия относительно того, может ли он быть принят как закон поведения в обществе. Причем, оценивая независимо от эмпирических условий, в которых происходит действие. И накладывая, тем самым, на себя некоторый императив, долг, по соблюдению безусловных правил поведения. С точки зрения контроля безопасности алгоритмов автономных робототехнических систем, такой императив будет заключаться в контроле безопасности эвристических алгоритмов перед реализацией каждой итерации поведения, осуществляемой на основе вычисления прогноза результата выполнения действия и оценки его последствий. В итоге, конечный результат будет оцениваться не только по эффективности применения системы, проявляющейся в конкретных условиях, но и на соответствие правилам, заданным как предикат корректного поведения.

Анализ показывает, что используемые правила, наверняка, будут несколько шире «трёх правил робототехники» Азимова.

Во-первых потому, что, как это не печально признать, в ряде ситуаций робот будет применяться против человека, например, для решения задач по защите людей и объектов в рамках различных форм вооруженного противоборства. Более того, и заявляемый многими специалистами принцип безусловного подчинения робота человеку, не всегда будет применяться в практике использования искусственного интеллекта. Конфликты последних десятилетий показывают множество примеров использования современных технологий двойного назначения с деструктивными целями: применение коммуникационно-навигационных и программных систем незаконными вооруженными группировками при ведении военных действий, использование самодельных или покупных БЛА для проведения терактов и тому подобное. И вполне логично предположить, что защита от такого использования должна быть встроена в программное обеспечение робототехнических систем, в том числе – через расширенный самоконтроль безопасности их алгоритмов. Напомним, в существующих концепциях развития искусственного интеллекта такие меры не предусмотрены.

Во-вторых потому, что, как отмечено ранее, робототехнические системы, в большинстве случаев, действуют не в обособленно – они применяются там, где уже могут находиться и решать задачи другие беспилотные и управляемые средства. Средства, точные намерения и траектории которых неизвестны заранее, но эти данные требуют учёта в ходе взаимодействия. Правила взаимного поведения, например, при маневрировании автономных роботов, могут формироваться в динамике каждым из участников событий. Например, в форме разрешенных векторов или матриц движения, формируемых по времени с учётом прогноза движения взаимодействующих систем. Проблема заключается в том, что при большом количестве агентов или пространственных ограничениях не просто взрывными темпами растёт объём расчётов – хуже то, что в какой-то момент времени вектор разрешенных направлений движения для одного или нескольких участников может оказаться нулевым, пересекающимся или взаимоисключающим для нескольких средств. И тогда понадобится принимать решение, которое невозможно строго рассчитать, а можно только построить на системе ограничительных правил взаимного поведения.

Исходя из указанных обстоятельств, в рамках сформулированной задачи, для обеспечения контроля алгоритмов может быть сформирована система правил, основанная на следующих положениях:

· основным способом обеспечения безопасности эвристических алгоритмов при существующем уровне развития техники является комплексный подход – задание «внешних» ограничений как системы правил, применяемых к сложившейся ситуации, и использование заранее подготовленных «внутренних» ограничений;

· «внутренние» ограничения формируются заранее для известных типовых ситуаций поведения;

· «внешние» ограничения должны формироваться динамично, с учётом ситуации, складывающейся в каждый момент времени;

· задаваемые по ситуации «внешние» и формируемые заранее «внутренние» ограничения должны быть максимально гибкими, чтобы не ограничивать функционал робототехнических систем.

С формальной точки зрения, формирование решений с использованием данной системы, является процессом дискретного прогнозирования, обеспечивающим оценку результата действий перед выполнением каждой итерации, на основе целевой функции и с учётом динамических ограничений. Отметим, что это вычислительно ёмкий процесс, который, с учётом многовариантности действий, может привести к «комбинаторному взрыву». Задача осложняется тем, что при вычислении предикативной функции необходимо учитывать реакцию взаимодействующих систем на каждом шаге расчётов. Как бы это ни делалось: с применением теории игр, методов сценарного анализа или других, это повышает размерность оцениваемых алгоритмов. Для парирования указанной проблемы, при решении задачи прогнозирования могут быть использованы известные математические методы снижения размерности. Итогом решения будет отсечение неприемлемых вариантов действий, не удовлетворяющих заданным значениям предикативных переменных поведения (рисунок 1).

Рис.1. Принцип организации контроля эвристических алгоритмов

Представляется логичным, что решения по оценке результатов реализации модифицируемых алгоритмов в тривиальных ситуациях, когда достаточно использовать существующие правила, будет принимать ПО робототехнической системы, а формирование и уточнение самой системы предикатов поведения будет определяться групповым решением, внешним для автономной системы. Данные по таким решениям могут обрабатываться, например, в некотором «облачном» сервисе, хранящем систему правил, модифицируемую по централизованному принципу (рисунок 2).

Рис.2. Принцип модификации системы предикатов поведения

И каждая робототехническая система будет запрашивать в «облаке» решения по ситуации и, если они есть, получать ответ, определяющий её действия. Если готового предиката поведения для ситуации не существует, так как раньше подобной ситуации не встречалось, будет автоматически формироваться запрос на разработку нового правила. И это физически внешнее для системы «облачное» хранилище, позволит сформировать набор комбинированных ограничений алгоритмов, по способу применения и создания действительно напоминающих мораль, и действующих независимо от принадлежности роботизированных систем и области их применения.

Вполне вероятно, что внедрение предложенной методологии, потенциально обеспечит предпосылки широкого использования комбинированных ограничений с саморегуляцией, минимально ограничивающих функционал робототехнических систем при высоком уровне обеспечения их безопасности.

Заключение

В данной работе задача формирования системы правил обеспечения безопасности алгоритмов автономных робототехнических систем сформулирована в общем виде. В то же время, проблема, для решения которой сформулирована постановка задачи, крайне актуальна для любых автономных систем, несущих потенциальную опасность для человека: транспортных и промышленных, обладающих кинетической энергией, и, конечно, боевых, сама цель которых – уничтожение ^[14,15]. Эта проблема требует решения: организационного, в части внесения изменений в нормативную и руководящую документацию, и технологического, в части разработки и внедрения методов контроля эвристических алгоритмов ^[16,17].

В рамках решения сформулированной задачи предлагается ввести алгоритмический аналог категорического императива Канта: оптимизировать поведение робототехнической системы не относительно поставленной цели, а относительно динамики состояния и потенциальных потребностей всех взаимодействующих систем. Реализация данного принципа может быть обеспечена на основе предлагаемых императивных правил, путём их внедрения в качестве «внутренних» и, главное, «внешних» ограничений алгоритмов, и отказа, как это не парадоксально, от приоритета рационального поведения в пользу безопасных и предсказуемых действий.

А использование предложенного подхода позволить сформировать систему, включающую;

· систему хранения и сервисы предоставления правил, по запросам, соответствующим типовым ситуациям;

· средства и органы выявления нестандартных ситуаций, формирования новых правил;

· средства ревизии существующей системы правил, уточнения или удаления устаревших.

Такая структура обеспечит формирование и поддержание в рабочем состоянии системы правил регулирования рационального поведения и контроля алгоритмов автономных систем.

С учётом вышесказанного, сформулированная в статье постановка задачи служит предпосылкой разрешения проблемы безопасности алгоритмов, управляющих поведением автономных робототехнических систем, а в отдалённой перспективе, возможно, признания их ответственными субъектами в тех или иных областях деятельности.