Библиотека
|
ваш профиль |
Философская мысль
Правильная ссылка на статью:
Ветушинский А.С.
Три интерпретации наследия Тьюринга: именем чего является искусственный интеллект?
// Философская мысль.
2016. № 11.
С. 22-29.
DOI: 10.7256/2409-8728.2016.11.2104 URL: https://nbpublish.com/library_read_article.php?id=21046
Три интерпретации наследия Тьюринга: именем чего является искусственный интеллект?
DOI: 10.7256/2409-8728.2016.11.2104Дата направления статьи в редакцию: 08-11-2016Дата публикации: 15-11-2016Аннотация: В настоящей статье мы обращаемся к ряду событий из жизни Алана Тьюринга, отца-основателя компьютерной эпохи и автора знаменитого теста, позволяющего проверить наличие сознания у машин, чтобы с их помощью ответить на вопрос "Именем чего является искусственный интеллект?". Ведь именно разговор об искусственном интеллекте, мгновенно растиражированный как в специальных научных исследованиях, так и в продуктах массовой культуры, является одним из главных следствий тьюринговской революции. В этом смысле задача настоящей статьи – обратиться к истоку возникновения компьютера и нарратива об искусственном интеллекте, чтобы сделать явными те смыслы, которые туда были упакованы в самом начале, и которые практически никогда не были представлены вместе в специальной литературе. И это при том, что, как мы покажем в статье, ответом на вопрос "Именем чего является искусственный интеллект?" является не одно, но сразу три различных имени. Ведь искусственный интеллект – это одновременно имя 1) естественного человеческого интеллекта, 2) человеческих исключенных, а также 3) новой формы жизни. Ключевые слова: Тьюринг, тест Тьюринга, искусственный интеллект, человек, машина, компьютер, когнитивные науки, натурализм, критическая теория, технологическая сингулярностьПубликация подготовлена в рамках поддержанного РГНФ научного проекта №15-03-00820. Abstract: This article turns to a number of events from the life of Alan Turing, the founding father of the computer era and the author of the famous test that allows verifying the presence of consciousness in the machine in order to answer the question “What is referred to as artificial intelligence?” Because namely the discussion about the artificial intelligence, instantaneously disseminated in the special scientific research and products of mass culture, is one of the main consequences of Turing’s revolution. In this sense, the task of this article consists in reference to the source of emergence of the computer and narrative about the artificial intelligence, for the purpose of uncapping those meanings which were compressed in the very beginning, as well as never presented together in the specialized literature. The article answers the question “What is referred to as artificial intelligence”, demonstrating that it simultaneously incorporates three different names: 1) natural human intelligence, 2) human excluded, 3) new form of life. Keywords: Turing, Turing test, artificial intelligence, human, machine, computer, cognitive science, naturalism, critical theory, technological singularityВведение По словам Норберта Больца [1, с. 3-4], в истории медиа следует выделять три основных «великих события»: 1) изобретение письма, 2) изобретение печатного пресса и 3) изобретение компьютера. И хотя все эти три изобретения возникли благодаря человеку, в каждом конкретном случае речь должна идти о каком-то новом понимании человека, сформированном предшествующими технологиями. И действительно, как показал Маклюэн [2], человек до-письменной культуры – это не то же самое, что человек после изобретения письма. Поэтому, если опираться на классиков медиатеории, можно сказать, что лишь на первом шаге человек делает некоторую вещь, ведь на втором шаге уже сама эта вещь начинает «делать» нового человека [3]. И если перефразировать Беньямина [4], то дело вовсе не в том, чтобы спрашивать, является ли, к примеру, человек человеком в цифровую эпоху (как если бы у человека была какая-то вневременная внеисторическая сущность, которой он должен был бы соответствовать), но в том, чтобы выяснить, как изменилось само понятие человека после изобретения компьютера. При этом если именно изобретение компьютера и есть одна из центральных характеристик современности [5], то ясно, что именно компьютер как раз и оказывается сегодня тем, что определяет, кто мы такие, как мы мыслим и как мы относимся друг к другу и к окружающему нас миру. И действительно, компьютер, будучи изначально лишь метафорой, переводом вполне определенного человеческого умения в нечеловеческий технический порядок («компьютер» в переводе с английского – вычислитель), сегодня превращается в особенную, привилегированную метафору, позволяющую на свой лад перевести и представить вообще все, что угодно. Так, общество сегодня описывается по модели устройства интернета [6], человеческое сознание изучается по аналогии с устройством компьютера [7], окружающий нас мир мыслится как колоссальная компьютерная симуляция [8]. Вслед за Больцем, вполне можно констатировать: мы больше не живем в галактике Гутенберга, мы – жители галактики Тьюринга. Причем одним из центральных нарративов, связанных с миром после Тьюринга, является нарратив об искусственном интеллекте (ИИ), мгновенно растиражированный как в специальных академических исследованиях, так и в массовой культуре. И хотя об ИИ сказано и написано уже очень много, мы считаем, что в этой области все еще не хватает серьезных критических исследований, которые бы обратили свой взор на те смыслы, которые скрываются за разговорами об ИИ. В этом смысле задача настоящей статьи – обратиться к самому истоку возникновения компьютера и нарратива об ИИ в трудах и жизни Алана Тьюринга, чтобы сделать явными те смыслы, которые туда были упакованы в самом начале, и которые практически никогда не были представлены вместе в специальной литературе. Иными словами, нас будет интересовать вопрос «Именем чего является ИИ?» и, как мы покажем в дальнейшем, ответом на этот вопрос будет не одно, а сразу три имени, каждое из которых может быть увидено лишь из своей собственной перспективы. Интерпретация «от природы»: идеология когнитивных наук С точки зрения истории культуры Тьюринг не возник на пустом месте. Сама идея универсальной вычислительной машины уже не раз обсуждалась до него [9]. Так, практически за сто лет до Тьюринга об этом писал наш соотечественник С.Н. Корсаков [10]. Еще ранее схожие идеи выдвигал Лейбниц [11]. Однако Тьюринг имел дело с совершенно другими историческими обстоятельствами (разгар Второй мировой войны), которые как раз и позволили ему довести собственные теоретические конструкции до реального работающего прототипа. Задание, над которым работал Тьюринг, заключалось в дешифровке посланий, зашифрованных при помощи машины «Энигма». При этом успех, которым увенчалась работа Тьюринга, был связан вовсе не с тем, что он оказался способен расшифровать то, что другим оказалось не под силу, но с тем, что он отчетливо понял, что расшифровка «Энигмы» в принципе превышает интеллектуальные возможности человека. А раз человек уже не в силах справиться с машиной, то зачем продолжать соревноваться с тем, чему он уже проиграл? В этом смысле идея Тьюринга заключалась не в том, чтобы продолжить противопоставлять человека машине, но в том, чтобы одной машине противопоставить другую машину – шифровальной машине машину-дешифровщика. Но вот в чем дело: выйдя за пределы человеческих возможностей, машина сразу же оказалась чем-то большим, чем человек. Это хорошо почувствовали и журналисты. Так, первый программируемый компьютер ENIAC, представленный широкой публике в послевоенные годы, мгновенно был назван в прессе гигантским мозгом [12, с. 20]. Именно эта аналогия, связывающая то, что стал делать компьютер, с тем, что ранее делал только человек, и может быть рассмотрена в качестве истока теста Тьюринга. И действительно, если машины делают то, что ранее делали только люди, а люди, как известно, мыслят, то не получается ли так, что и машины, делая то же, что и люди, также оказываются мыслящими? Этот вопрос крайне интересовал Тьюринга [13]. Однако для того, чтобы этот вопрос и для других прозвучал в качестве вопроса, необходимо было создать специальные условия. И действительно, даже если мы готовы назвать компьютер мозгом, мы все еще прекрасно знаем, что компьютер – это компьютер, а вовсе не мозг. И даже если машина кажется нам мыслящей, мы все равно прекрасно знаем, что это именно машина, а вовсе не человек, а значит, мыслить она по определению не может. Именно это ограничение и преодолевается в тесте Тьюринга. Ведь основная идея теста заключается в том, что человек (экзаменатор) переписывается с неизвестным ему субъектом, который может оказаться как другим человеком, так и машиной. В конце теста экзаменатор должен прийти к заключению, с кем же он все-таки переписывался – с человеком или с машиной. И вот сама эта изначальная неизвестность как раз и сделала возможной ситуацию приписывания сознания тому, что сознанием обладать, как кажется, не может. В таком контексте вопрос о разумных машинах действительно начинал звучать со всей присущей ему серьезностью. Одним из следствий из этого стала своего рода радикальная натурализация сознания. Ведь исходная неизвестность, предлагаемая тестом, проблематизирует не только разрыв между человеком и машиной, но делает проблематичным сразу целый ряд привычных разрывов: между естественным и искусственным, природным и культурным, человеческим и не-человеческим, органическим и техническим. И действительно, с точки зрения натурализма человек – это такое же природное существо, как и все остальное. С этой точки зрения сознание – это не что иное, как природное свойство, в котором нет ничего сверх-природного. Даже культура в таком случае перестает быть чем-то анти-природным, ведь если человек является природным существом, то создавать культуру также естественно для него. Но если это так, то и в машинах нет ничего не-природного. Человек, работая с машинами, работает с природой же. И если машина в какой-то момент обретет сознание, то это будет просто самораскрытие природы, разворачивание ее свернутых возможностей. То есть не человек сотворит нечто мыслящее «из ничего», но природа, которая привела к появлению человека, приведет к появлению и другого мыслящего существа. Однако, за этим ходом обнаруживается и другой, куда более нетривиальный ход. Ведь стоит только признать, что машина может мыслить, как тут же выясняется, что тогда и мы, мыслящие, ничем от машин не отличаемся. Есть только машины и ничего кроме машин [14-16]. При этом одни машины обладают сознанием, другие – нет. И не потому, что какие-то машины не могут им обладать, но потому, что само природное свойство сознания в них по тем или иным причинам не достигло необходимой степени интенсификации. Но если мы все-таки сможем (вос)создать сознание, сможем его (вос)произвести, то это автоматически будет означать, что мы поймем и тайну нашего собственного сознания, поймем его естественный характер и лучше начнем понимать природу, которая его породила. Иными словами, если на первом шаге мы готовы назвать тот же ENIAC гигантским мозгом, то на втором шаге мы совершаем более радикальное утверждение: наш мозг и есть тот же самый ENIAC. Если сначала мы готовы допустить возможность машины обладать мышлением, то потом мы оказываемся способны заявить, что мы и сами такие же машины. Именно это, на наш взгляд, и сделало компьютерную метафору базовой в рамках когнитивных наук. Но что это означает? Мы считаем, что лишь то, что искусственный интеллект и компьютер – это только инструменты самопознания. Ведь разбираясь с компьютерным искусственным интеллектом, мы лучше начинаем понимать самих себя. Понимая искусственное, мы лучше начинаем понимать естественное (ведь искусственное в данном случае не оппозиция естественному, так как искусственное – это искусственное естественное, или естественное, которое воспроизведено). И в тот момент, когда искусственное с естественным, наконец, совпадет, тогда мы и достигнем предельной точки понимания и разгадаем загадку сознания. Ведь искусственный интеллект в таком случае – это имя естественного интеллекта. А машина – это просто другое имя человека, понятого как природное существо. Интерпретация «от культуры»: идеология критических исследований Предложенная в предыдущем разделе интерпретация – лишь одна из возможных. Ведь дело в том, что у теста Тьюринга может быть обнаружен и принципиально иной исток – так называемая игра в имитацию [17, p. 16]. Общий смысл игры таков: человек (экзаменатор), переписываясь с двумя субъектами неизвестного ему пола, должен в итоге прийти к заключению, с кем именно – мужчиной или женщиной – он в каждом конкретном случае переписывается. При этом задача мужчины и женщины, конечно же, заключается в том, чтобы ввести экзаменатора в заблуждение. Примерно то же мы видим и в тесте Тьюринга. Более того, выясняется, что обладать сознанием – это то же самое, что уметь вводить в заблуждение. Ведь машина все равно остается машиной. Но если она может нас обмануть, то, видимо, и сознанием она обладает. Не получается ли в таком случае, что те мужчины и женщины, которые не могут ввести в заблуждение экзаменатора относительно своего пола, сознанием в действительности не обладают? Более того, уверены ли мы, что тест Тьюринга прошел бы каждый человек? Не оказалось ли бы так, что вокруг нас только и живут сплошные машины? И хотя здесь также постепенно размывается граница между человеком и машиной, принципиальным здесь становится уже не решение Тьюринга столкнуть машины друг с другом, но его гомосексуализм, обвинение в котором и последовавшая за ним принудительная химическая кастрация, в итоге, и привели к его самоубийству. Ведь кто еще мог посмотреть на машину как на нечто мыслящее, если не человек, который и сам в глазах окружающих не был достаточно человеком? А поэтому и получается, что если даже машины могут быть рассмотрены как обладающие умом, то как мы можем позволять себе и дальше называть безумцами всех тех, кто ведет себя иначе? Таким образом, в рамках данной интерпретации искусственный интеллект – это уже не имя естественного человеческого интеллекта, но имя исключенных людей, то есть всех тех, у кого отнят голос, но кто в этом голосе нуждается, так как им есть, о чем заявить (как минимум, о том притеснении и угнетении, с которым они сталкиваются). Проект Тьюринга в этом смысле оказывается не проектом по исследованию человеческого интеллекта, но проектом эмансипации машин, причем с той лишь целью, что эта эмансипация станет частью более общей эмансипации, касающейся всякого исключенного. Ведь каждый исключенный и есть машина. И подобно тому, как машина может быть признана мыслящей, мыслящими должны быть признаны все, кого лишили права на мысль. Интерпретация «от инаковости»: идеология технологической сингулярности Обе рассмотренные интерпретации оказываются двумя версиями одной. Ведь и та, и другая сводят машину к человеку. Машина для них – это только лишь средство: будь то средство (само)познания человека или же средство его эмансипации. Причем если в первом случае различие машины и человека устраняется в пользу природы (человек – это тоже машина, так как он создан природой), то во втором – в пользу культуры (человек – это тоже машина, так как он, как и машина, создан культурой). В первом случае культура оказывается сведенной к природе (человек – это природное существо, а значит и культура естественна, то есть природна), во втором природа оказывается сведена к культуре (наши представления о том, какой должна быть природа и чем естественное отличается от искусственного, напрямую зависят от культурного контекста, который эти представления порождает). Поэтому и получается, что в первом случае лозунг «человек – это машина» приводит к возможности разобраться, чем же с точки зрения природы является человек, а во втором – вынуждает нас признать, что человек – это всего лишь культурный конструкт, а значит, если нас что-то в актуальном положении дел относительно этого конструкта не устраивает, то его нужно взять и пересобрать заново (что как раз и отсылает к проекту эмансипации). Конечно, обе эти интерпретации важны. Одна позволяет проблематизировать нашу веру в человеческую исключительность [18], а вторая – наделяет разговор об ИИ политическим смыслом [19]. И все-таки эти разговоры, как нам кажется, упускают довольно-таки тривиальное положение, что машина – это все-таки не человек. И это при том, что Тьюринг оставил нам знание и об этом. Так, кроме всего того, что он сделал, в 1949 году он еще и решил впервые алгоритмизировать игру в шахматы. Он написал интересовавший его алгоритм, однако компьютеры того времени, несмотря на их огромную стоимость и внушительные габариты, не были заточены под выполнение подобных задач. Поэтому в 1952 году Тьюринг сделал, казалось бы, невозможное: он сам превратился в компьютер [12, с. 21]. Так, он сыграл две партии, в рамках которых его коллега играл за себя, а Тьюринг – за свой алгоритм. То есть он делал ход, сообразовываясь не с тем, как поступил бы он сам, но с тем, как поступила бы его программа. Таким образом, первая в истории культуры компьютерная игра была сыграна в ситуации, в которой компьютером оказался вполне конкретный человек – Тьюринг. И это важно именно потому, что в компьютер Тьюринг превратился лишь в этот момент, но вовсе не был им в течение всей своей жизни. В этом смысле мы бы сказали, что окончательная победа компьютера в шахматы в 1997 году не является свидетельством того, что машина что-то отняла у человека, напротив, показав, что умение вычислять не есть то, что делает человека человеком, мы вдруг оказались способными понять, что человеческое следует искать в чем-то другом. Иными словами, играя в шахматы, не машина превращается в человека, но человек, чтобы победить, должен превратиться в машину. И конечно же, нет смысла расстраиваться, что из человека машина получилась далеко не идеальная. В конце концов, едва ли стоит думать, что и из машины получится идеальный человек. Это открывает перед нами возможность третьей интерпретации, которую можно обнаружить в трудах современных трансгуманистов и футурологов [20]. Так, они часто говорят о событии так называемой технологической сингулярности – моменте в истории человечества, после наступления которого будущее перестанет быть прогнозируемым [21, с. 57]. При этом, как правило, это событие напрямую связывается именно с появлением сверхмощного ИИ, который, как заверяют футурологи, вполне может возникнуть уже в ближайшие несколько десятилетий. И принципиальным здесь является то, что придет вовсе не человек и даже не бог, каким его себе представляют люди, но именно разумная машина – машина, которая по тем или иным причинам начнет обладать сознанием. Но учитывая как раз то, что машина – это не человек, невозможным оказывается знать наперед, чего это машина захочет (если она вообще чего-то захочет), к чему она будет стремиться (если она вообще к чему-то будет стремиться) и как она к нам отнесется (если она вообще хотя бы как-то к нам отнесется). И хотя посылкой появления сознания у машины является именно натурализм, а сама возможность машины оказаться принципиально инаковой по отношению к нам отсылает к дискурсу исключенных, здесь важным является то, что машина, будучи радикально иной, вполне может оставить людей позади. В том смысле, что машина может оказаться новым – более высоким – витком в эволюции интеллекта, который приведет к тому, что люди по отношению к машинам займут примерно то же положение, какое животные заняли по отношению к человеку. И как бы сегодня это фантастически не звучало, важно здесь то, что мы обнаруживаем новое имя ИИ. Ведь ИИ в таком случае – это имя новой формы жизни, обладающей сознанием, которой хотя пока еще не существует, но которая вполне может возникнуть в будущем. Заключение Таким образом, мы рассмотрели три интерпретации наследия Тьюринга, чтобы показать, что разговор об искусственном интеллекте, как если бы он всегда отсылал к чему-то одному, как минимум, не совсем корректен, а как максимум, неверен. Так, в зависимости от того, из какой перспективы мы будем говорить об ИИ, мы будем иметь дело с различным его пониманием. Поэтому мы и постарались показать, что у ИИ совсем не одно, но по крайней мере три имени. Во-первых, ИИ – это имя естественного человеческого интеллекта. В таком случае ИИ отсылает к тому, что сознание является природным свойством и не может быть чем-то исключительно человеческим. Во-вторых, ИИ – это имя человеческих исключенных. В таком случае ИИ отсылает к тому, что вопрос сознания – это в первую очередь этический вопрос. И если нечто из того, что еще совсем недавно, как нам казалось, сознанием не обладало, сегодня начинает им обладать, то мы просто обязаны принимать по этому поводу те или иные политические решения, мы просто обязаны с этим считаться. Наконец, в-третьих, ИИ – это имя новой формы жизни. В таком случае ИИ отсылает к тому, что при всей схожести, не стоит забывать и о различиях. К тому же нельзя забывать, что мир не завершен, что он продолжает развиваться, и вполне возможно, что на смену человеку уже грядет нечто, чего мы пока еще не способны понять. Конечно, мы не заявляем, что какая-то из этих интерпретаций является наиболее предпочтительной. Все они в той или иной мере продуктивны, все они «работают» в своих областях. Поэтому главным для нас было показать, что этих интерпретаций несколько, и они в определенной мере равны. Ведь каждая из них имеет не только свою собственную ставку в настоящем (которая по-разному позволяет взглянуть на будущее), но и генетически восходит к единому комплексу событий, связанных с возникновением компьютера и отсылающих к идеям и прозрениям Тьюринга. Библиография
1. Больц Н. Азбука медиа. М., 2011. 136 с.
2. Маклюэн М. Галактика Гутенберга: Сотворение человека печатной культуры. Киев, 2004. 432 с. 3. Маклюэн М. Понимание медиа: Внешние расширения человека. Жуковский, 2003. 464 с. 4. Беньямин В. Произведение искусства в эпоху его технической воспроизводимости // Беньямин В. Произведение искусства в эпоху его технической воспроизводимости: Избранные эссе. М., 1996. 239 с. 5. Manovich L. The Language of New Media. Cambridge, London: MIT Press, 2001. p. 335. 6. Хардт М., Негри А. Империя. М., 2004. 440 с. 7. Пенроуз Р. Новый ум короля: О компьютерах, мышлении и законах физики. М., 2011. 400 с. 8. Bostrom N. Are You Living in a Computer Simulation? // Philosophical Quarterly (2003). Vol. 53, No. 211. P. 243-255. 9. Эко У. Поиски совершенного языка в европейской культуре. СПб., 2007. 423 с. 10. Алексеев А.Ю. Протонейрокомпьютер Корсакова // Нейрокомпьютер: разработка, применение. №7. 2013. С. 6-17. 11. Лейбниц Г.В. Письма и эссе о китайской философии и двоичной системе исчисления. М., 2005. 404 с. 12. Донован Т. Играй! История видеоигр. М., 2014. 648 с. 13. Тьюринг А. Может ли машина мыслить? М., 1960. 102 с. 14. Ламетри Ж. Человек-машина // Ламетри Ж. Сочинения. М., 1983. 509 с. 15. Делез Ж., Гваттари Ф. Анти-Эдип: Капитализм и шизофрения. Екатеринбург, 2007. 672 с. 16. Bryant L. Onto-Cartography. An Ontology of Machines and Media. Edinburgh, 2014. 300 p. 17. Bogost I. Alien Phenomenology, or What It’s Like to Be a Thing. Minneapolis and London, 2012. 168 p. 18. Шеффер Ж.-М. Конец человеческой исключительности. М., 2010. 392 с. 19. Харауэй Д. Манифест киборгов: наука, технология и социалистический феминизм // Гендерная теория и искусство. Антология. М., 2005. 592 с. 20. Бостром Н. Искусственный интеллект. Этапы. Угрозы. Стратегии. М., 2016. 496 с. 21. Турчин А. Структура глобальной катастрофы: Риски вымирания человечества в XXI веке. М., 2011. 431 с. References
1. Bol'ts N. Azbuka media. M., 2011. 136 s.
2. Maklyuen M. Galaktika Gutenberga: Sotvorenie cheloveka pechatnoi kul'tury. Kiev, 2004. 432 s. 3. Maklyuen M. Ponimanie media: Vneshnie rasshireniya cheloveka. Zhukovskii, 2003. 464 s. 4. Ben'yamin V. Proizvedenie iskusstva v epokhu ego tekhnicheskoi vosproizvodimosti // Ben'yamin V. Proizvedenie iskusstva v epokhu ego tekhnicheskoi vosproizvodimosti: Izbrannye esse. M., 1996. 239 s. 5. Manovich L. The Language of New Media. Cambridge, London: MIT Press, 2001. p. 335. 6. Khardt M., Negri A. Imperiya. M., 2004. 440 s. 7. Penrouz R. Novyi um korolya: O komp'yuterakh, myshlenii i zakonakh fiziki. M., 2011. 400 s. 8. Bostrom N. Are You Living in a Computer Simulation? // Philosophical Quarterly (2003). Vol. 53, No. 211. P. 243-255. 9. Eko U. Poiski sovershennogo yazyka v evropeiskoi kul'ture. SPb., 2007. 423 s. 10. Alekseev A.Yu. Protoneirokomp'yuter Korsakova // Neirokomp'yuter: razrabotka, primenenie. №7. 2013. S. 6-17. 11. Leibnits G.V. Pis'ma i esse o kitaiskoi filosofii i dvoichnoi sisteme ischisleniya. M., 2005. 404 s. 12. Donovan T. Igrai! Istoriya videoigr. M., 2014. 648 s. 13. T'yuring A. Mozhet li mashina myslit'? M., 1960. 102 s. 14. Lametri Zh. Chelovek-mashina // Lametri Zh. Sochineniya. M., 1983. 509 s. 15. Delez Zh., Gvattari F. Anti-Edip: Kapitalizm i shizofreniya. Ekaterinburg, 2007. 672 s. 16. Bryant L. Onto-Cartography. An Ontology of Machines and Media. Edinburgh, 2014. 300 p. 17. Bogost I. Alien Phenomenology, or What It’s Like to Be a Thing. Minneapolis and London, 2012. 168 p. 18. Sheffer Zh.-M. Konets chelovecheskoi isklyuchitel'nosti. M., 2010. 392 s. 19. Kharauei D. Manifest kiborgov: nauka, tekhnologiya i sotsialisticheskii feminizm // Gendernaya teoriya i iskusstvo. Antologiya. M., 2005. 592 s. 20. Bostrom N. Iskusstvennyi intellekt. Etapy. Ugrozy. Strategii. M., 2016. 496 s. 21. Turchin A. Struktura global'noi katastrofy: Riski vymiraniya chelovechestva v XXI veke. M., 2011. 431 s. |