Определение авторства «Записок декабриста И.И. Горбачевского» методами машинного обучения

Латонов Василий Васильевич ORCID: 0000-0002-7810-8033 кандидат физико-математических наук Руководитель направления по исследованию данных; ПАО «Сбербанк» 117342, Россия, г. Москва, ул. Островитянова, 41, к.1, кв. 172 Latonov Vasilii Vasilyevich PhD in Physics and Mathematics Head of the Data Research Department; Sberbank PJSC 41 Ostrovityanova str., room 1, 172, Moscow, 117342, Russia WLatonov@gmail.com Другие публикации этого автора

Латонова Анастасия Вячеславовна кандидат исторических наук независимый исследователь 117342, Россия, г. Москва, ул. Островитянова, 41, к.1, кв. 172 Latonova Anastasiia Vyacheslavovna PhD in History independent researcher 41 Ostrovityanova str., room 1, 172, Moscow, 117342, Russia iskrenne_vasha_aa@mail.ru Другие публикации этого автора

Введение

«Записки» И.И. Горбачевского являются одним из ценнейших источников по истории декабристского движения, созданных самими его участниками. В них освещается становление и развитие такой декабристской оргаизации, как Общество соединенных славян, примкнувшее впоследствии к Южному обществу декабристов. Написанные в сибирской ссылке, эти записки представляют собой не только источник фактологического материала, но и оригинальную концепцию развития тайного общества, и ретроспективный «взгляд изнутри» на допущенные заговорщиками ошибки. Красной нитью через всю концепцию «Записок» проходит обличение промахов Южного общества, взгляды и поступки участников которого противопоставляются взглядам и поступкам самих «соединенных славян» (не без некоторой идеализации последних).

«Записки» в своей печатной версии занимают не многим более 100 страниц и распадаются на три раздела. Первый из них сообщает читателю окончание истории Общества соединенных славян, когда оно сливается с Южным обществом декабристов. Во втором освещается восстание Черниговского пехотного полка, заметную роль в событиях которого сыграли экс-«славяне». Третий раздел повествует о дальнейшей судьбе повстанцев – о суде над ними, отправлении в ссылку, неудачном бунте каторжан, организованном И.И. Сухиновым. Таким образом, являясь свидетельством несомненного исторического самосознания автора, по содержащихся в них фактах «Записки Горбачевского» выходят далеко за пределы биографии его самого, кем бы он ни был.

Последняя оговорка неслучайна. Вопреки устоявшемуся в литературе названию «Записок», мы не можем однозначно утверждать, что их автором из числа декабристов был непосредственно И.И. Горбачевский. Дело в том, что первая публикация этого источника – в журнале «Русский архив» в 1882 г., вып. 2 – была представлена под заголовком «Записки Неизвестного из Общества Соединенных Славян». Издатель (П.И. Бартенев) напечатал их по полученной из Сибири анонимной рукописи, сопроводив примечанием: «Кажется, что „Записки" эти составлены бывшим подпоручиком 8-й артиллерийской бригады Иваном Ивановичем Горбачевским; но ручаться в этом нельзя».

Обзор существующих версий авторства «Записок»

Анонимность первой публикации и породила сомнения в авторстве Горбачевского, которые подробно сформулировала одна из основательниц советского декабристоведения – М.В. Нечкина. Продемонстрировав в ходе своего анализа, что «Записки» могли точно так же принадлежать перу товарищей Горбачевского (имя которого возникло изначально как предположение обретшего рукопись издателя), она пришла к выводу, что автором источника наиболее вероятно был другой член Общества соединенных славян – П.И. Борисов ^{[1, С. 136-143]}.

Биограф И.И. Горбачевского Г.П. Шатрова также не считала его автором «Записок» (во всяком случае, автором единственным). В монографии «Декабристы и Сибирь» (1962) ^[2] она позиционировала в качестве создателя «Записок» П.И. Борисова, апеллируя при этом ко мнению М.В. Нечкиной; в монографии о лично Горбачевском же пришла к выводу, что «Записки» составлены на основе коллективных воспоминаний с последующей литературной обработкой одним автором, а И.И. Горбачевский принимал активное участие в этом общем труде. Главным аргументом против исключительного авторства Горбачевского Г.П. Шатрова находила существенное расхождение между позицией «Записок» и взглядами Горбачевского, выраженными им в письмах 1850-х–1860-х гг. на поселении. ^{[3, С. 75]}. О «Записках» как о результате совместно выработанной концепции вследствие обмена мнениями внутри коллектива писала и другая исследовательница, Н.П. Матханова, у которой по этому поводу читаем: «в казематском сообществе произошли превращение индивидуальной памяти в социальную, идентифицирующую группу, выработка “коллективной истории” – той общей версии прошлого, условной схемы, общей идеи, которая состояла из образов событий» ^{[4, С. 160]}.

Вместе с тем, такая точка зрения на авторство «Записок» Горбачевского (и сами изначальные доводы М.В. Нечкиной) была подвергнуты критике со стороны ряда других историков. Б.Е. Сыроечковский, Л.А. Сокольский, И.В. Порох несостыковки между «Записками» и другими текстами Горбачевского (следственными показаниями и письмами) находили несущественными и объяснимыми, а авторство Горбачевского – совершенно несомненным. (Подробную аргументацию см.: ^[5]; также см. ^[6]) К аналогичным выводам в результате текстологического анализа позднее пришел также Злобин Е.В. ^[7]. Уже в постсоветский период в качестве автора «Записок» И.И. Горбачевский официально был указан, например, в Большой российской энциклопедии ^[8]. В то же время, в историографическом поле по-прежнему продолжает бытовать и противоположная точка зрения, по которой Горбачевский не является автором одноименных «Записок» (см.: ^[9]).

Таким образом, можно утверждать, что вопрос с авторством «Записок» Горбачевского не решен до конца к настоящему моменту. Однако для исследования его теперь появляются новые возможности в силу развития информационных технологий. Соглашаясь с предшественниками в том, что рассмотрение вопроса об авторстве «Записок» едва ли возможно без сопоставления их с другими текстами Горбачевского, попробуем проанализировать все эти тексты при помощи стилометрии ^[10]. В отличие от традиционного подхода, при котором адекватно лишь сравнение перекликающихся хоть в чем-либо источников, в нашем случае мы можем вовлечь в оборот любые тексты, гарантированно принадлежащие перу интересующих нас лиц. Так, если Б.Е. Сыроечковский, Л.А. Сокольский и И.В. Порох считали достойным сопоставления с «Записками» только письмо Горбачевского к М.А. Бестужеву 12 июня 1861 г., содержащее большой материал о декабристском движении в целом и об отдельных декабристах, то мы теперь можем привлечь к сравнению даже те письма Горбачевского, в которых нет никаких суждений по декабристской тематике. То же относится и к материалам других членов Общества соединенных славян, которые могли принимать участие в создании «Записок», и прежде всего – к материалам П.И. Борисова.

Существует также версия, что «Записки Горбачевского» были написаны коллективом авторов. Однако достоверных сведений о том, какие именно авторы и в какой пропорции могли принимать участие в создании «Записок», нет. Следовательно, в этом дискурсе не может быть сформулирована корректная задача стилометрии и не могут быть сделаны сколь угодно значащие выводы. Поэтому в рамках данной работы мы сосредоточим свое внимание на проверке версий авторства «Записок» в лице И.И. Горбачевского и П.И. Борисова.

Обзор работ по стилометрии и постановка задачи

Стилометрия — это дисциплина, занимающаяся измерением стилевых характеристик с целью упорядочивания и систематизации текстов ^[10]. Эти характеристики могут быть вычислены для любого достаточно большого авторского текста, и для каждого авторского стиля эти характеристики будут уникальны. Таким образом, стилометрия может быть использована для определения авторства текста при наличии образцов текстов возможных авторов, достаточно больших для вычисления характеристик.

Сама по себе задача определения авторства существует уже много столетий, однако впервые формализована она была, по-видимому, в работе Н.А. Морозова ^[11]. В этой работе был предложен метод идентификации авторства через графики частот употребления слов. Также в числе первых работ по математическому исследованию стилистики авторов следует назвать статью ^[12] А.А. Маркова. В этой статье А.А. Марков применил статистический анализ, ранее изложенный им же в другой работе ^[13], где оценивалась вероятность буквы быть гласной в зависимости от цепи из двух предыдущих букв.

В работе ^[14] была применена идея цепей из двухбуквенных сочетаний из работы ^[13] и было показано, что этот подход позволяет определять истинного автора с вероятностью 84% при рассмотрении 80 возможных вариантов. Обобщение этого метода было предложено в работе ^[15], где в качестве единиц анализа рассмотрены не только двухбуквенные сочетания, но и одиночные грамматические классы слов, а также пары слов. Особый интерес эта работа вызывает в связи с тем, что, согласно выводам авторов, определение авторства текста по двухбуквенным сочетаниям более точно, чем по одиночным словам и парам слов. Аналогичный результат был получен и в работе ^[16], где было показано, что трёхбуквенные сочетания позволяют устанавливать авторство точнее, чем слова.

В работах ^{[17, 18]} для установления авторства были рассмотрены вероятности появления разных n-буквенных сочетаний для n > 2, называемых n-граммами. В некоторых работах n-граммами также называют последовательности из n слов, которые также подходят для определения авторства, например в статье ^[19]. Авторы выяснили, что для английского языка 6-граммы дают наилучший результат распознавания автора, в то время, как, например, для греческого наилучший результат достигается при использовании 3-грамм.

Ещё один известный подход к атрибуции авторства – Дельта Бёрроуза ^[20] – метод, опубликованный в 2002-м году. В своей работе Джон Бёрроуз ввёл метрику, называемую Дельтой, используемую для измерения расстояния между текстами ^[21]. Дельта рассчитывается на основе всего словаря слов, используемых во всех текстах, между которыми считается расстояние. Эта метрика учитывает частоту использования каждого слова в отдельно взятом тексте и частоту использования слова во всём наборе текстов. Дельта Бёрроуза широко применяется в лингвистических исследованиях ^{[22, 23]} в том числе для определения меры проявления стиля авторов в совместной работе ^[24].

Наряду с этим в отечественной историографии существует ряд работ, посвященных определению особенностей авторского стиля. Результатом трудов Л.В. Милова, Л.И. Бородкина и других историков в 1970-1980-е годы стали исследования ^[25-27], где для задач анализа стиля и атрибуции использовался сетевой анализ структур грамматических связей. Во многом объектом этих исследований явились средневековые русские тексты.

В современных работах по определению авторства часто используются методы машинного обучения (ML). Так, в работе ^[28] авторы применили ряд классических методов в задаче атрибуции авторства на примере литературных текстов. В числе прочих были опробованы метод k ближайших соседей (KNN) ^[29] и метод опорных векторов (SVC) ^[30]. Отдельное внимание авторы уделяют вопросу предобработки текстов: рассмотрено обучение как на исходном тексте, так и на тексте с удалёнными редко встречающимися словами.

Также находит применение в задаче атрибуции авторства и глубокое обучение, например, авторы ^[31] использовали свёрточную нейронную сеть (CNN) и сравнили её точность с другими подходами, в частности, многослойным линейным персептроном (MLP) ^[32], а также с уже упомянутыми выше KNN и SVC. В работе ^[33] авторы решили задачу определения авторства русскоязычных текстов, строя процесс обучения на текстах из классической литературы и коротких публикациях в социальных сетях. Наряду с классическими ML-методами, авторы применили нейронные сети, включающие такие архитектуры, как LSTM ^[34] и BERT ^[35].

В настоящей работе решена задача определения авторства «Записок Горбачевского». В качестве материала для обработки при этом использована публикация «Записок» 1963 г. в «Литературных памятниках», для которой существует цифровая копия в сети Интернет, что делает ее использование более удобным. От оригинальной публикации 1882 г. эта версия отличается местами иным членением на абзацы, что не является существенным для нашей задачи, а также наличием кратких аннотаций перед главами (эти аннотации нами при обработке текста удалялись). В качестве кандидатов на авторство «Записок» рассмотрены сам И.И. Горбачевский и П.И. Борисов, а для решения использованы образцы текстов, написанных двумя этими декабристами. Для изучения стиля Горбачевского использовались его письма – источник, прежде всего, хранящий информацию об отношениях между ссыльными декабристами и об условиях их жизни на поселении. Вместе с тем, в этих письмах содержится достаточно суждений Горбачевского о декабристском заговоре. Для анализа доступно 81 его письмо за период 1839–1868 гг. Для исследования стиля Борисова, как и в случае с Горбачевским, также использовались письма. Писем Борисова в нашем распоряжении сравнительно немного, 20. Все они написаны в 1838–1847 гг. в период его жизни на поселении и по своей тематике весьма близки к письмам Горбачевского.

Решение задачи

Для решения поставленной задачи мы использовали классические ML-методы: SVC и логистическая регрессия (LR) ^[36]. Последняя была выбрана постольку, поскольку ориентирована на решение задачи бинарной классификации, а в нашей постановке возможных авторов лишь двое. Стоит отметить, что эти методы не могут быть применены сами по себе к текстовым данным, поэтому каждое предложение кодируется в вектор числовых признаков.

Для кодирования были использованы два метода. Первый из них, Count Vectorizer (CV), относится к классическим ML-подходам. Каждое предложение перед кодированием с помощью CV проходило предобработку:

1. Замена верхнего регистра на нижний;

2. Удаление знаков препинаний, круглых и квадратных скобок, а также кавычек;

3. Удаление служебных слов: предлогов, союзов, частиц, междометий.

Второй выбранный метод кодирования – предобученная на русскоязычных текстах модель BERT (использовалась модель, доступная по ссылке: https://huggingface.co/papers/2408.12503). Этот подход позволяет добиться большей точности при обучении, чем при кодировании классическими методами, поскольку, будучи предобученным, уже содержит информацию о русскоязычных текстах и том, как их эффективно кодировать. Таким образом, были обучены модели предсказания:

1. Count Vectorizer + SVC;

2. Count Vectorizer + LR;

3. BERT + SVC;

4. BERT + LR;

Схема моделей 1-2 изображена на рисунке 1, моделей 3-4 – на рисунке 2.

Рисунок 1.

Рисунок 2.

Каждая модель на вход принимает одно предложение и классифицирует его, как принадлежащее авторству Горбачевского или Борисова. Предобработка текстов и обучение моделей были реализованы на языке Python. Реализация моделей SVC, LR, а также кодировщика Count Vectorizer были взяты из библиотеки sklearn, для предобработки использовались библиотеки pandas и numpy.

В письмах Борисова насчитывается в общей сложности 411 предложений, в то время, как в письмах Горбачевского их 2620. Для обучения необходимо равное число предложений обоих авторов, поэтому из писем Горбачевского требовалось выбрать 411 предложений. Выборка определялась генератором случайных чисел библиотеки numpy, причём было взято сто разных выборок при помощи параметра seed, варьируемого в диапазоне от 0 до 99. Для каждой из выборок предложений Горбачевского была обучена каждая из четырёх выбранных моделей. При обучении 80 % предложений отводилось под тренировочную выборку, а 20 % – под тестовую. Для каждой модели были подобраны наилучшие гиперпараметры методом Grid Search.

Результаты

Нами было получено четыре блока по 100 моделей. После обучения каждая модель использовалась для предсказания автора каждого предложения из «Записок» по отдельности. Доли предложений, отнесённых моделями разных блоков к Горбачевскому, представлены на Рисунках 3-6. Также на этих графиках малиновой пунктирной линией отмечены средние доли предложений, отнесённых к Горбачевскому. Среднее взято по всем моделям в рамках одного блока. Малиновой сплошной линией отмечены максимальные и минимальные доли. Например, как видно из Рисунка 4, модель Count Vectorizer + LR, обученная на одной из ста выборок классифицировала больше 80 % предложений «Записок», как принадлежащие авторству Горбачевского. В то же время, минимальная доля у этой модели превосходит 57 %. У моделей Count Vectorizer + SVC и BERT + SVC максимальная доля чуть больше 79 %. Минимальные доли у этих моделей превосходят 51 % и 48 % соответственно. В Таблице 1 приведены примеры матриц ошибок четырёх моделей на тестовых выборках – по одной модели из каждого блока. Видно, что точность моделей, использующих BERT выше, чем остальных. У всех моделей во всех блоках точность на обучающей и тестовой выборках отличалась на 1-3 %. Также видно, что модели, не использующие BERT имеют более высокую точность на предложениях Горбачевского, а модели с BERT имеют примерно одинаковую точность на обоих авторах. В Таблице 2 приведены средние доли по выборкам для всех моделей, а также средние значения точности на обучении в рамках каждого блока.

Рисунок 3.

Рисунок 4.

Рисунок 5.

Рисунок 6.

Таблица 1. Примеры матриц ошибок моделей на тестовых выборках.

Таблица 2. Точность моделей и предсказания авторства предложений из «Записок».

Большинство обученных моделей классифицируют около 70 % предложений «Записок», как написанные Горбачевским. Более точные модели (использующие BERT) относят к Горбачевскому чуть меньше предложений «Записок», однако это всё равно в среднем более 64 %. Разброс в результатах классификации, который виден на рисунках 3-6, объясняется тем, что для обучения ста моделей в каждом из блоков использовались сто разных выборок. Тем не менее этот разброс не влияет на интерпретацию результата, поскольку на графиках виден значительный перевес в пользу Горбачевского в каждодм из четырех блоков.

Выводы

В работе рассмотрена задача определения авторства «Записок Горбачевского», с предположением, что автором мог быть либо сам И.И. Горбачевский, либо П.И. Борисов. Использованные методы машинного обучения в последние годы зарекомендовали себя, как наиболее точные в задачах атрибуции авторства, и в нашей работе на обучении показали точность более 80 % (BERT + SVC и BERT + LR – около 90 %). Почти все обученные модели классифицировали около 70 % предложений «Записок», как написанные Горбачевским. Таким образом, можно сделать вывод, что «Записки Горбачевского» следует атрибутировать как принадлежащие перу реального И.И. Горбачевского, а не П.И. Борисова, если в качестве вариантов выбора рассматривать дихотомию из этих двух авторов.