База данных в исследовании истории усадеб Подмосковья: наполнение, обогащение и аналитика

Тришин Иван Германович Магистр истории, кафедра Исторической информатики, Московский Государственный Университет 301570, Россия, Тульская область, пос. Волово, ул. Александрова, 4А, кв. 2 Trishin Ivan Master of History, Historical Information Science Department, Moscow State University  301570, Russia, Tul'skaya oblast', pos. Volovo, ul. Aleksandrova, 4A, kv. 2 trishin_ivan@rambler.ru Другие публикации этого автора

Современные научные исследования все чаще осуществляются на стыке дисциплин, несколько размывая границы инструментария научной деятельности. Методы и технологии, выработанные в естественно-научных направлениях, могут использоваться в гуманитарных исследованиях, как и наоборот. Накопление знаний и формирование методов в разных областях исследования могут помочь совершенно другой области знания, а потому инструментарий исследователя сегодня расширяется за счет комплексного развития научной методологии и его частных примеров.

Развитие высоких технологий позволило исторической науке использовать большие объемы информации в получении новых знаний. Понятие массового исторического источника, введенного в научный оборот И.Д. Ковальченко, позволяет охватить значительные объемы исторических документов, не изучавшихся в полной мере исследователями в предшествующие периоды. Вычислительные мощности компьютерной техники уже в 60-70-х годах прошлого века позволяли строить большие информационные системы, работа с которыми не просто сокращала затрачиваемое на подготовку к исследованиям время, но и создавала возможность проведения таких исследований, так как ранее ручная обработка десятков тысяч формуляров и карточек не приносила практической пользы.

За статистическими исследованиями в исторической науке последовали работы, основанные на базах данных. Популярность подобных баз в восьмидесятых-девяностых годах прошлого века дала новый толчок изучению массовых источников, информация из которых теперь полностью заносилась в табличные базы и могла многократно использоваться в дальнейших научных изысканиях. Ряд исследовательских работ и сегодня использует базы данных для получения новых знаний, историография этого направления насчитывает множество публикаций, охватывающих разнообразные варианты исследовательского интереса^[1][2].

* * *

В исследованиях, посвященных 3D-реконструкциям памятников историко-культурного наследия, особую роль играет процесс сбора и структуризации данных, необходимых для проведения непосредственно реконструкций. Тем не менее, продолжение разработки выбранного направления заставляет автора работы снова погружаться в материалы большого объема, который, как правило, остается лежать «мертвым грузом» в файлах и папках. Тем не менее, наличие информационной системы, описывающей работу исследователя именно в историческом поле деятельности может значительно облегчить работу над избранной темой, а также дать дополнительные результаты, которые могут дополнить основные выводы исследования.

Попытки реставрации усадебных комплексов неоднократно делались в советский период их истории, чаще всего работы ограничивались фиксацией актуального состояния усадебных комплексов, реже проводились некоторые восстановительные работы. Попытки реставрации таких комплексов чаще всего оставались в виде планов и архитектурных проектов, переход к практическому восстановлению памятников не был завершен. В постсоветское время также были предприняты попытки реставраций усадебных комплексов при активном содействии меценатов, но большинство таких попыток не имело успеха. Однако интерес к усадебной истории рос, новый импульс в развитии изучения усадебной истории дала возможность построения виртуальных реконструкций и визуализации таких реконструкций в программной среде. С 2019 года на Историческом факультете МГУ действует совместный с Центральным государственного архива Московской области^[3] проект, посвященный виртуальным реконструкциям утраченных усадеб Подмосковья (в котором принимает непосредственное участие и автор данной статьи). Благодаря усилиям историков и архивистов на сегодняшний день существуют виртуальные реконструкции таких подмосковных усадеб, как Пущино-на-Наре^[4], Петровское-Алабино^[5], Ольгово^[6], Молоди^[7] и Никольское-Урюпино^[8][9], а также неопубликованная реконструкция усадьбы Михайловское и ряд других работ, которые защищаются на кафедре исторической информатики МГУ им. М.В. Ломоносова.

Автор изучал историю усадебных комплексов Подмосковья на материалах Общества изучения русских усадеб (ОИРУ), ведущей организации в изучении русской усадебной культуры и истории. Наиболее активно в исследовании был задействован справочник «Подмосковные усадьбы»^[10], созданный некоммерческим партнерством «Русская усадьба» при участии членов Общества. Этот справочник позволил систематизировать знания об утраченных комплексах и выявить наиболее перспективные для реконструкции объекты. В процессе изучения справочника автор решил сформировать структурированную информационную систему, которая позволила бы определить наиболее интересные для реконструкций объекты, а также распределить сохранившиеся и утраченные усадьбы в географическом и хронологическом разрезе. Информация о владельцах этих усадеб также была занесена в базу данных, где таблицы были связаны между собой по идентификаторам усадебного комплекса. Также исследуемые усадьбы были привязаны к электронным копиям источников, на основании чего сформировался электронный справочник, речь о котором шла в статье «Использование технологий управления данными при создании исторических Интернет-ресурсов» автора данного исследования^[11]. Ранее были описаны механизмы ручной загрузки данных в базу через интерфейс, второй этап работы над информационной системой предполагал заполнение таблиц информацией, заложенной в опубликованном справочнике, а также обогащение этой информации данными из открытых источников. Ниже подведены некоторые итоги данной работы, включая статистические обобщения по усадебным комплексам Подмосковья, а также описан процесс обогащения^[12] имеющихся данных.

* * *

Система хранения и обработки данных была построена следующим образом: визуальный интерфейс справочника был разработан на конструкторе веб-сайтов Wordpress, сама база данных строилась в СУБД MySQL, а автоматический трансфер данных проводился с помощью инструмента Apache NiFi (все перечисленные инструменты являются бесплатными и свободно распространяются в сети Интернет). В дополнение к указанным инструментам также были использованы СУБД SQLite (файловая система баз данных, позволяющая хранить все таблицы и связи в одном физическом перемещаемом документе), а также среда разработки Jupyter Notebook, позволяющая проводить трансформации данных с помощью языка программирования Python. Изначально планировалось делить базу данных на четыре основные таблицы: усадьбы, персоналии, источники и объекты (модели). Данная концепция была несколько изменена в процессе работы: к таблице объектов была добавлена таблица реконструкций. Остальная структура осталась неизменной. В таблицу усадебных комплексов была внесена основная информация по усадьбам: идентификатор (номер усадьбы в справочнике), название, район или городской округ Московской области, век основания, четверть века, в которой усадьба была основана, год основания, идентификатор степени сохранности усадьбы (авторская экспертная оценка по шкале от 0 до 5), флаг сохранности главного дома усадьбы, а также комментарии. Данные признаки встречаются почти во всех записях справочника. Итого таблица получила 629 записей по числу зафиксированных в справочнике усадеб. Стоит чуть подробнее остановиться на классификации сохранности усадеб, которая была приведена в числе признаков.

Практически по каждой записи справочника оставлены заметки о том, какие объекты сохранились и дошли до наших дней, а также их состояние. Эта информация позволила выделить шесть основных уровней классификации сохранности усадебных комплексов (таблица 1).

Таблица 1. Степени сохранности усадебных комплексов (по классификации автора работы)

Эта классификация дополнилась флагом сохранности главного дома усадьбы, как системообразующего объекта. Анализ сохранности 629 комплексов привел к следующим результатам:

• · В отличном состоянии находятся 49 усадебных комплексов (7,8%). Среди них такие усадьбы, как Архангельское, Абрамцево, Талицы и др.
• · 11% (70) усадебных комплексов имеют четвертый уровень сохранности (Пехра-Яковлевское, Огарково, Ашитково и др.)
• · 400 усадеб (63,5%) имеют степень сохранности 0 и 1. Чаще всего встречаются усадьбы, в которых сохранился только храм (см. Таблицу 1).
• · В 26% случаев (163 усадьбы) главный дом в том или ином виде сохранился.

Далее приведем некоторую статистику по периодизации основания усадеб Подмосковья:

• · Наибольшее число усадеб (165) было основано во второй половине XVIII в.
• · По 35 комплексам время основания не указано.
• · Самые ранние примеры датируются началом XVI века (боярские вотчины), но до последней четверти этого столетия найдено всего 3 усадьбы.
• · 16 усадеб были основаны в начале XX в. Наиболее часто этими объектами владели промышленники и иностранные мастера, приглашённые на работу в Москву или Подмосковье. Крупных комплексов среди них не найдено.
• · 92 записи содержат точный (или примерный) год основания усадьбы.

Также в некоторых случаях указываются причины утраты усадебного комплекса, а также примерные даты разрушения. Среди причин чаще всего появляются пожары и снос. Наиболее часто в этой связи встречаются следующие диапазоны дат: 1918-30 гг. (период постреволюционных разрушений усадеб), 1941 год (множество усадеб пострадало от немецких бомбардировок), а также 1990-2000 гг. Тем не менее, по ряду комплексов были проведены реставрационные мероприятия (в основном в 1970-1980 гг., в большинстве случаев речь идет о группах реставраторов, историков-краеведов, специалистов архитектурно-реставрационных мастерских), результатами которых стали архитектурные обмеры и проекты реставраций, содержащие чертежи актуального состояния усадьбы на момент выполнения проекта.

С точки зрения географического положения наибольшее количество усадеб находится на территории Одинцовского городского округа (42), далее по убыванию идут Солнечногорский и Дмитровский округа (38 и 34 соответственно). Наименьшее число комплексов (2) находится на территориях Павлово-Посадского района, а также городских округов Орехово-Зуево и Егорьевск.

Иные классификации усадебных комплексов требуют привлечения дополнительных материалов и чаще всего затруднены историческим контекстом развития этих комплексов («дворянские» и «купеческие» усадьбы пересекаются в моменте продажи имения дворянским родом в руки успевших предпринимателей и купцов, а архитектурная классификация невозможна по причине утраты большего количества комплексов в целом).

Важным аспектом при рассмотрении вопроса о возможной достоверной реконструкции усадьбы является обеспеченность объекта источниковой базой. Для научной реконструкции комплекса отбираются только подкрепленные широким спектром информации, собранной в архивах, реставрационных мастерских и частных коллекциях. Имеющаяся информация по таким усадьбам, как Никольское-Урюпино и Ярополецкая усадьба Чернышевых (объекты исследований автора данной статьи, работающего над виртуальными реконструкциями этих усадеб), была добавлена к основной таблице усадебных комплексов и дополнена полученными из архивов либо открытых источников данными. Классификация по идентификатору усадьбы и архивного дела (или если его нет – по иным признакам конкретного издания) позволяет быстро найти место хранения цифровых копий источников на локальном компьютере, а также найти нужный лист архивного дела по ключевым словам. На текущий момент в таблице источников описано более 500 документов. Подобным образом были сделаны таблицы виртуальных реконструкций усадеб: в поля внесены данные о месте их хранения (как отдельные модели, так и проекты, выполненные в виртуальной среде Unreal Engine), а также даны описания, позволяющие упростить поиск по ключевым словам. Иная ситуация наблюдается с владельцами усадебных комплексов. Выявление информации о них потребовало обогащения данных информацией из открытых источников.

***

В опубликованном справочнике оформлен алфавитный указатель владельцев усадеб, в котором указан номер усадьбы, ее название и фамилия и инициалы (а иногда только фамилия) владельца. Обработка этого списка вручную (более трех тысяч записей) заняла бы значительное количество времени, поэтому было принято решение воспользоваться мобильным приложением TurboScan, которое позволяет оцифровывать изображения и распознавать текст. Таким образом список владельцев был перенесен в CSV-формат (электронная таблица), но до внесения такой таблицы в базу появилась необходимость в дополнительной обработке.

Основной проблемой стали записи династий владельцев, к примеру: «Яньков А.Х., Н.А. , Х.Н.». В данном случае в одной записи указаны сразу три человека. Для того, чтобы получить корректный для работы список, появилась необходимость в разбивке таких записей на несколько новых строк. В этом случае помощь работе оказала среда разработки Jupyter Notebook (интерфейс для работы с языком Python), а также ряд открытых Python-библиотек. С помощью библиотеки регулярных выражений^[13],[14] была произведена обработка всего списка фамилий (рис. 1) и сформирована новая таблица владельцев усадеб, в которой список вырос с 2492 строк до 3140 (добавилось 648 имен). В новой временной таблице владельцев отдельно были вынесены фамилии владельцев для дальнейшего обогащения данных (рис. 2).

Рис. 1. Фрагмент кода для обработки записей с множественными именами (снимок экрана автора работы)

Рис. 2. Фрагмент обновленной таблицы владельцев. С номера 10 виден результат работы регулярных выражений (снимок экрана автора работы)

Отдельный список фамилий имеет значение при обогащении информации открытыми источниками. Для текущей работы был выбран Интернет-ресурс «Родовод» (Родовод: Многоязычное генеалогическое древо [сайт] URL: https://ru.rodovid.org/wk/Многоязычное_генеалогическое_древо), который содержит наиболее удобный для обработки генеалогический ресурс. Для ручного получения информации о 3140 персоналиях необходимо огромное количество времени и сил, а потому было принято решение автоматизировать этот процесс с помощью технологии веб-скрапинга (15 топовых веб скрапинг решений 2021 года / Хабр [сайт] URL: https://habr.com/ru/post/543760), которая предполагает автоматический обход веб-страниц с целью получения информации.

Информация о каждом роде на указанном информационном ресурсе доступна по ссылке «https://ru.rodovid.org/wkРод:***», где вместо звездочек указывается интересующая исследователя фамилия во множественном числе (например, Орлов – Орловы, Адлерберг – Адлерберги и т.д.). Далее на странице существует раздел представителей этой фамилии, где доступна основная информация о персоналиях (полное имя, пол, год рождения, год смерти, ссылка на статью о личности). Подобный список полезен в текущей работе при сопоставлении фамилии и инициалов с годами рождения и смерти (в справочниках они иногда указываются в информации об усадебных комплексах). Для того, чтобы получить уникальный список фамилий, все полученные в колонке «surname» записи были переведены во множественное число при помощи тех же регулярных выражений. Для этого был составлен словарь наиболее частых окончаний единственного и множественного числа (ов – овы, ев – евы, берг – берги, вич – вичи и т.д.), после чего все записи были проверены по этому словарю, получился список родов владельцев усадеб (порядка 1600 уникальных записей). Этот список был автоматически проверен в электронном справочнике Родовод (с соблюдением условий скрапинга, указанных в файле сайта «robots.txt»), а полученные данные собирались в общую таблицу. Так было получено 105000 записей о людях, принадлежащих к этим родам (рис. 3). Регулярными выражениями полные имена людей были преобразованы в фамилии с инициалами, которые далее можно сопоставлять с исходным опубликованным справочником.

Рис. 3. Таблица полученных данных с ресурса "Родовод" (снимок экрана автора работы)

Для тестового объединения информации были проверены первые 100 усадебных комплексов по списку. По ним было упомянуто 553 имени, среди которых 203 содержали хотя бы одну дату (рождение или смерть). По этим записям было сопоставлено 77 человек с совпадающими датами и инициалами, что составляет примерно 38% от общего числа записей, содержащих даты. Ручной разбор позволил найти еще 8 человек, которые дополнили результат до 41% найденных владельцев. При сохранении соотношения объемов наличествующей в справочнике информации, по полному списку должно найтись около 500 человек, что в условиях ограниченного объема информации следует считать хорошим рабочим результатом. На данный момент работа по поиску владельцев усадеб в открытой базе продолжается.

После того, как информация о владельцах была добавлена к общему списку, удалось сформировать связи между таблицами и формат выгрузки данных в электронную среду по алгоритму, описанному ранее в статье «Использование технологий управления данными при создании исторических Интернет-ресурсов»^[11]. Таким образом удалось автоматически заполнить электронный справочник без значительной ручной работы.

***

Подводя итоги, хотелось бы в очередной раз подчеркнуть сложность задачи накопления и систематизации данных в изучении истории усадебных комплексов. Проблема разрозненности и бессистемного хранения информации вынуждает исследователя искать решения в современных способах структурирования и обобщения данных. Для решения обозначенной проблемы автором приведенного исследования на базе опубликованного справочника была создана программная система, в которой исследователь может искать нужные сведения об усадьбах, автоматизировать загрузку и обогащение данных, таким образом выполняя цепочку действий от первичного поиска информации до работы с источником. В рамках предложенной системы продемонстрирована работа с информационным комплексом со стороны программных решений, показан процесс его обогащения внешними источниками. Тем самым возможность аналитической работы за рамками обозначенного справочника расширена не только за счет дополнительной информации, но и благодаря программным возможностям описанных выше систем.