Информационно-аналитический ресурс «Православный ландшафт таежной Сибири: акторы, институты, сети»: архитектура системы, ключевые характеристики к интеграции исторических геоданных

Болдовская Татьяна Ерофеевна ORCID: 0000-0002-8659-4449 кандидат технических наук доцент; факультет информационных технологий и компьютерных систем; Омский государственный технический университет старший научный сотрудник; лаборатория междисциплинарных исследований; Национальный исследовательский Томский государственный университет 644033, Россия, Омская обл., г. Омск, Советский округ, ул. Красный Путь, д. 82 к. 72 Boldovskaya Tatiana Erofeevna PhD in Technical Science Associate Professor; Faculty of Information Technology and Computer Systems; Omsk State Technical University Senior Researcher; Laboratory of Interdisciplinary Research; National Research Tomsk State University 82 Krasny Put St., room 72, Omsk, Sovetsky District, 644033, Russia, Omsk region teb73@mail.ru

Гресь Владимир Игоревич ORCID: 0009-0005-2522-5235 младший научный сотрудник; лаборатория междисплинарных исследований; Национальный исследовательский Томский государственный университет 644092, Россия, Омская обл., г. Омск, Кировский округ, ул. Перелета, д. 20 Gres Vladimir Igorevich Junior Researcher; Interdisciplinary Research Laboratory; National Research Tomsk State University 20 Poleta Street, Omsk, Kirovsky District, 644092, Russia, Omsk region gresvladimir02@gmail.com

Грант РНФ № 23-78-10119

Введение

Исторические исследования, направленные на анализ пространственных закономерностей исторических процессов и явлений с использованием географических информационных систем (ГИС), стали одним из наиболее востребованных направлений социогуманитарного подхода к представлению и анализу цифровых данных о прошлом. В современной научной литературе представлены разработки в нескольких основных областях, где ГИС выступают как [1–6]:

1. Инструмент для визуализации цифровых наборов географических данных.

2. Средство для презентации особенностей регионального развития.

3. Методика исторической реконструкции событий и процессов.

4. Способ проведения пространственно-временного анализа исторических явлений и/или социальных институтов.

Несмотря на значительный объем исследований, посвящённых применению геоинформационных систем (ГИС) в исторических исследованиях, технические трудности, связанные с переходом социально-гуманитарных знаний в цифровой формат, продолжают оставаться нерешенными. В условиях стремительной цифровой трансформации гуманитарных дисциплин и возникновения новых междисциплинарных направлений, таких как историческая информатика, прикладная информатика в гуманитарных науках и цифровая гуманитаристика, проблема разработки информационных ресурсов для научно-образовательной деятельности сохраняет свою актуальность, что обусловливает междисциплинарное взаимодействие между исследователями технического и гуманитарного корпуса ^[7]. Цифровизация исторической науки определяет необходимость создания аналитической модели исторического информационного ресурса, обладающего устойчивостью и возможностью интеграции в современную исследовательскую инфраструктуру. Реализация данной модели позволит комплексно решать задачи систематизации разнородных источников данных, обеспечения их долговременного хранения и предоставления инструментария для научного анализа и подготовки специалистов, способных работать с цифровыми массивами данных.

Данная работа направлена на разработку информационно-аналитического ресурса «Православный ландшафт таежной Сибири: акторы, институты, сети», учитывающего географические, социальные и культурные особенности формирования сибирского социума в ходе государственного проекта освоения края и добровольных крестьянских переселений на рубеже XIX–XX вв. В методологических решениях разработка ресурса базируется на подходе к сибирскому региону как трансграничной территории с сетевыми формами складывания этноконфессиональных групп и идентичностей ^{[8, 9]} и осуществляется междисциплинарным коллективом — IT-специалистами и историками двух сибирских университетов — Омского и Томского.

1. Структура информационно-аналитического ресурса

На этапе разработки технического задания коллегами-историками была сформулирована целевая установка информационного ресурса «Православный ландшафт таежной Сибири: акторы, институты, сети» как реконструкция факторов и механизмов идентификации русского населения таежной Сибири, степени участия в этих процессах социальных институтов русской православной церкви и мирских и монашеских старообрядческих сообществ, а также был определен состав исторических источников и его классификация ^[10]. Основу содержимого информационного ресурса составляют данные поселенческой, хозяйственной и церковной статистики, материалы «Томских епархиальных ведомостей», а также тексты богослужебных, дидактических и полемических произведений из приходских и старообрядческих библиотек. Вся эта информация была переведена в структурированную электронную таблицу.

Процесс проектирования и разработки структуры электронной таблицы осуществлялся в рамках интерактивного взаимодействия с историками и характеризовался несколькими этапами, начиная с анализа требований и заканчивая разработкой архитектурных решений.

В рамках начального этапа исследования для детальной характеристики исторических источников и анализа особенностей их документирования была создана пробная электронная таблица, проверка которой осуществлялась посредством внесения ограниченного массива тестовых исторических данных. Данный подход позволил определить первичные методологические и технические несоответствия в структуре.

Проблема 1. При анализе исторических источников была выявлена методологическая проблема, обусловленная гетерогенностью систем измерений расстояний: источники одного временного периода могут содержать различные метрические системы, что значительно усложняет процесс систематизации и аналитической обработки пространственных данных.

Для разрешения этой проблемы была модифицирована структура реляционной базы данных, где системы измерений были выделены в отдельную таблицу. Принятое решение обладает двойной функциональностью: оно позволяет сохранять оригинальные исторические метрики с возможностью их последующего преобразования в современные системы измерений. Это обеспечит выполнение математических операций с данными без утраты исторической достоверности исходных данных.

Проблема 2. В ходе создания информационной системы была обнаружена проблема исторической вариативности топонимов: один и тот же населенный пункт может иметь различные названия в разные временные периоды, оставаясь при этом физически и административно неизменным. Эта особенность создавала риск дублирования и фрагментации данных в информационной системе, что потенциально могло привести к искажению результатов пространственно-временного анализа.

Для устранения данного недостатка была введена система уникальной идентификации населенных пунктов. Каждому географическому объекту был присвоен уникальный идентификационный код, интегрированный как в электронные таблицы, применяемые исследователями для ввода данных, так и в структуру базы данных информационной системы. Это решение позволило абстрагироваться от конкретных исторических названий, сохранив полную информацию об истории топонимии каждого населенного пункта.

В рамках этапа оптимизации были реализованы следующие задачи:

- Рационализация структуры и семантики полей базы данных с целью минимизации рисков дублирования информации при документировании исследовательских данных.

- Унификация форматов данных для обеспечения эффективности последующих процессов обработки и анализа.

Каждая итерация модификации структуры таблицы подвергалась тестированию с использованием тестовых исторических данных и сопровождалась анализом полученных результатов в рамках исследовательской группы. Процесс верификации включал оценку удобства использования и проверку целостности данных при ее последующей экстракции. Результирующая архитектура таблицы была оптимизирована с учетом двух требований: обеспечения эргономичности процесса документирования данных для историков-исследователей и соответствия принципам нормализации реляционных баз данных для последующей миграции информационного массива.

Архитектура системы разрабатываемого ресурса содержит следующие ключевые характеристики к интеграции исторических геоданных.

1.1. Принцип агрегации данных с сохранением контроля владельцев

В процессе разработки информационного ресурса приоритетной задачей являлась имплементация механизма интеграции данных посредством привычных инструментов, таких как электронные таблицы, не требующих от пользователей специализированных компетенций в области информационных технологий и опыта взаимодействия с геоинформационными системами на уровне баз данных.

В концептуальной основе проекта намеренно исключена функция становления фондом-аккумулятором, поскольку данный подход сопряжен с проблематикой актуализации данных в контексте регулярного уточнения исторических геопространственных показателей ^[11]. В качестве методологической базы была избрана альтернативная концепция, заключающаяся в агрегировании данных с последующей верификацией их соответствия системным требованиям системы, обеспечивающим функциональную совместимость в рамках веб-ресурса.

Разработанная система предоставляет пользователям инструментарий для аналитической обработки и модификации данных: фильтрации и визуализации, выступая в качестве интерфейса доступа к информационным массивам. При этом сохраняется принцип децентрализованного хранения первичных данных. Таким образом исходные данные остаются под контролем непосредственно самих авторов публикации, имеющих возможность осуществлять удаление, модификацию и добавление новых записей, что обеспечивает динамическую актуализацию данных без привлечения централизованного администрирования.

1.2. Система долговременного хранения данных и механизмы их восстановления

В качестве ресурса-агрегатора система обеспечивает функционал долгосрочного хранения пользовательских данных посредством дуальной архитектуры: параллельного размещения исходных файлов в специализированном объектном хранилище и структурированной записи их содержимого в реляционную базу данных.

Использование специализированного хранилища с объектно-ориентированной архитектурой обеспечивает масштабируемость и безопасность системы. Распределенная архитектура хранилища гарантирует высокую степень доступности данных даже при дисфункции отдельных узлов системы. Интегрированные механизмы автоматического восстановления и верификации целостности данных существенно минимизируют риски утраты оригинальных пользовательских материалов. Целесообразность экстракции и последующей записи данных в PostgreSQL обусловлена рядом факторов. Первоначально, система обеспечивает строго детерминированный формат хранения каждого информационного элемента. Это оптимизирует администрирование крупных массивов данных и редуцирует вероятность возникновения ошибок. Далее, реляционные базы данных интегрируют развитый инструментарий аналитической обработки. Специализированное расширение PostGIS предоставляет крупный функционал для манипуляций с геометрическими объектами, включая калькуляцию дистанций, детекцию ближайших точек, анализ пространственных пересечений и конструирование комплексных геопространственных запросов. Дополнительным преимуществом является использование стандарта SQL, что обеспечивает потенциальную возможность миграции на альтернативные системы управления базами данных или интеграции с другими ГИС-решениями в случае необходимости.

1.3. Протоколы стандартизации и оформления загружаемых данных

На начальной стадии разработки была сформирована электронная структурированная таблица, обеспечивающая возможность ввода данных посредством стандартизованного программного обеспечения, широко применяемого в академической среде. Такой подход существенно оптимизирует процесс рекрутинга исследовательского персонала, исключая необходимость в специализированных компетенциях в области использования баз данных и геоинформационных систем.

Для автоматизированной обработки входных данных были реализованы два специализированных микросервиса на Java. Первый сервис был воплощен с использованием библиотеки Apache POI для экстракции и валидации информации из загружаемых файлов с последующей записью в структурированное табличное хранилище PostgreSQL. На этапе извлечения данных происходит их проверка на соответствие необходимым форматам: валидация координат и проверка типов данных соответствующих полей, и в случае ошибки, пользователь получит сообщение с указанием кода ошибки. В случае успешной записи, событие отправляется в Apache Kafka с гарантией exactly-once доставки, через транзакции Kafka. Второй сервис обеспечивает сохранение валидных данных в отдельную базу с расширением PostGis, предназначенную для хранения и манипулирования географическими данными. Разделение сервисов необходимо для того, чтобы изолировать логику сохранения необработанных данных и их последующее преобразование в модели для конечной базы данных сервиса. Данное архитектурное решение позволяет сохранять адаптивность сервисов: модификация алгоритмов обработки исходных данных или интеграция других источников данных, не влияет на работу смежного сервиса. Данный подход позволит повысить отказоустойчивость в случае дисфункции одного из сервисов, благодаря чему исходные данные первого сервиса остаются неизменными, и могут быть обработаны после восстановления.

Для координации сервисов выбран Apache Kafka с exactly-once семантикой, что исключает дублирование событий (Kafka Transactions API). Данная мера является критичной для поддержания атомарности операций, гарантируя выполнение всей последовательности операций либо возвращение в исходное состояние. Условная функциональная схема взаимодействия указанных сервисов представлена на рисунке 1.

Рис 1. Схема взаимодействия сервисов автоматизированной обработки входных данных

Пользовательские возможности информационно-аналитического ресурса «Православный ландшафт таежной Сибири: акторы, институты, сети» включают геоинформационную составляющую системы, которая реализуется через комплексную архитектуру пространственного анализа данных. Главный компонент геопространственной системы основан на использовании библиотеки Leaflet, функционирующий в комбинации с картографическими тайлами от MapBox, интегрированная с PostGIS через серверную часть для обработки и визуализации пространственных данных. Система характеризуется поддержкой множественных картографических проекции с автоматической конвертацией координат. EPSG:4326 представляет собой базовый формат хранения пространственных данных, обеспечивающий совместимость с современными геоинформационными сервисами.

Функционал системы включает в себя инструментарий для проведения пространственно-аналитического исследований различного уровня сложности, варьирующихся от базовых операций геометрического наложения до алгоритмов кластеризации. В целях оптимизации производительности при процессах обработки больших объемов данных внедряются механизмы пространственного индексирования и динамическая агрегация данных в зависимости от масштаба отображения. Система работает с форматом пространственных данных GeoJSON, а встроенный модуль валидации данных проверяет корректность загруженных данных, предотвращая ошибки и поддерживая целостность базы.

Интерфейс системы обеспечивает пользователям инструментарий для интерактивной визуализации с возможностью динамического изменения параметров отображения, аналитической обработки пространственно-временных данных и построения тематических карты и временных срезов.

Заключение

В рамках текущего этапа разработки информационно-аналитической платформы «Православный ландшафт таежной Сибири: акторы, институты, сети» представляется возможным решение ряда ключевых задач в области цифровой истории и цифрового исторического источниковедения:

- Систематизация использования и интегрирования разнородных источников данных (включая картографические, статистические и нарративно-повествовательные материалы), которые могут быть представлены как в формате специализированных исследовательских баз данных, так и в виде цифровых коллекций исторических документов и текстов.

- Обеспечение долгосрочного хранения и архивации исторических данных.

- Реализация интерактивной визуализации с возможностью динамической модификации параметров отображения.

На данном этапе платформа закладывает методологические и технологические основы для последующего взаимодействия между специалистами в области гуманитарных наук и информационных технологий в контексте проведения совместных научных исследований и разработки образовательных программ, направленных на формирование у студентов междисциплинарного мышления и компетенций.

Работа проводилась при финансовой поддержке РНФ № 23-78-10119.