Корректировка результатов OCR-распознавания текста исторического источника с помощью нечетких множеств (на примере газеты начала XX века)

На современном этапе социально-гуманитарные науки всё чаще обращаются к методам машинной обработки текстов. Для специалистов в области исторической информатики стали классическими задачи сетевого анализа смысловых категорий газетных текстов ^[1]; определения авторства по устойчивым паттернам стиля, формализованного в грамматических категориях текста ^[2]; семантического сравнения корпусов текстов методами контент-анализа ^[3]. Появляются новые направления: разведочный анализ исторических источников посредством тематического моделирования ^[4], применение искусственного интеллекта в задачах восстановления поврежденных источников ^[5]. Все эти направления объединяет требование к качеству оцифрованного и распознанного текста. Сегодня уже излишним представляется обсуждение вопроса о степени влияния качества подготовки текста на итоговые результаты моделей любого уровня сложности ^[6]. Мировое сообщество исследователей настолько ясно осознает необходимость создания наиболее точных и гибких инструментов распознавания текста, что данную область можно назвать чуть ли не единственной вспомогательной дисциплиной исторической науки, для которой развитие методов AI и NLP (natural language processing) привело к знаковому росту количества публикаций. Только за последние три года на сайте Paperswithcode можно найти более 40 публикаций, посвященных проблематике перевода исторических источников в машиночитаемый вид ^[7]. И мы говорим только о публикациях, авторы которых оставили сообществу все свои программные наработки в открытом доступе.

Наша статья посвящена попытке применения современных методов NLP для оптимизации процесса распознавания текста исторических источников. Сегодня существует несколько популярных платформ для проведения этой процедуры. В этом контексте безусловно стоит отметить европейский проект Transkribus, прямо декларирующий своей целью распознавание именно исторических текстов. Ключевым преимуществом своей платформы разработчики считают наличие большого количества предобученных языковых моделей для разных эпох (как для рукописных, так и для печатных текстов). Transkribus – это платформа для исследователей, требующая внесения ежегодных взносов и предоставляющая право долевого участия в проекте. Речь идет о доступе к огромной библиотеке пользователей шаблонов, созданных с помощью встроенного инструментария платформы. Для русского языка доступны пять таких моделей: две для печатного шрифта XVIII века и три – для рукописных текстов конца XIX-начала XX в. ^[8]. Другой популярный инструмент для распознавания исторических текстов – программа ABBY FineReader. В стандартную библиотеку FineReader входит дореволюционный русский язык, что может оказаться крайне удобно для исследователей, работающих с газетными или другими печатными текстами XIX – нач. XX в. Данная программа предоставляет возможность создания пользовательских шаблонов, добавляющих в библиотеки FR новые символы, обученные по инструкции исследователя. В случае с газетными материалами начала XX в. данная функция может существенно повысить качество распознавания сложных символов, не имеющих аналогов в стандартных словарях: например, специфических дробей или сокращений.

Рис. 1. Скан номера Биржевых ведомостей за (17 (30) янв.) 1905 года, № 8618. Красным цветом выделены символы, для которых исследователю вероятно придется создавать пользовательские шаблоны в любой из программ OCR

Еще один многообещающий проект – OCR-D – большая совместная разработка модуля Python немецкими специалистами в области Digital Humanities и прилагающейся к нему системы API для распознавания готического шрифта XVI -XVIII веков ^[9]. Интересен данный проект заявленной целью создания комплекса публично доступных пакетов, содержащих оптимизированные под исторические источники функции распознавания, а также предобученные модели, ключевой особенностью которых будет упор на качественное сегментирования текста на оцифрованной странице.

Сегодня проект находится на финальной стадии разработки, уже в 2024 году планируется масштабное применение технологии для перевода в машиночитаемый вид коллекции библиотеки Галле-Виттенбергский университета – ключевого партнера OCR-D. В России схожий проект реализуется, например, в Российской академии народного хозяйства и государственной службы (РАНХиГС) силами команды под руководством Р.Б. Кончакова ^[10]. Проект предполагает распознавание коллекции рукописных листов губернаторских отчетов с последующим созданием универсального приложения для оцифровки рукописных исторических источников. И хотя возможность создания подобного универсального приложения сегодня дискуссионна, данное начинание безусловно является шагом на пути дальнейших цифровизации исторических исследований.

* * *

Этот краткий обзор предваряет наше исследование. Дело в том, что любой исследователь, решающий воспользоваться инструментами распознавания отсканированных текстов, столкнется с рядом ограничений точности конвейера (последовательности операций распознавания). И даже наиболее качественно обученные модели могут давать существенную ошибку как минимум по причине неудовлетворительного состояния дошедшего до нас источника: порезы, изгибы, кляксы, стертые буквы – всё это мешает качественному распознаванию. Из-за этого, пытаясь распознать слово «акционер», исследователь может получить «ак_.онер», «акпионер», «акцноиер» и т.п. Данная статья предлагает одно из решений обозначенной проблемы. Стоит заметить, что предложенная методика подойдет только в том случае, если последующая обработка текста, предшествующая формализации, будет включать в себя лемматизацию и фильтрацию по критерию TF-IDF (или схожую с ним метрику оценки значимости слова в тексте и корпусе). (см. Приложение 1)

Большая часть исторических исследований, включающих компьютеризованный анализ текста, предполагает либо заданный, либо искомый набор категорий, отражающих семантическое ядро корпуса изучаемых текстов. В случае с контент-анализом такая система категорий задается исследователем; в случае с тематическим моделированием – система тем и слов, отражающих эти темы, определяется машинным способом, без участия исследователя. Обе методики предполагают количественную оценку наличия в текстах тех слов, которые маркируют тематики, интересующие исследователя. В ряде исследований такой набор задавался изначально еще на подготовительном этапе ^[11].

Наше исследование, для которого и была разработана описываемая в статье методика оптимизация распознавания текстов исторических источников, посвящено изучению доходности ценных бумаг на Санкт-Петербургской фондовой бирже в начале XX в. с позиции поведенческих финансов. Нас интересуют принципы стоимостной оценки публичных компаний – как определялись приемлемые или недостаточные уровни капитализации, можно ли выделить отраслевую специфику; вопросы выплаты купонов и дивидендов – какие уровни доходности считались достаточными и можем ли мы говорить о наличии какого-либо бенчмарка (бумаги-эталона с безрисковой ставкой) для деловой среды начала XX в. В качестве одного из основных источников была выбрана газета «Биржевые ведомости», в ежедневных выпусках которой велась биржевая колонка, где печатался комментарий хроникера, в котором описывался настрой участников торгов и нередко приводился подробный анализ текущей ситуации в экономике Российской империи. В колонках «Биржевых ведомостей» часто встречаются аналитические заметки о доходности ценных бумаг; под какой процент размещается очередная эмиссия государственных долговых бумаг; на каком уровне относительно номинала торгуются эти бумаги; соответствует ли предлагаемый процент актуальной статистике денежного рынка и как объяснить курсовую динамику последних дней. Для исследования было решено собрать коллекцию таких заметок, чтобы на её основе выделить устойчивые аналитические паттерны, характерные для биржевой прессы в вопросах, касающихся доходности ценных бумаг. Мы воспользовались материалами оцифрованного комплекта «Биржевых ведомостей» с сайта Российской национальной библиотеки (447 отсканированных номеров за 1905 и 1913 года, утренние и вечерние выпуски).

Рис. 2. Скан номера «Биржевых ведомостей» за (25 окт. (7 нояб.)) 1913, № 13822 (25 окт. (7 нояб.)). Нас интересует колонка «Извлечение из протокола вторичного чрезвычайного собрания акционеров».

Рис. 3. Результаты распознавания газетного текста. На рис. 3 выделены примеры неудачно распознанных слов, которые оказываются важны для реализации формализованного анализа текста в рамках нашего исследования. Также на первой строчке мы можем наблюдать «мусорные» последовательности символов, распознанных некорректно.

Наше предположение состояло в том, что, используя заранее заданный набор слов, маркирующих присутствие интересующей нас темы (доходность ценных бумаг), с помощью модуля нечетких множеств (Fuzzy sets) из NLP-библиотеки SpaCy, мы сможем восстановить по шаблонам те слова, которые по итогам процедуры распознавания оказались распознаны с ошибками ^[12]. Для того чтобы использовать весь мощный потенциал обученных моделей русского языка в SpaCy (в том числе для последующей лемматизации и бинаризации), мы перевели распознанный текст из дореволюционной орфографии в современную посредством использования библиотеки Russpelling для языка программирования Python, разработанной И. Бёрном и Д. Бёрнбаумом в рамках проекта Софийского университета по применению методов NLP в области славянской филологии ^[13]. Здесь же стоит заметить, что используемая далее библиотека SpaCy доступна как для Python, так и для популярного в социально-гуманитарных науках языка программирования R ^[14].

Далее все слова в распознанных источниках были проверены на орфографию через модуль pyenchant на основе публично доступного словаря русского языка от LibreOffice. Мы предположили, что все неправильно распознанные слова данный тест на правописание не пройдут. Сохраняя все слова на своих местах, мы отобрали все непрошедшие тест слова в отдельную коллекцию. Для восстановления оригинального слова методом нечетких множеств по расстоянию Левенштейна (через эту метрику реализованы все операции нечеткого сравнения в SpaCy, см. Приложение 1) нам было необходимо задать набор шаблонов. Так, мы выбрали следующие слова, которые маркируют интересующие нас тему:

Таблица 1. Перечень паттернов Fuzzy-match и соответствующих им форм слов.

На следующем этапе все слова, непрошедшие тест на правописание, сравниваются с приведенным набором шаблонов. Если по расстоянию Левенштейна (использовался порог в 1 или 2 перестановки) из поданного в конвейер слова невозможно восстановить шаблон – оно удаляется из текста. Здесь может возникнуть вопрос, насколько правомерным может быть такое удаление. Поскольку в нашем исследовании и так применяется TF-IDF фильтр, взвешивающий относительную значимость слов для отдельного текста и корпуса в целом, можно резонно предположить, что большая часть плохо распознанных слов в любом случае бы подлежала удалению как фоновая лексика. Если по нашему тесту нечеткого совпадения из слова можно восстановить заданный шаблон – мы заменяем в распознанном тексте слово с ошибкой на слово-шаблон, определенный методом fuzzy-match. Так, слово «акпионер» заменится на «акционер», «.ронды» на «фонды» и т.д.

Рис. 4. Результат работы конвейера нечетких множеств. Текст, представленный на рис.3, был успешно очищен и восстановлен.

На рис. 4.можно наблюдать результат проведения операций по преобразованию искаженного текста, который теперь удобно поддается семантическому анализу всеми доступными средствами компьютеризированной обработки текста.

Для проверки качества процедуры восстановления текста на выборке из 50 номеров газеты «Биржевые ведомости» мы посчитали оценки количества слов, которые бы не вошли в семантический анализ из-за неправильного распознавания. Все метрики были посчитаны также с использованием паттернов нечетких множеств. Оказалось, что в среднем на номер «Биржевых ведомостей» приходится 938.9 слов, маркирующих тему нашего исследования – торговые и финансовые операции с ценными бумагами. Из них изначально правильно распознаются в среднем 87.2% слов. Примерно 119.6 слов (в среднем на 50 номеров) содержат опечатки, связанные с некорректным распознаванием. Благодаря использованию алгоритмов нечетких множеств нам удалось эти слова восстановить и включить в семантический анализ. Мы считаем, что восполнение 12.8% слов, потенциально относящихся к изучаемой теме (перечисленных в Таблице 1) – это хороший результат, существенно повышающий качество дальнейшего семантического анализа текста методами компьютерного моделирования. С помощью предложенной методики мы смогли обработать все вошедшие в нашу коллекцию номера газет.

Для интересующихся читателей мы оставляем ссылку на доступ к предложенному автором программному коду, исходным материалам и распознанным текстам ^[15].

***

Таким образом, можно констатировать, что применение методов нечетких множеств позволяет существенно повысить качество распознания текста в тех случаях, когда распознавание не рассматривается как конечная цель задачи исследователя, работающего с документов. Безусловно, описанная методика является частным случаем для задачи тематического моделирования и/или контент-анализа, когда исключение некоторых слов документа является частью комплекса операций по предобработке текста. Мы считаем, что применение алгоритмов нечетких множеств в проектах по распознаванию текстов, находящихся на архивном хранении, потребует принципиально иной архитектуры конвейера. Не имея возможности исключать слова, а также следуя необходимости соблюдать грамматическую согласованность текста, исследователь, намеренный применить алгоритмы нечетких множеств, будет решать задачу совершенно иного порядка, требующую детального учета контекста каждого слова. Однако в то же время представленный в данной статье пример показывает, что область Fuzzy-технологий обладает значительным потенциалом в задачах оптимизации текстового распознавания.

Приложение 1: Словарь определений

Расстояние Левенштейна. В теории информации, лингвистике и информатике расстояние Левенштейна (LEV) — это строковая метрика для измерения разницы между двумя последовательностями. Неформально расстояние Левенштейна между двумя словами можно трактовать как минимальное количество односимвольных правок (вставок, удалений или замен), необходимых для замены одного слова другим. Например, LEV(«Крт», «Кот») = 1, так как потребуется провести одну замену “Р” на “О”. Названо в честь советского математика Владимира Левенштейна, предложившего эту метрику в 1965 году.

Нечеткое множество — понятие, введённое Лотфи Заде в 1965 году в статье «Fuzzy Sets», в котором он расширил классическое понятие множества, допустив, что характеристическая функция множества (названная Заде функцией принадлежности для нечёткого множества) может принимать любые значения в интервале (0,1), а не только значения 0 или 1. В нашей статьи мы предполагаем, исходя из нечеткой логики, что хотя слово «акп-онер» написано неверно, сам объект (слово в изучаемом тексте) приводим к форме «акционер», а допустимой мерой «нечеткости» является расстояние Левенштейна, равное 2.

TF-IDF (от англ. TF — term frequency, IDF — inverse document frequency) — статистическая мера, используемая для оценки важности слова в контексте документа, являющегося частью коллекции документов или корпуса. Вес некоторого слова пропорционален частоте употребления этого слова в документе и обратно пропорционален частоте употребления слова во всех документах коллекции.