Применение методов тематического моделирования в задачах распознавания темы текста для обнаружения телефонного мошенничества

Плешакова Екатерина Сергеевна ORCID: 0000-0002-8806-1478 кандидат технических наук доцент, кафедра Информационной безопасности, Финансовый университет при Правительстве Российской Федерации 125167, Россия, г. Москва, пр-д 4-Й вешняковский, 12к2, корпус 2 Pleshakova Ekaterina Sergeevna PhD in Technical Science Associate Professor, Department of Information Security, Financial University under the Government of the Russian Federation 125167, Russia, Moscow, 4th Veshnyakovsky Ave., 12k2, building 2 espleshakova@fa.ru Другие публикации этого автора     Гатауллин Сергей Тимурович кандидат экономических наук декан факультета «Цифровая экономика и массовые коммуникации» Московского технического университета связи и информатики; ведущий научный сотрудник Департамента информационной безопасности Финансового университета при Правительстве РФ 111024, Россия, г. Москва, ул. Авиамоторная, 8А Gataullin Sergei Timurovich PhD in Economics Dean of "Digital Economy and Mass Communications" Department of the Moscow Technical University of Communications and Informatics; Leading Researcher of the Department of Information Security of the Financial University under the Government of the Russian Federation 8A Aviamotornaya str., Moscow, 111024, Russia stgataullin@fa.ru Другие публикации этого автора     Осипов Алексей Викторович кандидат физико-математических наук доцент, Департамент анализа данных и машинного обучения, Финансовый университет при Правительстве Российской Федерации 125167, Россия, г. Москва, ул. 4-Й вешняковский, 4, корпус 2 Osipov Aleksei Viktorovich PhD in Physics and Mathematics Associate Professor, Department of Data Analysis and Machine Learning, Financial University under the Government of the Russian Federation 125167, Russia, Moscow, 4th veshnyakovsky str., 4, building 2 avosipov@fa.ru Другие публикации этого автора     Романова Екатерина Владимировна кандидат физико-математических наук доцент, кафедра Департамент анализа данных и машинного обучения, Финансовый университет при Правительстве Российской Федерации 125167, Россия, г. Москва, пр-кт Ленинградский, 49/2 Romanova Ekaterina Vladimirovna PhD in Physics and Mathematics Associate Professor, Department of Data Analysis and Machine Learning, Financial University under the Government of the Russian Federation 125167, Russia, Moscow, 49/2 Leningradsky Ave. EkVRomanova@fa.ru Другие публикации этого автора

Марунько Анна Сергеевна студент, кафедра Департамент анализа данных и машинного обучения, Финансовый университет при Правительстве Российской Федерации 125167, Россия, г. Moskow, ул. Leningradskiy Prospect, 49/2​ Marun'ko Anna Sergeevna Student, Department of Data Analysis and Machine Learning, Financial University under the Government of the Russian Federation 49/2 Leningradskiy Prospect str., Moscow, 125167, Russia​ marunko94@gmail.com

Статья подготовлена в рамках государственного задания Правительства Российской Федерации Финансовому университету на 2022 год по теме «Модели и методы распознавания текстов в системах противодействия телефонному мошенничеству» (ВТК-ГЗ-ПИ-30-2022).

Введение

Интеллектуальный анализ текста может быть реализован путем анализа терминов слова или фразы. NLP (Natural Language Processing) позволяет решать такие задачи как распознавание текста, распознавание конфиденциального или спам сообщения, распознавание тем, классификация документов. Анализ помогает обработать текстовые данные в бизнес-аналитике или изучить впечатления людей о бренде в маркетинге на основе постов в социальных сетях, а также для обнаружения фишинга. Фишинг является наиболее распространенных атакой, при которой пытаются украсть конфиденциальную информацию, выдавая себя за законный источник. Используемым методом фишинга являются фишинговые электронные письма. Для решения этой проблемы могут быть использованы методы обработки естественного языка и машинного обучения. Практическая значимость обучения моделей распознавать смысл текста заключается в создании основы для дальнейшего, более глубокого анализа.

Естественный язык, как правило, структурирован и имеет свои правила: грамматика, синтаксис, семантика (то, как слова со своими значениями формируют предложения, у которых тоже есть свои значения) ^[2,3].

Распознавание темы текста – это классификация или его обобщение. Когда тексту присваивается тема, сначала его необходимо сократить и вынести из него главный смысл. Тогда будет возможно отнести его к какой-либо тематике ^[4]. Мы использовали модели обобщения текста для распознавания его темы, так как задача распознавания темы текста предполагает не только обыкновенную классификацию, но и исследование паттернов (шаблонов). Более того, исследования паттернов и классические модели обобщения текста позволяют воспользоваться обучением без учителя.

Корпус текстов является векторным пространством, где каждый текст – это отдельный вектор. При этом измерения каждого вектора – это число уникальных слов и/или фраз во всём векторном пространстве. Наполнение вектора – веса терминов в тексте. Данная концепция, в основном, используется в каждом способе построения признаков из текстовых данных, а различает их то, как определяются слова/фразы и их веса ^[5].

Для определения темы текста или его сокращения есть мы будем использовать такие концепции как извлечение ключевых фраз и моделирование тем.

Создание набора данных и его предобработка

Набор данных, который мы сформировали для обучения и тестирования, получен с сайта проекта Project Gutenberg. Представляет собой разнообразные сборники сказок разных народов мира. Каждая книга была представлена единым файлом, но для моделей семейства Topic modeling (Моделирование тем) необходимо иметь набор данных из множества файлов. То есть, каждая сказка должна быть в отдельном файле. Чтобы разделить около 50 книг на отдельные файлы, была построена специальная функция с помощью регулярных выражений. Функция включает в себя разбивку текстов на файлы, а также очистку от «выбросов».

Таким образом, получился набор данных из 1651 сказки, с которым можно более подробно ознакомиться по ссылке: https://github.com/AnnBengardt/Course_paper_ML/tree/main/Dataset.

После создания набора данных необходимо выполнить его предобработку для дальнейшего построения корпуса и моделей. Предобработка включает в себя: удаление букв не из английского алфавита (Æ, Œ, Ö, Å и т. д.), очистка от html-тэгов, от специальных символов (~, *, $ и т. д.), от соединений (I'm, he'll, we'd и т. д.), от повторов символов, от английских стоп-слов, от чисел. Также будет проведена лемматизация слов.

Реализация извлечения ключевых фраз (Keyphrases Extraction)

В извлечении ключевых фраз есть два подхода. Первый – Collocation (Словосочетание) – работает на основе N-грамм ^[6-8]. Идея заключается в том, что необходимо построить корпус, где каждый документ – это часть одного текста, абзац или предложение. Далее, с помощью токенизации корпус трансформируется в одно большое предложение, по которому алгоритм, можно сказать, «прокатывается», рассматривая каждую N-грамму и подсчитывая либо просто частоту повторений, либо PMI (Pointwise Mutual Information – Поточечная взаимная информация) по формуле (1): (1)

Где p – это вероятность возникновения термина или двух терминов вместе.

После подсчёта одной из метрик алгоритм сортирует их, тогда можно вывести и проанализировать самые релевантные и нерелевантные N-граммы.

Второй подход извлечения ключевых фраз – взвешенное извлечение фраз на основе тэгов (Weighted tag-based phrase extraction). Сначала алгоритм извлекает все фразы с существительными с помощью тэгов частей речи (Part of Speech tags), это часто встречающийся инструмент в NLP. Далее, к полученным выдержкам из текста применяется модель TF-IDF. Соответственно, самые релевантные фразы – те, которые имеют самые высокие веса в полученной матрице.

Collocations хорошо реализован в библиотеке NLTK в виде BigramCollocationFinder и TrigramCollocationFinder для поиска словосочетаний из двух и, соответственно, трёх слов. Для подсчёта подходящих фраз воспользуемся способом обычных частот (raw frequency).

Реализуем CollocationFinder как к полному набору данных, так и только к первым пяти.

Рисунок 1. Биграммы и триграммы для всех и первых пяти текстов

В результате мы видим, какие биграммы и триграммы являются самыми часто встречаемыми для всех данных (первая строка). В первом случае это довольно общие фразы, которые мало о чём могут сообщить: old man, next day, upon time lived, early next morning. Однако, во втором случае можно уже проследить имена главных героев: Earl St. Clair, Robin Redbreast, Elfin King. Также видна тема про рождество северных народов: cold winters day, Merry Yule (Рождество в Скандинавии).

Реализуем взвешенное извлечение фраз на основе тэгов. Функция keywords из genism.summarization создаёт результат для каждой сказки, у всех слов и фраз имеется свой вес, определяющий их значимость в тексте.

Рисунок 2. Результат взвешенного извлечения фраз на основе тэгов

В целом, извлечение ключевых фраз помогает представить, о чём идёт речь в некоторых текстах. Однако этого недостаточно, чтобы сделать окончательные выводы, особенно если нет понимания контекста. Следовательно, обратимся к более подходящему для задачи семейству моделей – Topic Modeling.

Построение признаков для моделирования тем

Была использована библиотека Gensim, созданной специально для решения задач распознавания тем текста с помощью машинного обучения без учителя ^[9-11]. Каждая модель в Gensim использует разные способы векторизации текста и построения признаков из полученного векторного пространства, но в то же время каждой модели достаточно получить представление текстового корпуса в виде мешка слов (Bag of words) и словаря соответствий (пары индекс – слово). Таким образом, для моделирования достаточно лишь преобразовать набор текстов в мешок слов.

Ради повышения эффективности будущих моделей перед преобразованием в общем лексиконе корпуса были выделены биграммы моделью Phrases.

Рисунок 3. Результат работы модели Gensim Phrases

На рисунке 3 можно заметить, что некоторые слова слились в биграммы через нижнее подчёркивание: seven_year, shake_head.

Далее, с помощью gensim.corpora.Dictionary был создан словарь со всеми уникальными словами, которые используются в корпусе, и их индексами. Изначально словарь состоит из 25 743 слов, что избыточно для поиска отдельных тем и может, напротив, ухудшить модели. Чтобы успешно выполнить поставленную задачу, необходимо избавиться от выбросов.

Изначально были выбраны условия удалить слова, встретившиеся по всему набору данных менее 20 раз, а также те слова, которые появились в более 60% текстов. После нескольких итераций выяснилось, что более эффективный набор лексикона получается при параметрах 15 раз и 75%.

По окончанию очистки длина словаря составила 4963 слова, и теперь из него можно создать мешок слов. Для этого у объекта dictionary тоже есть функция – doc2bow. Таким образом каждый текст в корпусе векторизуется на основе общего словаря.

Построение моделей: LSI, LDA, NMF Моделирование тем (Topic Modeling) это большое семейство моделей, в данной работе для решения поставленной задачи будут использованы три разновидности: латентно-семантическое индексирование (LSI), латентное размещение Дирихле (LDA), неотрицательное матричное разложение (NMF) ^[12].

Главный принцип модели LSI похожие слова и фразы используются в одинаковом контексте и, поэтому, часто встречаются вместе. Таким образом можно обнаружить термины, которые коррелируют друг с другом и тем самым создают тематику текста ^[13].

Алгоритм LSI основан на сингулярном разложении. Это алгебраическая концепция, используемая в том числе и для обобщения текста. Сингулярное разложение позволяет представить исходную матрицу M в таком виде, что (2): (2)

Где:

U – это такая унитарная матрица размерностью m x m, что UTU = Imxm. При этом I – это единичная матрица, а столбцы U показывают левые сингулярные векторы.

S – диагональная матрица m x n с положительными вещественными числами на диагонали. Также может быть представлена вектором размерностью m, в котором находятся сингулярные значения.

VT – это такая унитарная матрица n x n, что VTV = Inxn. При этом I – это единичная матрица, а ряды V показывают правые сингулярные векторы.

В LSI сингулярное разложение прежде всего используется для примерного определения ранга матрицы, когда идёт определение исходной матрицы M от матрицы M^. M^ в свою очередь – это обрезанная часть исходной матрицы с рангом k и может быть определена сингулярным разложением как:

(3)

Где S^ — это обрезанная часть исходной матрицы S, состоящая теперь из k самых больших значений матрицы S.

На сегодняшний день модель LDA является самой популярной и хорошо изученной моделью во многих областях и многочисленных наборах инструментов, таких как Machine Learning for Language Toolkit (MALLET). LDA напоминает LSI в том, что оба подхода предполагают, что один текстовый документ находится под влиянием сразу нескольких тем с разными вероятностями. Однако в случае с LDA эти вероятности находятся под влиянием размещения Дирихле для лучшего обобщения данных. Размещение Дирихле можно назвать «распределением распределений» ^[14]. По окончании алгоритма получаются распределения тем для каждого текста, с помощью которых можно выявить ключевые составляющие слова для каждой тематики.

NMF — это метод матричной факторизации (линейной алгебры) без учителя, который позволяет одновременно выполнять как уменьшение размерности, так и кластеризацию. NMF оперирует лишь над неотрицательными матрицами. Получив неотрицательную матрицу V на вход, которая, как правило, является построенным для моделирования признаком, NMF ищет такие матрицы W и H, чтобы их произведение примерно воспроизводило исходную матрицу V. Также для получения лучших результатов примерного восстановления матрицы V применяется нормализация (L2 или Евклидова норма).

(4)

(5)

Реализации всех выбранных моделей самостоятельно строят и используют необходимые им признаки. Так, например, LDA использует сугубо обычную частоту терминов и Мешок слов, а LSI – TF-IDF. Вследствие этого для последующего моделирования этих трёх подходов необходимо создать лишь Мешок слов. Автоматизированные модели впоследствии сами трансформируют его в необходимые признаки.

Для оценки качества моделей в данной работе будет использована отдельная модель – Coherence Model (Модель Согласованности). Она оценивает несколько метрик моделирования через «конвейер»: сегментация (деление слов в текстах на пары для подсчёта оценки); подсчёт вероятностей (так же, как и в PMI, вычисляются вероятности возникновения каждого слова и пар слов вместе); измерение подтверждения (с помощью полученных вероятностей идёт расчёт оценки, насколько хорошо слово А из пары АБ поддерживает слово Б и наоборот). Далее, все значения агрегируются в одно через математическую функцию и получается конечная оценка согласованности (Coherence Score).

Более того, существуют несколько вариантов подсчёта оценки, реализованные в Модели согласованности. В данной работе будут использованы методы «UMass» и «CV» для сравнения и оценки результатов моделирования.

(6)

Где D(wi, wj) – сколько раз эта пара слов появилась вместе, D(wi) – сколько раз это слово появилось одно ^[8].

(7)

Где P(w) – вероятность увидеть слово в контекстном окне, P(wi, wj) – вероятность увидеть два слова вместе в контекстном окне.

Модель Gensim LSI (Латентно-семантическое индексирование) строится на основе мешка слов и словаря, но внутри мешок слов преобразовывается в матрицу TF-IDF. Рисунок 4 демонстрирует один из способов визуализации полученных тем: так как в модели LSI подразумевается, что слова можно распределить на два направления, которые ведут к разным темам, то веса могут быть и положительными, и отрицательными.

Рисунок 4. Результат построения модели LSI

Для оценки моделей будут использованы метрики согласованности тем (Topic coherence). В Gensim они все реализованы в виде отдельной модели – Coherence Model. Рассчитав метрики CV и UMass, получаем результат:

Латентное размещение Дирихле (LDA) работает именно с мешком слов, никак не преобразовывая в дальнейшем этот признак. Также модель вновь требует словарь и два параметра для распределения – alpha, eta. Они будут заданы как auto. Результатом модели тоже являются темы в заданном раннее количестве, но без деления на направления, то есть все веса положительные (рис. 5).

Рисунок 5. Результат построения модели LDA

Оценка модели несколько ниже, чем в случае с LSI:

Неотрицательное матричное разложение (NMF), как и модели выше, построена на словаре и мешке слов. Полученные темы с принадлежащими им фразами и словами представлены на рисунке 6 (результат представлен без весов, но, как и в случае с LDA, здесь они только положительные).

Рисунок 6. Результат построения модели NMF

Оценка модели:

Подбор гиперпараметра и выбор лучшей модели

В первой итерации получились не самые удовлетворительные результаты. Необходимо максимизировать используемые метрики и выяснить, какое количество тем подходит для каждой модели, а затем выбрать лучшую из них для предсказания тем текстов на тестовой выборке.

Для каждого вида модели были реализованы отдельные функции для их многократного построения и сбора статистики метрик в зависимости от количества тем, на которые делится набор текстов. Будет рассмотрен вариант, что в корпусе присутствуют от 5 до 25 отдельных тем.

Полученный результат представлен на рисунке 7-9: все графики получились разнообразными, при этом LDA и NMF примерно сходятся в результатах, сколько должно быть раздельных тем (19 и 14), а LSI предоставила совсем иной ответ (6 тем).

Рисунок 7. Графики метрик для модели NMF

Рисунок 8. Графики метрик для модели LSI

Рисунок 9. Графики метрик для модели LDA

Итак, лучшими моделями можно выбрать LSI с 6 темами (CCV = 0.3669) и LDA c 19 темами (CCV = 0.3412).

Интерпретация результатов моделирования

Интерпретируем результаты двух выбранных лучших моделей и проверить, какое из двух исконно противоположных предположений окажется более подходящим.

Один из возможных путей наглядно показать то, как текстовый корпус был разделён в разных моделях, — это таблица распределения тем по текстам.

Рисунок 10. Таблица распределения тем по текстам для модели LSI

На основе результатов, продемонстрированных на рисунке 10, делаем вывод, что несмотря на лучшие показатели метрик по сравнению с другими моделями, почти все тексты попали в одну категорию. Данная таблица говорит о том, что, скорее всего, выборка нуждается в улучшении: больше файлов с более разнообразным наполнением. Более того, по описаниям тем видно, что остались слова, засоряющие корпус. Это могло произойти в том числе из-за того, что некоторые сказки написаны в старой стилистике, которую не учитывает модуль stopwords, поэтому такие слова, как «thee», «thy», «sayth», не были удалены.

Несмотря на неудовлетворительный результат модели LSI, следует проверить итоги построения модели LDA с разделением на 19 тем.

Рисунок 11. Таблица распределения тем по текстам для модели LDA

В этот раз видна совершенно другая картина: документы почти равномерно распределены по тематикам, лишь несколько из которых выделяются. При этом невооружённым глазом по столбцу с описаниями можно определить наполнения всех этих выделенных тем. Так, например, темы №3 и №10 явно сформировались от скандинавских мифов: giant, Thor, Loki, Odin, Asgard, bear, monster. Темы №15 и №16 объединяют русские сказки: tsar, Ivan, serpent, Baba Yaga. Тема №12 повествует о море и обо всём, что с ним связано: sea, fish, fisherman, ship, water, sail и так далее.

Данная модель LDA, хоть и с несколько меньшим значением метрик, показала гораздо более удачные результаты. По таблице распределения темы действительно видны, теперь попробуем визуализировать её более наглядно с помощью интертопической карты дистанций (Intertopic Distance Map).

Рисунок 12. Интертопическая карта дистанций

Каждая тема представлена на карте кружком – чем больше его размер, тем больше слов из словаря входит в эту тему. Также справа представлены 30 самых подходящих к этой теме терминов. Красный цвет показывает предсказанную частоту термина для выбранной темы, синий – частота термина по всему корпусу. Если для слова шкала полностью закрашена красным, то оно полностью принадлежит теме, как и представлено на рисунке 12: слово sultan встречается только в теме №8 (арабские сказки). Более того, на самой карте можно наблюдать, насколько темы удалены друг от друга. В данном случае есть примеры полного поглощения: темы №18 и №19 являются подразделами темы №3.

Рационально будет выбрать модель LDA с 19 темами для распознавания тем текстов из тестового набора. Таблица для отображения результатов будет показывать две доминирующих тематики для каждого текста.

Рисунок 13. Таблица распознанных тем текстов из тестовой выборки

На рисунке 13 отчётливо видны северные мифы, рассказы про животных, про королей и путешествия.

Полностью с программной реализацией данной работы можно ознакомиться в открытом репозитории по ссылке: https://github.com/AnnBengardt/Course_paper_ML.

Заключение

Интеллектуальный анализ текста является важной задачей в различных направлениях. Интернет перенасыщен информацией и знаниями, которые могут запутать пользователей и заставить их тратить дополнительное время на поиск подходящей информации по конкретным темам. И наоборот, необходимость анализа коротких текстов стала более актуальной по мере роста популярности микроблогов. Проблема распознавания тем из текста связана с тем, что он содержит относительно небольшие объемы и зашумленные данные, которые могут привести к неточному распознаванию темы. Тематическое моделирование может решить эту проблему, поскольку считается мощным методом, который может помочь в обнаружении и анализе контента. Тематическое моделирование, область интеллектуального анализа текста, используется для обнаружения скрытых шаблонов. Тематическое моделирование и кластеризация документов два важных ключевых термина, схожих по концепциям и функциям. В этой статье тематическое моделирование выполняется с использованием методов LSI, LDA, NMF. В работе было исследовано применение моделей для обработки естественного языка LSI, LDA, NMF. Для наглядности мы сформировали набор данных состоящий из различных текстов. Данные методы показали разные результаты. Для выбора лучшей проведена максимизация метрик. Что позволило выделить две модели LSI и LDA. Экспериментальные результаты показывают, что после улучшении выборки модель LDA показала гораздо более удачные результаты. На основе полученных результатов можно проводить более углубленный анализ текста. Данная работа позволила определить наилучшую модель для распознавания темы и может быть оптимизирована для решения различных задач. В том числе данный метод можно применить для обнаружения фишинговых электронных писем.