Формат хранения данных для аналитических систем на основе метаданных и графов зависимостей между CSV и JSON

Алпатов Алексей Николаевич ORCID: 0000-0001-8624-1662 доцент, кафедра ИиППО, МИРЭА - Российский технологический университет 119454, Россия, г. Москва, ул. Проспекте Вернадского, 78 Alpatov Aleksey Nikolaevich Assistant professor, MIREA - Russian Technological University 78 Prospekt Vernadskogo str., Moscow, 119454, Russia aleksej01-91@mail.ru Другие публикации этого автора

Богатырева Анна Алексеевна студент, кафедра инструментального и прикладного программного обеспечения, МИРЭА-Российский технологический университет 111033, Россия, г. Москва, пр-д Танковый, 4А, кв. 24 Bogatireva Anna Alekseevna Student, MIREA – Russian Technological University 111033, Russia, Moscow, 4A Tankovy ave., 24 sq. pecherni@gmail.com

Введение

Задача интеграции данных в различных научных областях является чрезвычайно важной. Развитие такого направления, как большие данные, привело к появлению большого числа разрозненных инструментов, используемых при проведении различных научных исследований, и написанных с использованием разных стеков технологий, а самое главное, форматы используемых данных разнятся от инструмента к инструменту, что приводит к необходимости переформатирования данных, что для больших данных может быть затруднительно.

Для решения данной проблемы можно использовать разнообразные программные интерфейсы (API-Application programming interface) ^[1]. Данный подход имеет ряд несомненных преимуществ, но одним из существенных недостатков является высокая нагрузка на сериализацию и десериализацию данных, которая может стать серьезным узким местом для приложений. Кроме того, отсутствует стандартизация представления данных, что приводит к тому, что разработчики выполняют настраиваемые интеграции с использованием существующих или настраиваемых систем. Для решения обозначенных выше проблем можно применить альтернативный метод обмена данными: обмен данными с использованием общих форматов файлов, оптимизированных для высокой производительности в аналитических системах. Фактически, способ преобразования формата данных является довольно распространённым способом интеграции данных ^[2]. Наиболее часто данные, без использования узкоспециализированных платформ, накапливаются в форматах CSV, JSON, а в случае таких систем, как Hadoop, может использоваться формат, например, avro.

CSV (Comma-Separated Values) – текстовый формат, предназначенный для представления табличных данных ^[3]. Строка таблицы соответствует строке текста, которая содержит одно или несколько полей, разделенных запятыми. В первой строке допускается указать наименования столбцов данных, но это не является обязательным требованием. Данный формат не предполагает типизацию данных, все значения данных считаются строками. CSV является наиболее часто используемым форматом для хранения структурированных данных, полученных из реляционной базы данных.

JSON (JavaScript Object Notation) – текстовый формат обмена данными, основанный на JavaScript, при этом формат независим от JS и может использоваться в любом языке программирования ^[4]. Формат предназначен для неструктурированных данных, обрел популярность в связи с распространением REST и NoSQL-подхода в хранении данных.

Формат Avro - это компактный, быстрый и сериализуемый формат данных, разработанный Apache Software Foundation ^[5]. Он обеспечивает схему данных в JSON формате, что делает его самоописывающим. Avro поддерживает различные типы данных, сжатие данных и является эффективным для передачи данных между различными системами. Он широко используется в Big Data и распределенных системах для обмена данными и хранения данных.

Основной сложностью использования таких форматов для хранения и представления больших данных является проблема гарантированной доступности метаданных для описания наборов данных с целью их использования в дальнейшем. Метаданные значительно упрощают процесс интеграции разрозненных данных, предоставляя пользователям дополнительную информацию о способах сбора или генерации набора данных, что позволяет оценить качество набора данных. Также в метаданных может заключаться информация об используемых методах при проведении исследований, которые привели к появлению данного датасета. К сожалению, представление метаданных не всегда является общепринятой практикой, что приводит к тому, что метаданные не поставляются или предоставляются в неполном объеме, что усложняет дальнейшее использование набора данных ^[6]. В ходе проведенного анализа, было также выявлено, что рассмотренные форматы также имеют не очень высокие показатели ^[7], но их преимуществом является полная платформонезависимость. Так, они могут не поддерживать сложные структуры данных или не предоставлять достаточного контроля над метаданными, или являются неоптимальными для обработки больших объемов данных из-за своей структуры или ограничений в производительности при чтении/записи.

Таким образом, разработка и использование форматов файлов больших данных, ориентированных на в оптимизацию хранения больших данных, является важной и актуальной задачей.

Разработка формата

Определим частный случай данных, при котором ни CSV, ни JSON не будут являться предпочтительным форматом передачи данных. Этот случай представлен ниже, на рисунке 1, как пример фрагмента диаграммы классов.

Рисунок 1 – Фрагмент диаграммы классов

На диаграмме представлены два класса: Service (список товаров / услуг) и ServiceCost (история цены товара). Service содержит наименование товара, его закупочную цену, описание характеристик и остаток товаров. ServiceCost содержит наименование товара, его стоимость и дату назначения этой стоимости.

Для Service оптимальным форматом передачи данных является CSV-таблица, а ServiceCost удобнее передавать в JSON, так как если добавить эти данные в тот же файл CSV, все данные товара будет дублироваться для каждой его цены. На данный момент предлагается передавать данные в виде двух заархивированных файлов. В листингах 1 и листинге 2 представлена структура этих файлов.

Листинг 1 – Передача Service в файле service.csv

Листинг 2 – Передача ServiceCost в файле service_cost.json

Данный формат все еще будет обладать лишней избыточностью, так как присутствует много лишних символов, но также и обладать недостаточностью информации, так как отсутствует дополнительная информация о типе данных в файлах.

Введем критерий выбора эффективного способа передачи данных для классов Service и ServiceCost, воспользовавшись для этого теорией информации и энтропии. Энтропия представляет собой меру информационной неопределенности данных ^[8]. Она вычисляется путем суммирования вероятностей появления каждого значения данных и их логарифмов по основанию 2 (формула Шеннона) ^[9]. Пусть и будут энтропиями данных в файлах service.csv и service_cost.json. Введём дополнительные весовые коэффициенты для каждой вероятности появления значения данных. Пусть и будут весовыми коэффициентами для вероятностей появления значений данных в CSV и JSON. Эти коэффициенты могут отражать важность каждого значения или контекст, в котором оно используется. Тогда можно использовать энтропию для оценки информационной содержательности и в качестве критерия выбора форматов данных, как показано в (1) и (2).

, (1)

где - вероятности появления данных в записях CSV,

n - количество различных значений в CSV файле.

(2)

где - вероятности появления данных в записях JSON,

m - количество различных значений в CSV файле.

Сравним энтропии данных, на примере CSV и JSON форматов, для определения оптимального формата передачи данных. Меньшая энтропия может указывать на более компактное представление данных. Иными словами, в случае, если , то CSV может быть более оптимальным форматом для передачи данных. В противном случае, если , то JSON может быть предпочтительнее. Или для определения предпочтительного из двух форматов можно использовать немного иной подход учитывающий усложненную энтропию и весовые коэффициенты, как показано в (3).

, (3)

где - коэффициенты, отражающие важность энтропии в каждом формате.

Если , то предпочтительным форматом будет CSV. Если же , то предпочтительным форматом будет JSON. В противном случае, при , форматы хранения данных будут одинаково предпочтительными.

Такой подход позволяет учитывать не только компактность данных, но и возможность включения ключевой информации в самих файлах. Для задачи разработки нового формата такой ключевой информацией может являться дополнительная метаинформация, или, например, наличие шума в данных. В случае, если данные содержат много шума или случайных значений, высокая энтропия может указывать на неопределенность и сложность анализа этих данных. Предложенный критерий оценки учитывает контекст использования данных, их ценность, степень сложности и возможных последствий ошибок в анализе данных из-за высокой энтропии.

Исходя из вышеобозначенного можно также сформулировать базовые требования к формату данных для области BigDate. К ним можно отнести:

1. Стандартизация и распространённость. Стандартизация означает установление общих и унифицированных стандартов для представления и обработки данных. Например, к стандартизированным форматам данных можно отнести XML (eXtensible Markup Language), который используется для структурирования и обмена данными в различных областях, включая веб-службы. В контексте форматов хранения больших данных, стандартизация помогает создать общепринятые и унифицированные способы представления информации. Это облегчает обмен данными между различными системами и приложениями, упрощает разработку программного обеспечения и обеспечивает совместимость данных между различными инструментами. Распространенность же формата данных связана с тем, насколько широко данный формат используется в индустрии и среди различных приложений. Чем более распространен формат данных, тем более вероятно, что множество инструментов и систем его поддерживают, что очень важно для области анализа больших данных, где имеется развитая экосистема для работы с этим форматом, включая языки программирования и инструменты анализа данных и системы хранения.

2. Компактность. Формат должен занимать минимальное количество места для хранения данных. Это важно для эффективного использования хранилища и передачи данных по сети, особенно в случае больших объемов информации. Компактные форматы могут сэкономить ресурсы хранения, ускорить передачу данных и уменьшить нагрузку на сеть.

3. Возможность сжатия. Поддержка механизмов сжатия данных может значительно уменьшить объем хранимых данных и ускорить их передачу по сети.

4. Хранение метаданных. Хранение метаданных в формате данных играет важную роль в обеспечении полной и правильной интерпретации информации, сохраненной в этом формате. Метаданные представляют собой данные об данных и содержат информацию о структуре, типах, формате, и других характеристиках данных.

5. Поддержка данных, готовых к анализу. Analysis-Ready Data (ARD) - это концепция в области анализа больших данных, которая подразумевает предварительную обработку и подготовку данных перед анализом. Она призвана упростить и ускорить процесс анализа данных, обеспечивая готовые к использованию наборы данных. В настоящее время данная концепция находит широкое развитие в области анализа спутниковых изображений ^[10].

Предложенный формат хранения данных будет базироваться на синтезе двух распространённых форматах хранения данных, таких как CSV и JSON. Такое решение имеет ряд преимуществ, в силу того, что CSV позволяет хранить данные в табличной структуре с явно определенными столбцами, в то время как JSON обладает более гибкой структурой. Объединение их может обеспечить удобное хранение табличных данных с сохранением иерархии и вложенных объектов. Также использование JSON для хранения данных предоставляет типизацию данных, что облегчает восприятие и работу с данными, а дополнительный метафайл может содержать информацию о типах данных для CSV-части, что обеспечивает полную типизацию.

Модификация формата хранения данных с метаданными

В CSV-файле есть возможность добавить названия столбцов и, так как CSV не может хранить информацию о типе данных, можно добавить отдельным meta-файлом информацию о типах. Модифицированный CSV-файл и метафайл c информацией о типах представлены в листингах 3 и 4.

Листинг 3 – Модификация service.csv.

Листинг 4 – Мета-файл service.meta.

Формат JSON при десериализации в различных языках программирования предусматривает типизацию данных, но для унификации формата типы данных будут храниться в отдельном метафайле (листинг 5).

Листинг 5 – Метафайл service_cost.meta.

Таким образом, разработанный формат представляет собой архив, состоящий из четырех вышеописанных файлов.

Формат может быть расширен дополнительными данными в формате CSV или JSON с соответствующими метафайлами при необходимости.

В качестве названия формата предлагается «PandasKeepFormat», расширение формата соответственно имеет вид PDKF.

Математическое описание формата и применимых функций над структурой данных

Далее рассмотрим математическое описание для предложенного в данной работе формата данных, который объединяет CSV и JSON, определив, таким образом множество допустимых операций над данными.

Пусть:

− C - множество CSV-файлов, представляющих собой набор строк и столбцов.

− J - множество JSON-файлов, содержащих структурированные данные в формате JSON.

− M - множество метаданных, описывающих информацию о структуре данных в CSV или JSON, такую как типы данных, названия столбцов, и другие характеристики.

Тогда, новый формат данных можно определить следующим образом, как показано в формуле 4.

(4) .

В вышеобозначенном равенстве является множеством, объединяющее данные из CSV и JSON. Элементы этого множества могут быть как табличными (CSV), так и иерархическими (JSON) данными. А является множеством пар, где первый элемент представляет собой данные из , а второй элемент - соответствующие метаданные M. Таким образом, каждая запись данных из сопровождается своими метаданными.

Данный подход позволит объединить данные и метаданные, однако, он не учитывает наличие более сложных зависимостей в данных. Например, одни данные могут зависеть от других, но для некоторых задач может быть важным ещё и понимание контекста и последовательности использования этих данных. Или, в некоторых аналитических сценариях может быть необходимость в проведении сложных операций, которые включают в себя связанные элементы данных. Например, вычисления, которые требуют комбинации данных из нескольких источников, могут использовать информацию о связях. Особенностью предложенной выше формата хранения данных является то, что он может быть относительно легко расширен, за счёт возможности добавления дополнительных данных, о чем было указано выше. Например, функции, определенные при реализации данного формата, добавляются в словарь функций и могут быть применены к данным, хранящимся в структуре.

Для расширения данной модели в работе предлагается внедрить элементы из теории графов и теории категорий. Для этого дополнительно введём в модель ориентированный граф G, где вершины V представляют элементы из и ребра E представляют связи или зависимости между этими элементами, иными словами G=(V,E).

Для работы с данными, определенными предложенным форматом, необходимо дополнительно определить набор применимых функций над данными. Здесь, в данной работе, под применимыми функциями, в контексте структур данных понимаются функции или операции, которые могут быть корректно применены или выполнены на данных предложенной структуры. То есть, это функции, которые соответствуют типу или структуре данных и могут быть использованы для обработки или изменения этих данных. Соответственно, пусть имеется множество функций , которые могут быть применены к данным из с учетом их структуры и метаданных. Предположим, что каждая функция имеет определенные характеристики, такие как агрегация, фильтрация, преобразование, комбинация и т.д. Определим некоторые из этих функций.

Пусть D - структура данных, C - множество CSV-файлов, J - множество JSON-файлов, M - множество метаданных, а f - функция из множества применимых функций , где - функции, которые могут выполнять различные операции, такие как фильтрация, сортировка, агрегация и т.д.

Обозначим элемент данных в D как , где i и j - координаты элемента в координатной сетке. Иными словами , , где n - количество строк, m - количество столбцов.

Тогда, с учетом вышеизложенного, агрегирующая функция может быть выражена .

Преобразующая функция преобразует данные из структуры в новую структуру .

Функция извлечения данных столбца извлекает определенный столбец из CSV или JSON данных (при соответствующей организации данных). Пусть представляет собой элемент из D, а - соответствующий элемент из M. Тогда функция . Например, если - CSV файл, - метаданные, и , то вернет столбец возрастов.

Функция фильтрации по значению оставляет только те строки данных, где определенный столбец удовлетворяет заданному условию. Аналогично функции извлечения данных, функция может быть выражена через , где condition означает условие, которое определяет, какие строки данных следует оставить после применения функции фильтрации. Это условие проверяется для определенного столбца в данных, и только те строки, которые удовлетворяют этому условию, остаются в результирующем наборе данных. Например, если - JSON файл, - метаданные, и , то оставит только записи с ценой выше $100.

С учётом вышесказанного, окончательно, новый формат данных можно определить как показано в формуле 5.

(5)

Реализация обработчика формата

В данном разделе представлена реализация обработчика формата PDKF на языке программирования Python, который преобразует данные из файла в список датафреймов Pandas. Фрагмент исходного кода обработчика представлен в листинге 6.

Листинг 6 – Реализация обработчика формата.

Для реализации обработчика необходимы следующие зависимости:

· Pandas – популярная библиотека, необходимая для аналитики больших данных, именно в ней содержится тип данных DataFrame.

· Zipfile – встроенная библиотека, необходимая для работы с архивами ZIP.

Представленный выше код позволяет читать файлы в форматах CSV и JSON, а также из ZIP-архива с определенной структурой, и создавать соответствующие pandas DataFrame для дальнейшей обработки данных. Кроме того, он обеспечивает обработку метаданных и преобразование типов данных в DataFrame в соответствии с указанными типами в метаданных. Пример использования вышеописанного модуля и некоторые манипуляции с полученными данными представлены в листинге 7.

Листинг 7 – Пример использования модуля.

В данном случае, выводится информация о каждом полученном из файла датафрейме. В дальнейшем можно производить с данными любые манипуляции, доступные в модуле Pandas, такие как аналитика, прогнозирование на основе этих данных и т.д.

Разработанный модуль выложен в каталог пакетов Python PYPI [https://pypi.org/project/pdkf/] под лицензией MIT, что позволяет установить его консольной командой «pip install pdkf». На рисунке 2 показан скриншот размещения разработанного решения в официальном репозитории программного обеспечения для Python - PyPI, аналоге CRAN для языка R.

Рисунок 2 – Размещение модуля-обработчика формата pdkf в репозитории PYPI

Заключение

Предложенное решение предлагает использовать комбинацию форматов CSV и JSON для оптимального хранения и передачи данных. Для удобства восприятия данных и обеспечения полной типизации, предлагается дополнительно использовать метафайлы, которые содержат информацию о типах данных для соответствующих CSV и JSON файлов. Модификация формата CSV включает добавление названий столбцов и хранение информации о типах данных в отдельном метафайле. JSON формат уже обеспечивает типизацию данных при десериализации, но также предлагается хранить информацию о типах в метафайле для унификации формата.

Таким образом, предложенное решение представляет собой архив, состоящий из CSV и JSON файлов, а также соответствующих метафайлов, которые обеспечивают структурированное хранение данных с сохранением типов и метаданных. Формат может быть дополнен дополнительными данными в CSV или JSON формате с соответствующими метафайлами при необходимости.