Аннотация: В современном информационном обществе объемы данных постоянно растут, и эффективная их обработка становится ключевой для предприятий. Передача и хранение этих данных также играет критическую роль. Большие данные, которые используются в системах аналитики, чаще всего передаются в одном из двух популярных форматов: CSV для структурированных данных и JSON для неструктурированных данных. Однако существующие форматы файлов могут оказаться неэффективными или недостаточно гибкими для определенных задач анализа данных. Например, они могут не поддерживать сложные структуры данных или не предоставлять достаточного контроля над метаданными. Или же аналитические задачи могут требовать дополнительной информации о данных, такой как метаданные, схема данных и т.д. Исходя из вышеназванного, предметом данного исследования является формат данных, основанный на совместном использовании CSV и JSON для обработки и анализа больших объемов информации. Предлагается вариант совместного использования обозначенных типов данных для реализации нового формата данных. Для этого введены обозначения для структуры данных, включающей CSV-файлы, JSON-файлы, метаданные и граф зависимостей. Описаны различные типы функций, такие как агрегирующие, преобразующие, фильтрующие и т.д. Приведены примеры применения этих функций к данным. Предложенный подход представляет собой методику, которая может значительно облегчить процессы анализа и обработки информации. В её основе лежит формализованный подход, который позволяет установить четкие правила и процедуры для работы с данными, что способствует их более эффективной обработке. Другим аспектом предложенного подхода является определение критерия выбора наиболее подходящего формата хранения данных. Этот критерий основан на математических принципах теории информации и энтропии. Введение критерия выбора формата данных на основе энтропии позволяет оценить информационную содержательность и компактность данных. Этот подход основывается на расчете энтропии для выбранных форматов и весовых коэффициентов, отражающих важность каждого значения данных. Путем сравнения энтропий можно определить требуемый формат передачи данных. Такой подход учитывает не только компактность данных, но и контекст их использования, а также возможность включения дополнительной метаинформации в сами файлы и поддержку данных, готовых к анализу.

Abstract: In the modern information society, the volume of data is constantly growing, and its effective processing is becoming key for enterprises. The transmission and storage of this data also plays a critical role. Big data used in analytics systems is most often transmitted in one of two popular formats: CSV for structured data and JSON for unstructured data. However, existing file formats may not be effective or flexible enough for certain data analysis tasks. For example, they may not support complex data structures or provide sufficient control over metadata. Alternatively, analytical tasks may require additional information about the data, such as metadata, data schema, etc. Based on the above, the subject of this study is a data format based on the combined use of CSV and JSON for processing and analyzing large amounts of information. The option of sharing the designated data types for the implementation of a new data format is proposed. For this purpose, designations have been introduced for the data structure, which includes CSV files, JSON files, metadata and a dependency graph. Various types of functions are described, such as aggregating, transforming, filtering, etc. Examples of the application of these functions to data are given. The proposed approach is a technique that can significantly facilitate the processes of information analysis and processing. It is based on a formalized approach that allows you to establish clear rules and procedures for working with data, which contributes to their more efficient processing. Another aspect of the proposed approach is to determine the criteria for choosing the most appropriate data storage format. This criterion is based on the mathematical principles of information theory and entropy. The introduction of a criterion for choosing a data format based on entropy makes it possible to evaluate the information content and compactness of the data. This approach is based on the calculation of entropy for selected formats and weights reflecting the importance of each data value. By comparing entropies, you can determine the required data transmission format. This approach takes into account not only the compactness of the data, but also the context of their use, as well as the possibility of including additional meta-information in the files themselves and supporting data ready for analysis.

Аннотация: Целью данной статьи является рассмотрение вопроса зависимости производительности алгоритмов балансировки вычислительной нагрузки для глобально распределённых вычислительных комплексов (РВК), реализующих принцип добровольных вычислений, от основных атрибутов распределённой системы. В качестве основных фиксируемых атрибутов рассмотрены структура файловой системы и тип сетевого протокола. Объектом исследования является глобально распределенный вычислительный комплекс, с комплексом диспетчирования загрузки узлов. Предметом исследования являются методы балансировки загрузки узлов РВК, реализующие принцип динамической стратегии балансировки вычислительной нагрузки. В данной статье, методологической основой являются методы фундаментальных и прикладных наук: методы анализа, методы математической статистики, имитационного моделирования. Предложена модель узловой вычислительной нагрузки в виде нелинейной кусочно-стационарной модели. В работе показана методика проведения вычислительного эксперимента по определению эффективности работы алгоритмов балансировки и разработана имитационная модель распределённого комплекса, с возможностью фиксации основных системных параметров вычислительного комплекса, а также произведена оценка их влияния на время отклика системы. Показано, что особое влияние на эффективность работы алгоритмов балансировки нагрузки оказывают такие параметры, такие как структура файловой системы и тип сетевого протокола. Таким образом, показана необходимость учёта таких параметров для обеспечения адекватности разрабатываемой модели распределённого вычислительного комплекса, реализованного по принципу добровольных вычислений.

Abstract: The purpose of this article is to consider the correlation of the performance of computational load balancing algorithms for globally distributed computing systems implementing the principle of volunteer computing and the basic attributes of a distributed system. As the main considered parameters the author examines file system structure and the type of network protocol. The object of the study is a globally distributed computing system with scheduling nodes loading. The subject of the study are the balancing methods of loading units of the system, implementing the principle of dynamic computational load balancing strategy. In this article, the methodological basis of the article makes methods of fundamental and applied sciences: analysis methods, methods of mathematical statistics, simulation modeling. The author suggests a model of node computational load in form of nonlinear piecewise-stationary model. The paper shows a method of computing experiment to determine the effectiveness of the balancing algorithms. The author develops a simulation model of distributed complex with the possibility of setting the basic system parameters computer system  and assess their impact on system response time. It is shown that a particular impact on the efficiency of load balancing algorithms have such parameters as file system structure and the type of network protocol. Thus, the necessity of taking into account these parameters to ensure the adequacy of the developed model of the distributed computing system implemented on the basis of volunteer computing.