Сибиряков М.А. —
Разработка алгоритмов ускоренного вытеснения информации в больших хранилищах данных
// Кибернетика и программирование. – 2017. – № 4.
– С. 75 - 83.
DOI: 10.25136/2644-5522.2017.4.23799
URL: https://e-notabene.ru/kp/article_23799.html
Читать статью
Аннотация: В данной статье рассматривается вопрос повышения производительности при обработке больших объемов информации в хранилищах данных. Основной целью является увеличение скорости выполнения процесса вытеснения информации в кэш-памяти хранилищ данных, и, следовательно, скорости обработки кэшируемых данных. В качестве предмета исследования выступают алгоритмы вытеснения данных LRU1 и LRU2 и структурная организация управляющей таблицы. В статье предлагается реализация алгоритмов вытеснения информации в кэш-памяти хранилища данных на основе ассоциативного массива данных. Приводятся результаты сравнительного анализа основных алгоритмов вытеснения информации, используемых в оперативной памяти вычислительных систем (LRU, LFU, FIFO, Random). Представлены результаты разработки алгоритмов ускоренного вытеснения информации в кэш-памяти хранилищ данных. Построены системы канонических уравнений для данных алгоритмов. Применяемая математическая модель является исполнимой формализованной спецификацией, которая позволяет осуществить непосредственный переход от СКУ (системы канонических уравнений) к дальнейшей аппаратной или программной реализации предложенных алгоритмов.
Abstract: This article concerns the issue of improving performance when processing large amounts of information in data warehouses (storages). The main purpose is to increase the speed of the process of wiping out information in the cache of data warehouses, and, consequently to improve the processing speed of the cached data. The subject of research involves the algorithms of data extortion LRU1 and LRU2, as well as and structural organization of the control table. The article proposes the implementation of algorithms for wiping out information in the data warehouse cache on the basis of an associative data array. The results of a comparative analysis of the basic algorithms of information displacement used in the operational memory of computer systems (LRU, LFU, FIFO, Random) are presented in this article. The results of the development of algorithms for accelerated information extrusion in the cache of data warehouses are also presented. The author construes the systems of canonical equations for these algorithms are. The mathematical model, which is used by the author, is an executable formalized specification allowing for a direct transition from the DCS (the system of canonical equations) to the further hardware or software implementation of the proposed algorithms.
Сибиряков М.А., Сухих А.В., Иванов К.В., Кошпаев А.А. —
Построение вычислительного кластера на основе коммуникационной среды PCI Express
// Кибернетика и программирование. – 2015. – № 5.
– С. 173 - 180.
DOI: 10.7256/2306-4196.2015.5.17035
URL: https://e-notabene.ru/kp/article_17035.html
Читать статью
Аннотация: В данной статье рассматривается вопрос реализации производительного и надежного кластера с низкими стоимостными характеристиками. В качестве решения предлагается построение кластерной системы на базе протокола ввода/вывода данных PCI Express. Основной целью является поиск способов увеличения производительности кластерной системы и ее коммутационной среды. В качестве предмета исследования выступают алгоритмы передачи и обработки данных в коммутаторе, алгоритмы поиска и вытеснения данных в системе хранения данных, схемы арбитража портов коммутатора. Методология исследования - структурный системный анализ предметной области в части коммутационных структур, построения кэш-памяти систем хранения данных, способов построения кластерных систем. В статье предлагаются следующие структурные и алгоритмические решения: модифицированный алгоритм трансляции адресов внешнего коммутатора PCI Express; усовершенствованный метод и алгоритм поиска и обработки данных в кэш-памяти системы хранения данных на основе уникального хеширования; формализация всех ступеней алгоритмов арбитража портов и виртуальных каналов коммутатора.
Abstract: The article discusses the implementation of a productive and reliable cluster with low cost. As a solution, the authors recommend building a cluster system based on the PCI Express data input / output protocol. The main goal is to find ways to increase the productivity of the cluster system and its circuit protection. The subjects of the study are the algorithms for data transfer and processing on the switch, algorithms for search and displacement data in storage system, switch ports arbitration scheme. The research methodology includes structured systems analysis in the domain of the connection structures, the construction of cache storage, methods of constructing cluster systems. The authors propose the following structural and algorithmic solutions: a modified algorithm for address translation of the external PCI Express Switch; an improved method and algorithm for data searching and processing in the cache data storage systems based on a unique hash; formalization of all stages of arbitration algorithms for ports and virtual switch channels.