Рус Eng Cn Перевести страницу на:  
Please select your language to translate the article


You can just close the window to don't translate
Библиотека
ваш профиль

Вернуться к содержанию

Программные системы и вычислительные методы
Правильная ссылка на статью:

Методика управления конфигурационными параметрами, программными артефактами и метриками состояния вычислительных компонент в глобально распределенных облачных информационных комплексах

Щемелинин Дмитрий Александрович

ORCID: 0000-0003-3032-130X

доктор технических наук

Санкт-Петербургский политехнический университет Петра Великого (СПбПУ)

195251, Россия, г. Санкт-Петербург, ул. Политехническая, 29

Shchemelinin Dmitry

Doctor of Technical Science

Peter the Great St. Petersburg Polytechnic University

195251, Russia, g. Saint Petersburg, ul. Politekhnicheskaya, 29

dshchmel@gmail.com
Другие публикации этого автора
 

 

DOI:

10.7256/2454-0714.2019.1.29757

Дата направления статьи в редакцию:

15-05-2019


Дата публикации:

06-06-2019


Аннотация: Предметом научного исследования представленного в данной публикации является логическая модель и компьютерно-вычислительная инфраструктура, включая специализированное программное обеспечение, используемые для построения базы данных управления, определения, записи и проверки версий развернутого программного обеспечения и конфигураций всех вычислительных элементов, а также описание взаимосвязей между этими элементами в глобально-распределенных облачных информационных системах. Объектом настоящего исследования была выбрана глобально-распределенная облачная информационная производственная инфраструктура с многочисленным сервисным оборудованием и большими потоками данных компании RingCentral (США). Автор статьи подробно рассматривает основные аспекты организации эффективного обслуживания информационной облачной среды, состоящей из десяток тысяч виртуальных серверов. Особое внимание уделяется разработанным методикам интеграции разрозненных вычислительных систем, содержащих достоверные данные об информационной среде, но не пересекающихся между собой. Разработанные методики построения базы данных управления конфигурационных параметров в информационных системах были представлены в виде докладов и презентаций на международных научных семинарах и конференциях, где были отмечены научная новизна и эффективность предложенных методик по обслуживанию глобально-распределённого облачного информационно-вычислительного комплекса. Применение разработанных методик в RingCentral, позволило сократить текущие издержки, связанные с организацией технического обслуживания глобально-распределенного информационного комплекса в целом на тридцать процентов.


Ключевые слова:

информационные технологии, распределенные информационные системы, техническое обслуживание, интеграция, облачные вычисления, непрерывное развертывание ПО, автоматизированное управление, управления конфигурациями, управление изменениями, управление инцидентами

Abstract: The subject of scientific research presented in this publication is a logical model and computer-computing infrastructure, including specialized software used to build a management database, determine, record and verify versions of deployed software and configurations of all computing elements, as well as a description of the relationships between these elements in globally distributed cloud information systems. The object of this study was chosen globally-distributed cloud information production infrastructure with numerous service equipment and large data flows of the company RingCentral (USA). The author of the article examines in detail the main aspects of the organization of the effective maintenance of the information cloud environment consisting of tens of thousands of virtual servers. Special attention is paid to the developed methods of integration of disparate computing systems containing reliable data about the information environment, but not intersecting among themselves. The developed methods for constructing a database of configuration parameters management in information systems were presented in the form of reports and presentations at international scientific seminars and conferences, where the scientific novelty and effectiveness of the proposed methods for servicing the globally distributed cloud information processing complex were noted. The use of the developed methods in RingCentral, has reduced the current costs associated with the organization of maintenance of the globally distributed information complex as a whole by thirty percent.


Keywords:

IT, distributed IT systems, maintenance, integration, cloud computing, continuous deployment, automation, configuration management, change management, incident management

Введение

Бурное развитие информационных систем и технологий приводит к необходимости использования все большого набора вычислительных элементов для построения глобально-распределённого вычислительного комплекса (ГРВК). Несмотря на географическое разделение единой информационной среды, IT компании нуждаются в централизованном управлении техническим облуживанием ГРВК, с учетом постоянных изменений в топологии информационной среды (ИС), связанных с модернизацией аппаратных вычислительных компонент, а также непрерывным варьированием количества виртуальных машин в облаке.

Наличие базы данных управления конфигурациями CMDB (англ. Configuration Management Data Base), помогает повысить точность хранимых конфигурационных сведений CI (англ. Configuration Item), о текущем состоянии всех вычислительных компонент в ИС. Постоянный сбор, согласование и обслуживание CI делают данные надежными и пригодными для использования в системах автоматизированного технического обслуживания ГРВК.

Записи взаимосвязей CI друг с другом, независимо от того, находятся ли они между структурами конфигурации служб или внутри структур конфигурации служб, хранятся в ядре CMDB, что предопределяет существенное отличие CMDB от базы данных хранения инвентаризационных параметров и идентификаторов активов ГРВК, так как системы управления инвентаризацией ИС отвечают за хранение информации о вычислительных элементах, а не за конфигурационные параметры описывающие цепочки логической зависимости между этими элементами. Однако без понимания взаимосвязей невозможно понять конфигурацию вычислительного окружения или то, как объединенные компоненты предоставляют и поддерживают информационные услуги.

cmdb_1

Рисунок 1. Рабочие процессы обслуживания ГРВК.

Использование CMDB позволяет наладить методику для непрерывного улучшения существующих рабочих процессов (рисунок 1), а также предоставлять новые возможности для автоматизации технического обслуживания ИС, которые ранее были недоступны при использовании разнородных хранилищ данных.

Главными преимуществами наличия CMDB является:

1. Консолидация CI, которые ранее были распределены в разных служебных подсистемах;

2. Единая база достоверных данных;

3. Объединение всех служб/источников и потребителей CI информации.

Объект и цели научного исследования

Объектом исследования является ГРВК компании RingCentral (США), как лидера мирового рынка предоставления услуг UCaaS (англ. Unified Communication as a Service) [1]. Так, существующая система инвентаризации вычислительных компонент в облаке RingCentral[2], построена с использованием программного обеспечения (ПО) с открытым исходным кодом RackTables [3]. Службы управления изменениями, инцидентами, проблемами, выпусками новых версий ПО и т.д., представляют из себя независимые подсистемы (рисунок 2) с внутренними системами вычисления и хранения данных, что приводит к многократному дублированию информации CI. Это приводит к снижению возможности автоматизации рабочих процессов по технической поддержке ГРВК [4,5,6,7], а следовательно, увеличивает затраты компании на обслуживание ИС.

cmdb_2

Рисунок 2. Служебные подсистемы обслуживания ГРВК.

Цель научного исследования – создание централизованной, высоко доступной базы данных управления конфигурациями ГРВК, как источника текущей достоверной информации о всех компонентах в ИС, для последующей автоматизации технологических процессов по управлению изменениями [8], инцидентами [9], непрерывному мониторингу [10] и восстановлению работоспособности вычислительных элементов в информационном облаке [11].

Методика эксперимента и ее математическая модель

Для выбора наиболее подходящей технологии для создания CMDB, необходимо определить основные статусы в жизненном цикле хранения CI для любых компонент облака (таблица 1), которые могут быть физическими, виртуальными или контейнерными.

Таблица 1 – Статусы жизненного цикла хранения CI:

№ п/п

Статус CI в CMDB

Описание

1

Incomplete

Компонент системы не готов к использованию

2

New

Компонент создан и готов к инсталляции ПО и дальнейшей конфигурации в ИС

3

Unallocated/Cache

Компонент прошел процесс инициализации и готов к добавлению в вычислительный пул

4

Provisioning (HW)

Начата подготовка аппаратной части

5

Allocated

Компонент находится в рабочем состоянии в вычислительном пуле

6

PREP (Application provisioning)

ПО приложения находится в процессе установки и настройки

7

LIVE

Компонент обслуживает пользовательский трафик

8

Remediation

Компонент находится в состоянии исправления возникших неполадок

9

Cancelled

Компонент больше не нужен и ожидает вывода из эксплуатации

10

Decommissioned

Компонент был удален из ИС и больше не может управляться

11

Debug

Указывает, что компонент находится в режиме отладки, и показатели / оповещения в системе мониторинга с этого хоста могут игнорироваться

12

Maintenance

Компонент подвергается некоторому техническому обслуживанию и не должен рассматриваться для производственного использования

Стандартный алгоритм последовательности создания компоненты с точки зрения жизненного цикла хранения CI в CMDB представлен на рисунке 3.

cmdb_3

Рисунок 3. Последовательность жизненного цикла хранения CI в CMDB

Для решения задачи рационального выбора архитектуры CMDB, был произведен расчет потоков требований на обслуживание от компонент ИС, поступающих в базу данных управления конфигурациями и выходящих из неё, длительности ожидания и длины очередей, с учетом периоды опроса разнородных источников хранения CI определен бизнес задачами и представленными в таблице 2. Главным показателем производительности системы стало время ожидания (1) записи или чтения всего спектра CI, с учетом мульти тысячного количества вычислительных компонент в ГРВК (2).

Таблица 2 – Периоды опроса источников хранения CI:

№ п/п

Тип данных

Источник информации и период опроса

1

Физические хосты

RackTables – ежечасно

2

Сетевые подключения

RackTables – ежечасно

3

Виртуальные хосты

RackTables – ежечасно

4

Тип Виртуальных машин на одном физическом хосте

vCenter – дважды в день

5

IP адреса

RackTables – ежечасно

6

Виртуальные пулы серверов

RackTables – ежедневно

7

Логические IT окружения

ADS – ежедневно, Amazon – ежедневно

8

Обслуживание ИС

CMP – мгновенно, Zabbix – ежечасно

9

Инциденты

IMP – мгновенно, Zabbix – мгновенно

Расчет был выполнен с использованием классических математических формул раздела теории вероятности, описывающих задачи теории массового обслуживания в системах с очередями типа M/M/1 (3), M/G/1 (4) и G/G/1 (5), т.е. с одним обслуживающим элементом очереди [11]:

cmdb_f_n

, где, λ – значение интенсивности поступающих заявок за интервал времени Т (λ = 1/T); µ – значение интенсивности обслуживания заявок системой за интервал времени Тq (µ = 1/Tq); ρ – коэффициент использования обслуживающего прибора (ρ = λ/µ); L – количество CI в ГРВК; Lq – количество CI ГРВК находящихся в очереди на обслуживание CMDB; W – время ожидания системы; Wq – время ожидания в очереди на обслуживание; C2 – коэффициент отклонения случайной величины (C2 = Отклонение /(Среднее значение)2; C2s – коэффициент отклонения времени обслуживания; C2a – коэффициент отклонения времени доставки CI; σ2s – дисперсия времени обслуживания.

Результаты расчета показали, что наличие единой CMDB способно обслуживать более десяти миллионов CI согласно требованиям по обеспечению заданных периодов опроса разнородных систем управления работоспособностью ГРВК.

Для практической реализации CMDB с учетом необходимости предоставления графического представления взаимосвязей вычислительных элементов в ИС была выбрана система управления базами данных (СУБД) Neo4j, основанная на графовой системе с открытым исходным кодом, реализованной на языке программирования Java [12]. Функциональная схема интеграции с существующими источниками CI в ГРВК представлена на рисунке 4.

cmdb_int

Рисунок 4. Модель интеграции CMDB с другими службами ГРВК

Заключение

В ходе проведения исследования были решены следующие научные задачи:

1. Визуализация на графическом интерфейсе текущего состояние ИС для отслеживания разницы между ожидаемым и фактическим состоянием вычислительной среды, после развертывания новых версий ПО, конфигураций, вывода компонент из эксплуатации, и т. д.

2. Подавление шума на графическом интерфейсе системы непрерывного мониторинга ГРВК, за счет исключения триггеров на основе информации CMDB о взаимосвязях логических и физических компонентов в ИС;

3. Создание методики оценки влияния сбоя в одном или группе элементов ИС на ГРВК в целом;

4. Создание методики превентивной оценки и решения проблем с пропускной способностью в ИС;

Разработка, практическая реализация и внедрение новой высоко доступной CMDB основанной на технологии СУБД с открытой лицензией Neo4j в международной инфокоммуникационной компании RingCentral, осуществляющей производственную деятельность в облачной ГРВК, обеспечили визуализацию взаимосвязей вычислительных элементов обслуживающих глобально распределенные информационные сервисы в режиме реального времени. Использование CMDB повысило эффективность обслуживания ГРВК и сократило время и затраты на развертывание новых выпусков ПО и устранение неполадок в ИС.

Библиография
1. Официальный Интернет-сайт RingCentral [Электронный ресурс]. URL: http://www.ringcentral.com/ (Дата обращения: 15.05.2019)
2. Щемелинин Д.А. Методика создания распределенной компьютерно-вычислительной системы для программного инфокоммуникационного коммутатора // Программные системы и вычислительные методы. — 0.-№ 0.-С.0-0. URL: http://e-notabene.ru/ppsvm/article_28782.html (Дата обращения: 15.05.2019)
3. Щемелинин Д.А. Организация системы инвентаризации и визуализации информационных ресурсов в глобально распределенных центрах облачных вычислений // XLVI Неделя науки СПбПУ: Материалы научного форума с международным участием, СПб, СПбПУ, 2017. Ч.2 С. 173-174. URL: https://week-science.spbstu.ru/userfiles/volumes/18/file.pdf (Дата обращения: 15.05.2019)
4. Efimov V.V., Mescheryakov S.V., Shchemelinin D.A. Integration data model for continuous service delivery in cloud computing system // Научно-технические ведомости Санкт-Петербургского государственного политехнического университета. Информатика. Телекоммуникации. Управление. 2015. № 1 (212). С. 101-109. URL: https://elibrary.ru/item.asp?id=23102830 (Дата обращения: 15.05.2019)
5. Efimov V.V., Mescheryakov S.V., Shchemelinin D.A. International congress on ultra modern telecommunications and control systems // В сборнике: Распределенные компьютерные и телекоммуникационные сети: управление, вычисление, связь (DCCN-2017) Материалы Двадцатой международной научной конференции. под общ. ред. В.М. Вишневского. 2017. С. 62-67. URL: https://elibrary.ru/item.asp?id=34866291 (Дата обращения: 15.05.2019)
6. Efimov V.V., Mescheryakov S.V., Shchemelinin D.A. Integration data model for continuous service delivery in cloud computing system // Communications in Computer and Information Science. 2017. Т. 700. С. 87-97. URL: https://elibrary.ru/item.asp?id=31054519 (Дата обращения: 15.05.2019)
7. Ефимов В.В., Щемелинин Д.А. Создание интегрированного интерфейса визуализации процесса автоматического развертывания виртуальных сервисов в облачной инфраструктуре // В книге: Неделя науки СПбПУ Материалы научного форума с международным участием. Институт металлургии, машиностроения и транспорта. М.С. Кокорин (отв. ред.). 2015. С. 97-99. URL: https://elibrary.ru/item.asp?id=26511476 (Дата обращения: 15.05.2019)
8. Ефимов В.В., Щемелинин Д.А. Методика оценки интенсивности технического обслуживания глобально распределенной вычислительной системы // Программные системы и вычислительные методы. — 2018.-№ 4.-С.39-47. URL: http://e-notabene.ru/ppsvm/article_27842.html (Дата обращения: 15.05.2019)
9. Mescheryakov S.V., Shchemelinin D.A. International conference for the performance evaluation and capacity analysis by cmg // Научно-технические ведомости Санкт-Петербургского государственного политехнического университета. Информатика. Телекоммуникации. Управление. 2014. № 1 (188). С. 99-104. URL: https://elibrary.ru/item.asp?id=21306588 (Дата обращения: 15.05.2019)
10. Mescheryakov S.V., Shchemelinin D.A. Analytical overview of zabbix international conference 2013 // Научно-технические ведомости Санкт-Петербургского государственного политехнического университета. Информатика. Телекоммуникации. Управление. 2014. № 1 (188). С. 91-98. URL: https://elibrary.ru/item.asp?id=21306587 (Дата обращения: 15.05.2019)
11. Sheldon M. Ross, Introduction to Probability Models 11th Edition // University of Southern California Los Angeles. Academic Press is an imprint of Elsevier California, 2014. ISBN 978-0-12-407948-9
12. Neo4j. [Электронный ресурс]// Национальная библиотека им. Н. Э. Баумана (Bauman National Library) URL: https://ru.bmstu.wiki/Neo4j (Дата обращения: 15.05.2019)
References
1. Ofitsial'nyi Internet-sait RingCentral [Elektronnyi resurs]. URL: http://www.ringcentral.com/ (Data obrashcheniya: 15.05.2019)
2. Shchemelinin D.A. Metodika sozdaniya raspredelennoi komp'yuterno-vychislitel'noi sistemy dlya programmnogo infokommunikatsionnogo kommutatora // Programmnye sistemy i vychislitel'nye metody. — 0.-№ 0.-S.0-0. URL: http://e-notabene.ru/ppsvm/article_28782.html (Data obrashcheniya: 15.05.2019)
3. Shchemelinin D.A. Organizatsiya sistemy inventarizatsii i vizualizatsii informatsionnykh resursov v global'no raspredelennykh tsentrakh oblachnykh vychislenii // XLVI Nedelya nauki SPbPU: Materialy nauchnogo foruma s mezhdunarodnym uchastiem, SPb, SPbPU, 2017. Ch.2 S. 173-174. URL: https://week-science.spbstu.ru/userfiles/volumes/18/file.pdf (Data obrashcheniya: 15.05.2019)
4. Efimov V.V., Mescheryakov S.V., Shchemelinin D.A. Integration data model for continuous service delivery in cloud computing system // Nauchno-tekhnicheskie vedomosti Sankt-Peterburgskogo gosudarstvennogo politekhnicheskogo universiteta. Informatika. Telekommunikatsii. Upravlenie. 2015. № 1 (212). S. 101-109. URL: https://elibrary.ru/item.asp?id=23102830 (Data obrashcheniya: 15.05.2019)
5. Efimov V.V., Mescheryakov S.V., Shchemelinin D.A. International congress on ultra modern telecommunications and control systems // V sbornike: Raspredelennye komp'yuternye i telekommunikatsionnye seti: upravlenie, vychislenie, svyaz' (DCCN-2017) Materialy Dvadtsatoi mezhdunarodnoi nauchnoi konferentsii. pod obshch. red. V.M. Vishnevskogo. 2017. S. 62-67. URL: https://elibrary.ru/item.asp?id=34866291 (Data obrashcheniya: 15.05.2019)
6. Efimov V.V., Mescheryakov S.V., Shchemelinin D.A. Integration data model for continuous service delivery in cloud computing system // Communications in Computer and Information Science. 2017. T. 700. S. 87-97. URL: https://elibrary.ru/item.asp?id=31054519 (Data obrashcheniya: 15.05.2019)
7. Efimov V.V., Shchemelinin D.A. Sozdanie integrirovannogo interfeisa vizualizatsii protsessa avtomaticheskogo razvertyvaniya virtual'nykh servisov v oblachnoi infrastrukture // V knige: Nedelya nauki SPbPU Materialy nauchnogo foruma s mezhdunarodnym uchastiem. Institut metallurgii, mashinostroeniya i transporta. M.S. Kokorin (otv. red.). 2015. S. 97-99. URL: https://elibrary.ru/item.asp?id=26511476 (Data obrashcheniya: 15.05.2019)
8. Efimov V.V., Shchemelinin D.A. Metodika otsenki intensivnosti tekhnicheskogo obsluzhivaniya global'no raspredelennoi vychislitel'noi sistemy // Programmnye sistemy i vychislitel'nye metody. — 2018.-№ 4.-S.39-47. URL: http://e-notabene.ru/ppsvm/article_27842.html (Data obrashcheniya: 15.05.2019)
9. Mescheryakov S.V., Shchemelinin D.A. International conference for the performance evaluation and capacity analysis by cmg // Nauchno-tekhnicheskie vedomosti Sankt-Peterburgskogo gosudarstvennogo politekhnicheskogo universiteta. Informatika. Telekommunikatsii. Upravlenie. 2014. № 1 (188). S. 99-104. URL: https://elibrary.ru/item.asp?id=21306588 (Data obrashcheniya: 15.05.2019)
10. Mescheryakov S.V., Shchemelinin D.A. Analytical overview of zabbix international conference 2013 // Nauchno-tekhnicheskie vedomosti Sankt-Peterburgskogo gosudarstvennogo politekhnicheskogo universiteta. Informatika. Telekommunikatsii. Upravlenie. 2014. № 1 (188). S. 91-98. URL: https://elibrary.ru/item.asp?id=21306587 (Data obrashcheniya: 15.05.2019)
11. Sheldon M. Ross, Introduction to Probability Models 11th Edition // University of Southern California Los Angeles. Academic Press is an imprint of Elsevier California, 2014. ISBN 978-0-12-407948-9
12. Neo4j. [Elektronnyi resurs]// Natsional'naya biblioteka im. N. E. Baumana (Bauman National Library) URL: https://ru.bmstu.wiki/Neo4j (Data obrashcheniya: 15.05.2019)

Результаты процедуры рецензирования статьи

В связи с политикой двойного слепого рецензирования личность рецензента не раскрывается.
Со списком рецензентов издательства можно ознакомиться здесь.

Предмет исследования – управление конфигурационными параметрами, программными артефактами и метриками состояния вычислительных компонент в глобально распределенных облачных информационных комплексах, а также создание централизованной высоко доступной базы данных управления конфигурациями ГРВК.

Методология исследования основана на сочетании теоретического (теория вероятностей, теория массового обслуживания), модельного и эмпирического подходов с применением методов анализа, моделирования, вычислительного эксперимента, сравнения, обобщения, синтеза.

Актуальность исследования обусловлена широким распространением глобально распределённых информационных комплексов, облачных сервисов в различных отраслях современной экономики и, соответственно, необходимостью их изучения и проектирования, в том числе в части управления конфигурационными параметрами, программными артефактами и метриками состояния вычислительных компонент.

Научная новизна связана с разработанными автором методиками оценки влияния сбоя в одном или группе элементов ИС на ГРВК в целом, превентивной оценки и решения проблем с пропускной способностью в ИС, а также высоко доступной CMDB основанной на технологии Neo4j в международной инфокоммуникационной компании RingCentral, осуществляющей производственную деятельность в облачной ГРВК, что обеспечило визуализацию взаимосвязей вычислительных элементов обслуживающих глобально распределенные информационные сервисы в режиме реального времени.

Стиль изложения научный. Статья написана русским литературным языком.

Структура рукописи включает следующие разделы: Введение (развитие информационных систем и технологий, глобально-распределённый вычислительный комплекс (ГРВК), топология информационной среды (ИС), базы данных управления конфигурациями CMDB, точность хранимых конфигурационных сведений CI, рабочие процессы обслуживания ГРВК, преимущества CMDB), Объект и цели научного исследования (ГРВК компании RingCentral (США), услуги UCaaS использование программного обеспечения (ПО) с открытым исходным кодом RackTables, служебные подсистемы обслуживания ГРВК), Методика эксперимента и ее математическая модель (статусы жизненного цикла хранения CI – Incomplete, New, Unallocated / Cache, Provisioning (HW), Allocated, PREP (Application provisioning), LIVE, Remediation, Cancelled, Decommissioned, Debug, Maintenance, стандартный алгоритм последовательности создания компоненты с точки зрения жизненного цикла хранения CI в CMDB, расчет потоков требований на обслуживание от компонент ИС, периоды опроса источников хранения CI – тип данных, источник информации и период опроса, задачи теории массового обслуживания в системах с очередями типа M/M/1, M/G/1 и G/G/1 с одним обслуживающим элементом очереди, результаты расчета, система управления базами данных (СУБД) Neo4j, модель интеграции CMDB с другими службами ГРВК, Заключение (выводы), Библиография.

Текст включает четыре рисунка, две таблицы. Точки, двоеточия в заголовках рисунков, таблиц следует удалить. Надписи на рисунке 3 практически не читаются. Содержимое представленных на рисунках изображений желательно привести на русском языке.

Содержание в целом соответствует названию. Вместе с тем обращает внимание (наряду с громоздкостью формулировки заголовка), что некоторые понятия из названия (артефакты, метрики, облачные комплексы) употребляются в рукописи однократно, что заставляет читателя догадываться, что автором имелось в виду и в какой связи. Цель исследования также рассогласуется с названием.

Результаты расчётов времени ожидания и иных соответствующих параметров не приведены, что не позволяет оценить достоверность и надёжность предложенной модели. В связи с этим сформулированные выводы (см. заключение) нельзя признать в полной мере обоснованными. Не ясно также, сколько методик – одна («Методика управления конфигурационными параметрами, программными артефактами и метриками состояния вычислительных компонент…») либо несколько («… методика оценки влияния сбоя в одном или группе элементов ИС на ГРВК в целом … методика превентивной оценки и решения проблем с пропускной способностью в ИС») разработано.

Библиография включает 12 источников отечественных и зарубежных авторов – монографии, научные статьи, материалы научных мероприятий, Интернет-ресурсы. Библиографические описания некоторых источников нуждаются в корректировке в соответствии с ГОСТ и требованиями редакции, например:
1. RingCentral. URL: http://www.ringcentral.com (date of access: 15.05.2019).
2. Щемелинин Д. А. Методика создания распределенной компьютерно-вычислительной системы для программного инфокоммуникационного коммутатора // Программные системы и вычислительные методы. Год издания ???. № ???. С. ???–???.
3. Щемелинин Д. А. Организация системы инвентаризации и визуализации информационных ресурсов в глобально распределенных центрах облачных вычислений // XLVI Неделя науки СПбПУ : материалы научного форума с международным участием. СПб. : СПбПУ, 2017. Ч. 2 С. 173–174.
5. Efimov V. V., Mescheryakov S. V., Shchemelinin D. A. International congress on ultra modern telecommunications and control systems // Распределенные компьютерные и телекоммуникационные сети: управление, вычисление, связь (DCCN-2017) : материалы Двадцатой международной научной конференции / под общ. ред. В. М. Вишневского. Место издания ???, 2017. С. 62–67.
6. Efimov V. V., Mescheryakov S. V., Shchemelinin D. A. Integration data model for continuous service delivery in cloud computing system // Communications in Computer and Information Science. 2017. Vol. 700. Р. 87–97.
11. Ross S. M. Introduction to Probability Models. California : Elsevier, 2014. ??? р.
Дублирование (полное библиографическое описание и URL) не целесообразно. Возможно излишнее самоцитирование (Ефимов В. В., Щемелинин Д. А. с соавторами).

Апелляция к оппонентам (Sheldon M. Ross и др.) имеет место в ограниченном объёме. В основном авторы обращаются, по-видимому, к собственным работам, что следует исправить.

Замечен ряд опечаток: IT компании нуждаются в централизованном управлении техническим облуживанием ГРВК – IT-компании нуждаются в централизованном управлении техническим облуживанием ГРВК; [4,5,6,7] – [4–7].

Аббревиатуры IT, ПО при первом упоминании нужно привести полностью.

В целом рукопись соответствует основным требованиям, предъявляемым к научным статьям. Материал представляет интерес для читательской аудитории и после доработки (в первую очередь в части представления эмпирических результатов вычислительного эксперимента) может быть опубликован в журнале «Программные системы и вычислительные методы» (рубрика «Показатели качества и повышение надежности программных систем»).