Сравнение методов оптимизации скорости чтения/записи накопителей

Вальков Вадим Александрович ORCID: 0009-0002-0365-7756 студент; кафедра Информатика и вычислительная техника; ФГБОУ ВО ПГУТИ 443086, Россия, Самараская область, г. Самара, Московское шоссе, 77 Val'kov Vadim Aleksandrovich Student; Department of Computer Science and Computer Engineering; FSUE VO PGUTI 443086, Russia, Samara region, Samara, Moskovskoe shosse, 77 BonetyFallen@yandex.ru Столяров Евгений Павлович ORCID: 0009-0003-7877-2369 студент; кафедра Информатика и вычислительная техника; ФГБОУ ВО ПГУТИ 443086, Россия, Самараская область, г. Самара, Московское шоссе, 77 Stolyarov Evgeniy Pavlovich Student; Department of Computer Science and Computer Engineering; FSUE in PGUTI 443086, Russia, Samara region, Samara, Moskovskoe shosse, 77 evgeniystolyarov1@mail.ru Корчагин Антон Александрович ORCID: 0009-0008-8519-1796 студент; кафедра Информатика и вычислительная техника; ФГБОУ ВО ПГУТИ 443086, Россия, Самараская область, г. Самара, Московское шоссе, 77 Korchagin Anton Aleksandrovich Student; Department of Computer Science and Computer Engineering; FSUE VO PGUTI 443086, Russia, Samara region, Samara, Moskovskoe shosse, 77 anton_kor2004@mail.ru Ермишин Максим Владимирович ORCID: 0009-0007-1302-5759 студент; кафедра Информатика и вычислительная техника; ФГБОУ ВО ПГУТИ 443086, Россия, Самараская область, г. Самара, Московское шоссе, 77 Ermishin Maksim Vladimirovich Student; Department of Computer Science and Computer Engineering; FSUE in PGUTI 443086, Russia, Samara region, Samara, Moskovskoe shosse, 77 maks.yer.04@mail.ru

Якупов Денис Олегович ORCID: 0009-0003-2371-0822 ассистент; кафедра Управление в технических системах; ФГБОУ ВО ПГУТИ 443086, Россия, Самараская область, г. Самара, Московское шоссе, 77 Yakupov Denis Olegovich Assistant; Department of Management in Technical Systems; FSUE in PGUTI 443086, Russia, Samara region, Samara, Moskovskoe shosse, 77 d.yakupov@psuti.ru

Введение:

Для пользователя накопителей, таких как HHD или SSD безусловно важно знать основные характеристики подобных устройств хранения информации, чтобы приобрести нужный товар и увеличить производительность его системы. Для этого необходимо понимать какие характеристики влияют на производительность и как их можно оптимизировать.

Основными операциями для накопителей являются запись и чтение, их разделяют на последовательный и случайный доступ. Последовательный доступ подразумевает обращение к данным последовательно, начиная с начала, в то время как случайный доступ позволяет напрямую обращаться к любой части накопителя без необходимости чтения предшествующих данных. Случайный доступ к файлам – один из ключевых аспектов производительности хранения данных, особенно для дисков, и является одним из наиболее трудоемких операций. Скорость случайного доступа к файлам имеет решающее значение для эффективной работы с данными. Случайные операции чтения, особенно небольшие, нелегко буферизировать или каким-либо образом предварительно загрузить. Последовательные операции могут выполняться по цепочке и достигать максимальной скорости, записи могут кэшироваться в памяти для последующей сортировки. Настоящие случайные чтения не имеют ни одного из этих преимуществ.

В этой статье мы рассмотрим одни из основных характеристик, влияющих на скорость работы накопителей, а также способы их оптимизации.

Факторы, влияющие на скорость чтения и записи данных :

Существует несколько ключевых факторов, которые влияют на скорость чтения и записи данных с диска. Рассмотрим некоторые из них:

1. Тип накопителя: Существует различные типы накопителей, такие как HDD (жесткие диски) и SSD (твердотельные накопители). SSD обеспечивают более высокую скорость чтения и записи данных по сравнению с HDD из-за отсутствия движущихся частей.

2. Интерфейс подключения: Существуют различные интерфейсы подключения дисков, такие как SATA, NVMe (для SSD) и другие. Более современные интерфейсы, такие как NVMe, обычно обеспечивают более высокую скорость передачи данных.

3. Скорость вращения диска (для HDD): В случае жесткого диска, скорость вращения диска влияет на скорость доступа к данным на диске. Более высокая скорость вращения обычно означает более быстрый доступ к данным.

4. Размер буфера кэша: Буфер кэша на диске используется для временного хранения данных перед их записью на диск или чтением с него. Большой размер буфера кэша может ускорить процессы чтения и записи данных.

5. Файловая система: Выбранная файловая система также может влиять на скорость работы с данными на диске. Некоторые файловые системы более эффективны в управлении файлами и обеспечении быстрого доступа к ним.

6. Фрагментация: Фрагментация диска может замедлить скорость чтения и записи данных, поскольку файлы хранятся в разных фрагментах на диске, что требует дополнительного времени на их объединение при чтении.

Кроме того, физические диски могут использовать встроенную очередь команд (NCQ), позволяющую жестким дискам внутренне оптимизировать порядок выполнения полученных команд чтения и записи. Это позволяет уменьшить количество ненужных перемещений головки накопителя, что приводит к повышению производительности (и незначительному износу накопителя) при выполнении рабочих нагрузок, требующих выполнения нескольких одновременных запросов на чтение/запись, которые чаще всего возникают в приложениях серверного типа.

NCQ может изменить производительность, но в некоторых случаях плохая реализация может ухудшить ситуацию, особенно при большой нагрузке.

Оптимизация скорости чтения записи:

Существует множество способов оптимизации скорости чтения и записи данных, можно использовать комплексный подход, включающий сразу несколько из них.

Исходя из факторов, влияющих на производительность носителя, можно выделить некоторые способы оптимизации такие как:

Использование кэша: Кэширование данных может значительно ускорить доступ к часто используемым данным. Это особенно полезно в случае частого доступа к тем же данным, что позволяет избежать повторного чтения с медленного носителя. Параллельное выполнение операций: При наличии нескольких независимых операций чтения/записи можно использовать параллельное выполнение, чтобы уменьшить общее время выполнения. Это может быть достигнуто как с помощью многопоточности, так и с помощью асинхронных операций ввода/вывода. Сюда можно отнести как использование утилит командной строки, так и организацию RAID массивов. Фрагментация данных: Если возможно, данные могут быть фрагментированы и распределены по нескольким носителям, что позволит параллельно выполнять операции чтения/записи с различных устройств, увеличивая общую скорость доступа.

Использование более быстрых носителей: Перенос данных на более быстрые носители, такие как твердотельные накопители (SSD), может значительно ускорить время доступа к данным.

Материалы и задачи

Перед началом применения методов оптимизации были установлены программы: Defraggler – программа для отслеживания фрагментации данных и выполнения дефрагментации дисков, PrimoCache – программное решение для кэширования данных для ускорения хранения.

Тесты проводились с использованием следующих накопителей:

· HDD WD Blue WD10EZEX

· HDD WD Blue WD10EALX

· SSD WD Blue WDS250G2B0A

Для проведения сравнения методов оптимизации проводились тесты производительности до и после применения методов, затем проводился сравнительный анализ.

Мы поставили для себя следующие задачи: 1)Провести анализ производительности дисков. Для начала нужно посмотреть насколько хорошо накопители выполняют свои функции.

2)Выявить проблемную область. Нужно определить с какими проблемами мы имеем дело и проанализировать примерный план решения.

3)Разработать план по оптимизации работы накопителей. Для улучшения работы существует множество способов. Нам необходимо выявить наиболее эффективные их них.

4)Проверить результативность. Повторно провести анализ производительности и организовать полученный опыт в результаты.

5)Сделать выводы по проведённой работе.

Результаты

Для оценки производительности использовалась программа:

CrystalDiskCrystal (версия 9.0.3) – Программа для тестирования производительности дисков.

1. Дефрагментация диска

Дефрагментация диска - это процесс переупорядочивания файлов на жестком диске с целью улучшения производительности. Когда файл сохраняется на диск, он разбивается на несколько фрагментов и размещается на разных участках диска. Это происходит из-за постоянного чтения и записи файлов, при котором места для новой информации могут располагаться не подряд. Последствиями фрагментации является увеличенное время доступа к файлам из-за необходимости перемещаться по диску для чтения всех фрагментов, что в свою очередь замедляет скорость чтения и записи. Дефрагментация позволяет объединить фрагментированные файлы, переместив их на диск так, чтобы они располагались ближе друг к другу, что сокращает время доступа к данным и повышает производительность.

Рис.1 WD10EZEX Reading Test

Рис.2 WD10EZEX Writing Test

Рис.3 WD10EALX Reading Test

Рис.4 WD10EALX Writing Test

Таким образом, дефрагментация диска способствует улучшению производительности и повышению скорости чтения и записи диска за счет оптимизации расположения файлов на нем.

2.Использование твердотельных накопителей (SSD).

Твердотельные накопители SSD (Solid State Drive) обладают рядом преимуществ перед обычными жесткими дисками, что делает их гораздо быстрее в плане скорости чтения и записи данных.

-Отсутствие подвижных частей: в твердотельных накопителях нет движущихся механических элементов, в отличие от жестких дисков, где данные записываются на вращающиеся магнитные пластины. Это позволяет SSD обеспечивать более быстрый доступ к данным без задержек из-за механического движения.

-Быстрый доступ к данным: SSD используют флэш-память NAND для хранения информации, что обеспечивает очень быстрый доступ к данным. Время чтения и записи данных на SSD существенно меньше, чем на жестких дисках.

-Отсутствие фрагментации данных: на SSD данные хранятся в виде блоков в памяти, а сами блоки в свою очередь поделены на страницы. Данные записываются в отдельные страницы блоков, при этом невозможно обновить данные, просто перезаписав старые. Более того, стереть можно только блок целиком. В связи с этим в SSD присутствует сборка мусора - процесс оптимизации, в ходе которого контроллер SSD переорганизует данные, чтобы упростить и ускорить процесc записи данных в будущем.

Команда TRIM также способствует оптимизации распределения и использования памяти, позволяющая операционной системе уведомить твердотельный накопитель о том, какие блоки данных (страницы) не несут полезной нагрузки и их можно не хранить физически.

Проверить включен ли TRIM в Windows возможно при помощи команды (0 означает что TRIM включен, 1 - отключен)

Рис .5 TRIM

-Поддержка технологий чтения и записи на ячейку: Стандартными типами флэш-памяти NAND являются SLC, MLC, TLC и QLC. Ключевые различия между типами памяти NAND заключаются в стоимости, емкости и сроке службы. Ресурс определяется количеством циклов программирования-стирания (P/E), которые может выдержать ячейка флеш-памяти до износа. Цикл P/E — это процесс стирания и записи ячейки, и чем больше циклов P/E может выдержать технология NAND, тем выше ресурс устройства.

Эти факторы делают твердотельные накопители SSD популярным выбором для повышения производительности и скорости работы компьютеров.

Часто SSD берут в пару к HDD, вместо одного большого SSD можно купить NVMe маленького размера, только для операционной системы, рабочих приложений, а все остальные файлы, дистрибутивы и резервные копии хранить на дешёвом медленном SATA HDD. Хотя так делают скорее для экономии и увеличения объёма хранилища, большим плюсом в подобном подходе является некоторое снижение нагрузки на SSD, увеличение его срока жизни. Кроме того, в более свободных SSD больше размер кэша и выше производительность, чем в заполненных.

Рис.6 Изменение размера кэша SLC в зависимости от объёма свободного места в Intel SSD 665p

3. Настройка кэша

Внешний вид кэша в жестких дисках (HDD) обычно представляет собой небольшой объем быстрой памяти, чаще всего SRAM или DRAM. Кэш используется для временного хранения данных, которые наиболее часто запрашиваются процессором, чтобы ускорить доступ к ним.

В твердотельных накопителях (SSD) кэш обычно представлен как небольшой объем NAND Flash памяти. SSD кэш используется для кэширования данных в целях улучшения производительности и снижения износа NAND ячеек.

Кэш позволяет увеличить скорость доступа. Когда данные часто запрашиваются, кэш позволяет быстрее получить к ним доступ, не прибегая к медленному чтению с основного накопителя. Поскольку кэш хранит данные, наиболее часто запрашиваемые процессором, это способствует более быстрому отклику системы в целом. Также в случае SSD, кэш помогает снизить количество операций записи на основное хранилище, что в свою очередь может продлить срок службы накопителя.

Таким образом кэш напрямую влияет на производительность накопителя

В целях повышения производительности имеет смысл персональная настройка кэша накопителя под нужды пользователя при помощи различных утилит, например PrimoCash.

В качестве теста выставим, использованному ранее WD Blue 10EZEX, «Cache task», выделив 6144 МБ оперативной памяти в качестве L1 кэша, установим размер блока в 512 КБ.

Рис.7 WD10EZEX Reading test PrimoCache

Рис.8 WD10EZEX Writing test PrimoCache

Рис.9 Результат CrystalDiskMark до настройки кэша и после

Из теста видно что скорости последовательного чтения и записи увеличилась примерно в 40 раз, но следует понимать, что такая скорость достигается просто из-за того что данные сначала записываются в выделенную в качестве кэша оперативную память, а затем из оперативной памяти записываются на сам диск со скоростью ограниченной физическими характеристиками диска. В таком подходе есть свои преимущества как например возможность доступа к данным сразу после записи, копирования, потому что эти данные записаны в оперативной памяти, которая в разы быстрее. Тем не менее, поскольку оперативная память является энергозависимой памятью, если данные ещё не были записаны на диск, а питание было отключено, то данные будут утеряны.

4. Использование утилит командной строки.

Многие пользователи испытывают потребность в копировании, переносе большого объема данных, одним из способов оптимизации работы накопителя в данной ситуации может являться использование утилит командной строки, таких как robocopy в windows или rsync в Linux. Утилиты командной строки предоставляют более гибкие и мощные инструменты для управления и перемещения больших объемов данных. Они обеспечивают более точный контроль над процессом копирования и переноса файлов, что позволяет оптимизировать использование ресурсов и улучшить производительность. Более того, robocopy позволяет копировать и переносить файлы быстрее чем стандартные средства Windows, благодаря более эффективному использованию многопоточности. Количество задействованных потоков можно поменять, воспользовавшись опцией «/mt:».

Ниже приведен лог копирования файла размером 9.19 Гб при помощи robocopy, что заняло 1 минуту 57 секунд.

Рис.10 Robocopy

В тоже время копирование того же файла при помощи стандартных средств Windows заняло примерно 2 минуты 26 секунд.

Рис.11 Копирование стандартными средствами Windows

5.Использование RAID

RAID (Redundant Array of Independent Disks) - это технология, которая объединяет несколько физических дисков в единое логическое устройство для повышения производительности, надежности или и то и другое. RAID используется как на серверах, так и на обычных компьютерах для защиты данных и/или увеличения скорости доступа к ним. Существует множество уровней RAID, каждый из которых обладает своими особенностями, ниже перечислены одни из наиболее популярных: RAID 0 (Стрипирование): Данные разбиваются на блоки и записываются на два или более диска параллельно (стримы). Это увеличивает скорость доступа к данным, так как операции чтения/записи могут выполняться параллельно на всех дисках. Однако в случае выхода из строя одного из дисков, данные на всех остальных дисках теряются, так как информация разбита на части без какой-либо защиты. RAID 1 (Зеркалирование): Данные записываются одновременно на два или более диска. Это обеспечивает резервное копирование данных (зеркалирование), что повышает надежность хранения. Однако объем доступного пространства на дисках будет равен объему одного из них, так как все данные дублируются. RAID 5 (Паритет): Данные записываются на несколько дисков с добавлением контрольной информации (паритетной информации), которая позволяет восстановить данные в случае выхода из строя одного из дисков. RAID 5 обеспечивает баланс между производительностью и надежностью, при этом используется меньше дисков по сравнению с зеркалированием. RAID 6: Похож на RAID 5, но обеспечивает дополнительную защиту от отказа диска путем хранения двух паритетных блоков. Это позволяет системе восстановить данные, даже если два диска выйдут из строя одновременно. RAID 10 (RAID 1+0): Это комбинация RAID 1 и RAID 0. Данные разбиваются на блоки и зеркалируются на другие диски. Таким образом, сочетаются преимущества зеркалирования (высокая надежность) и стрипирования (высокая производительность). Выбор конкретного уровня RAID зависит от требований к производительности, надежности и доступному бюджету. Среди областей применения RAID: системное администрирование; резервное копирование данных; работа с BigData; клиент-серверные модели.

Тем не менее, повышения производительности можно достичь эффективнее всего, используя RAID 10 или RAID 0, нежели RAID 5 или RAID 6. Это связано с тем, что при выполнении RAID 6 или 5 записи на диск — сама рабочая нагрузка хоть и будет представлять собой чистую запись, но отдельные диски тратят на чтение столько же операций, сколько и на запись, что приводит к низкой производительности.

В общем, RAID 0 предпочтительнее использовать в целях повышения производительности, поскольку при его использовании скорости используемых дисков по сути будут суммироваться, однако скорость будет рассчитываться по самому медленному из них.

Заключение :

Таким образом, были рассмотрены, хотя далеко не все существующие методы оптимизации работы накопителей, благодаря рассмотренным подходам к оптимизации и характеристикам, влияющих на производительность, можно добиться улучшения производительности накопителей и системы в целом. Однако следует отметить, что выбор конкретных методов оптимизации будет зависеть от специфики решаемых задач, особенностей используемого оборудования и программного обеспечения.

Наилучшие результаты показывают использование ОЗУ в качестве L1 кэша и применение RAID 0 массивов. Как уже было описано выше, эти методы имеют свои минусы, вероятно главным из них является возможная потеря данных.

Дефрагментация диска, хоть и не даёт такого же прироста, но тоже влияет на производительность диска и системы, автоматическая дефрагментация дисков уже давно стала неотъемлемой частью операционных систем, обеспечивая поддержание оптимальной производительности хранения данных без необходимости ручного вмешательства пользователя.

Комплексный подход к оптимизации работы накопителей, учитывающий как аппаратные, так и программные решения, позволит добиться значительного повышения производительности современных вычислительных систем и удовлетворить возрастающие требования пользователей к скорости обработки и хранения данных.