Максимизация производительности записиLinux

Anonymous
Максимизация производительности записи

Сообщение Anonymous »

Я хочу создать высокопроизводительное записывающее устройство, которое будет получать потоковые данные с карты PCIe 5.0 и сохранять их в массиве хранения. Пропускная способность составляет 10 Гбайт/с, и мне нужно записать 20 ТБ без потери ни одного бита.
Чтобы обеспечить высокую пропускную способность и требования к объему. Моя идея состоит в том, чтобы распределить данные по нескольким твердотельным накопителям так, чтобы данные PCIe были разделены на разделы и записаны одновременно на все твердотельные накопители. Вот мои идеи по реализации:
  • Используйте утилиту RAID 0, такую ​​как mdadm, сегментируйте входящие данные на файлы и используйте встроенная функция write() операционной системы для записи данных на одно виртуальное устройство.
  • Распределение осуществляется программой пользователя. Тот же сегмент из №1 будет разделен на несколько файлов (равных количеству физических SSD-устройств), при этом все файлы будут одновременно записываться на соответствующий SSD. Я думаю об этом как о «реализованном пользователем RAID 0».
Ожидаете ли вы значительного повышения производительности при использовании второго подхода?
Есть ли другие предложения? ?

Подробнее здесь: https://stackoverflow.com/questions/793 ... erformance

Вернуться в «Linux»