Чередование данных: настоящий RAID 0 в сравнении с пользовательской программойLinux

Anonymous
Чередование данных: настоящий RAID 0 в сравнении с пользовательской программой

Сообщение Anonymous »

Я хочу создать высокопроизводительное записывающее устройство, которое будет получать потоковые данные с карты PCIe 5.0 и сохранять их в массиве хранения. Пропускная способность составляет 10 Гбайт/с, и мне нужно записать 20 ТБ без потери ни одного бита.
Чтобы обеспечить высокую пропускную способность и требования к объему. Моя идея состоит в том, чтобы распределить данные по нескольким твердотельным накопителям так, чтобы данные PCIe были разделены на разделы и записаны одновременно на все твердотельные накопители. Вот мои идеи по реализации:
  • Используйте утилиту RAID 0, такую ​​как mdadm, сегментируйте входящие данные на файлы и используйте встроенная функция write() операционной системы для записи данных на одно виртуальное устройство.
  • Распределение осуществляется программой пользователя. Тот же сегмент из №1 будет разделен на несколько файлов (равных количеству физических SSD-устройств), при этом все файлы будут одновременно записываться на соответствующий SSD. Идея состоит в том, чтобы использовать простоту потока данных моего приложения (неслучайный доступ, постоянный поток данных и т. д.).
Вы ожидаете значительной производительности? увеличить с помощью второго подхода?
Есть еще предложения?

Подробнее здесь: https://stackoverflow.com/questions/793 ... er-program

Вернуться в «Linux»