Как асинхронно заполнить коллекцию содержимым многих файлов, не читая одновременно более N файлов?C#

Место общения программистов C#
Ответить Пред. темаСлед. тема
Anonymous
 Как асинхронно заполнить коллекцию содержимым многих файлов, не читая одновременно более N файлов?

Сообщение Anonymous »

У меня есть конвейер обработки файлов, в котором в какой-то момент я хочу загрузить определенные файлы в память асинхронно, чтобы одновременно считывалось не более файлов mdop.
Имена файлов берутся из BlockingCollection, а двоичное содержимое кэшируется в словаре.
(Объект прогресса помогает мне отслеживать прогресс, но это не имеет отношения к данному вопросу)
Моя текущая реализация использует System.Reactive:

Код: Выделить всё

private static Task PreloadBinariesAsync(BlockingCollection inputs, int mdop, ConcurrentDictionary binaries, Progress progress) => inputs
.GetConsumingEnumerable()
.Select(p => Observable.FromAsync(() => ReadAllBytesAsync(p.TargetPath)))
.Merge(mdop, ThreadPoolScheduler.Instance)
.ForEachAsync(o =>
{
progress.IncAsmFileCachedCount();
binaries[o.FilePath] = o.Bytes;
});

private static async Task ReadAllBytesAsync(string filePath) => (filePath, await FS.ReadAllBytesAsync(filePath).ConfigureAwait(false));
Эта реализация работает, но я не уверен, что System.Reactive подходит здесь лучше всего.
Я очень открыт для лучшие альтернативы, при необходимости я могу изменить BlockingCollection на Channel или что-то еще, но оно должно быть частью шины Consumer/Producer.
P.S.
P.S.
К сожалению, я ограничен использованием .NET Framework.

Подробнее здесь: https://stackoverflow.com/questions/792 ... y-while-no
Реклама
Ответить Пред. темаСлед. тема

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

  • Похожие темы
    Ответы
    Просмотры
    Последнее сообщение

Вернуться в «C#»