У меня есть класс, который может читать и записывать некоторые данные в специальном двоичном формате. Мое приложение (Windows Forms) должно прочитать файл этого формата при запуске. Поскольку мой формат довольно избыточен, я использую DeflateStream, который отлично сжимает данные.
Однако в моем реальном приложении он работает медленно (6500–7200 мс). по сравнению с моим тестом функциональности (185–200 мс). Метод тестирования создает точно такой же файл, который я читаю в своем приложении, а затем для тестирования считывает его и сравнивает результаты. Все по поводу чтения идентично. Поигравшись, я обнаружил, что переместить весь DeflateStream в MemoryStream намного быстрее (330–380 мс), чем напрямую читать DeflateStream.
Медленный подход:
System.Diagnostics.Stopwatch sw = new();
Tally tally = new();
string fileName = "data.dat";
using FileStream file = new(fileName, FileMode.Open, FileAccess.Read, FileShare.Read);
sw.Start();
try
{
using DeflateStream ds = new(file, CompressionMode.Decompress, leaveOpen: true);
tally.Read(ds); // slow
}
finally
{
sw.Stop();
MessageBox.Show($"Reading (Count = {tally.Count}) took {sw.ElapsedMilliseconds} ms.");
}
Быстрый подход:
System.Diagnostics.Stopwatch sw = new();
Tally tally = new();
string fileName = "data.dat";
using FileStream file = new(fileName, FileMode.Open, FileAccess.Read, FileShare.Read);
sw.Start();
try
{
using DeflateStream ds = new(file, CompressionMode.Decompress, leaveOpen: true);
using MemoryStream ms = new();
ds.CopyTo(ms);
ms.Seek(0, SeekOrigin.Begin);
tally.Read(ms); // quick
}
finally
{
sw.Stop();
MessageBox.Show($"Reading Tally (Count = {tally.Count}) took {sw.ElapsedMilliseconds} ms.");
}
Разница ошеломляющая, и я не знаю, что делаю неправильно.
SortedList m_Results = new();
public void Read(Stream stream)
{
ArgumentNullException.ThrowIfNull(stream);
m_Results.Clear();
{
Span sizeBuffer = stackalloc byte[sizeof(int)];
stream.ReadExactly(sizeBuffer);
m_Results.Capacity = BinaryPrimitives.ReadInt32LittleEndian(sizeBuffer);
}
Span buffer = stackalloc byte[EntrySize];
int bytesRead = 0;
for (int n; (n = stream.Read(buffer[bytesRead..])) is not 0; )
{
if ((bytesRead += n) < EntrySize) continue;
bytesRead = 0;
// FromLittleEndianData creates TallyKey/TallyValue
// via several BinaryPrimitives reads;
// each is a small struct (5 ints // TimeSpan + int).
// TallyKey.SerializedSize = 7 (bytes)
// TallyValue.SerializedSize = 8 (bytes)
// EntrySize = TallyKey.SerializedSize + TallyValue.SerializedSize
m_Results.Add(
TallyKey.FromLittleEndianData(buffer[..TallyKey.SerializedSize]),
TallyValue.FromLittleEndianData(buffer[TallyKey.SerializedSize..])
);
}
if (bytesRead is not 0) throw new InvalidDataException(
message: "The input stream has an unexpected length. It is likely ill-formed."
);
}
Подробнее здесь: https://stackoverflow.com/questions/792 ... one-by-one
Почему DeflateStream медленно читает один за другим? [закрыто] ⇐ C#
Место общения программистов C#
-
Anonymous
1732789214
Anonymous
У меня есть класс, который может читать и записывать некоторые данные в специальном двоичном формате. Мое приложение (Windows Forms) должно прочитать файл этого формата при запуске. Поскольку мой формат довольно избыточен, я использую DeflateStream, который отлично сжимает данные.
Однако в моем реальном приложении он работает медленно (6500–7200 мс). по сравнению с моим тестом функциональности (185–200 мс). Метод тестирования создает точно такой же файл, который я читаю в своем приложении, а затем для тестирования считывает его и сравнивает результаты. Все по поводу чтения идентично. Поигравшись, я обнаружил, что переместить весь DeflateStream в MemoryStream намного быстрее (330–380 мс), чем напрямую читать DeflateStream.
Медленный подход:
System.Diagnostics.Stopwatch sw = new();
Tally tally = new();
string fileName = "data.dat";
using FileStream file = new(fileName, FileMode.Open, FileAccess.Read, FileShare.Read);
sw.Start();
try
{
using DeflateStream ds = new(file, CompressionMode.Decompress, leaveOpen: true);
tally.Read(ds); // slow
}
finally
{
sw.Stop();
MessageBox.Show($"Reading (Count = {tally.Count}) took {sw.ElapsedMilliseconds} ms.");
}
Быстрый подход:
System.Diagnostics.Stopwatch sw = new();
Tally tally = new();
string fileName = "data.dat";
using FileStream file = new(fileName, FileMode.Open, FileAccess.Read, FileShare.Read);
sw.Start();
try
{
using DeflateStream ds = new(file, CompressionMode.Decompress, leaveOpen: true);
using MemoryStream ms = new();
ds.CopyTo(ms);
ms.Seek(0, SeekOrigin.Begin);
tally.Read(ms); // quick
}
finally
{
sw.Stop();
MessageBox.Show($"Reading Tally (Count = {tally.Count}) took {sw.ElapsedMilliseconds} ms.");
}
Разница ошеломляющая, и я не знаю, что делаю неправильно.
SortedList m_Results = new();
public void Read(Stream stream)
{
ArgumentNullException.ThrowIfNull(stream);
m_Results.Clear();
{
Span sizeBuffer = stackalloc byte[sizeof(int)];
stream.ReadExactly(sizeBuffer);
m_Results.Capacity = BinaryPrimitives.ReadInt32LittleEndian(sizeBuffer);
}
Span buffer = stackalloc byte[EntrySize];
int bytesRead = 0;
for (int n; (n = stream.Read(buffer[bytesRead..])) is not 0; )
{
if ((bytesRead += n) < EntrySize) continue;
bytesRead = 0;
// FromLittleEndianData creates TallyKey/TallyValue
// via several BinaryPrimitives reads;
// each is a small struct (5 ints // TimeSpan + int).
// TallyKey.SerializedSize = 7 (bytes)
// TallyValue.SerializedSize = 8 (bytes)
// EntrySize = TallyKey.SerializedSize + TallyValue.SerializedSize
m_Results.Add(
TallyKey.FromLittleEndianData(buffer[..TallyKey.SerializedSize]),
TallyValue.FromLittleEndianData(buffer[TallyKey.SerializedSize..])
);
}
if (bytesRead is not 0) throw new InvalidDataException(
message: "The input stream has an unexpected length. It is likely ill-formed."
);
}
Подробнее здесь: [url]https://stackoverflow.com/questions/79231583/why-is-deflatestream-slow-to-read-one-by-one[/url]
Ответить
1 сообщение
• Страница 1 из 1
Перейти
- Кемерово-IT
- ↳ Javascript
- ↳ C#
- ↳ JAVA
- ↳ Elasticsearch aggregation
- ↳ Python
- ↳ Php
- ↳ Android
- ↳ Html
- ↳ Jquery
- ↳ C++
- ↳ IOS
- ↳ CSS
- ↳ Excel
- ↳ Linux
- ↳ Apache
- ↳ MySql
- Детский мир
- Для души
- ↳ Музыкальные инструменты даром
- ↳ Печатная продукция даром
- Внешняя красота и здоровье
- ↳ Одежда и обувь для взрослых даром
- ↳ Товары для здоровья
- ↳ Физкультура и спорт
- Техника - даром!
- ↳ Автомобилистам
- ↳ Компьютерная техника
- ↳ Плиты: газовые и электрические
- ↳ Холодильники
- ↳ Стиральные машины
- ↳ Телевизоры
- ↳ Телефоны, смартфоны, плашеты
- ↳ Швейные машинки
- ↳ Прочая электроника и техника
- ↳ Фототехника
- Ремонт и интерьер
- ↳ Стройматериалы, инструмент
- ↳ Мебель и предметы интерьера даром
- ↳ Cантехника
- Другие темы
- ↳ Разное даром
- ↳ Давай меняться!
- ↳ Отдам\возьму за копеечку
- ↳ Работа и подработка в Кемерове
- ↳ Давай с тобой поговорим...
Мобильная версия