Я хочу получить файл в хранилище Blob Blob и используя функцию триггера событий, я хочу преобразовать этот файл CSV в формат Parquet и загрузить его в другое хранилище Blob. Я попытался использовать чтения Choparquet, но для преобразования файла в формат Parquet требуется много времени, и когда появляется большие файлы, из очереди пропускается мало событий, и не все файлы преобразуются в формате Parquet. Я использую C#< /p>
Кто-нибудь может помочь в упрощенном подходе к этой проблеме?using (Stream blobStream = await blockBlob.OpenWriteAsync(accessCondition, null, null))
{
using (var reader = new StreamReader(longestFile.Open(), Encoding.UTF8))
using (var r = ChoCSVReader.LoadText(reader.ReadToEnd()).WithMaxScanRows(2).WithDelimiter("\t"))
{
log.LogInformation($"Inside csv reader");
using (var w = new ChoParquetWriter(blobStream))
{
log.LogInformation($"Inside parquet writer");
w.Write(r);
w.Serialize();
w.Close();
}
}
}
Подробнее здесь: https://stackoverflow.com/questions/652 ... -file-usin
