Recordbatchreader не удалось прочитать файл паркета ⇐ C++

[Anonymous]

Я пытался использовать стрелку::recoredbatchreader для параллельного чтения нескольких групп строк из файла паркета. Я использую GetRecordBatchReader для получения средства чтения пакетов записей. Однако я заметил, что когда количество задач превышало количество ядер, чтение останавливалось на RETURN_NOT_OK(ReadNext(&batch));. Recordbatchreader работает только тогда, когда количество задач меньше количества ядер.
Я использую версию стрелки — 14.0.0.
И вот мои коды:< /p>
#include
#include
#include
#include
#include
#include
#include
#include
#include
#include
#include
#include
#include
#include
#include
#include

template
arrow::Future ParallelForAsync_test(
std::vector inputs, FUNCTION&& func,
arrow::internal::Executor* executor = arrow::internal::GetCpuThreadPool()) {
std::vector futures(inputs.size());
for (size_t i = 0; i < inputs.size(); ++i) {
ARROW_ASSIGN_OR_RAISE(futures, executor->Submit(func, i, std::move(inputs)));
}
return All(std::move(futures))
.Then([](const std::vector& results) -> arrow::Result {
return arrow::internal::UnwrapOrRaise(results);
});
}

arrow::Result ChunkedArrayToArray(std::shared_ptr chunked_array) {
auto arrays = chunked_array->chunks();
std::shared_ptr result;
ARROW_ASSIGN_OR_RAISE(result, arrow::Concatenate(arrays));

return result;
}

arrow::Status read_whole_file(std::string file, int batch_size, int &size) {

::arrow::MemoryPool* pool = ::arrow::default_memory_pool();

auto reader_properties = parquet::ReaderProperties(pool);
reader_properties.set_buffer_size(4096 * 4);
reader_properties.enable_buffered_stream();

auto arrow_reader_props = parquet::ArrowReaderProperties();
arrow_reader_props.set_batch_size(4 * 1024);
arrow_reader_props.set_use_threads(true);

parquet::arrow::FileReaderBuilder reader_builder;
ARROW_RETURN_NOT_OK(reader_builder.OpenFile(file, false, reader_properties));
reader_builder.memory_pool(pool);
reader_builder.properties(arrow_reader_props);

std::unique_ptr arrow_reader;
ARROW_ASSIGN_OR_RAISE(arrow_reader, reader_builder.Build());

auto p_reader = arrow_reader->parquet_reader();
int nrgs = p_reader->metadata()->num_row_groups();
int nrows = p_reader->metadata()->num_rows();

int ncolumns = p_reader->metadata()->num_columns();
auto cpu_executor = ::arrow::internal::GetCpuThreadPool();

int rg_batchsize = nrgs / batch_size;

std::vector vec_reader;
std::cout

Подробнее здесь: https://stackoverflow.com/questions/793 ... rquet-file