Как работает пакетный вывод в pytorch c++ ⇐ C++

[Anonymous]

Я ищу способы пакетного вывода вместо вывода по одному запросу в C++
Например, предполагая, что каждый запрос в запросах является один прогноз, содержащий n функций, каждый подвиг

Код: Выделить всё

for (const auto& request : requests) {
std::vector feature_tensors = convert_request_to_tensor(request);
std::vector inputs;
for (const auto& feature_tensor : feature_tensors) {
inputs.push_back(feature_tensor);
}

torch::Tensor output = model.forward(inputs).toTensor();
}

Теперь я хочу выполнить пакетный вывод. Как мне это сделать?
Могу ли я просто сложить их в стопку

Код: Выделить всё

std::vector inputs = {input_1, input_2, ..., input_N};
torch::Tensor batch = torch::stack(inputs, 0);

но если у вас есть несколько функций для каждого запроса, т. е. .

Код: Выделить всё

input_1

— это std::vector, как это работает?
И как узнать, какая партия является оптимальной? Есть ли формула, которую можно вывести из числа ядер вашего процессора?

Подробнее здесь: https://stackoverflow.com/questions/791 ... -pytorch-c