Параллелизуйте цикл с заполнением большого вектора со сложными значениями-> Проблема с памятьюC++

Программы на C++. Форум разработчиков
Ответить Пред. темаСлед. тема
Anonymous
 Параллелизуйте цикл с заполнением большого вектора со сложными значениями-> Проблема с памятью

Сообщение Anonymous »

У меня есть вектор, называемый Test размера 7 200 000 000, который содержит сложные шорты (сохранение переменных - образец).

Код: Выделить всё

std::vector test;
std::complex sample;
< /code>
Я предварительно выделяю это как: < /p>
size_t nSamples = 7200000000;
test.reserve(nSamples);
Я затем хочу пройти через цикл, чтобы заполнить каждую запись в этом тесте vector:

Код: Выделить всё

for ( size_t iSample = 0; iSample < nSamples; iSample++ )
{

// code to generate a complex value called "sample"
//  sample =

test.push_back(sample);
}
< /code>
Это работает, но для заполнения этого вектора требуется 4 минуты, и он использует 1 поток на 100%. Количество используемой оперативной памяти изначально составляет около 100 ГБ, но когда код запускается, он падает примерно на 20 ГБ. 4800. ОС - это Linux Mint 21.3 < /p>
Поэтому я попытался использовать OpenMP для параллелизации этого и использования 64 потоков следующим образом: < /p>
size_t nSamples = 7200000000;
test.reserve(nSamples)

#pragma omp parallel for
for ( size_t iSample = 0; iSample < nSamples; iSample++ )
{

// code to generate a complex value called "sample"
//  sample =

#pragma omp critical
test.push_back(sample);
}
< /code>
Что происходит, так это то, что все потоки (все 64) переходят на 100% использование, и все 251 ГБ оперативной памяти используются всего за несколько секунд. Затем Linux завершает код C ++ с «завершенным сигналом sigkill (принудительный вариант)» 
.
Любой совет о том, почему все оперативные операции используются? Что я делаю не так?

Код: Выделить всё

#include 
#include 
#include 
#include 
#include 
#include 
#include "/usr/lib/llvm-14/lib/clang/14.0.0/include/omp.h"

int main()
{
// this vector holds the total samples that define waveform
std::vector pulseSequence;

float duration = 180; // 180 seconds chirp sounding

float sampleRate = 40e6; // sample beyond Nyquist limit + prevent aliasing on SDR

size_t nSamples = duration * sampleRate;

std::complex sample; // store wavepacket

pulseSequence.reserve(nSamples); //allocate memory for large vector (7,200,000,000 samples)

#pragma omp parallel for
for ( size_t iSample=0; iSample < nSamples; iSample++ )
{
// the following is bogus/test code for example purposes:
sample = std::complex(0*iSample,0);

//save the sample into the main vector
#pragma omp critical // 

Подробнее здесь: [url]https://stackoverflow.com/questions/79442580/parallelize-a-for-loop-with-populating-a-large-vector-with-complex-values-ou[/url]
Реклама
Ответить Пред. темаСлед. тема

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

  • Похожие темы
    Ответы
    Просмотры
    Последнее сообщение

Вернуться в «C++»