Подход, позволяющий избежать проблемы OOM для параллельных задач. ⇐ JAVA

[Anonymous]

Я написал программу, которая по сути читает файл, обрабатывает его записи для извлечения некоторых данных с помощью сторонней библиотеки, а затем отправляет данные на удаленный сервер.
Для ускорения В процессе я создаю вызываемые задачи, которые принимают извлеченные данные, выполняют этап отправки данных и, наконец, используют службу исполнителя для выполнения задач. Сторонняя библиотека, которую я использую, похоже, не очень хорошо работает в многопоточной среде, поэтому я не включил этап извлечения данных в вызываемую задачу.
Псевдокод выглядит следующим образом:

Код: Выделить всё

Iterator records = .....
List batch = ....
Data extractedData = ....
List tasks = ....
while(iterator.hasNext()) {
Record record = iterator.next();
batch.add(record);
extractedData.add(extractDataUsing3rdPartyLibrary(record));
if(batch.size == BATCH_SIZE) {
MyTask task = new MyTask (extractedData,....);
tasks.add(task);
extractedData.clear();
}
}
executeTasks(execuytorService, tasks);
....
....
MyTask implements Callable {
public Integer call() throws Exception {
// dispatch extractedData
// clear extractedData;
}
}

Но проблема в том, что извлеченные данные занимают много памяти, и в результате я часто сталкиваюсь с проблемами нехватки памяти.
Я думаю о подход, при котором я буду периодически проверять размер задач, и если он превышает определенный порог, я буду обрабатывать созданные на данный момент задачи с последующей очисткой данных и повторением процесса.
Я хочу чтобы узнать, хороший ли это подход? И если да, то какой хороший способ найти размер объектов в памяти в Java, поскольку метод sizeof, подобный C++, недоступен? Я столкнулся с API инструментирования, но для него требуется настройка агентов.

Подробнее здесь: https://stackoverflow.com/questions/792 ... llel-tasks