Как я могу эффективно обрабатывать большие наборы данных PostgreSQL в node.js без высоких накладных расходов на память? ⇐ Javascript

[Anonymous]

У меня есть приложение Node.js, которое взаимодействует с базой данных PostgreSQL, содержащей миллионы пользователей. Для конкретной функции мне нужно принести около 100 000 пользователей на основе критерия (например, пользователи, которые имеют определенный идентификатор канала в своей конфигурации отслеживания), а затем обрабатывать каждого пользователя (например, создание задач уведомления или автоматического >
В настоящее время моя реализация приносит все соответствующие пользователи в память, а затем обрабатывает их в кусках, например, так: < /p>


async function processMessageForSubscribers(channelId, channelName, message, addresses) {
try {

// get around 100000 users in memory
const users = await getUsersByTrackedTelegramChannel(channelId);
const CHUNK_SIZE = 500;
const notifyTasks = [];
const autotradeTasks = [];

// Split users into chunks for parallel processing
const processUserChunk = async (userChunk) => {
await Promise.all(
userChunk.map(async (user) => {
const config = user.trackingConfig[channelId];
const autotradeAmount = config?.autotradeAmount;

if (config.newPost === 'NOTIFY') {
// Create notification tasks
createNotificationTask(user, addresses, message, channelId, channelName, autotradeAmount, notifyTasks);
}

})
);
};

// Process users in chunks
for (let i = 0; i < users.length; i += CHUNK_SIZE) {
const chunk = users.slice(i, i + CHUNK_SIZE);
await processUserChunk(chunk);
}

await queueTasks(notifyTasks, autotradeTasks);
} catch (error) {
console.error('Error processing subscribers:', error);
throw error;
}
}< /code>
< /div>
< /div>
< /p>
Я обеспокоен тем, что привлечение 100 000+ пользователей в память сразу может привести к высокому использованию памяти и потенциально влияет на производительность. < /p>
Вопрос:
Какова наилучшая практика для обработки больших наборов данных из Postgresql в node.js, чтобы избежать высоких накладных расходов?>

Подробнее здесь: https://stackoverflow.com/questions/794 ... thout-high