Скраинг кукловода: см. Данные ответа XHR до завершения запроса для данных в реальном времени ⇐ Javascript

[Anonymous]

Я использую кукловорот, чтобы очистить веб -сайт для данных в режиме реального времени в Nodejs. Вместо того, чтобы соскребать страницу, я смотрю запросы на бэкэнд и захватываю ответы JSON/TEXT, чтобы у меня было больше структурированных данных. (И видение большего количества данных, чем то, что отображается в браузере), все работает, за исключением того, что некоторые данные обновляются с помощью запроса Firestore. Я могу захватить ответ на этот запрос, но получить данные только после завершения запроса. «Сообщения» в пакете ответов: < /p>

16
[[732, ["noop"]]]
16
[[733, ["NOOP"]]]
123
[[734, [{
"targetchange": {
"resumetoken": "cgkigqb+n7tfiwm =" ,
"readtime": "2025-02-15t09: 53: 39.558146z"
}
}
]]]
16
[[735 , ["NOOP"]]] < /p>
< /blockquote>
с каждым сообщением в течение нескольких секунд. В какой -то момент запрос завершается, и выдается новый запрос Firebase. Проблема в том, что я вижу все эти сообщения в моем приложении только после того, как ответ будет завершен и не в режиме реального времени. Есть ли способ увидеть данные ответа по мере их получения, а не только после завершения запроса? < /p>
page.on('response', async (response) => {
if (response.request().resourceType() === 'xhr') {
console.log('Firestore Response URL:', response.url());
const theResponse = await response.text();
console.log('response.text: ', theResponse);
}
}


Подробнее здесь: https://stackoverflow.com/questions/794 ... -real-time