Веб-скрапинг Python: запросы или многопоточные запросы?Python

Программы на Python
Ответить
Anonymous
 Веб-скрапинг Python: запросы или многопоточные запросы?

Сообщение Anonymous »

Я пытаюсь сделать веб-скребок, который я пишу на Python, быстрее.
В настоящее время я запускаю определенное количество парсинговых потоков, создаю очередь со списком URL-адресов, которые я хочу парсить, и позволяю им извлекать записи из очереди, чтобы они могли парсить.
grequests заявляет, что он асинхронный, но я не уверен, что это означает, помимо запуска нескольких потоков (как я делаю) и использования gevent для запуска события после его завершения.
Делают ли grequests что-то большее, чем создание потока для каждого задания, и будет ли он технически работать более быстрее, чем программа, которую я описал выше?

Подробнее здесь: https://stackoverflow.com/questions/634 ... d-requests
Ответить

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

Вернуться в «Python»