Веб-скрапинг Python: запросы или многопоточные запросы? ⇐ Python

[Anonymous]

Я пытаюсь сделать веб-скребок, который я пишу на Python, быстрее.
В настоящее время я запускаю определенное количество парсинговых потоков, создаю очередь со списком URL-адресов, которые я хочу парсить, и позволяю им извлекать записи из очереди, чтобы они могли парсить.
grequests заявляет, что он асинхронный, но я не уверен, что это означает, помимо запуска нескольких потоков (как я делаю) и использования gevent для запуска события после его завершения.
Делают ли grequests что-то большее, чем создание потока для каждого задания, и будет ли он технически работать более быстрее, чем программа, которую я описал выше?

Подробнее здесь: https://stackoverflow.com/questions/634 ... d-requests