При использовании платформы сканирования Scrapy на Python мне нужно только проверить коды ответов HTML нескольких тысяч доменов — и больше ничего для быстрого и эффективного первоначального сканирования кода состояния.
Как я могу выполнять только запросы HEAD вместо запроса GET по умолчанию?
Подробнее здесь: https://stackoverflow.com/questions/733 ... ork-scrapy
