403 Forbidden Ошибка при парсинге сайта, пользовательские агенты уже используются и обновлены. Есть идеи? ⇐ Python

[Anonymous]

Как указано в заголовке выше, я получаю ошибку 403. Сгенерированные URL-адреса действительны, я могу их распечатать, а затем открыть в браузере.

У меня есть пользовательский агент, он точно такой же, как и мой браузер отправляет при доступе к странице, которую я хочу очистить, прямо из Chrome devtools. Я пробовал использовать сеансы вместо прямого запроса, пробовал использовать urllib и общий request.get.

Вот код, который я Пользуюсь, что 403s. Тот же результат с request.get и т. д.

Код: Выделить всё

headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.157 Safari/537.36'}

session = requests.Session()
req = session.get(URL, headers=headers)

Так что да, я предполагаю, что я не создаю запись пользовательского агента, чтобы он мог определить, что я выполняю парсинг. Но я не уверен, чего мне не хватает и как это узнать.


Подробнее здесь: https://stackoverflow.com/questions/562 ... nd-updated