У меня есть скрипт, который использует модуль запросов для проверки веб -страницы для обновлений новостей. Это сработало до недели назад, но теперь у меня странная ошибка. Я могу получить доступ к базовому URL (www.example.com), используя запросы , но когда я перехожу на www.example.com/news/123456, он появляется в ошибке 500. Это то, что говорит : < /p>
Ошибка внутреннего сервера < /strong>
Извините, были некоторые технические проблемы при обработке вашего запроса. < /p> < Br /> < /blockquote>
Однако у меня нет этой проблемы с selenium < /code>. Кто -нибудь знает, что может вызвать эту ошибку, которая происходит только с запросами ?
Вот мой код:
import requests
url = 'www.example.com/news/123456/'
#Headers that I got from the (working) selenium request
headers = {'user-agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/90.0.4430.212 Safari/537.36'}
response = requests.get(url, headers=headers)
webpage_content = response.text
soup = BeautifulSoup(webpage_content, 'html.parser')
raw_lines = soup.find_all()
lines = '\n'.join([line.get_text() for line in raw_lines])
lines = lines.splitlines()
for line in lines:
print(line)
Подробнее здесь: https://stackoverflow.com/questions/794 ... -with-sele
