Парсинг веб-страниц с помощью BeautifulSoup и запрос на поиск URL-адресов всех телешоу [дубликат] ⇐ Python

[Anonymous]

Я выполняю проект по очистке веб-страниц, в котором мне нужно получить различные данные, сканируя веб-сайт Just Watch с помощью прекрасного супа и запроса, но у меня возникли проблемы с очисткой всех URL-адресов телешоу по ссылке: 'https ://www.justwatch.com/in/tv-showsrelease_year_from=2000'.
Я пытался очистить все URL-адреса и получал их, но получал все URL-адреса, которые имели «/tv-show», даже такие URL-адреса, как «https://www.justwatch.com/in/tv-shows?r ... _from=2000» и т. д.
def fetch_tv_urls(url):
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
}
response = requests.get(url, headers=headers)
if response.status_code != 200:
return "Failed to retrieve the page, status code:", response.status_code
soup = BeautifulSoup(response.text, 'html.parser')
return soup


Подробнее здесь: https://stackoverflow.com/questions/793 ... l-tv-shows