Обзоры веб-страниц с Amazon возвращают данные только для первой страницы. ⇐ Python

[Anonymous]

Я пытаюсь собрать отзывы с Amazon. Отзывы могут появляться на нескольких страницах, чтобы скопировать более одной страницы. Я составляю список ссылок, которые позже сканирую отдельно:

Код: Выделить всё

# Construct list of links to scrape multiple pages
links = []
for x in range(1,5):
links.append(f'https://www.amazon.de/-/en/SanDisk-microSDHC-memory-adapter-performance/product-reviews/B08GY9NYRM/ref=cm_cr_dp_d_show_all_btm?ie=UTF8&reviewerType=all_reviews&pageNumber={x}')

Затем я использую запросы и красивый суп, чтобы получить необработанные данные обзора, как показано ниже:

Код: Выделить всё

# Scrape all links in the constructed list
reviews = []
for link in links:
html = requests.get(link, headers=HEADERS)
if html.status_code == 200:
# HTML response was sucssesfull
soup = BeautifulSoup(html.text, 'html.parser')
results = soup.find_all('span', {'data-hook': 'review-body'})
print(len(results))
for review in results:
reviews.append(review.text.replace('\n', ''))
else:
# HTML response was unsuccsessfull
print('[BAD HTML RESPONSE] Response Code =', html.status_code)

Каждая страница содержит 10 отзывов и я получаю все 10 отзывов для первой страницы (&pageNumber=1), на каждой следующей странице я не получаю никакой информации.
Вывод приведенного выше кода
При проверке соответствующих объектов супа я не могу найти информацию для проверки. Почему это?
Я пробовал очистить только страницу 2 вне цикла for, но информация о проверке не возвращается.
Два месяца назад я попробовал тот же код, который работал на более чем 80 страницах. Я не понимаю, почему сейчас это не работает (амазон что-то изменил?) Спасибо за ваше время и помощь!

Подробнее здесь: https://stackoverflow.com/questions/759 ... first-page