Запросы Python и обнаружение ботов beautifulsoup ⇐ Python

[Anonymous]

Я пытаюсь очистить все элементы HTML страницы, используя запросы и beautifulsoup. Я использую ASIN (стандартный идентификационный номер Amazon), чтобы получить подробную информацию о продукте на странице. Мой код выглядит следующим образом:

Код: Выделить всё

from urllib.request import urlopen
import requests
from bs4 import BeautifulSoup

url = "http://www.amazon.com/dp/" + 'B004CNH98C'
response = urlopen(url)
soup = BeautifulSoup(response, "html.parser")
print(soup)

Но в выводе не отображается весь HTML-код страницы, поэтому я не могу продолжить работу с подробностями о продукте.
Любая помощь по этому поводу?

РЕДАКТИРОВАТЬ 1:

Из данного ответа показана разметка страницы обнаружения ботов. Я немного поисследовал и нашел два способа взломать его:

• Возможно, мне придется добавить заголовок в запросы, но я не мог понять, каким должно быть значение заголовка.
• Используйте Selenium.
  Теперь мой вопрос: оба способа обеспечивают равную поддержку?