Вместо этого я использовал HTMLSession. Я скопировал XPATH для поиска тега, и все было в порядке. Я получил ссылку и смог подключиться к первому веб-сайту.
Дело в том, что когда я пытаюсь сделать то же самое для карты, встроенной в страницу, на которую я попал, я не могу сделать то же самое XPATH. поиск. Он просто возвращает пустой список или говорит: «Объект NoneType не имеет атрибута .text» или что-то в этом роде, когда я пытаюсь распечатать его с помощью print(zip_container.text).
Я понимаю, что встроенная карта должен быть динамически загружен, и поэтому я не могу использовать BeautifulSoup напрямую. Что я делаю не так?
Я тоже не могу и не хочу использовать для этого Selenium. Я знаю, что это возможно с помощью request_html, но я просто не могу понять, где я ошибаюсь.
Вот код, который я написал, все модули уже импортированы, а код для первой веб-страницы не опубликован с момента ее создания. не имеет значения:
Код: Выделить всё
store_urls = 'https://www.miyazaki-recycle.com/recycling-station/14821/'
session = HTMLSession()
response = session.get(store_urls, timeout=60)
response.html.render(sleep=10)
zip_container = response.html.xpath('//*[@id="mapDiv"]/div/div[3]/div[3]/div/div/div/div/div[1]/div[2]', first=True)
print(zip_container)
Код: Выделить всё
zip_container = response.html.find('div.address', first=True)
Я также новичок в Python, так что будьте проще, пожалуйста.
Подробнее здесь: https://stackoverflow.com/questions/786 ... -a-website