Я пытаюсь извлечь данные из https://www.realestate.com.au/
Сначала я создаю свой URL-адрес на основе типа искомой недвижимости, а затем открываю URL-адрес с помощью веб-драйвера Selenium, но страница пуста!
Есть идеи, почему это происходит? Это потому, что этот веб-сайт не предоставляет разрешения на парсинг веб-страниц? Есть ли способ очистить этот сайт?
Вот мой код:
from selenium import webdriver
from bs4 import BeautifulSoup
import time
PostCode = "2153"
propertyType = "house"
minBedrooms = "3"
maxBedrooms = "4"
page = "1"
url = "https://www.realestate.com.au/sold/prop ... se".format(p = propertyType, mib = minBedrooms, po = PostCode, pa = page, mab = maxBedrooms)
print(url)
# url should be "https://www.realestate.com.au/sold/prop ... ding=false"
driver = webdriver.Edge("./msedgedriver.exe") # edit the address to where your driver is located
driver.get(url)
time.sleep(3)
src = driver.page_source
soup = BeautifulSoup(src, 'html.parser')
print(soup)
