Python/Selenium: динамически генерируемые элементы с одинаковым URL-адресом – html не реагирует на нажатие ⇐ Python

[Anonymous]

Я новичок в веб-скрапинге и, возможно, уже запутался в этом вопросе, но я пытаюсь получить информацию о квартирах с динамически генерируемого веб-сайта ( https://noveatknox.com/floorplans/). Я добрался до того, что смог собрать нужную мне информацию по «общему» URL-адресу (по умолчанию он находится на 19-м этаже). Я пытаюсь щелкнуть селеном на каждом этаже, чтобы получить доступные единицы и их информацию. Я даже выделил ссылку «кликнуть» на каждом этаже. Однако внутренний HTML-код всегда возвращает «нет доступной квартиры» и поэтому не может найти никакой информации.
Я чувствую, что что-то не так с «кликом» для загрузки страницы. никаких квартир. Из-за динамического HTML-кода его очень сложно извлечь, и я не могу найти место, где бы хранилась вся информация.
Вот что у меня есть на данный момент (a[11] относится к на конкретном этаже, на котором, как я знаю, есть свободные квартиры). Я планирую применить диапазон для циклического прохождения всех этажей, как только определю базовый код:
xpath = '//*[@id="mobile-floor-carousel-list"]/a[11]'
# Click page
floor = WebDriverWait(driver, 10).until(
EC.presence_of_element_located((By.XPATH, xpath))).click()

print("clicked on page")

floorplans = WebDriverWait(driver, 10).until(
EC.presence_of_all_elements_located((By.XPATH, "//div[@id='unit-list-items']"))
)
print("waited for page to load")

print(driver.find_element(By.XPATH,"//html").get_attribute('innerHTML'))

Гиперссылка показана ниже:
Floor144 avail

Внутренний HTML показывает это только тогда, когда после:
должна быть информация о квартире:


There are no available apartments on this floor.



Это должно выглядеть примерно так (то, что я вижу, когда делаю это вручную):

There are no available apartments on this floor.

....edited out for simplicity




#1504
...edited out for simplicity

Studio
1 bath

512 sq. ft.

1,807
3683




Подробнее здесь: https://stackoverflow.com/questions/792 ... doesnt-res