Вот часть HTML-кода:
[*]
Title
- Info 1
- Info 2
- Info 3
Теги типа или не возвращаются, и с ними невозможно работать.
Итак, как я могу получить информацию из такого кода?
если вам нужен исходный веб-сайт: https://bams.vba.vic. gov.au/bams/s/practitioner-search
Поскольку веб-сайт является динамическим, использование других вещей, таких как bs4, бесполезно.
Я попробовал цикл по всем элементам тела, и я видел только около 20% элементов, так где же проверять другие элементы, которые я вижу в браузере?
Вот часть моего кода, чтобы увидеть все элементы:
class PractitionerScraper:
def __init__(self, url:str):
main_path = pathlib.Path().absolute()
driver_path = main_path / "chromedriver.exe"
service = Service(executable_path= driver_path)
chrome_options = webdriver.ChromeOptions()
chrome_options.add_experimental_option('excludeSwitches', ['enable-logging'])
self.driver = webdriver.Chrome(options=chrome_options, service=service)
self.driver.implicitly_wait(4)
self.driver.get(url)
def search(self, time_to_load:int):
time.sleep(time_to_load)
main_div = self.driver.find_element(By.CSS_SELECTOR, "body div[class*='main']")
all_tags = main_div.find_elements(By.CSS_SELECTOR, "*")
for tag in all_tags:
print(tag.tag_name)
Подробнее здесь: https://stackoverflow.com/questions/785 ... -not-found
