Я работаю над проектом очистки веб-страниц, и мне нужно извлечь список URL-адресов магазинов со следующей страницы: ⇐ Python

[Anonymous]

Я работаю над проектом парсинга веб-страниц, и мне нужно извлечь список URL-адресов магазинов со следующей страницы:
https://maroof.sa/businesses
Однако я столкнулся с трудностями при получении данных. Вот что я пробовал на данный момент:
1. Использование Requests + BeautifulSoup
Я попытался получить HTML-код и проанализировать его с помощью BeautifulSoup, но URL-адреса магазина отсутствуют в исходном источнике страницы. Кажется, контент загружается динамически, и мне не удалось найти статические теги или классы, содержащие ссылки на магазин.
2. Использование Selenium
Я попробовал использовать Selenium, чтобы дождаться, пока страница полностью отобразит контент, сгенерированный JavaScript. Проблема в том, что я все еще не мог найти элементы, содержащие бизнес-ссылки, даже после ожидания полной загрузки страницы и прокрутки вниз для запуска отложенной загрузки.
Что я прошу
Мне нужно руководство, как правильно извлечь бизнес-URL с этой страницы.

Мои конкретные вопросы:

• Откуда именно загружаются URL-адреса магазина?
• Какой сетевой запрос или конечная точка API отвечает за получение списка компаний?
• Какой метод рекомендуется эффективно очищать эти URL-адреса?

Цель
Получить чистый список корпоративных URL-адресов, например:

Код: Выделить всё

https://maroof.sa/businesses/details/

Примечания

[*]Я не пытаюсь обойти аутентификацию или очистить защищенный контент.

[*]Только нужна помощь в определении правильного запроса/конечной точки или метода очистки.

[*]Пример минимального кода приветствуется.



Подробнее здесь: https://stackoverflow.com/questions/798 ... store-urls