Как извлечь динамически генерируемые ссылки с веб-сайта с помощью Python? ⇐ Python

[Anonymous]

Я пишу код, в котором мне нужно получить все ссылки/URL-адреса с определенного веб-сайта, но кажется, что ссылки генерируются динамически и могут заполняться с использованием JavaScript или другого механизма динамической загрузки контента после исходного HTML. извлекается.
Изначально я использовал следующий код:

Код: Выделить всё

import requests
from bs4 import BeautifulSoup

url = 'https://www.example.com/'
reqs = requests.get(url)
soup = BeautifulSoup(reqs.text, 'html.parser')

urls = []
for link in soup.find_all('a'):
print(link.get('href'))

Однако этот подход не работал, поскольку ссылки не были записаны непосредственно в HTML. Вместо этого они генерируются позже с помощью кода JavaScript. Как я могу извлечь эти динамически генерируемые ссылки?
Буду очень признателен за простую подсказку.

Подробнее здесь: https://stackoverflow.com/questions/786 ... ing-python