Я пишу код, в котором мне нужно получить все ссылки/URL-адреса с определенного веб-сайта, но кажется, что ссылки генерируются динамически и могут заполняться с использованием JavaScript или другого механизма динамической загрузки контента после исходного HTML. извлекается.
Изначально я использовал следующий код:
Код: Выделить всё
import requests
from bs4 import BeautifulSoup
url = 'https://www.example.com/'
reqs = requests.get(url)
soup = BeautifulSoup(reqs.text, 'html.parser')
urls = []
for link in soup.find_all('a'):
print(link.get('href'))
Однако этот подход не работал, поскольку ссылки не были записаны непосредственно в HTML. Вместо этого они генерируются позже с помощью кода JavaScript. Как я могу извлечь эти динамически генерируемые ссылки?
Буду очень признателен за простую подсказку.
Подробнее здесь:
https://stackoverflow.com/questions/786 ... ing-python