Веб-скрапинг ссылки с кнопки с помощью Python ⇐ Python

[Anonymous]

Я пытаюсь очистить веб-страницу от ссылки, принадлежащей предыдущей кнопке на этом веб-сайте. (Конечная цель — обогатить данные для чат-бота RAG)

Код: Выделить всё

https://onlinehelp.prinect-lounge.com/Prinect_Color_Toolbox/Version2021/de_10/#t=Prinect%2Fmeasuring%2Fmeasuring-4.htm

Кнопки «Предыдущий/Следующий» находятся в правом верхнем углу. Ссылка, которую необходимо извлечь на подстранице данного примера, будет следующей:

Код: Выделить всё

href="https://onlinehelp.prinect-lounge.com/Prinect_Color_Toolbox/Version2021/de_10/Prinect/measuring/measuring-3.htm"

Я попробовал стандартным способом с Beautifulsoup:

Код: Выделить всё

from bs4 import BeautifulSoup
import requests

url = "https://onlinehelp.prinect-lounge.com/Prinect_Color_Toolbox/Version2021/de_10/#t=Prinect%2Fmeasuring%2Fmeasuring-4.htm"
page = requests.get(url)

soup = BeautifulSoup(page.content, "html.parser")

# get full html section
test1 = soup.find(id="browseSeqBack")
print(test1)

# get full html section test 2
test2 = soup.find("div", class_="brs_previous").children
print(test2)

# get link directly test 3
secBackButton = soup.find(id="browseSeqBack")
href = secBackButton.attrs.get('href', None)
print(href)

Однако тесты 1 и 2 не доставляют весь раздел HTML, и прямой запрос ссылки не работает.
Этот раздел появляется вернулся с test1:

Код: Выделить всё

Заранее спасибо

Подробнее здесь: https://stackoverflow.com/questions/788 ... ith-python