Во время синтаксического анализа я получаю контент только частично, который не выглядит как полная html-страница в режиме инспектора:
Код: Выделить всё
...
(function(){function c(){var b=a.contentDocument||a.contentWindow.document;if(b){var d=b.createElement('script');d.innerHTML="window.__CF$cv$params={r:'8cac56113e61285a',t:'MTcyNzYxNjcxNC4wMDAwMDA='};var a=document.createElement('script');a.nonce='';a.src='/cdn-cgi/challenge-platform/scripts/jsd/main.js';document.getElementsByTagName('head')[0].appendChild(a);"
...
Вот часть моего кода:
Код: Выделить всё
def get_html(url):
session = tls_client.Session(client_identifier="chrome112", random_tls_extension_order=True)
response = session.get(url, headers=HEADERS)
return response
def get_content(html):
soup = BeautifulSoup(html, 'lxml')
# here will be part of code after getting inside
return print(soup)
def parse():
html = get_html(URL)
if html.status_code == 200:
get_content(html.text)
else:
print('Error detected')
print(html.status_code)
parse()
Спасибо.
Подробнее здесь: https://stackoverflow.com/questions/790 ... utifulsoup