Справочник по парсингу веб-страниц о футболе в JupyterLite ⇐ Python

[Anonymous]

Здравствуйте, я пытаюсь понять, как очистить веб-сайт www.profootballreference.com с помощью JupyterLite (версия для браузера). Я уже знаю, как это сделать с помощью pycharm, и теперь хочу научиться парсить веб-страницы с помощью JupyterLite. Я знаю, что существуют некоторые ограничения на использование версии браузера, которая не позволяет мне запрашивать html, поскольку это всегда приводит к ConnectionError (ConnectionError: («Соединение прервано.», HTTPException («Не удалось выполнить «отправить» для «XMLHttpRequest»: Не удалось загрузить «https://www.pro-football-reference.com/years/2022/».)). Я знаю, что это зависит от заголовков запросов. которые мне нужно указать, но я не знаю, какие еще мне нужны. Я уже включил заголовок «user-agent», но хотел бы знать, какие еще мне нужны для успешного получения запроса, вот что у меня есть на данный момент. и URL-адрес, с которого я пытаюсь отправить запрос.
import pandas as pd
import requests
team_stats_url = f'https://www.pro-football-reference.com/years/2022/'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML,
like Gecko) Chrome/131.0.0.0 Safari/537.36'
}
response = requests.get(url=team_stats_url, headers=headers).json()


Подробнее здесь: https://stackoverflow.com/questions/792 ... upyterlite