Как успешно запросить эту конечную точку? ⇐ Python

[Anonymous]

Я пытаюсь парсить этот сайт, я проверил robots.txt и, насколько я понимаю, они разрешают парсинг сайта.
Сколько бы я ни старался, возиться с заголовками, моделировать поведение браузера и все такое, но мне не удалось получить код состояния .
Веб-сайт https://www.mastersportal.com/universities/80 /tilburg-university.html на вкладке сети отображаются тривиальные заголовки, насколько я понимаю, файлы cookie не передаются, но серверы все равно отклоняют запрос.
Я был бы признателен, если бы кто-нибудь мог сказать мне правильный способ очистки site, я не хочу использовать селен, поскольку он противоречит ключевому требованию — скорости.

Подробнее здесь: https://stackoverflow.com/questions/792 ... s-endpoint