Веб-скрапинг данных с запутанного веб-сайта ⇐ Python

[Anonymous]

Я пытаюсь получить данные с этого веб-сайта: https://vahan.parivahan.gov.in/vahan4da ... view.xhtml
Раньше я использовал Beautiful Soup для простых вещей, таких как получение списка бестселлеров с Amazon, поэтому я немного знаком с ним, но этот веб-сайт очень запутанный, и я ищу здесь советы о том, как начать работу.
По сути, я хотел бы просмотреть все состояния в фильтре «Состояние» и для каждого состояния я хотел бы пройти через каждый RTO в фильтре «RTO». Исходя из этого, я хочу загрузить данные таблицы.
Я знаю, что не добавлял никакого кода с этим вопросом. Мне нужна ваша помощь, чтобы понять, как начать работу над этим проектом, поскольку я понятия не имею, как перемещаться по этому веб-сайту.
Спасибо за вашу помощь!
РЕДАКТИРОВАТЬ:
Вот как я получаю данные:

Код: Выделить всё

from bs4 import BeautifulSoup
import requests
page = requests.get("https://vahan.parivahan.gov.in/vahan4dashboard/vahan/view/reportview.xhtml")
soup = BeautifulSoup(page.content, 'html.parser')
print(soup.prettify())

Сейчас я пытаюсь найти соответствующие разделы данных, но теряюсь:

Код: Выделить всё

html = list(soup.children)[4]
list(html.children)
data = html.find_all('table')
print(data[0].prettify())

Не знаю, куда идти дальше.

Подробнее здесь: https://stackoverflow.com/questions/660 ... ng-website