Извлечение таблицы с сайта UPS с помощью BeautifulSoup ⇐ Html

[Anonymous]

Я пытаюсь извлечь надбавку к цене на дизельное топливо в США по идентификатору таблицы, используя приведенный ниже код, и он считывается только до , но не до . Что я делаю не так?
url = 'https://www.ups.com/us/en/shipping/surc ... arges.page'
response = requests.get(url)
print(response.status_code)
soup = BeautifulSoup(response.content,"html.parser")
tables = soup.find(id="USDiesel")
print(tables)
tables_all = []
for tr in tables.find_all('tr'):
data = []
for td in tr.find_all('td'):
data.append(td.text.strip())
tables_all.append(data)
table_df = pd.DataFrame(tables_all)
headers = table_df.iloc[0]
UPS_Gfuelsurcharge_df = pd.DataFrame(table_df.values[1:], columns=headers)
print(UPS_Gfuelsurcharge_df)


Подробнее здесь: https://stackoverflow.com/questions/643 ... utifulsoup