Парсинг веб-страниц с помощью Python BeautifulSoup в Spyder IDE ⇐ Python

[Anonymous]

Я пытаюсь очистить таблицу по следующему URL-адресу в Spyder IDE. Ниже приведен мой код. Я проверил код hteml, чтобы определить класс таблицы и все теги th, tr, td,. Но извлечение заголовков и данных строк не работает. Он объединяет строки, поэтому первая запись — это строка 1 + все строки, строка 2 + все строки. Я не знаю, как разделить строки. Просмотр html-тегов не помогает. Я новичок в программировании, и мне нужны все рекомендации. Также необходимо сохранить это в CSV-файл.
url = 'https://www.aoml.noaa.gov/hrd/hurdat/In ... canes.html'
Я ожидаю, что данные в таблице на веб-сайте будут в формате CSV.
```
import os
print(os.getcwd())

import pandas as pd
import requests
from bs4 import BeautifulSoup
import csv

url = 'https://www.aoml.noaa.gov/hrd/hurdat/In ... canes.html'
response = requests.get(url)
html_content = response.text
soup = BeautifulSoup(html_content, 'html.parser')

table = soup.find('table', {'class': 'content'})
data = table.find_all('tr')

headers = []
for header in data[2].find_all('td'):
header_lines = header.text.strip().split('\r\n')

print(headers)

data = []
for row in rows.find_all('tr')[3:]:`find data after 3rd row`
cols = row.find_all('td')
cols = [col.get_text(strip=True) for col in cols]
if cols:
data.append(cols)

```


Подробнее здесь: https://stackoverflow.com/questions/791 ... spyder-ide