Очистка реквизитов проигрывателя RotoWire и возврат их в виде фрейма данных ⇐ Python

[Anonymous]

Я пытаюсь очистить https://www.rotowire.com/betting/nba/player-props.php и получить результаты в фрейме данных. На странице около дюжины таблиц, и в идеале я мог бы просмотреть их все, добавив новый столбец, обозначающий, какому рынку они соответствуют. Мне не удалось найти прямую ссылку API в инструментах разработчика, а затем я безуспешно пытался использовать запросы/BeautifulSoup, но смог получить видимую часть первой таблицы с помощью Selenium с помощью приведенного ниже кода (он возвращает один столбец, но я подумал, что смогу найти способ изменить его позже).

Код: Выделить всё

import selenium
from selenium import webdriver
from selenium.webdriver.common.by import By
import time
import os
from dotenv import load_dotenv
load_dotenv()

##Some code to login in

def get_nba_props():
driver = webdriver.Chrome()
driver.get('https://www.rotowire.com/betting/nba/player-props.php')
data = []
markets = driver.find_elements(By.CLASS_NAME, "prop-table")
for market in markets:
bodies = market.find_elements(By.CLASS_NAME, "webix_ss_body")
for body in bodies:
cells = body.find_elements(By.CLASS_NAME, "webix_cell")
for cell in cells:
cell_text = cell.text
data.append(cell_text)
df = pd.DataFrame(data, columns=['Value'])

driver.quit()
return df

Попробовал несколько вариантов, но, похоже, ничего не заработало (как с точки зрения других таблиц, так и с точки зрения возврата невидимых строк).
Новое в веб-скрапинг/Selenium, поэтому любая помощь будет принята с благодарностью. Я подписчик сайта, поэтому можно также использовать кнопку «Экспортировать CSV», если это более простой путь.

Подробнее здесь: https://stackoverflow.com/questions/792 ... -dataframe