Selenium Данные веб-скрапинга с сайта Oddsportal ⇐ Python

[Anonymous]

Я не могу найти элегантный способ получить даты матчей вместе с коэффициентами:
Допустим, вот мой URL: 'https://www.oddsportal.com/football/ usa/mls/'
Я могу получить все совпадения с помощью:

Код: Выделить всё

from selenium import webdriver
from selenium.webdriver.common.by import By
import pandas as pd
from time import sleep
from selenium.webdriver.chrome.options import Options

# Load the webpage
driver.get('https://www.oddsportal.com/football/usa/mls/')

# Give the page time to load
sleep(3)

# Scroll to the bottom of the page to load all content
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

sleep(3)  # Wait for content to load

# Extract all date elements
date_elements = driver.find_elements(By.XPATH,
'//div[@class="text-black-main font-main w-full truncate text-xs font-normal leading-5"]')
dates = [date_element.text.strip() for date_element in date_elements]

# Extract all game rows
game_rows = driver.find_elements(By.XPATH, '//div[@class="group flex"]')
rowData = [row.text.split("\n") for row in game_rows]

matches = []

# Iterate over game rows
for i in range(len(rowData)):
try:
if len(rowData[i]) == 10:
time = rowData[i][0]
Home = rowData[i][1]
Away = rowData[i][5]
odds_1 = rowData[i][6]
odds_X = rowData[i][7]
odds_2 = rowData[i][8]
Final_result = rowData[i][2] + ":" + rowData[i][4]
elif len(rowData[i]) == 8:
time = rowData[i][0]
Home = rowData[i][1]
Away = rowData[i][3]
odds_1 = rowData[i][4]
odds_X = rowData[i][5]
odds_2 = rowData[i][6]
Final_result = ":"
else:
continue  # Skip if it doesn't match the expected length

# Append the row data
matches.append([time, Home, Away, odds_1, odds_X, odds_2, Final_result])
except IndexError:
print(f"Skipping row {i} due to insufficient data")

# Convert to DataFrame for better visualization
df = pd.DataFrame(matches, columns=['Time', 'Home', 'Away', '1', 'X', '2', 'Final result'])

Я также могу получить все даты с помощью

Код: Выделить всё

    date_elements = driver.find_elements(By.XPATH,
'//div[@class="text-black-main font-main w-full truncate text-xs font-normal leading-5"]')
dates = [date_element.text.strip() for date_element in date_elements]

количество элементов в кадре данных и в датах списка различается.
Я пробовал обходной путь со временем сопоставления, но он не работает, поскольку сопоставление может начаться одновременно в в разные дни.
Потенциально я могу пойти на каждый матч и извлечь оттуда дату, но это отнимает слишком много времени.
Какой совет?< /п>

Подробнее здесь: https://stackoverflow.com/questions/790 ... oddsportal