Соскабливание веб -сайта, который постоянно обновляет данные и нерегулярно ⇐ Python

[Anonymous]

Я пытаюсь очистить веб -приложение, чтобы получить значения таблицы. Как соскрести таблицу каждый раз, когда новые значения добавляются в таблицу или иным образом, как я могу соскрести веб -сайт? Веб -сайт < /p>
Мой базовый код позволяет мне только скрасить вручную, в результате чего многие значения не будут соскребать. Также < /p>
driver.find_elements_by_xpath
< /code>
не возвращает ничего, кроме < /p>
WebDriverWait(driver, 100).until(EC.presence_of_all_elements_located()
< /code>
works.
ниже мой код < /p>
from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from bs4 import BeautifulSoup
import time

website = "https://play.pakakumi.com/"
path = r'D:\chromedriver_win32\chromedriver.exe'
driver = webdriver.Chrome(path)
driver.get(website)

page = driver.page_source
soup = BeautifulSoup(page, 'html.parser')

'''
k =driver.find_elements_by_xpath('/html/body/div/div[2]/div[2]/div/div[1]/div/div[3]/div/div[2]/div/table/tbody/tr/td[1]')

for item in k:
print(item.text)
'''
foo = WebDriverWait(driver, 100).until(EC.presence_of_all_elements_located((By.XPATH, '/html/body/div/div[2]/div[2]/div/div[1]/div/div[3]/div/div[2]/div/table/tbody/tr/td[1]')))
for b in foo:
print(b.text)
#print(foo)
< /code>



Подробнее здесь: https://stackoverflow.com/questions/748 ... rregularly