Веб-сервер медленно отвечает при очистке данныхPython

Программы на Python
Anonymous
 Веб-сервер медленно отвечает при очистке данных

Сообщение Anonymous »

Я пытаюсь выполнить задачу, требующую входа и выхода из информации об игроке на этой странице: https://www.baseball-reference.com/lead ... reer.shtml. В этом случае мне придется зайти на веб-страницу Барри Бондса, который занимает первое место в рейтинге, собрать нужные данные, затем перейти к Бэйбу Руту, который уступал только Бондсу по WAR, и так далее и тому подобное.
В процессе я столкнулся с двумя проблемами:
  • Ошибка (429): слишком много запросов
  • Скорость получения данных снижается после того, как я нарушаю ошибку (429)
    Я не уверен, имеет ли второй пункт какое-либо отношение к первому, поэтому любая информация или помощь будут оценены.

Код: Выделить всё

from bs4 import BeautifulSoup
from urllib.request import urlopen

import requests
import pandas as pd

def counting_WAR(df):
sum = 0
for i in range(0, len(df)):
if type(df.iloc[i]["Age"]) is str:
age = int(df.iloc[i]["Age"])
if age 

Подробнее здесь: [url]https://stackoverflow.com/questions/76234088/web-server-responding-slow-while-doing-data-scraping[/url]

Вернуться в «Python»