Python: слишком много запросов ⇐ Python

[Anonymous]

Я написал программу на Python, которая анализирует страницу субреддитов и составляет их список. Но проблема в том, что всякий раз, когда я пытаюсь запустить эту программу, сервер Reddit всегда выдает мне ошибку: 429, «слишком много запросов».

Как мне уменьшить количество отправляемых запросов, чтобы не быть ограниченным по скорости?

Код: Выделить всё

from bs4 import BeautifulSoup as bs
from time import sleep
import requests as req

html = req.get('http://www.reddit.com/')
print html
soup = bs(html.text)

# http://www.reddit.com/subreddits/
link_to_sub_reddits = soup.find('a',id='sr-more-link')['href']

print link_to_sub_reddits

L=[]

for navigate_the_pages in xrange(1):

res = req.get(link_to_sub_reddits)

soup = bs(res.text)
# soup created
print soup.text

div = soup.body.find('div', class_=lambda(class_):class_ and class_=='content')
div = div.find('div', id= lambda(id):id and id=='siteTable')

cnt=0

for iterator in div:

div_thing = div.contents[cnt]

if not div_thing=='' and div_thing.name=='div' and 'thing' in div_thing['class']:

div_entry = div_thing.find('a',class_=lambda(class_):class_ and 'entry' in class_)
# div with class='entry......'

link = div_entry.find('a')['href']
# link of the subreddit
name_of_sub = link.split('/')[-2]
# http://www.reddit.com/subreddits/
# ['http:', '', 'www.reddit.com', 'subreddits', '']

description = div_entry.find('strong').text
# something about the community

p_tagline = div_entry.find('p',class_='tagline')
subscribers = p_tagline.find('span',class_='number').text

L.append((name_of_sub, link, description, subscribers))

elif not div_thing=='' and div_thing.name=='div' and 'nav-buttons' in div_thing['class']:
# case when we find 'nav' button

link_to_sub_reddits = div_thing.find('a')['href']
break

cnt = cnt + 1
sleep(10)

sleep(10)

Редактировать: все ребята голосуют против, я не знаю, какую серьезную ошибку я совершил, разместив этот вопрос (обратная связь приветствуется). Если это поможет, мне «Pythoner» 3 дня. В общем, я пытаюсь изучить Python. Возможно, все, о чем я спрашиваю, для вас, ребята, слишком очевидно, но не для меня. Этот вопрос может помочь другому нубу, вроде меня, пытающемуся изучить Python. Но благодаря отрицательным голосам он куда-то потеряется.

Подробнее здесь: https://stackoverflow.com/questions/307 ... y-requests