Механизировать возврат файла robot.txt, несмотря на то, что он настроен на игнорирование. ⇐ Python

[Anonymous]

Я столкнулся с несколькими веб-сайтами, которые при попытке извлечь код возвращали метатег ROBOTS и продолжают делать это даже при попытке использовать Mechanize. Например:

Код: Выделить всё

import mechanize
br = mechanize.Browser()
br.set_handle_robots(False)
br.open("http://myanimelist.net/anime.php?letter=B")
response = br.response().read()

Я пробовал устанавливать заголовки и другие дескрипторы, но никогда не получал ответа, отличного от метатега ROBOTS.

Будем очень признательны за любую помощь, спасибо.

Изменить:

Попытка использовать предложенные заголовки ниже:< /p>

Код: Выделить всё

import mechanize
url = "http://myanimelist.net/anime.php?letter=B"

br = mechanize.Browser()
br.set_handle_robots(False)
br.addheaders=[('User-Agent', 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36     (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36'),
('Host', 'myanimelist.net'),
('Accept', 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8'),
('Accept-Encoding', 'gzip, deflate, sdch'),
('Accept-Language', 'en-US,en;q=0.8,ru;q=0.6'),
('Cache-Control', 'max-age=0'),
('Connection', 'keep-alive')]
br.open(url)
response = br.response().read()
print response

Я все еще получаю тот же метатег РОБОТОВ. Я неправильно добавляю заголовки или просто застреваю на CAPTCHA?

Спасибо за вашу помощь, я ценю это.

Подробнее здесь: https://stackoverflow.com/questions/277 ... -to-ignore