На одной веб-странице ответ в консоли имеет формат JSON, а на второй — HTML.
Я пробовал работать с Scrappy и urllib3, но мне не удалось уловить что-то еще, кроме статических данных с самой веб-страницы.
Вот что я пытался используйте с лоскутками.
Код: Выделить всё
class spider(scrapy.Spider):
name = 'myspider'
start_urls = [url]
def parse(self, response):
yield scrapy.FormRequest('myurl',
callback=self.write_vente,
headers=headers,
meta={'proxy': 'https://' + str(proxy)})
def write_vente(self, response):
filename = 'vente.html'
with open(filename, 'wb') as f:
f.write(response.body)
Спасибо
Подробнее здесь: https://stackoverflow.com/questions/619 ... m-web-page
