Недавно я начал пытаться научиться парсить веб-страницы с помощью Scrapy. Недавно я попытался выполнить Scrapycrawl на сайте books.toscrape.com. Согласно терминалу, вызов Scrapycrawl работает нормально, но он не возвращает количество предметов и не показывает никакой информации о книгах. Мне было интересно, нормально ли это, или в моем коде есть ошибка.
Вот мой код для решения проблемы, если это поможет кому-нибудь понять, что я делаю.
import scrapy
class BookspiderSpider(scrapy.Spider):
name = "bookspider"
allowed_domains = ["books.toscrape.com"]
start_urls = ["https://books.toscrape.com"]
def parse(self, response):
books = response.css('article.product_pod')
for book in books:
yield{
'name': book.css('h3 a::text').get(),
'url': book.css('h3 a').attrib['href'],
}
next_page = response.css('li.next a ::attr(href)').get()
if next_page is not None:
if 'catalogue/' in next_page:
next_page_url = 'https://books.toscrape.com/' + next_page
else:
next_page_url = 'https://books.toscrape.com/catalogue/' + next_page
yield response.follow(next_page_url , callback = self.parse)
Подробнее здесь: https://stackoverflow.com/questions/769 ... rapy-crawl
