Вопрос относительно новичка Scrapy и Scrapy Crowl ⇐ Python

[Anonymous]

Недавно я начал пытаться научиться парсить веб-страницы с помощью Scrapy. Недавно я попытался выполнить Scrapycrawl на сайте books.toscrape.com. Согласно терминалу, вызов Scrapycrawl работает нормально, но он не возвращает количество предметов и не показывает никакой информации о книгах. Мне было интересно, нормально ли это, или в моем коде есть ошибка.
Вот мой код для решения проблемы, если это поможет кому-нибудь понять, что я делаю.
import scrapy

class BookspiderSpider(scrapy.Spider):
name = "bookspider"
allowed_domains = ["books.toscrape.com"]
start_urls = ["https://books.toscrape.com"]

def parse(self, response):
books = response.css('article.product_pod')
for book in books:
yield{
'name': book.css('h3 a::text').get(),
'url': book.css('h3 a').attrib['href'],
}

next_page = response.css('li.next a ::attr(href)').get()
if next_page is not None:
if 'catalogue/' in next_page:
next_page_url = 'https://books.toscrape.com/' + next_page
else:
next_page_url = 'https://books.toscrape.com/catalogue/' + next_page
yield response.follow(next_page_url , callback = self.parse)


Подробнее здесь: https://stackoverflow.com/questions/769 ... rapy-crawl