Ошибка ModuleNotFound при использовании Scrapy. Паук не найденPython

Программы на Python
Ответить Пред. темаСлед. тема
Anonymous
 Ошибка ModuleNotFound при использовании Scrapy. Паук не найден

Сообщение Anonymous »

Сталкиваюсь с ошибкой ModuleNotFound с помощью веб-сканера, который я собрал на основе руководства по проекту. У меня сканер работает нормально, но как только я добавил код для извлечения данных и сохранения их в базе данных MongoDB, я столкнулся с проблемой при запуске сканера «ModuleNotFoundError», и похоже, что он говорит, что не может найти модуль для моего паука (имя-'stackspider' ). Поскольку раньше паук работал нормально, я не был уверен, где находится пробел.

Не хотелось перегружать кодом для первого вопроса. Как я могу устранить эту ошибку ModuleNotFound?

Если необходимы дополнительные сведения или код, мы будем рады предоставить. Спасибо за помощь.

[это ссылка на руководство, которое я использовал для создания проекта парсера] (https://realpython.com/web-scraping-with- Scrapy-and-mongodb/#scrapy-project)

2020-04-14 08:23:28 [twisted] CRITICAL:
Traceback (most recent call last):
File "/Users/blouie/.conda/envs/GoScrape/lib/python3.7/site-packages/twisted/internet/defer.py", line 1418, in _inlineCallbacks
result = g.send(result)
File "/Users/blouie/.conda/envs/GoScrape/lib/python3.7/site-packages/scrapy/crawler.py", line 89, in crawl
self.engine = self._create_engine()
File "/Users/blouie/.conda/envs/GoScrape/lib/python3.7/site-packages/scrapy/crawler.py", line 103, in _create_engine
return ExecutionEngine(self, lambda _: self.stop())
File "/Users/blouie/.conda/envs/GoScrape/lib/python3.7/site-packages/scrapy/core/engine.py", line 70, in __init__
self.scraper = Scraper(crawler)
File "/Users/blouie/.conda/envs/GoScrape/lib/python3.7/site-packages/scrapy/core/scraper.py", line 71, in __init__
self.itemproc = itemproc_cls.from_crawler(crawler)
File "/Users/blouie/.conda/envs/GoScrape/lib/python3.7/site-packages/scrapy/middleware.py", line 53, in from_crawler
return cls.from_settings(crawler.settings, crawler)
File "/Users/blouie/.conda/envs/GoScrape/lib/python3.7/site-packages/scrapy/middleware.py", line 34, in from_settings
mwcls = load_object(clspath)
File "/Users/blouie/.conda/envs/GoScrape/lib/python3.7/site-packages/scrapy/utils/misc.py", line 50, in load_object
mod = import_module(module)
File "/Users/blouie/.conda/envs/GoScrape/lib/python3.7/importlib/__init__.py", line 127, in import_module
return _bootstrap._gcd_import(name[level:], package, level)
File "", line 1006, in _gcd_import
File "", line 983, in _find_and_load
File "", line 953, in _find_and_load_unlocked
File "", line 219, in _call_with_frames_removed
File "", line 1006, in _gcd_import
File "", line 983, in _find_and_load
File "", line 965, in _find_and_load_unlocked
ModuleNotFoundError: No module named 'stackspider'


Код для моего паука (stackspider.py)

import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from scrapy import Spider
from scrapy.selector import Selector
from bigscrape.items import BigscrapeItem

class StackspiderSpider(Spider):
name = 'stackspider'
allowed_domains = ['stackoverflow.com']
start_urls = ["http://stackoverflow.com/questions?page ... ort=newest"]

rules = (
Rule(LinkExtractor(allow=r'Items/'), callback='parse_item', follow=True),
)

def parse(self, response):
#item = BigscrapeItem()
questions = Selector(response).xpath('//div[@class="summary"]/h3')
for question in questions:
item = BigscrapeItem()
item['title'] = question.xpath(
'a[@class="question-hyperlink"]/text()').get()
item['url'] = question.xpath(
'a[@class="question-hyperlink"]/@href').get()

yield item


Подробнее здесь: https://stackoverflow.com/questions/612 ... -not-found
Реклама
Ответить Пред. темаСлед. тема

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

  • Похожие темы
    Ответы
    Просмотры
    Последнее сообщение
  • Как я могу устранить ошибку ModuleNotFound при использовании Pytest в PyCharm
    Anonymous » » в форуме Python
    0 Ответы
    16 Просмотры
    Последнее сообщение Anonymous
  • Как я могу устранить ошибку ModuleNotFound при использовании Pytest в PyCharm
    Anonymous » » в форуме Python
    0 Ответы
    14 Просмотры
    Последнее сообщение Anonymous
  • Вопрос относительно новичка Scrapy и Scrapy Crowl
    Anonymous » » в форуме Python
    0 Ответы
    36 Просмотры
    Последнее сообщение Anonymous
  • Обработка ошибок Scrapy Spider (scrapy.core.scraper)
    Anonymous » » в форуме Python
    0 Ответы
    50 Просмотры
    Последнее сообщение Anonymous
  • Почему мой паук извлекает ограниченное количество предметов
    Anonymous » » в форуме Python
    0 Ответы
    36 Просмотры
    Последнее сообщение Anonymous

Вернуться в «Python»