Сталкиваюсь с ошибкой ModuleNotFound с помощью веб-сканера, который я собрал на основе руководства по проекту. У меня сканер работает нормально, но как только я добавил код для извлечения данных и сохранения их в базе данных MongoDB, я столкнулся с проблемой при запуске сканера «ModuleNotFoundError», и похоже, что он говорит, что не может найти модуль для моего паука (имя-'stackspider' ). Поскольку раньше паук работал нормально, я не был уверен, где находится пробел.
Не хотелось перегружать кодом для первого вопроса. Как я могу устранить эту ошибку ModuleNotFound?
Если необходимы дополнительные сведения или код, мы будем рады предоставить. Спасибо за помощь.
[это ссылка на руководство, которое я использовал для создания проекта парсера] (https://realpython.com/web-scraping-with- Scrapy-and-mongodb/#scrapy-project)
2020-04-14 08:23:28 [twisted] CRITICAL:
Traceback (most recent call last):
File "/Users/blouie/.conda/envs/GoScrape/lib/python3.7/site-packages/twisted/internet/defer.py", line 1418, in _inlineCallbacks
result = g.send(result)
File "/Users/blouie/.conda/envs/GoScrape/lib/python3.7/site-packages/scrapy/crawler.py", line 89, in crawl
self.engine = self._create_engine()
File "/Users/blouie/.conda/envs/GoScrape/lib/python3.7/site-packages/scrapy/crawler.py", line 103, in _create_engine
return ExecutionEngine(self, lambda _: self.stop())
File "/Users/blouie/.conda/envs/GoScrape/lib/python3.7/site-packages/scrapy/core/engine.py", line 70, in __init__
self.scraper = Scraper(crawler)
File "/Users/blouie/.conda/envs/GoScrape/lib/python3.7/site-packages/scrapy/core/scraper.py", line 71, in __init__
self.itemproc = itemproc_cls.from_crawler(crawler)
File "/Users/blouie/.conda/envs/GoScrape/lib/python3.7/site-packages/scrapy/middleware.py", line 53, in from_crawler
return cls.from_settings(crawler.settings, crawler)
File "/Users/blouie/.conda/envs/GoScrape/lib/python3.7/site-packages/scrapy/middleware.py", line 34, in from_settings
mwcls = load_object(clspath)
File "/Users/blouie/.conda/envs/GoScrape/lib/python3.7/site-packages/scrapy/utils/misc.py", line 50, in load_object
mod = import_module(module)
File "/Users/blouie/.conda/envs/GoScrape/lib/python3.7/importlib/__init__.py", line 127, in import_module
return _bootstrap._gcd_import(name[level:], package, level)
File "", line 1006, in _gcd_import
File "", line 983, in _find_and_load
File "", line 953, in _find_and_load_unlocked
File "", line 219, in _call_with_frames_removed
File "", line 1006, in _gcd_import
File "", line 983, in _find_and_load
File "", line 965, in _find_and_load_unlocked
ModuleNotFoundError: No module named 'stackspider'
Код для моего паука (stackspider.py)
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from scrapy import Spider
from scrapy.selector import Selector
from bigscrape.items import BigscrapeItem
class StackspiderSpider(Spider):
name = 'stackspider'
allowed_domains = ['stackoverflow.com']
start_urls = ["http://stackoverflow.com/questions?page ... ort=newest"]
rules = (
Rule(LinkExtractor(allow=r'Items/'), callback='parse_item', follow=True),
)
def parse(self, response):
#item = BigscrapeItem()
questions = Selector(response).xpath('//div[@class="summary"]/h3')
for question in questions:
item = BigscrapeItem()
item['title'] = question.xpath(
'a[@class="question-hyperlink"]/text()').get()
item['url'] = question.xpath(
'a[@class="question-hyperlink"]/@href').get()
yield item
Подробнее здесь: https://stackoverflow.com/questions/612 ... -not-found
Ошибка ModuleNotFound при использовании Scrapy. Паук не найден ⇐ Python
Программы на Python
-
Anonymous
1732014996
Anonymous
Сталкиваюсь с ошибкой ModuleNotFound с помощью веб-сканера, который я собрал на основе руководства по проекту. У меня сканер работает нормально, но как только я добавил код для извлечения данных и сохранения их в базе данных MongoDB, я столкнулся с проблемой при запуске сканера «ModuleNotFoundError», и похоже, что он говорит, что не может найти модуль для моего паука (имя-'stackspider' ). Поскольку раньше паук работал нормально, я не был уверен, где находится пробел.
Не хотелось перегружать кодом для первого вопроса. Как я могу устранить эту ошибку ModuleNotFound?
Если необходимы дополнительные сведения или код, мы будем рады предоставить. Спасибо за помощь.
[это ссылка на руководство, которое я использовал для создания проекта парсера] (https://realpython.com/web-scraping-with- Scrapy-and-mongodb/#scrapy-project)
2020-04-14 08:23:28 [twisted] CRITICAL:
Traceback (most recent call last):
File "/Users/blouie/.conda/envs/GoScrape/lib/python3.7/site-packages/twisted/internet/defer.py", line 1418, in _inlineCallbacks
result = g.send(result)
File "/Users/blouie/.conda/envs/GoScrape/lib/python3.7/site-packages/scrapy/crawler.py", line 89, in crawl
self.engine = self._create_engine()
File "/Users/blouie/.conda/envs/GoScrape/lib/python3.7/site-packages/scrapy/crawler.py", line 103, in _create_engine
return ExecutionEngine(self, lambda _: self.stop())
File "/Users/blouie/.conda/envs/GoScrape/lib/python3.7/site-packages/scrapy/core/engine.py", line 70, in __init__
self.scraper = Scraper(crawler)
File "/Users/blouie/.conda/envs/GoScrape/lib/python3.7/site-packages/scrapy/core/scraper.py", line 71, in __init__
self.itemproc = itemproc_cls.from_crawler(crawler)
File "/Users/blouie/.conda/envs/GoScrape/lib/python3.7/site-packages/scrapy/middleware.py", line 53, in from_crawler
return cls.from_settings(crawler.settings, crawler)
File "/Users/blouie/.conda/envs/GoScrape/lib/python3.7/site-packages/scrapy/middleware.py", line 34, in from_settings
mwcls = load_object(clspath)
File "/Users/blouie/.conda/envs/GoScrape/lib/python3.7/site-packages/scrapy/utils/misc.py", line 50, in load_object
mod = import_module(module)
File "/Users/blouie/.conda/envs/GoScrape/lib/python3.7/importlib/__init__.py", line 127, in import_module
return _bootstrap._gcd_import(name[level:], package, level)
File "", line 1006, in _gcd_import
File "", line 983, in _find_and_load
File "", line 953, in _find_and_load_unlocked
File "", line 219, in _call_with_frames_removed
File "", line 1006, in _gcd_import
File "", line 983, in _find_and_load
File "", line 965, in _find_and_load_unlocked
ModuleNotFoundError: No module named 'stackspider'
Код для моего паука (stackspider.py)
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from scrapy import Spider
from scrapy.selector import Selector
from bigscrape.items import BigscrapeItem
class StackspiderSpider(Spider):
name = 'stackspider'
allowed_domains = ['stackoverflow.com']
start_urls = ["http://stackoverflow.com/questions?pagesize=50&sort=newest"]
rules = (
Rule(LinkExtractor(allow=r'Items/'), callback='parse_item', follow=True),
)
def parse(self, response):
#item = BigscrapeItem()
questions = Selector(response).xpath('//div[@class="summary"]/h3')
for question in questions:
item = BigscrapeItem()
item['title'] = question.xpath(
'a[@class="question-hyperlink"]/text()').get()
item['url'] = question.xpath(
'a[@class="question-hyperlink"]/@href').get()
yield item
Подробнее здесь: [url]https://stackoverflow.com/questions/61208107/modulenotfound-error-using-scrapy-spider-not-found[/url]
Ответить
1 сообщение
• Страница 1 из 1
Перейти
- Кемерово-IT
- ↳ Javascript
- ↳ C#
- ↳ JAVA
- ↳ Elasticsearch aggregation
- ↳ Python
- ↳ Php
- ↳ Android
- ↳ Html
- ↳ Jquery
- ↳ C++
- ↳ IOS
- ↳ CSS
- ↳ Excel
- ↳ Linux
- ↳ Apache
- ↳ MySql
- Детский мир
- Для души
- ↳ Музыкальные инструменты даром
- ↳ Печатная продукция даром
- Внешняя красота и здоровье
- ↳ Одежда и обувь для взрослых даром
- ↳ Товары для здоровья
- ↳ Физкультура и спорт
- Техника - даром!
- ↳ Автомобилистам
- ↳ Компьютерная техника
- ↳ Плиты: газовые и электрические
- ↳ Холодильники
- ↳ Стиральные машины
- ↳ Телевизоры
- ↳ Телефоны, смартфоны, плашеты
- ↳ Швейные машинки
- ↳ Прочая электроника и техника
- ↳ Фототехника
- Ремонт и интерьер
- ↳ Стройматериалы, инструмент
- ↳ Мебель и предметы интерьера даром
- ↳ Cантехника
- Другие темы
- ↳ Разное даром
- ↳ Давай меняться!
- ↳ Отдам\возьму за копеечку
- ↳ Работа и подработка в Кемерове
- ↳ Давай с тобой поговорим...
Мобильная версия