ImportError: нет модуля с именем конвейеров – Scrapy/PyInstaller ⇐ Python

[Anonymous]

Я пытаюсь создать exe-файл из проекта Scrapy. Мне пришлось добавить десятки скрытых операций импорта, чтобы избежать ошибок, но теперь я получаю сообщение ImportError: нет модуля с именем конвейеров, и я не знаю, что делать.

Код: Выделить всё

bot/
engine_bot/
engine_bot/
spiders/
__init__.py
main_spider.py
__init__.py
items.py
middlewares.py
pipelines.py
settings.py
utils.py
__init__.py
helper.py
main.py
__init__.py

Main.py:

Код: Выделить всё

from scrapy.crawler import CrawlerProcess
from engine_bot.engine_bot.spiders.main_spider import MainSpider

if __name__ == '__main__':
process = CrawlerProcess({'BOT_NAME':'engine_bot',
'SPIDER_MODULES':['engine_bot.engine_bot.spiders'],
'NEWSPIDER_MODULE':'engine_bot.engine_bot.spiders',
'ROBOTSTXT_OBEY':False,
'DOWNLOAD_DELAY':0.20,
'LOG_FILE':'scrapy.log',
'LOG_LEVEL':'DEBUG',
'ITEM_PIPELINES':{
'engine_bot.engine_bot.pipelines.XmlExportPipeline': 300,

}
})
process.crawl(MainSpider)
process.start()

celery.log:

Код: Выделить всё

2017-11-03 14:01:47 [twisted] CRITICAL: Unhandled error in Deferred:
2017-11-03 14:01:47 [twisted] CRITICAL:
Traceback (most recent call last):
File "site-packages\twisted\internet\defer.py", line 1386, in _inlineCallbacks
File "site-packages\scrapy\crawler.py", line 95, in crawl
File "site-packages\scrapy\crawler.py", line 77, in crawl
File "site-packages\scrapy\crawler.py", line 102, in _create_engine
File "site-packages\scrapy\core\engine.py", line 70, in __init__
File "site-packages\scrapy\core\scraper.py", line 71, in __init__
File "site-packages\scrapy\middleware.py", line 58, in from_crawler
File "site-packages\scrapy\middleware.py", line 34, in from_settings
File "site-packages\scrapy\utils\misc.py", line 44, in load_object
File "importlib\__init__.py", line 37, in import_module
ImportError: No module named pipelines

PyInstaller CMD (много скрытого импорта, пробовал добавить Scrapy.pipelines)

Код: Выделить всё

pyinstaller main.py --hidden-import scrapy.spiderloader --hidden-import scrapy.statscollectors  --hidden-import scrapy.logformatter --hidden-import scrapy.extensions.closespider

--hidden-import Scrapy.extensions.feedexport --hidden-import Scrapy.extensions.memdebug --hidden-import Scrapy.statscollectors
--hidden -import Scrapy.logformatter --hidden-import Scrapy.extensions.closespider --hidden-import
Scrapy.extensions.feedexport --скрытый-импорт
Scrapy.extensions.logstats --скрытый-импорт Scrapy. Spiderloader
--hidden-import Scrapy.statscollectors --hidden-import Scrapy.logformatter --скрытый-импорт Scrapy.extensions.closespider
--скрытый-импорт Scrapy.extensions.feedexport --скрытый-Импорт Scrapy.spiderloader --скрытый-импорт Scrapy.statscollectors
--скрытый-импорт Scrapy.logformatter --скрытый-импорт Scrapy.extensions.closespider --скрытый-импорт
Scrapy.extensions.feedexport --hidden -import Scrapy.extensions.telnet
--hidden-import Scrapy.spiderloader --скрытый-импорт Scrapy.statscollectors --скрытый-импорт Scrapy.logformatter
--скрытый-импорт Scrapy.extensions.closespider - -скрытый-импорт Scrapy.extensions.feedexport --скрытый-импорт
Scrapy.extensions.memusage --скрытый-импорт Scrapy.spiderloader
--скрытый-импорт Scrapy.statscollectors --скрытый-импорт Scrapy. logformatter --hidden-import Scrapy.extensions.closespider
--hidden-import Scrapy.extensions.feedexport --hidden-import Scrapy.extensions.logstats --hidden-import Scrapy.spiderloader
--скрытый -import Scrapy.statscollectors --скрытый-импорт Scrapy.logformatter --скрытый-импорт Scrapy.extensions.closespider
--скрытый-импорт Scrapy.extensions.feedexport --скрытый-импорт Scrapy.spiderloader --скрытый-импорт Scrapy.statscollectors
--hidden-import Scrapy.logformatter --hidden-import Scrapy.extensions.closespider --hidden-import
Scrapy.extensions.corestats --hidden-import
Scrapy. Extensions.spiderstate --hidden-import
Scrapy.extensions.throttle --hidden-import Scrapy.core.scheduler
--скрытый-импорт Scrapy.core.downloader --скрытый-импорт Scrapy.downloadermiddlewares. robotstxt --hidden-import
Scrapy.downloadermiddlewares.httpauth --hidden-import
Scrapy.downloadermiddlewares.downloadtimeout --hidden-import
Scrapy.downloadermiddlewares.useragent --hidden-import
Scrapy.downloadermiddlewares.defaultheaders --hidden-import
Scrapy.downloadermiddlewares.ajaxcrawl --hidden-import
Scrapy.downloadermiddlewares.retry --hidden-import
Scrapy.downloadermiddlewares.redirect - -скрытый-импорт
Scrapy.downloadermiddlewares.cookies --скрытый-импорт
Scrapy.downloadermiddlewares.httpcompression --скрытый-импорт
Scrapy.downloadermiddlewares.httpproxy --скрытый-импорт
Scrapy.downloadermiddlewares.httpcache --hidden-import
Scrapy.downloadermiddlewares.stats --hidden-import
Scrapy.downloadermiddlewares.chunked --hidden-import
Scrapy.downloadermiddlewares.decompression --hidden -import
Scrapy.downloadermiddlewares.httperror --hidden-import
Scrapy.downloadermiddlewares.stats --hidden-import
Scrapy.downloadermiddlewares.stats --hidden-import
Scrapy. Spidermiddlewares.Depth --hidden-import
Scrapy.spidermiddlewares.httperror --hidden-import
Scrapy.spidermiddlewares.offsite --hidden-import
Scrapy.spidermiddlewares.referer --hidden-import --скрытый-импорт
Scrapy.spidermiddlewares.urllength --hidden-import Scrapy.pipelines
--hidden-import engine_bot.pipelines


Я правда не знаю, что делать, есть советы?

Подробнее здесь: https://stackoverflow.com/questions/470 ... yinstaller