Как исправить ошибку Scrapy «Неподдерживаемая схема URL-адресов»?Python

Программы на Python
Ответить
Anonymous
 Как исправить ошибку Scrapy «Неподдерживаемая схема URL-адресов»?

Сообщение Anonymous »

Я собираю URL-адрес из команды Python и затем вставляю его в start_urls

Код: Выделить всё

from flask import Flask, jsonify, request
import scrapy
import subprocess

class ClassSpider(scrapy.Spider):
name        = 'mySpider'
#start_urls = []
#pages      = 0
news        = []

def __init__(self, url, nbrPage):
self.pages      = nbrPage
self.start_urls = []
self.start_urlsappend(url)

def parse(self):
...

def run(self):
subprocess.check_output(['scrapy', 'crawl', 'mySpider', '-a', f'url={self.start_urls}', '-a', f'nbrPage={self.pages}'])
return self.news

app = Flask(__name__)
data = []

@app.route('/', methods=['POST'])
def getNews():
mySpiderClass = ClassSpider(request.json['url'], 2)
return jsonify({'data': mySpider.run()})

if __name__ == "__main__":
app.run(debug=True)
Я получил эту ошибку: поднять не поддерживается («неподдерживаемая схема URL-адресов %s: %s» %
scrapy.Exceptions.NotSupported: неподдерживаемая схема URL-адресов '': для этой схемы нет обработчика

Когда я помещаю

Код: Выделить всё

print('my urls List: ' + str(self.start_urls))
, он печатает список URL-адресов, например --> Мой список URL-адресов: ['www.googole.com']

Любая помощь, пожалуйста

Подробнее здесь: https://stackoverflow.com/questions/622 ... heme-error
Ответить

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

Вернуться в «Python»