Scrapy: возвращает список относительных URL-адресов, где встречается определенное словоPython

Программы на Python
Ответить Пред. темаСлед. тема
Anonymous
 Scrapy: возвращает список относительных URL-адресов, где встречается определенное слово

Сообщение Anonymous »

На этом веб-сайте есть множество карточек, которые доступны в разных частях сайта. Я пытаюсь очистить сайт, чтобы вернуть все его экземпляры (в виде URL-адреса) на основе заголовка. Например, карточка под названием «Программа безопасности школ AZ» находится по адресу: https://lawforkids.org/officers & https://lawforkids.org/educators. Моя цель состоит в том, чтобы Scrapy сделал это за меня, вместо того, чтобы вручную находить каждый экземпляр.

Код: Выделить всё

import scrapy

class PostsSpider(scrapy.Spider):

name = "card"

start_urls = [ 'https://lawforkids.org/',]

def parse(self, response):

for card in response.css('h5.card-title::text').re(r'AZ School Safety Program'):
yield{
'url': card.css('base::attr(href)').getall()
}
Помимо того, что я не уверен в правильности выбора URL-адреса, моя попытка сканирования приводит к следующему:
Обратный вызов PostsSpider.parse не определен. Любая информация очень ценится, спасибо!

Подробнее здесь: https://stackoverflow.com/questions/793 ... rd-appears
Реклама
Ответить Пред. темаСлед. тема

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

  • Похожие темы
    Ответы
    Просмотры
    Последнее сообщение

Вернуться в «Python»