Scrapy-парсинг сайта о новостройкахCSS

Разбираемся в CSS
Ответить
Anonymous
 Scrapy-парсинг сайта о новостройках

Сообщение Anonymous »

Мне нужно проанализировать эту страницу "https://xn--80az8a.xn--d1aqf.xn--p1ai/% ... 0%B2%D0%B8% D1%81%D1%8B/%D0%BA%D0%B0%D1%82%D0%B0%D0%BB%D0%BE%D0%B3-%D0%BD%D0%BE%D0%B2% D0%BE%D1%81%D1%82%D1%80%D0%BE%D0%B5%D0%BA/%D1%81%D0%BF%D0%B8%D1%81%D0%BE%D0 %BA-%D0%BE%D0%B1%D1%8A%D0%B5%D0%BA%D1%82%D0%BE%D0%B2/%D1%81%D0%BF%D0%B8%D1 %81%D0%BE%D0%BA?place=0-1&objStatus=0" Я написал код, но он возвращает None, я не знаю почему, как будто он просто не находит селектор CSS, пожалуйста, помогите , я застрял с этой проблемой уже 3 дня.

Код: Выделить всё

import scrapy

class BuildingSpiderSpider(scrapy.Spider):
name = "building_spider"
allowed_domains = ["xn--80az8a.xn--d1aqf.xn--p1ai"]
start_urls = [
"https://xn--80az8a.xn--d1aqf.xn--p1ai/%D1%81%D0%B5%D1%80%D0%B2%D0%B8%D1%81%D1%8B/%D0%BA%D0%B0%D1%82%D0%B0%D0%BB%D0%BE%D0%B3-%D0%BD%D0%BE%D0%B2%D0%BE%D1%81%D1%82%D1%80%D0%BE%D0%B5%D0%BA/%D1%81%D0%BF%D0%B8%D1%81%D0%BE%D0%BA-%D0%BE%D0%B1%D1%8A%D0%B5%D0%BA%D1%82%D0%BE%D0%B2/%D1%81%D0%BF%D0%B8%D1%81%D0%BE%D0%BA?place=0-1&objStatus=0",
]

def parse(self, response):

buildings = response.css('div.NewBuildingItem__Wrapper-sc-o36w9y-0.iYDe')

for building in buildings:
link = building.css('a.NewBuildingItem__ImageWrapper-sc-o36w9y-2.iLOAue::attr(href)').get()
title = building.css('a.NewBuildingItem__MainTitle-sc-o36w9y-6.KYYzh::text').get()
address = building.css('p.NewBuildingItem__Text-sc-o36w9w-7.iUiqkY::text').get()
building_id = building.css('p.NewBuildingItem__Text-sc-o36w9y-7.NewBuildingItem__ObjectID-sc-o36w9y-8.iUiqkY.cgrVoh::text').get()
commissioning = building.css('p.NewBuildingItem__InfoValue-sc-o36w9y-11.jZCQkA::text').get()
developer = building.css('p.NewBuildingItem__InfoValue-sc-o36w9y-11.jZCQkA::text').get()

yield {
'link': link,
'title': title,
'address': address,
'id': building_id,
'commissioning': commissioning,
'developer': developer
}

Код: Выделить всё

[url=https://xn--80az8a.xn--d1aqf.xn--p1ai/%D1%81%D0%B5%D1%80%D0%B2%D0%B8%D1%81%D1%8B/%D0%BA%D0%B0%D1%82%D0%B0%D0%BB%D0%BE%D0%B3-%D0%BD%D0%BE%D0%B2%D0%BE%D1%81%D1%82%D1%80%D0%BE%D0%B5%D0%BA/%D0%BE%D0%B1%D1%8A%D0%B5%D0%BA%D1%82/60425]
[img]https://xn--80az8a.xn--d1aqf.xn--p1ai/api/ext/file/70726F6A6465636C2E646F63732E697A643AB2F4CD432A63444CBED5785A3480627C[/img]
[/url]
Зелёный дом[url=https://xn--80az8a.xn--d1aqf.xn--p1ai/%D1%81%D0%B5%D1%80%D0%B2%D0%B8%D1%81%D1%8B/%D0%BA%D0%B0%D1%82%D0%B0%D0%BB%D0%BE%D0%B3-%D0%BD%D0%BE%D0%B2%D0%BE%D1%81%D1%82%D1%80%D0%BE%D0%B5%D0%BA/%D0%BE%D0%B1%D1%8A%D0%B5%D0%BA%D1%82/60425]HideOUT[/url]Город Москва, г. Москва, район Р-н Раменки, пр-д 3-й Сетуньский

ID: 60425

Ввод в эксплуатацию

II кв.  2028

Застройщик

АО СЗ ХАЙДАУТ

Киевская

[img]data:image/svg+xml;base64,PHN2ZyB3aWR0aD0iMTEiIGhlaWdodD0iMTMiIHZpZXdCb3g9IjAgMCAxMSAxMyIgZmlsbD0ibm9uZSIgeG1sbnM9Imh0dHA6Ly93d3cudzMub3JnLzIwMDAvc3ZnIj4KPHBhdGggZD0iTTAgOS41Nzg5NUMwIDEwLjE4MTEgMC4yNjgxMjUgMTAuNzIxNiAwLjY4NzUgMTEuMDk3OVYxMi4zMTU4QzAuNjg3NSAxMi42OTIxIDAuOTk2ODc1IDEzIDEuMzc1IDEzSDIuMDYyNUMyLjQ0MDYyIDEzIDIuNzUgMTIuNjkyMSAyLjc1IDEyLjMxNThWMTEuNjMxNkg4LjI1VjEyLjMxNThDOC4yNSAxMi42OTIxIDguNTU5MzcgMTMgOC45Mzc1IDEzSDkuNjI1QzEwLjAwMzEgMTMgMTAuMzEyNSAxMi42OTIxIDEwLjMxMjUgMTIuMzE1OFYxMS4wOTc5QzEwLjczMTkgMTAuNzIxNiAxMSAxMC4xODExIDExIDkuNTc4OTVWMi43MzY4NEMxMSAwLjM0MjEwNSA4LjUzODc1IDAgNS41IDBDMi40NjEyNSAwIDAgMC4zNDIxMDUgMCAyLjczNjg0VjkuNTc4OTVaTTIuNDA2MjUgMTAuMjYzMkMxLjgzNTYyIDEwLjI2MzIgMS4zNzUgOS44MDQ3NCAxLjM3NSA5LjIzNjg0QzEuMzc1IDguNjY4OTUgMS44MzU2MiA4LjIxMDUzIDIuNDA2MjUgOC4yMTA1M0MyLjk3Njg4IDguMjEwNTMgMy40Mzc1IDguNjY4OTUgMy40Mzc1IDkuMjM2ODRDMy40Mzc1IDkuODA0NzQgMi45NzY4OCAxMC4yNjMyIDIuNDA2MjUgMTAuMjYzMlpNOC41OTM3NSAxMC4yNjMyQzguMDIzMTIgMTAuMjYzMiA3LjU2MjUgOS44MDQ3NCA3LjU2MjUgOS4yMzY4NEM3LjU2MjUgOC42Njg5NSA4LjAyMzEyIDguMjEwNTMgOC41OTM3NSA4LjIxMDUzQzkuMTY0MzggOC4yMTA1MyA5LjYyNSA4LjY2ODk1IDkuNjI1IDkuMjM2ODRDOS42MjUgOS44MDQ3NCA5LjE2NDM4IDEwLjI2MzIgOC41OTM3NSAxMC4yNjMyWk05LjYyNSA1LjY1Nzg5QzkuNjI1IDUuOTM0MDQgOS40MDExNCA2LjE1NzkgOS4xMjUgNi4xNTc5SDEuODc1QzEuNTk4ODYgNi4xNTc5IDEuMzc1IDUuOTM0MDQgMS4zNzUgNS42NTc5VjMuMjM2ODRDMS4zNzUgMi45NjA3IDEuNTk4ODYgMi43MzY4NCAxLjg3NSAyLjczNjg0SDkuMTI1QzkuNDAxMTQgMi43MzY4NCA5LjYyNSAyLjk2MDcgOS42MjUgMy4yMzY4NFY1LjY1Nzg5WiIgZmlsbD0iIzY4NkE3QSIvPgo8L3N2Zz4K[/img]

14 мин.

Я пробовал менять селектор CSS в коде, сколько бы я ни менял код, ничего не помогло.

Подробнее здесь: https://stackoverflow.com/questions/786 ... -buildings
Ответить

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

Вернуться в «CSS»