Парсер маркетплейса внезапно остановился, обновили скрытый json? ⇐ Python

[Anonymous]

Со вчерашнего дня я столкнулся с проблемой, из-за которой мой парсер Facebook Marketplace перестал получать данные. В настоящее время я использую Scrapy из-за его функций. Делаю ли я какие-либо ошибки?

Код: Выделить всё

from scrapy import Spider
import logging
from json import loads

class Facebook(Spider):
name = 'facebook'
start_urls = ["https://www.facebook.com/marketplace/112047398814697/search?query=funko&sortBy=creation_time_descend&radius=500"]

def parse(self, response):

flex_selector = response.xpath('//*[@id="facebook"]/body/script/text()')

ads = []

for script in flex_selector.getall():
try:
ads = loads(script)
ads = ads['require'][0][3][0]['__bbox']['require'][0][3][1]['__bbox']['result']['data']['marketplace_search']['feed_units']['edges']
break
except:
pass
# if(len(ads) == 0):

for item in ads:
try:
title = adJson['node']['listing']['marketplace_listing_title']
from pdb import set_trace; set_trace()

Чтобы запустить приведенный ниже код, запустится: Scrapy runspider main.py
Сейчас я использую py 3.12.2 и Scrapy 2.11.2

Подробнее здесь: https://stackoverflow.com/questions/791 ... idden-json