Scrapy + Playwright: вызов синхронной функции parse_single из асинхронной функции анализа ⇐ Python

[Anonymous]

Я работаю с Scrapy + Playwright.
Упрощенная версия паука, который у меня сейчас есть:

Код: Выделить всё

class MySpider(CodeSpider):
def start_requests(self):
url = 'https://www.google.com/search?q=product+designer+nyc&ibp=htl;jobs'
yield Request(url, headers=headers, meta={
'playwright': True,
'playwright_include_page': True,
'errback': self.errback,
})

async def parse(self, response):
page = response.meta["playwright_page"]
jobs = page.locator("//li")

num_jobs = await jobs.count()

for idx in range(num_jobs):
await jobs.nth(idx).click()
job_details = page.locator("#tl_ditsc")

job_details_html = await job_details.inner_html()
soup = BeautifulSoup(job_details_html, 'html.parser')
data = self.parse_single_jd(soup)

yield {
'idx': idx,
'data': data,
}

def parse_single_jd(self, soup):
print("parse_single_jd running!")
title_of_role = soup.h2.text

data = {
"title": title_of_role,
}
return data

Паук запускается: он открывает браузер Playwright, переходит по URL-адресу, просматривает задания на странице и нажимает на каждое из них.
Однако функция self.parse_single_jd НЕ выполняется должным образом — полученные данные в конечном итоге становятся /code>. Действительно, строка print("parse_single_jd Running!") никогда не срабатывает.
Я подозреваю, что это связано с запуском синхронной функции parse_single_jd из асинхронного анализа. функция. Как мне заставить parse_single_jd запускаться/оцениваться в этой ситуации?

Подробнее здесь: https://stackoverflow.com/questions/786 ... an-async-p