В бессерверной работе требуются двоичные файлы Chrome. Но я не уверен, где найти.
Код: Выделить всё
async def crawl(self):
await self.urls_to_visit.put(self.start_url)
browser = await launch(
headless=True,
executePath="/opt/python/headless-chromium",
arg=["--no-sandbox"]
)
try:
workers = [self.worker(i, browser) for i in range(self.max_concurrency)]
await asyncio.gather(*workers)
# Wait for crawl to complete
await self.crawl_complete.wait()
return self.documents, list(self.visited_urls)
finally:
await browser.close()
Подробнее здесь: https://stackoverflow.com/questions/790 ... aws-lambda