Асинхронный анализ HTML с Beautifulsoup4 в Python ⇐ Python

[Anonymous]

Я создаю скрипт парсинга веб-страниц на Python. Я должен сделать это, используя asyncio. Поэтому для асинхронного HTTP-запроса я использую AioHTTP.

Это нормально, но когда я пытаюсь создать неблокирующее приложение (ожидание), beautifulsoup4 заблокирует приложение (потому что beautifulsoup4 не поддерживает асинхронность)

Это то, что я пробовал.

Код: Выделить всё

import asyncio, aiohttp
from bs4 import BeautifulSoup

async def extractLinks(html):
soup = BeautifulSoup(html, 'html.parser')
return soup.select(".c-pro-box__title a")

async def getHtml(session, url):
async with session.get(url) as response:
return await response.text()

async def loadPage(url):
async with aiohttp.ClientSession() as session:
html = await getHtml(session, url)
links = await extractLinks(html)
return links

loop = asyncio.get_event_loop()
loop.run_until_complete(loadPage())

ExtractLinks() блокирует выполнение программы.

Так можно ли сделать его неблокирующим? Или есть ли какая-нибудь библиотека, кроме beautifulsoup4, которая максимально хорошо поддерживает асинхронность?

Подробнее здесь: https://stackoverflow.com/questions/568 ... -in-python