Почему AsyncHtmlLoader в langchain не работает, а WebBaseLoader работает? ⇐ Python

[Anonymous]

У меня есть следующий код. Первый вызов загрузки данных выдает ошибку, второй работает нормально.

Код: Выделить всё

url="https://en.wikipedia.org/wiki/2023_Cricket_World_Cup"
from langchain_community.document_loaders import AsyncHtmlLoader
from langchain_community.document_loaders import WebBaseLoader

loader1 = AsyncHtmlLoader (url)
data = loader1.load()

Это дает ошибку: Ошибка выборки https://en.wikipedia.org/wiki/2023_Cricket_World_Cup с попыткой 2/3: тайм-аут соединения с хостом https://en.wikipedia.org/wiki/2023_Cricket_World_Cup. Повторяю попытку...
и наконец сдаюсь.

Код: Выделить всё

loader2 = WebBaseLoader (url)
data = loader2.load()
print(data)

Этот код работает нормально и печатает данные.
Насколько мне известно, основное различие между этими двумя вызовами заключается в том, что AsyncHtmlLoader может загружать несколько ссылок одновременно, тогда как WebBaseLoader может загружать по одной ссылке за раз. Но я предоставляю только одну ссылку для загрузки, так почему же при первом вызове отображается ошибка?
Я использую langchain-1.2.10 и langchain-community 0.4.1 (последние версии) на Mac.
Chatgpt предложил мне следующий код:

Код: Выделить всё

import asyncio
async def main():
loader = AsyncHtmlLoader([url])
data = await loader.aload()
print(data)
await main()

Но ошибка все еще сохраняется:

Код: Выделить всё

Error fetching https://en.wikipedia.org/wiki/2023_Cricket_World_Cup with attempt 2/3: Cannot connect to host en.wikipedia.org:443 ssl:True [SSLCertVerificationError: (1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1000)')]. Retrying...

ClientConnectorCertificateError: Cannot connect to host en.wikipedia.org:443 ssl:True [SSLCertVerificationError: (1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1000)')]

Но WebBaseLoader работает нормально. Так в чем же проблема с моим кодом, использующим AsyncHtmlLoader?

Подробнее здесь: https://stackoverflow.com/questions/798 ... is-working