Urllib3.Exceptions.ReadTimeoutError: HTTPSConnectionPool(host='my-opensearch-domain.com', port=443): время ожидания чтен ⇐ Python

[Anonymous]

Я запускаю скрипт Python, который массово индексирует документы в домен OpenSearch. Иногда массовые запросы завершаются с ошибкой ReadTimeoutError, как показано ниже:

Код: Выделить всё

Traceback (most recent call last):
File "/.../urllib3/connectionpool.py", line 536, in _make_request
response = conn.getresponse()
...
urllib3.exceptions.ReadTimeoutError: HTTPSConnectionPool(host='my-opensearch-domain.com', port=443): Read timed out. (read timeout=15)

During handling of the above exception, another exception occurred:

requests.exceptions.ReadTimeout: HTTPSConnectionPool(host='my-opensearch-domain.com', port=443): Read timed out. (read timeout=15)

Я периодически наблюдаю эти тайм-ауты во время операций индексирования _bulk. Некоторые пакеты выполняются успешно, а другие истекают по истечении времени ожидания чтения по умолчанию.
Что я пробовал:
• Убедиться в стабильности моего интернет-соединения.
• Запуск меньшего пакета. размеры (например, 100 документов одновременно).
• Подтверждено, что кластер OpenSearch работоспособен и имеет достаточно ресурсов.
• Проверено, что индексирование работает большую часть времени, за исключением случаев большой нагрузки.
Вопросы:
• Как я могу предотвратить эти периодические исключения ReadTimeoutError?
• Есть ли параметры конфигурации (тайм-ауты, повторные попытки), которые я могу настроить в клиенте OpenSearch Python или библиотеке запросов?
• Существуют ли передовые методы выполнения больших заданий массового индексирования в OpenSearch?
Будем признательны за любые рекомендации по устранению этих тайм-аутов или передовые методы обработки больших заданий массового индексирования.

Подробнее здесь: https://stackoverflow.com/questions/792 ... search-dom