TlsException: не удалось выполнить рукопожатие после отправки нескольких веб-запросов ⇐ C#

[Anonymous]

После того, как я отправил около 1500-1700 веб-запросов (всегда в этом диапазоне), я получаю следующую ошибку:

Код: Выделить всё

TlsException: Handshake failed - error code: UNITYTLS_INTERNAL_ERROR, verify result: UNITYTLS_X509VERIFY_NOT_DONE

Перезапуск Unity «обновляет» квоту, и я могу снова отправлять примерно такое же количество запросов.
Я создаю webscraper, и мне нужно отправить около 14000 запросов.
Между каждым запросом происходит задержка, и я отправляю максимум 5 одновременно, чтобы избежать перегрузки сервера.
Я также попробовал следующий веб-сайт для тестирования, но получил ту же ошибку:
https://httpbin.org/
Вот мой HttpClient:

Код: Выделить всё

private static readonly Lazy httpClient = new(() => new HttpClient(new HttpClientHandler
{
ServerCertificateCustomValidationCallback = (_, _, _, _) => true,
ClientCertificateOptions = ClientCertificateOption.Automatic,
SslProtocols = SslProtocols.None
})
{
BaseAddress = new Uri("https://yugioh.fandom.com/"),
Timeout = TimeSpan.FromSeconds(15),
DefaultRequestHeaders =
{
ConnectionClose = true
}
});

Изменение настроек в HttpClient (или отсутствие пользовательских настроек вообще) не решает проблему.
Я читал, что UnityWebRequest может не быть этих проблем, но его можно вызвать только из основного потока, и я не хочу реструктурировать все для использования сопрограмм.

Подробнее здесь: https://stackoverflow.com/questions/790 ... b-requests