Производительность процессора функции AWS Lambda замедляется ⇐ Python
-
Anonymous
Производительность процессора функции AWS Lambda замедляется
Моя функция AWS Lambda сообщает в своем ответе время, затраченное на одну строку:
embeddings = model.encode(texts) model — модель-трансформер HuggingFace. Модель инициализируется и загружается в память. Таким образом, это, по сути, задача, требующая больших ресурсов ЦП для обработки некоторых входных данных через нейронную сеть.
Другая функция AWS Lambda вызывает эту первую функцию 8 раз параллельно. Входные данные одинаковы для всех тестовых запусков. Они также примерно одинакового размера для 8 вызовов, поэтому время для 8 вызовов обычно очень похоже. Однако во время многих запусков результаты синхронизации для некоторых вызовов намного медленнее, чем для других:
0 время: 2470 мс 1 раз: 954 мс 2 время: 474 мс 3 время: 988 мс 4 время: 371 мс 5 раз: 369 мс 6 раз: 363 мс 7 раз: 415 мс Сборка мусора в первой функции отключена с помощью gc.disable().
Что может вызвать такое замедление?
Моя функция AWS Lambda сообщает в своем ответе время, затраченное на одну строку:
embeddings = model.encode(texts) model — модель-трансформер HuggingFace. Модель инициализируется и загружается в память. Таким образом, это, по сути, задача, требующая больших ресурсов ЦП для обработки некоторых входных данных через нейронную сеть.
Другая функция AWS Lambda вызывает эту первую функцию 8 раз параллельно. Входные данные одинаковы для всех тестовых запусков. Они также примерно одинакового размера для 8 вызовов, поэтому время для 8 вызовов обычно очень похоже. Однако во время многих запусков результаты синхронизации для некоторых вызовов намного медленнее, чем для других:
0 время: 2470 мс 1 раз: 954 мс 2 время: 474 мс 3 время: 988 мс 4 время: 371 мс 5 раз: 369 мс 6 раз: 363 мс 7 раз: 415 мс Сборка мусора в первой функции отключена с помощью gc.disable().
Что может вызвать такое замедление?
