В настоящее время я работаю над API-интерфейсом flask, который загружает и выводит модели по запросу.
Одновременно загружается только 1 модель, поэтому, пока обрабатывается 1 запрос, остальные запросы ждут своей очереди.< /p>
Проблема в том, что Whisper, похоже, абсурдно замедляется, когда работают другие процессы, даже если они не потребляют ресурсы, поэтому мне интересно, есть ли какое-нибудь решение.
Сделать его последовательным не решит проблему, потому что, хотя я обрабатываю запросы 1 к 1, я использую приоритетную очередь, которая упорядочивает запросы, поэтому если сделать его последовательным, очередь станет бесполезной
Я попробовал использовать 1 поток, и это решило проблему, но это сделало бы API последовательным, что снова испортило бы мою очередь.
Мне нужно, чтобы потоки работали, а Whisper не замедлялся. >
Подробнее здесь: https://stackoverflow.com/questions/782 ... es-running
