У меня возникла проблема с эффективностью модели Reranker.
Подробнее здесь: https://github.com/FlagOpen/FlagEmbedding/issues/988
Я веду статистику времени self.tokenizer，Я запускаю вывод с пакетом = 4 и с пакетом 250 в графическом процессоре (A800)， Я получаю, что время в tokenizer составляет 29,99 с, но когда я аннотирую код, оценки = self.model(**inputs, return_dict=True).logits.view(-1, .float) () и я получаю время токенайзера 4,16 с。Почему это происходит?
также здесь:
Кто-нибудь может помочь с этим?
Подробнее здесь: https://stackoverflow.com/questions/787 ... nker-model
