Тот же код Python работает в Jupyter Notebook в 20 раз медленнее, чем в командной строкеPython

Программы на Python
Ответить Пред. темаСлед. тема
Anonymous
 Тот же код Python работает в Jupyter Notebook в 20 раз медленнее, чем в командной строке

Сообщение Anonymous »

У меня есть код Python, который использует трансформеры Hugging Face для запуска задачи НЛП в PDF-документе. Когда я запускаю этот код в Jupyter Notebook, его выполнение занимает более 1,5 часов. Затем я настраиваю тот же код для запуска через локально размещенное веб-приложение Streamlit. К моему удивлению, он проработал менее 5 минут!
Я считаю, что сравниваю яблоки с яблоками, потому что:
  • В каждом случае я анализирую один и тот же PDF-документ.
  • Поскольку приложение Streamlit размещено локально, все вычисления выполняются на процессоре моего ноутбука. Я не использую виртуальные ресурсы Hugging Face. Модели HF загружаются на мой компьютер.
  • Файл .py создается из блокнота Jupyter с использованием «streamlit-juypter», который просто принимает код Python из блокнота. и добавляет несколько операторов Streamlit
Итак, по сути, тот же код работает с теми же данными и на том же оборудовании.
единственные различия, о которых я могу думать, которые могут объяснить это:
  • Streamlit запускает файл Python .py из командной строки вместо файла . ipynb блокнот
  • Streamlit работает в виртуальной среде вместо моей основной установки Python.
Имеет кто-нибудь когда-нибудь сталкивался с чем-то подобным? Может ли запуск того же кода Python из командной строки привести к увеличению скорости в 20 раз?

Подробнее здесь: https://stackoverflow.com/questions/782 ... command-li
Реклама
Ответить Пред. темаСлед. тема

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

  • Похожие темы
    Ответы
    Просмотры
    Последнее сообщение

Вернуться в «Python»