Я создаю веб-скребок с использованием Python: Selenium — это серверная часть, а PyQt5 — внешний интерфейс. Целью внешнего интерфейса является сбор информации от пользователя, которая влияет на принятие решений в серверной части.
Большая часть веб-скрапинга с использованием Selenium использует WebDriverWait для ожидания появления определенного элемента. Всякий раз, когда Selenium ожидает или выполняет какую-либо другую задачу заметной длины, интерфейс зависает. Вы вообще не можете с ним взаимодействовать.
Чтобы обеспечить отзывчивость внешнего интерфейса во время работы внутреннего интерфейса, я попытался поместить активность внутреннего интерфейса в QThread. Кажется, что обычно это было бы хорошим решением, но Selenium не любит находиться где-либо кроме основного потока и аварийно завершает работу.
Как лучше всего обеспечить отзывчивость внешнего интерфейса во время работы внутреннего потока? Можно ли перенести интерфейс в поток вместо серверной части? Возможна ли многопроцессорность? (Это кажется излишне сложным). Любые идеи были бы великолепны. Спасибо!
Подробнее здесь: https://stackoverflow.com/questions/798 ... m-and-pyqt
