Импорт селена на Mage.ai? ⇐ Python

[Anonymous]

Могу ли я использовать Selenium Webdriver в своем конвейере?
Я написал его в соответствии с требованиями, однако получаю ошибку импорта модуля так что я не знаю, если это просто не поддерживается. Кстати, я все делаю через веб-интерфейс, так как на моем рабочем месте это делается именно так.
Я искал ответ, но не смог найти их прямой контакт и их слабую платформу. наполовину мертв. Я видел вопрос, похожий на мой, относительно использования селена, но они не ответили.
Мне нужно, чтобы он отслеживал веб-сайт, на котором нет API, чтобы регулярно проверяйте и загружайте набор PDF-файлов. ← Если вы знаете, как это сделать без использования Selenium, внутри Mage.Ai, я тоже мог бы это использовать.

< strong>Все остальные модули были успешно импортированы после помещения их в файл требований.txt утилит. Однако этот конкретный нет. Содержимое файла rn:
pandas==1.1.5
pyodbc==4.0.39
pyyaml>=1.1.1
pysmb==1.2.10
beautifulsoup4=4.9.3
pywin32>=308
selenium>=4.26.1

Я пытался понизить версию, но ничего не получилось.
Я импортирую ее с помощью (это тестовый код, который я написал для проверки правильности функции селена на этой странице):
if 'data_loader' not in globals():
from mage_ai.data_preparation.decorators import data_loader
if 'test' not in globals():
from mage_ai.data_preparation.decorators import test
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.chrome.options import Options

@data_loader
def scrap_data(*args, **kwargs):
# Configure Chrome options for headless mode
options = Options()
options.add_argument('--headless')
options.add_argument('--disable-gpu')
options.add_argument('--no-sandbox')

# Set up the Chrome driver
service = Service(ChromeDriverManager().install())
driver = webdriver.Chrome(service=service, options=options)

# Example: Open a webpage and perform some actions
driver.get('https://www.google.com/?hl=es')
print(driver.title)

Выявляется следующая ошибка:
ModuleNotFoundError Traceback (most recent call last)
File /usr/local/lib/python3.10/site-packages/mage_ai/data_preparation/models/block/__init__.py:2039, in Block._execute_block(self, outputs_from_input_vars, custom_code, dynamic_block_index, dynamic_block_indexes, dynamic_upstream_block_uuids, execution_partition, from_notebook, global_vars, input_vars, logger, logging_tags, input_from_output, runtime_arguments, upstream_block_uuids, run_settings, data_integration_runtime_settings, execution_partition_previous, **kwargs)
2037 if custom_code is not None and custom_code.strip():
2038 if BlockType.CHART != self.type:
-> 2039 exec(custom_code, results)
2040 elif self.content is not None:
2041 exec(self.content, results)
File :6
ModuleNotFoundError: No module named 'selenium'


Подробнее здесь: https://stackoverflow.com/questions/792 ... on-mage-ai