Python запрашивает проблему Selenium только с безголовым режимом ChromeDriver ⇐ Python

[Anonymous]

Я хочу очистить рекламный сайт Facebook, используя библиотеку запросов и Selenium с ChromeDriver (потому что мне нужно запустить его на pythonanywhere, где есть chromedriver).
Я так и делаю: >

Код: Выделить всё

chrome_options = ChromeOptions()

arguments = [
"--disable-notifications",
"--start-maximized",
"disable-infobars",
"--disable-gpu",
"--headless",
"window-size=1980,1080",
"--allow-running-insecure-content",
"--disable-extensions",
"--no-sandbox",
"--ignore-certificate-errors",
"--test-type",
"--disable-web-security",
"--safebrowsing-disable-download-protection"
]

for argument in arguments:
chrome_options.add_argument(argument)

prefs = {
"intl.accept_languages": "en-US"
}
chrome_options.add_experimental_option("prefs", prefs)

chrome_options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36")

# Path to your ChromeDriver
chrome_driver_path = "/usr/local/bin/chromedriver"  # This is typically the path on PythonAnywhere

# Set up the WebDriver
service = ChromeService(executable_path=chrome_driver_path)
driver = webdriver.Chrome(service=service, options=chrome_options)

Настройте драйвер, а затем очистите страницу:

Код: Выделить всё

def scrape_page(companyId, companyName):
# Navigate to the Facebook Ads Library page
url = f'https://www.facebook.com/ads/library/?active_status=all&ad_type=all&country=NL&view_all_page_id={companyId}&search_type=page&media_type=all'
driver.get(url)
time.sleep(5)
print(driver.page_source)

Конечно, сон не подходит для длительного использования. Мне следует использовать WebDriverWait. но сейчас я хочу, чтобы это работало.
Но то, что он печатает, — это HTML с тегами сценария. Похоже, страница не загрузилась должным образом. Когда я удаляю headless, я вижу, что браузер работает и загружает страницу правильно, а скрипт печатает все загруженное.
Есть идеи, как это сделать?

Подробнее здесь: https://stackoverflow.com/questions/786 ... -mode-only