Я использую кукольник и JS, чтобы написать веб -скребок. Сайт, который я соскребую, довольно интенсивный, поэтому мне нужно использовать местный экземпляр Chrome и службу прокси -прокси -сервера, чтобы заставить его работать. Вот моя основная настройка. < /P>
Код: Выделить всё
const chromeProcess = spawn(chromePath, [
`--remote-debugging-port=${PORT}`,
`--user-data-dir=${userDataDir}`,
`--proxy-server=${proxyUrl}`,
"--no-first-run",
"--no-default-browser-check",
"--disable-extensions",
"--start-maximized",
"--disable-features=IsolateOrigins,site-per-process"
], { stdio: "ignore" });
let browser = await puppeteer.connect({ browserURL: `http://127.0.0.1:${PORT}` });
let page = await browser.newPage();
Я получал множество ошибок, пытающихся заставить прокси -службу работать, однако (например, net :: err_no_supported_proxies ), где страница не будет загружаться, или покажет ошибку «страница не найдена» в браузере. Я пробовал туннелирование с mitmproxy без повезло, поэтому я просто не уверен, что возможно на данный момент. Это даже возможно?
Подробнее здесь:
https://stackoverflow.com/questions/797 ... e-instance