Как мне очистить результаты поиска Google (в больших масштабах)? ⇐ Python

[Anonymous]

Судя по тому, что я слышал, Google не любит, когда его сканируют или очищают. Месяц назад я нашел похожий вопрос на stackoverflow, когда собирался начать этот проект (сейчас не могу его найти). Кто-то сказал, что лучше всего использовать прокси, поэтому я взял proxymesh. И я предполагаю, что мне нужно отправлять запросы со «случайной частотой», чтобы поведение было похоже на человеческое. Например, если я буду рассылать спам-запросы каждые 0,1 секунды, меня, скорее всего, заблокируют. Я также прочитал, что мне нужно снова использовать браузер или что-то, что активирует JavaScript, чтобы имитировать человеческое поведение. И чтобы быстро получить много результатов, я подумал запустить несколько ботов одновременно, но пока не знаю, как это сделать (недавно начал учиться).
Поэтому мой вопрос: : Как мне это сделать?
Части, которые мне не совсем понятны:
1. Strong> Браузер для парсинга? Мне это нужно? Эффективно ли это? (Раньше я просто использовал bs4 и запросы)
2. Будет ли таймер иметь значение? Или Google достаточно умен, чтобы это заметить?
3. Запуск нескольких ботов. Я получаю 100 или 220 IP-адресов в день (я думаю, с ограниченными данными) от прокси-сервера, и я подумал, что если я запущу несколько ботов и назначу каждому уникальный IP-адрес, я смогу быстро получить результаты? Но я понятия не имею, как запускать несколько ботов и прочее...
Как я планировал использовать бота (чтобы вы лучше поняли, что я имею в виду, я думаю):< /p>
Сценарий использования 1:

• Поиск определенного веб-сайта.
• Открыть этот веб-сайт и получить необходимые мне данные.
• Повторите. (У меня много веб-сайтов, на которых мне нужно выполнить поиск, скажем, миллион)

Сценарий использования 2:

• Выполните поиск по широкому ключевому слову.
• Откройте первые 50–100 веб-сайтов в результатах поиска и получите необходимые мне данные.
• Повторите.

Я хочу сделать и то, и другое.

Подробнее здесь: https://stackoverflow.com/questions/671 ... cale-kinda