Очистка данных с веб-сайта с несколькими шагами для получения данных и предотвращение очистки ⇐ Python

[Anonymous]

Я пытаюсь получить данные со следующего веб-сайта:
https://nfeweb.sefaz.go.gov.br/nfeweb/s ... a-completa
ШАГ 1


ШАГ 2
Когда ключ доступа вставлен, мне нужно нажать кнопку «Pesquisar»:
В данном случае я использовал следующий ключ доступа:

Код: Выделить всё

52241061585865236600650040001896941930530252

и возвращает следующую страницу:

Код: Выделить всё

https://nfeweb.sefaz.go.gov.br/nfeweb/sites/nfce/render/xml-consulta-completa?g-recaptcha-response=03AFcWeA7_oqqL4KubId8rW_TapI_NSJDOGBzrx_JB2XAtJitNaBl23zLKbjbj45m9eUZam3xp6R57BI47AI0lp_K3KS-CbtpPiTNAHqcxLV-Gnp2Vf778i3NeLMCKNoHpk7IitkwPHvHJjkg1sWRqdTZrHkhVHiMwFbTC4qFw6436ddwu9rRERxOiY532lIoijoHzDga85l7RvbHkyGUdWD7QVlTUNUU-2ztx21cQ_pDDQrxreDFEL8eCR0ijYAMrOtKEXMwqGSuHFTOSkZ83DCJ4S610YWujUukTXbOSdaAuGpeHljf4CsswFLWTKN8UoKTjlEia_I0cO17zgSnY9Z9rQDEZR1Xeq00CDmpbB73m95EOo0prSrL2RcsRnWkPytDIwJUIfsEAcEQ77vuacbNflj_yFpj2GSWVnGQnKXUrY4DsyRhNU6T6usZaYH5kTRb85qvrfm2FqOlgBfLDcvuwB_Q2JqRxyF6-oJlw64Sx2MZzUQC2gZjPtAIRwGCqOS80OkDkTmHZl9x3fM6tOr4fYM6BouHWrnjfyNz99O9bFcQv_bbdyREr1MVgJ6fujSZM6C7WoRJjwTv29kIuGc2l4nMkkilUU6rzK-apAYtgzSim_5T6N_zkvVQfOAo0mlKwjfVLVxCaWQYsGe5MfBe65ZmLVP_lIHnsJe_z0G9CMclmpaKTiynNEMtu_n8d6utw5ot6BHGp9OALHQq2_62hE_TTYMqVlrzugaPxMrTMKnGWd4W_kVPh-VqgqsKxdDW8xFXYtE8OM_WZNRg4m0ESnl4xW5NLZeZGu7onPt3jkw3vCt57YmdAgcHPpIhg0zPA7lNdBrY1zCeCM3edWoatnFng6irasc5R8fheSL2IS0lSUqCfN_cIuC6rYlPUGlU7pREqYe5ZTxHNkyI6GBvWM_pZSO4glw&chaveAcesso=52241061585865236600650040001896941930530252

ШАГ 3
На этом этапе мне нужно нажать «Visualizar NFC-e Detalhada», чтобы, наконец, перейти на страницу с данными, которые я хочу очистить.
Новый путь будет следующим:

Код: Выделить всё

https://nfeweb.sefaz.go.gov.br/nfeweb/sites/nfce/render/NFCe?chNFe=52241061585865236600650040001896941930530252

Последний шаг — нажать «Продукты и услуги»
Это приведет меня к следующему экрану, где находятся данные, которые я хочу очистить:


Ошибки
Если я попытаюсь получить доступ к веб-странице напрямую по ссылке: https://nfeweb.sefaz.go.gov.br/ nfeweb/sites/nfce/render/NFCe?chNFe=52241061585865236600650040001896941930530252
он ​​возвращает срок действия сеанса:


Если я попытаюсь выполнить парсинг с помощью Python, он заблокирует меня, и я не смогу больше выполнять поиск, даже если это будет через веб-браузер.
Мне нужна помощь при попытке парсинга данные на этой конкретной странице, выполнив все шаги и обход рекапчи и блокировки ботов со стороны безопасности сайта.

Подробнее здесь: https://stackoverflow.com/questions/791 ... that-preve