Как я могу использовать Python для резорации URL от Amazon Sitestripe? ⇐ Html

[Anonymous]

При входе в Amazon с учетной записью «влияния» в верхней части страницы продукта появляется баннер Sitestripe. Я хотел бы получить элемент «href» в этом баннере для списка продуктов. В целях разработки я начал с одного продукта и проанализировал больше информации, чем необходимо. Я скопировал скручивание веб -сайта и использовал этот конвертер скручивания, чтобы получить параметры, файлы cookie и заголовки. Используя запросы и BeautifulSoup, я смог приблизиться к тому, что я хотел, используя этот код: < /p>
import requests
from bs4 import BeautifulSoup, SoupStrainer

product = 'https://www.amazon.com/dp/B07H3LWDKL'

cookies = {
'skin': 'noskin',
'csm-hit': 'tb:TR5FV79EYEZ70CT815Y6+s-TR5FV79EYEZ70CT815Y6|1747257991197&t:1747257991197&adb:adblk_no',
'session-id': '138-5859344-6659632',
'session-id-time': '2082787201l',
'ubid-main': '132-5344427-5619030',
'sid': '"F06u+aHuY2eGLM35scN8Mg==|UOluFodvJ/FBZsPpRrWVfL2nFQN1d+qggoOgSwB+ACo="',
'sst-main': 'Sst1|PQFHA2AlsCG69isnSEJz2uu1CSWzABwLQyz7NeDsLdL82tMpt8RLQxkzr1AeocYwHsirEre6Rqj14gBT05ysPchgtixU8fA9NKfN6oX_dINY02CwOskbwdRmjcdJYtuiQYkQi7xh1P56hraIjjM9rL-mU5yv5DK53urPNWN9bTz4RN1ciXn9a9wfQ95ANLVyoHtURJBH4VaeU5lrfYHzHyYQuqU_Bn8aPvnZqyP69tVXT3zwVBX6kQ7Vq-1GvEBd7I6EgvZbM_un31MFQEh6dHlpB66gk7NI44vZtzLPRiuu5-k',
'session-token': '9ITCA059K4E7BLPJEWLndXO+5zm725rJrZkWF1823CyhCdfwzEBbADzlly2lYfN2UI/Ui8KXxMZnD7oMw273f1nH06u1DtX9vAIfkaBEl7dDNaN8H6jP8D00pgWQJJVYPt5jxKUObAFCkELmhiuZ6ianvHwmrZQjqtPBSpOMbkauUqCQE1sVizDXw4HsTMZUqntmjiN3q7smtyZvkP1T73v7LddXIdSW/1sK4pzDZJpSgJHiQtd0RohbnJPdMf2kkR4ZHu6HTkI4ziluHmPEy+hTNdg8D3sIpVzjEAsIFzCZ3OO3xw2UVeFxBJYlJ3t/LXOSBcSmhiOeX6JhhIuZRX4ScY6j/9UW9jr4qZOOht50Qcr8b3WmhPptdHhLHZEt',
'i18n-prefs': 'USD',
'lc-main': 'en_US',
'x-main': '"awvFkvwE?tkkvOHvASNkYiAWGUJk6vq5q74C32Y8Bjh1dlbN@lCaSXOABBUUnPaG"',
'at-main': 'Atza|IwEBIGCjfa5piLyVCxcoP5h5IttDjU1nE1MGzCgz_mb3WbP4O_VlW_p-bhRlq9rFj0ceG9prGMcMlg8yYOHzwJ3FSWhvAnsnSu59-8yDA802efuGLRUL1qzs_TNYqVURw2YvSKZmUyR_iIczYmlMu1Jo0iTQS3WHm2MnI4BEaUozBdQqmacXAN6_4vsxy1eQdz8X8AhpJDETqGBZSmrW9_ayyo2ArdEst7vP7A31q2TVdPflSg',
'sess-at-main': '"4eUgygLHEFHX1tscgGd9xNuaq1AGliiAHcYNf16jm8U="',
}

headers = {
'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64; rv:138.0) Gecko/20100101 Firefox/138.0',
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Accept-Language': 'en-US,en;q=0.5',
# 'Accept-Encoding': 'gzip, deflate, br, zstd',
'Referer': 'https://www.google.com/',
'Connection': 'keep-alive',
# 'Cookie': 'skin=noskin; csm-hit=tb:TR5FV79EYEZ70CT815Y6+s-TR5FV79EYEZ70CT815Y6|1747257991197&t:1747257991197&adb:adblk_no; session-id=138-5859344-6659632; session-id-time=2082787201l; ubid-main=132-5344427-5619030; sid="F06u+aHuY2eGLM35scN8Mg==|UOluFodvJ/FBZsPpRrWVfL2nFQN1d+qggoOgSwB+ACo="; sst-main=Sst1|PQFHA2AlsCG69isnSEJz2uu1CSWzABwLQyz7NeDsLdL82tMpt8RLQxkzr1AeocYwHsirEre6Rqj14gBT05ysPchgtixU8fA9NKfN6oX_dINY02CwOskbwdRmjcdJYtuiQYkQi7xh1P56hraIjjM9rL-mU5yv5DK53urPNWN9bTz4RN1ciXn9a9wfQ95ANLVyoHtURJBH4VaeU5lrfYHzHyYQuqU_Bn8aPvnZqyP69tVXT3zwVBX6kQ7Vq-1GvEBd7I6EgvZbM_un31MFQEh6dHlpB66gk7NI44vZtzLPRiuu5-k; session-token=9ITCA059K4E7BLPJEWLndXO+5zm725rJrZkWF1823CyhCdfwzEBbADzlly2lYfN2UI/Ui8KXxMZnD7oMw273f1nH06u1DtX9vAIfkaBEl7dDNaN8H6jP8D00pgWQJJVYPt5jxKUObAFCkELmhiuZ6ianvHwmrZQjqtPBSpOMbkauUqCQE1sVizDXw4HsTMZUqntmjiN3q7smtyZvkP1T73v7LddXIdSW/1sK4pzDZJpSgJHiQtd0RohbnJPdMf2kkR4ZHu6HTkI4ziluHmPEy+hTNdg8D3sIpVzjEAsIFzCZ3OO3xw2UVeFxBJYlJ3t/LXOSBcSmhiOeX6JhhIuZRX4ScY6j/9UW9jr4qZOOht50Qcr8b3WmhPptdHhLHZEt; i18n-prefs=USD; lc-main=en_US; x-main="awvFkvwE?tkkvOHvASNkYiAWGUJk6vq5q74C32Y8Bjh1dlbN@lCaSXOABBUUnPaG"; at-main=Atza|IwEBIGCjfa5piLyVCxcoP5h5IttDjU1nE1MGzCgz_mb3WbP4O_VlW_p-bhRlq9rFj0ceG9prGMcMlg8yYOHzwJ3FSWhvAnsnSu59-8yDA802efuGLRUL1qzs_TNYqVURw2YvSKZmUyR_iIczYmlMu1Jo0iTQS3WHm2MnI4BEaUozBdQqmacXAN6_4vsxy1eQdz8X8AhpJDETqGBZSmrW9_ayyo2ArdEst7vP7A31q2TVdPflSg; sess-at-main="4eUgygLHEFHX1tscgGd9xNuaq1AGliiAHcYNf16jm8U="',
'Upgrade-Insecure-Requests': '1',
'Sec-Fetch-Dest': 'document',
'Sec-Fetch-Mode': 'navigate',
'Sec-Fetch-Site': 'cross-site',
'Sec-Fetch-User': '?1',
'Priority': 'u=0, i',
}

params = {
'th': '1',
}

response = requests.get(product, params=params, cookies=cookies, headers=headers)
html = BeautifulSoup(response.text, 'lxml', parse_only=SoupStrainer('div',{'id':'amzn-ss-cc-campaign-container'}))
print(html)
< /code>
Запуск этого кода дает следующий результат. < /p>

Creator Connections


commission
|



< /code>
И это HTML -код в браузере. < /p>

Creator Connections

+10.00%
commission
|
SUNGAIT


< /code>
Таким образом, мои вопросы следующие: < /p>

• Почему результат моего кода дает отсутствующую /отличную информацию, чем HTML в браузере (например, класс = "Aok-Hidden" вместо класса = "", href = "#" вместо фактического URL, отсутствующий текст)? В браузере у якоря теги есть слушатель событий (Mouseover). Может ли это повлиять на что-нибудь? Что может вызвать такое поведение и как я могу его избежать? Я предполагаю, что это связано с параметрами, которые я подаю запрос на подачу. Я бы предпочел придерживаться запросов, потому что мой компьютер достаточно медленный, как есть, и я чувствую, что я близок, но если Селен решит упомянутые проблемы, то я начну с этого.

Подробнее здесь: https://stackoverflow.com/questions/796 ... sitestripe