Заранее благодарю всех, кто хочет мне помочь.
Я парсил с помощью beautifulsoup и запросов, и до сих пор все работало отлично.
Но теперь с тем же кодом меня заблокировали, у меня есть заголовки и прокси, ответ на запросы хороший ([200]), но содержимое супа заблокировано, стоит ли мне что-то добавить в свой код? Файлы cookie?
Вот код, который я использую:
while True:
try:
url="..."
headers = {
"User-Agent":
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/111.0.0.0 Safari/537.36"
}
params = {
'q': "euro dollar",
'gl': 'us',
'hl': 'en',
'num': '1'
}
proxy=random.choice(proxiesoftheday)
proxy_ip = str(proxy).split(":")[0]
proxy_port = str(proxy).split(":")[1]
proxy_user = str(proxy).split(":")[2]
proxy_pass = str(proxy).split(":")[3]
proxies = {
"http": f"http://{proxy_user}:{proxy_pass}@{proxy_ip}:{proxy_port}/",
"https": f"http://{proxy_user}:{proxy_pass}@{proxy_ip}:{proxy_port}/"
}
html=requests.get(url, headers=headers, params=params, proxies=proxies, timeout=3)
print(html)
soup=bs4.BeautifulSoup(html.text,"html.parser")
print(soup)
ratiousdeur=soup.find('span',{'class':'DFlfde SwHCTb'}).text
print(ratiousdeur)
return ratiousdeur
Подробнее здесь: https://stackoverflow.com/questions/793 ... utifulsoup
Блокируется при очистке результатов с помощью beautifulsoup [закрыто] ⇐ Python
Программы на Python
1737112244
Anonymous
Заранее благодарю всех, кто хочет мне помочь.
Я парсил с помощью beautifulsoup и запросов, и до сих пор все работало отлично.
Но теперь с тем же кодом меня заблокировали, у меня есть заголовки и прокси, ответ на запросы хороший ([200]), но содержимое супа заблокировано, стоит ли мне что-то добавить в свой код? Файлы cookie?
Вот код, который я использую:
while True:
try:
url="..."
headers = {
"User-Agent":
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/111.0.0.0 Safari/537.36"
}
params = {
'q': "euro dollar",
'gl': 'us',
'hl': 'en',
'num': '1'
}
proxy=random.choice(proxiesoftheday)
proxy_ip = str(proxy).split(":")[0]
proxy_port = str(proxy).split(":")[1]
proxy_user = str(proxy).split(":")[2]
proxy_pass = str(proxy).split(":")[3]
proxies = {
"http": f"http://{proxy_user}:{proxy_pass}@{proxy_ip}:{proxy_port}/",
"https": f"http://{proxy_user}:{proxy_pass}@{proxy_ip}:{proxy_port}/"
}
html=requests.get(url, headers=headers, params=params, proxies=proxies, timeout=3)
print(html)
soup=bs4.BeautifulSoup(html.text,"html.parser")
print(soup)
ratiousdeur=soup.find('span',{'class':'DFlfde SwHCTb'}).text
print(ratiousdeur)
return ratiousdeur
Подробнее здесь: [url]https://stackoverflow.com/questions/79364493/blocked-when-scraping-results-with-beautifulsoup[/url]
Ответить
1 сообщение
• Страница 1 из 1
Перейти
- Кемерово-IT
- ↳ Javascript
- ↳ C#
- ↳ JAVA
- ↳ Elasticsearch aggregation
- ↳ Python
- ↳ Php
- ↳ Android
- ↳ Html
- ↳ Jquery
- ↳ C++
- ↳ IOS
- ↳ CSS
- ↳ Excel
- ↳ Linux
- ↳ Apache
- ↳ MySql
- Детский мир
- Для души
- ↳ Музыкальные инструменты даром
- ↳ Печатная продукция даром
- Внешняя красота и здоровье
- ↳ Одежда и обувь для взрослых даром
- ↳ Товары для здоровья
- ↳ Физкультура и спорт
- Техника - даром!
- ↳ Автомобилистам
- ↳ Компьютерная техника
- ↳ Плиты: газовые и электрические
- ↳ Холодильники
- ↳ Стиральные машины
- ↳ Телевизоры
- ↳ Телефоны, смартфоны, плашеты
- ↳ Швейные машинки
- ↳ Прочая электроника и техника
- ↳ Фототехника
- Ремонт и интерьер
- ↳ Стройматериалы, инструмент
- ↳ Мебель и предметы интерьера даром
- ↳ Cантехника
- Другие темы
- ↳ Разное даром
- ↳ Давай меняться!
- ↳ Отдам\возьму за копеечку
- ↳ Работа и подработка в Кемерове
- ↳ Давай с тобой поговорим...
Мобильная версия