Я пытаюсь очистить веб-сайт с помощью Python и библиотеку запросов, но я заметил, что запросы подключаются к серверу в США, а не к греческому. Кроме того, контент, который я получаю, не на греческом языке.
Я установил заголовки и пользовательский агент так, чтобы имитировать греческого пользователя, но, похоже, это не дает никакого эффекта. Вот скрипт Python, который я использую:
Код: Выделить всё
import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin
import time
import firebase_admin
from firebase_admin import credentials, db
import asyncio
# Initialize Firebase with your credentials JSON file and database URL
cred = credentials.Certificate("C:\\Users\\alexl\\OneDrive\\Desktop\\Cook Group\\Scripts\\SNS\\creds.json")
firebase_admin.initialize_app(cred, {
'databaseURL': 'https://sns-database-default-rtdb.europe-west1.firebasedatabase.app/'
})
# Function to load data from Firebase
# (snipped for brevity)
# Function to save data to Firebase
# (snipped for brevity)
# Your bot should be running inside an async function
async def main():
while True:
print("Refreshing data...") # Debug message
# Specify the URL you want to scrape
url = "https://www.sneakersnstuff.com/en/176/nike-dunk"
headers = {
'accept-language': 'en-GR-0-0',
"sns.state": "en-GR-0-0",
"Cookie": "sns.state=en-GR-0-0",
'user-agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/113.0.0.0 Safari/537.36"
}
# Load the previously scraped data from Firebase
# (snipped for brevity)
# Send an HTTP GET request to the URL
response = requests.get(url, headers=headers)
# Check if the request was successful (status code 200)
# (snipped for brevity)
print("Waiting for the next refresh...") # Debug message
# Wait for 60 seconds before the next refresh
await asyncio.sleep(60)
# Ensure that the main function is run
if __name__ == "__main__":
asyncio.run(main())

Что мне делать?
Подробнее здесь: https://stackoverflow.com/questions/774 ... server-ins