В Интернете предполагается, что некоторые сайты имеют защиту от парсинга и могут ограничивать или блокировать запросы, поскольку они используют HTTP1.0. В этом API httpx кажется намного быстрее, но далеко не так быстро, как Curl или браузер.
Некоторые примеры: этот фрагмент Python занимает около 4 секунды:
Код: Выделить всё
import httpx
client = httpx.Client(http2=True)
response = client.get('https://v6.db.transport.rest/stations?query=berlin')
print(response.text)
Код: Выделить всё
import requests
response = requests.get('https://v6.db.transport.rest/stations?query=berlin')
print(response.text)
Код: Выделить всё
import subprocess
command = 'curl \'https://v6.db.transport.rest/stations?query=berlin\' -s'
result = subprocess.run(command, capture_output=True, shell=True, text=True)
print(result.stdout)
print(result.stderr)
Подробнее здесь: https://stackoverflow.com/questions/789 ... r-this-api