Как избежать копирования и вставки жестко закодированных файлов cookie с сетевой панели для выполнения динамических запр ⇐ Python

[Anonymous]

Я написал сценарий с использованием модуля запросов, который извлекает имена из второго столбца таблицы «Взаимные фонды» на этой веб-странице.
Скрипт работает только тогда, когда я включать в заголовки жестко запрограммированные файлы cookie, скопированные с сетевой панели.
Как я могу автоматически включать файлы cookie в сценарий вместо того, чтобы копировать и вставлять жестко запрограммированные файлы каждый раз, когда я его запускаю?
import json
import requests
from bs4 import BeautifulSoup

link = 'https://query1.finance.yahoo.com/v1/finance/screener'
params = {
'formatted': 'true',
'useRecordsResponse': 'true',
'lang': 'en-US',
'region': 'US',
'crumb': 'zKNQf6Chboq',
}

payload = {"size":25,"offset":0,"sortType":"DESC","sortField":"fundnetassets","includeFields":["ticker","companyshortname","intradaypricechange","percentchange","intradayprice","trailing_ytd_return","trailing_3m_return","annualreturnnavy1","annualreturnnavy3","annualreturnnavy5","annualreportnetexpenseratio","annualreportgrossexpenseratio","fundnetassets","performanceratingoverall","fiftydaymovingavg","twohundreddaymovingavg","day_open_price","fiftytwowklow","fiftytwowkhigh"],"topOperator":"AND","query":{"operator":"and","operands":[{"operator":"or","operands":[{"operator":"eq","operands":["exchange","NAS"]}]}]},"quoteType":"MUTUALFUND"}

headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36',
# 'cookie': 'A1=d=AQABBFAteGcCENecbGhV1dr_-0vFWvPHWDQFEgEBCAFIh2exZxH3bmUB_eMBAAcIUC14Z_PHWDQ&S=AQAAAswrXYNs-vA3GNpmkVtrHlo;'
}

res = requests.post(link,params=params,json=payload,headers=headers)
print(res.status_code)
for item in res.json()['finance']['result']:
for elem in item['records']:
print(elem['companyName'])


Подробнее здесь: https://stackoverflow.com/questions/793 ... o-make-dyn