Как отправить миллионы событий в Splunk без тайм-аута Lambda? ⇐ Python

[Anonymous]

Мой скрипт Python отправляет данные из API в Splunk. Мне нужно отправлять миллионы событий ежедневно, но я могу отправлять только несколько тысяч в час. В конечном итоге мне нужно будет перенести это в Lambda для запланированной автоматизации. Я знаю о многопроцессорном модуле Python, но в лучшем случае я смогу отправить десятки тысяч событий в час до истечения времени ожидания Lambda.

Код: Выделить всё

splunk_conf = {}
for r in range(0,9000000,10000):
offset = str(r)
r = requests.get(f'{base_url}/?limit=10000&offset={offset}',   headers = headers).json()
for x in r['data']:
splunk_payload = x
splunk(splunk_payload, splunk_conf)

def splunk(splunk_payload, splunk_conf):
splunk = SplunkSender(**splunk_conf)
payloads = [splunk_payload]
splunk_res = splunk.send_data(payloads)

Он работает, но объем данных является ограничивающим фактором.

Подробнее здесь: https://stackoverflow.com/questions/768 ... timing-out