Распараллеливание запросов REST-API в Databricks ⇐ Python

[Anonymous]

У меня есть список идентификаторов, и я хочу сделать запрос на получение REST-API для каждого из идентификаторов и сохранить результаты в кадре данных. Если я перебираю список, это занимает слишком много времени, поэтому я попытался распараллелить его с помощью ThreadPoolExecutor, что значительно сократило время выполнения. Но затем я прочитал о pandas udfs и rdds и задумался, могу ли я улучшить свой подход еще больше. Поскольку я никогда по-настоящему не работал ни с одним из них, я не могу сказать, какой подход лучше всего подходит для моего варианта использования. Подходами, о которых я думал, были rdds, pandas udf, который принимает столбец id в качестве серии Pandas в качестве входных данных и возвращает серию Pandas полученных JSON, а также udf Pandas, который принимает итератор серии Pandas в качестве входных данных (в чем именно разница между использованием итератора и серии?). Или можно использовать весь кадр данных в качестве входных данных для UDF Pandas и вернуть желаемый результат df? Кто-нибудь знает, какой будет наилучшая практика для моего варианта использования, и может ли он более подробно рассказать о подходах?

Подробнее здесь: https://stackoverflow.com/questions/798 ... databricks