Нарезка списка и итерация добавленияPython

Программы на Python
Ответить
Anonymous
 Нарезка списка и итерация добавления

Сообщение Anonymous »

Я работаю с большим списком (X), который может содержать более 50 000 значений. Из-за ограничений API я могу обрабатывать только 15 000 значений одновременно. Чтобы справиться с этой проблемой, я решил динамически разбивать список на фрагменты в зависимости от его размера и обрабатывать каждый фрагмент отдельно.
Вот что я пытаюсь сделать:
  • Разделите список на более мелкие подсписки с помощью more_itertools.divide.
  • Передайте каждый подсписок к функции (am_search_accoun)
  • Соберите возвращенные результаты в окончательный список (final_acc) и объедините выходные данные всего подсписка, переданного в эту функцию
Вот код:
Количество фрагментов для разделения списка поровну (https://i.sstatic.net/lGFdT8P9.jpg)
список на N числа подсписков с помощью more_itertools делит fn.

Код: Выделить всё

from more_itertools import divide
#divides list into N sublists i.e o/p list -> [[1,2,4,3],[2,3,5,6],[8,6,7,9],[234,4,88,9,8]]

divided_list = divide(chunk_n,X):
final_acc = []
for sub_list in divided_list:
acc = am_search_account(list(sub_list))
final_acc = final_acc + acc  #tried to append the data but didn't work
Я не могу добавить вывод в файл Final_acc. Есть ли лучший способ разделить список на небольшие подсписки, выполнить итерацию один за другим, а затем объединить выходные данные?
Пример списка X -> ['1','3',' 4','6','7','78','9','0','6','7','3','1','32','12']
Максимальный лимит списка для каждого API -> 5
Разделить большой список на подсписки -? [['1','3','4','6','7'],['78','9','0','6','7'],['3', '1','32','12']]
Пройдите по этому подсписку и получите выходные данные.
Объедините окончательные выходные данные и выполните дальнейшие операции.

Подробнее здесь: https://stackoverflow.com/questions/793 ... -iteration
Ответить

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

Вернуться в «Python»