Разделить список на более мелкие списки и затем передать их в несколько потоков. ⇐ JAVA

[Anonymous]

У меня есть база данных, в которой есть таблица со ссылками.
Мне удалось выяснить, что я могу разбить список на более мелкие списки с помощью секционирования.
/>Согласно этой статье, кажется, что класс Partition является самым быстрым: разделите список на списки размером n в Java 8.
После того, как я разделил их на более мелкие списки, я хотел бы используйте эти ссылки и одновременно извлекайте из них данные. Я мог бы использовать один список, а затем:

Код: Выделить всё

linkList.parallelStream().forEach(link -> {
ScrapeLink(link);});

И установите

Код: Выделить всё

System.setProperty("java.util.concurrent.ForkJoinPool.common.parallelism", "5");

Но в моем случае я хотел бы разделить их на более мелкие списки, а затем использовать параллельный поток к другому методу, если бы я использовал ScraperAPI для каждого разделения ссылок в одном сеансе (с использованием session_number. Повторное использование одного и того же прокси). например, установив session_number=123.)
Итак, когда у меня есть такой список:

Код: Выделить всё

final List links = Arrays.asList("link1","link2","link3","link4","link5","link6","link7");

System.out.println(Partition.ofSize(numbers, 3));

У меня будет [[link1, link2, link3], [link4, link5, link6], [link7]]
Но как мне поступить тогда, когда я хочу обрабатывать эти небольшие списки ссылок в нескольких потоках одновременно?
Моей мыслью было использовать Java 8 Streams. Но может быть, это лучший способ?

Подробнее здесь: https://stackoverflow.com/questions/696 ... le-threads