Я пытаюсь создать пустую PCollection пользовательского объекта с именем Incident [code]public class Incident implements Serializable { private Integer incidentId; private String appId; private Long minutes;
// getter setter } [/code] Я пробовал следующее: [code]PCollection incidents = pipeline.apply("Create Empty Collection", Create.empty(TypeDescriptor.of(KV.class))) .setTypeDescriptor(TypeDescriptor.of(KV.class, String.class, Incident.class)); [/code] Но это выдает ошибку компиляции: [code]Cannot resolve method 'of(Class, Class, Class)'[/code]
Я новичок в Streams и мне нужно что-то вроде этого:
У меня есть входная карта с . Я хочу прочитать эту карту в потоке и назначить ее выходной карте с помощью , где значение является первым элементом списка значений из входной карты.
Пример:...
Использование API Java 8 Stream Как можно сгладить карту to pair list, где значение левой пары - это клавиша карты и Право - ключ в списке? -none PrettyPrint-Override >1 => {1, 2, 3}
2 => {2, 4}
Затем желаемый вывод-это поток из пяти пар:
(1,1) ,...
Я экспериментирую с Apache Beam и борюсь с Correclty Rading DataFrame до преобразования Pcollection. Я протестировал реализацию левого против Join с следующей логикой:
def left_anti_join(
left: DeferredDataFrame,
right: DeferredDataFrame,...
Моя цель состоит в том, чтобы прочитать файл из GCS и написать его в Cassandra.
Новое в Apache Beam /Dataflow, я мог бы найти большую часть руки на сборке с Python. К сожалению, Cassandraio является только java, уроженцем Beam.
Я использовал пример...