Инициализируйте RDD для очистки ⇐ JAVA
-
Гость
Инициализируйте RDD для очистки
Мне позвонили из RDD
JavaPairRDDexistentRDD; Теперь мне нужно инициализировать этот existingRDD пустым, чтобы, когда я получу фактические rdd, я мог выполнить объединение с этим existingRDD. Как инициализировать existingRDD пустым RDD, кроме инициализации его нулевым значением? Вот мой код:
JavaPairRDDexistentRDD; если(ai.get()%10==0) { существующийRDD.saveAsNewAPIHadoopFile("s3://manthan-impala-test/kinesis-dump/" + startTime + "/" + k + "/" + System.currentTimeMillis() + "/", NullWritable.class, Text.class, TextOutputFormat.class); //при сбое работника это будет перезаписано } еще { существующийRDD.union(rdd); }
Мне позвонили из RDD
JavaPairRDDexistentRDD; Теперь мне нужно инициализировать этот existingRDD пустым, чтобы, когда я получу фактические rdd, я мог выполнить объединение с этим existingRDD. Как инициализировать existingRDD пустым RDD, кроме инициализации его нулевым значением? Вот мой код:
JavaPairRDDexistentRDD; если(ai.get()%10==0) { существующийRDD.saveAsNewAPIHadoopFile("s3://manthan-impala-test/kinesis-dump/" + startTime + "/" + k + "/" + System.currentTimeMillis() + "/", NullWritable.class, Text.class, TextOutputFormat.class); //при сбое работника это будет перезаписано } еще { существующийRDD.union(rdd); }
Мобильная версия