-
Anonymous
ValueError: RDD пуст — Pyspark (автономная версия Windows)
Сообщение
Anonymous »
Я пытаюсь создать RDD, но Spark не создает его и выдает ошибку, вставленную ниже;
Код: Выделить всё
data = records.map(lambda r: LabeledPoint(extract_label(r), extract_features(r)))
first_point = data.first()
Py4JJavaError Traceback (most recent call last)
in ()
----> 1 first_point = data.first()
2 print "Raw data: " + str(first[2:])
3 print "Label: " + str(first_point.label)
4 print "Linear Model feature vector:\n" + str(first_point.features)
5 print "Linear Model feature vector length: " + str(len (first_point.features))
C:\spark\python\pyspark\rdd.pyc in first(self)
1313 ValueError: RDD is empty
1314 """
-> 1315 rs = self.take(1)
1316 if rs:
1317 return rs[0]
C:\spark\python\pyspark\rdd.pyc in take(self, num)
1295
1296 p = range(partsScanned, min(partsScanned + numPartsToTry, totalParts))
-> 1297 res = self.context.runJob(self, takeUpToNumLeft, p)..................
Любая помощь будет принята с благодарностью.
Спасибо,
Иннокентий
Подробнее здесь:
https://stackoverflow.com/questions/392 ... standalone
1768223020
Anonymous
Я пытаюсь создать RDD, но Spark не создает его и выдает ошибку, вставленную ниже;
[code]data = records.map(lambda r: LabeledPoint(extract_label(r), extract_features(r)))
first_point = data.first()
Py4JJavaError Traceback (most recent call last)
in ()
----> 1 first_point = data.first()
2 print "Raw data: " + str(first[2:])
3 print "Label: " + str(first_point.label)
4 print "Linear Model feature vector:\n" + str(first_point.features)
5 print "Linear Model feature vector length: " + str(len (first_point.features))
C:\spark\python\pyspark\rdd.pyc in first(self)
1313 ValueError: RDD is empty
1314 """
-> 1315 rs = self.take(1)
1316 if rs:
1317 return rs[0]
C:\spark\python\pyspark\rdd.pyc in take(self, num)
1295
1296 p = range(partsScanned, min(partsScanned + numPartsToTry, totalParts))
-> 1297 res = self.context.runJob(self, takeUpToNumLeft, p)..................
[/code]
Любая помощь будет принята с благодарностью.
Спасибо,
Иннокентий
Подробнее здесь: [url]https://stackoverflow.com/questions/39279702/valueerror-rdd-is-empty-pyspark-windows-standalone[/url]