Видя ошибку, в которой говорится: объект «numpy.ndarray» не имеет атрибута «карта». ⇐ Python

[Anonymous]

Я выбираю подмножество данных из более крупного фрейма данных.

Код: Выделить всё

dataset = df.select('RatingScore',
'CategoryScore',
'CouponBin',
'TTM',
'Price',
'Spread',
'Coupon',
'WAM',
'DV')

dataset = dataset.fillna(0)
dataset.show(5,True)
dataset.printSchema()

Теперь я учитываю это в своей модели KMeans

Код: Выделить всё

from numpy import array
from math import sqrt
from pyspark.mllib.clustering import KMeans, KMeansModel
import numpy as np

data_array=np.array(dataset)

#data_array =  np.array(dataset.select('RatingScore', 'CategoryScore', 'CouponBin', 'TTM', 'Price', 'Spread', 'Coupon', 'WAM', #'DV').collect())

# Build the model (cluster the data)
clusters = KMeans.train(data_array, 2, maxIterations=10, initializationMode="random")

# Evaluate clustering by computing Within Set Sum of Squared Errors
def error(point):
center = clusters.centers[clusters.predict(point)]
return sqrt(sum([x**2 for x in (point - center)]))

WSSSE = data_array.map(lambda point: error(point)).reduce(lambda x, y: x + y)
print("Within Set Sum of Squared Error = " + str(WSSSE))

Эта строка: Clusters = KMeans.train(data_array, 2, maxIterations=10, InitializationMode="random")

Выдает эту ошибку: AttributeError: у объекта 'numpy.ndarray' нет атрибута 'map'

Из кода вы можете видите, что я пытался создать массив два разные способы. Ни то, ни другое не сработало. Если я попытаюсь внести плату за товары прямо из подмножества данных, я получу эту ошибку:

Код: Выделить всё

AttributeError: 'DataFrame' object has no attribute 'map'

Что мне здесь не хватает?

Подробнее здесь: https://stackoverflow.com/questions/599 ... ribute-map