Я пытаюсь реализовать алгоритм kmean для Spark с помощью Python. Я использую код Python, расположенный в библиотеке http://spark.apache.org/docs/latest/mll ... ng.html#k- означает, что
код работает, но для построения графика мне нужно манипулировать объектом в "sameModel = KMeansModel.load(sc, "KMeansModel2")", я не знаю, как это сделать.. должно Я загружаю sc в CSV-файл? помогите пожалуйста!
from __future__ import print_function
# $example on$
from numpy import array
from math import sqrt
# $example off$
from pyspark import SparkContext
# $example on$
from pyspark.mllib.clustering import KMeans, KMeansModel
# $example off$
if __name__ == "__main__":
sc = SparkContext(appName="KMeansExample") # SparkContext
# $example on$
# Load and parse the data
data = sc.textFile("kmeans_data2.txt")
parsedData = data.map(lambda line: array([float(x) for x in line.split(' ')]))
# Build the model (cluster the data)
clusters = KMeans.train(parsedData, 2, maxIterations=10, initializationMode="random")
# Evaluate clustering by computing Within Set Sum of Squared Errors
def error(point):
center = clusters.centers[clusters.predict(point)]
return sqrt(sum([x**2 for x in (point - center)]))
WSSSE = parsedData.map(lambda point: error(point)).reduce(lambda x,y:x + y)
print("Within Set Sum of Squared Error = " + str(WSSSE))
# Save and load model
clusters.save(sc, "KMeansModel2")
sameModel = KMeansModel.load(sc, "KMeansModel2")
print (sameModel)
# $example off$
sc.stop()
Подробнее здесь: https://stackoverflow.com/questions/497 ... ark-python
