Ошибка Pyspark DataframeType a: DoubleType не может принять объект «a» типа <класс «str»> ⇐ Python

[Anonymous]

У меня есть эта функция
customSchema = StructType([ \
StructField("a", Doubletype(), True), \
StructField("b", Doubletype(), True),
StructField("c", Doubletype(), True),
StructField("d", Doubletype(), True)])

n_1= sc.textFile("/path/*.txt")\
.mapPartitions(lambda partition: csv.reader([line.replace('\0','') for line in partition],delimiter=';', quotechar='"')).filter(lambda line: len(line) > 1 )\
.toDF(customSchema)


который создаст Dataframe, проблема в том, что .mapPartitions будет использовать в качестве типа по умолчанию , и мне нужно привести его к DoubleType, прежде чем преобразовать его в Dataframe. Есть идеи?
Пример данных
[['0,01', '344,01', '0,00', '0,00']]

или просто работайте с
n_1= sc.textFile("/path/*.txt")\
.mapPartitions(lambda partition: csv.reader([line.replace('\0','') for line in partition],delimiter=';', quotechar='"')).filter(lambda line: len(line) > 1 )\



Подробнее здесь: https://stackoverflow.com/questions/628 ... n-type-cla