Dataframe withColumn распечатывает имя столбца, а не значение ⇐ Python

[Anonymous]

Привет, у меня есть следующий фрейм данных с производным столбцом (withColumn)
работающий с днем ​​месяца, если день месяца равен 1-9, то перед значением поставьте 0.

Код: Выделить всё

from pyspark.sql.functions import concat, to_date, expr, when

from pyspark.sql.types import DoubleType

df = (
spark.read.option("header", "True")
.option("delimiter", ",")
.option("inferSchema", "True")
.csv("dbfs:/databricks-datasets/airlines/part-00000")
)

#dff = df.withColumn("DayofMonthFormatted",
when(df.DayofMonth.isin([1,2,3,4,5,6,7,8,9]), "Yes").otherwise("No"))

dff = df.withColumn("DayofMonthFormatted",
when(df.DayofMonth.isin([1,2,3,4,5,6,7,8,9]), "0" +
str(df.DayofMonth)).otherwise(df.DayofMonth))

display(dff['DayofMonth', 'DayofMonthFormatted'])

#dff =  df.withColumn('DayDate',
to_date(concat('Year','Month','DayofMonth'),'yyyyMMdd'))

#display(dff)

Я знаю, что я очень близок к этому, но изо всех сил пытаюсь понять, на что я способен.
см. выходные данные ниже



Подробнее здесь: https://stackoverflow.com/questions/791 ... ther-value