*.csv для чтения нескольких файлов у меня не работает при использовании pyspark ⇐ Python
-
Anonymous
*.csv для чтения нескольких файлов у меня не работает при использовании pyspark
У меня возникла проблема с *.csv при чтении нескольких файлов csv при локальном запуске Spark. Исполнение не останавливается
staticDataFrame = spark.read.format("csv")\ .option("заголовок", "истина")\ .option("inferSchema", "true")\ .load("./data/retail-data/by-day/*.csv") staticDataFrame.createOrReplaceTempView("retail_data") staticSchema = staticDataFrame.schema Я попробовал протестировать тот же скрипт на Colab, и он сработал. Я не знаю, связана ли проблема с установкой или с Windows. Я также пытался сократить количество файлов до одного, и это тоже не сработало.
У меня возникла проблема с *.csv при чтении нескольких файлов csv при локальном запуске Spark. Исполнение не останавливается
staticDataFrame = spark.read.format("csv")\ .option("заголовок", "истина")\ .option("inferSchema", "true")\ .load("./data/retail-data/by-day/*.csv") staticDataFrame.createOrReplaceTempView("retail_data") staticSchema = staticDataFrame.schema Я попробовал протестировать тот же скрипт на Colab, и он сработал. Я не знаю, связана ли проблема с установкой или с Windows. Я также пытался сократить количество файлов до одного, и это тоже не сработало.
Мобильная версия