PySpark org.apache.hadoop.fs.UnsupportedFileSystemException: нет файловой системы для схемы «null»Python

Программы на Python
Ответить Пред. темаСлед. тема
Anonymous
 PySpark org.apache.hadoop.fs.UnsupportedFileSystemException: нет файловой системы для схемы «null»

Сообщение Anonymous »

Когда я использую spark.read.csv для импорта локального CSV-файла Windows, это работает хорошо. Но когда я пытаюсь прочитать этот файл на удаленном сервере Windows, у меня появляется следующая ошибка:
ps: путь имеет все разрешения пользователей
24.09.16 15:29:36 ПРЕДУПРЕЖДЕНИЕ FileStreamSink: Предположим, каталог метаданных отсутствует. Ошибка при поиске каталога метаданных по пути: //myip/D$/my/path.
org.apache.hadoop.fs.UnsupportedFileSystemException: No FileSystem для схемы «null»
в org.apache .hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:3443)
в org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:3466)
в org.apache.hadoop.fs .FileSystem.access$300(FileSystem.java:174)
в org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:3574)
в org.apache.hadoop.fs. FileSystem$Cache.get(FileSystem.java:3521)
в org.apache.hadoop.fs.FileSystem.get(FileSystem.java:540)
в org.apache.hadoop.fs.Path. getFileSystem(Path.java:365)
в org.apache.spark.sql.execution.streaming.FileStreamSink$.hasMetadata(FileStreamSink.scala:53)
в org.apache.spark.sql.execution .datasources.DataSource.resolveRelation(DataSource.scala:366)
в org.apache.spark.sql.DataFrameReader.loadV1Source(DataFrameReader.scala:229)
в org.apache.spark.sql.DataFrameReader .$anonfun$load$2(DataFrameReader.scala:211)
в scala.Option.getOrElse(Option.scala:189)
в org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala :211)
в org.apache.spark.sql.DataFrameReader.csv(DataFrameReader.scala:538)
в sun.reflect.NativeMethodAccessorImpl.invoke0(собственный метод)
в sun.reflect .NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
в sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
в java.lang.reflect.Method.invoke(Method.java:498) )
в py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:244)
в py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:374)
в py4j.Gateway.invoke( Gateway.java:282)
в py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)
в py4j.commands.CallCommand.execute(CallCommand.java:79)
в py4j .ClientServerConnection.waitForCommands(ClientServerConnection.java:182)
в py4j.ClientServerConnection.run(ClientServerConnection.java:106)
в java.lang.Thread.run(Thread.java:750)
Я не знаю, почему это происходит

Подробнее здесь: https://stackoverflow.com/questions/789 ... stem-for-s
Реклама
Ответить Пред. темаСлед. тема

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

  • Похожие темы
    Ответы
    Просмотры
    Последнее сообщение

Вернуться в «Python»