Я создал фрейм данных с помощью pyspark, но не могу просмотреть созданные данные. ⇐ JAVA

[Anonymous]

Я создал кадр данных с помощью pyspark, но не могу просмотреть данные, созданные с помощью .show() Я получаю следующую ошибку:

Код: Выделить всё

Py4JJavaError                             Traceback (most recent call last)
c:\Users\user\Documents\Python Programming\PySpark_for_Big_Data.ipynb Cell 20 line 1
----> 1 ds.show()

File C:\spark\spark-3.5.1-bin-hadoop3\python\pyspark\sql\dataframe.py:945, in DataFrame.show(self, n, truncate, vertical)
885 def show(self, n: int = 20, truncate: Union[bool, int] = True, vertical: bool = False) -> None:
886     """Prints the first ``n`` rows to the console.
887
888     .. versionadded:: 1.3.0
(...)
943     name | Bob
944     """
--> 945     print(self._show_string(n, truncate, vertical))

File C:\spark\spark-3.5.1-bin-hadoop3\python\pyspark\sql\dataframe.py:963, in DataFrame._show_string(self, n, truncate, vertical)
957     raise PySparkTypeError(
958         error_class="NOT_BOOL",
959         message_parameters={"arg_name": "vertical", "arg_type": type(vertical).__name__},
960     )
962 if isinstance(truncate, bool) and truncate:
--> 963     return self._jdf.showString(n, 20, vertical)
964 else:
965     try:
...
Caused by: java.io.EOFException
at java.base/java.io.DataInputStream.readInt(DataInputStream.java:386)
at org.apache.spark.api.python.PythonRunner$$anon$3.read(PythonRunner.scala:774)
... 26 more
Output is truncated. View as a scrollable element or open in a text editor. Adjust cell output settings...

На моем локальном диске папка Spark содержит папку Spark-3.5.1-bin-hadoop3, которая является версией Spark.

Я также использовал pip install pyspark для установки pyspark в терминале.
Настройки моих переменных среды:

HADOOP_HOME: C:\hadoop, который содержит файл winutils версии 3
SPARK_HOME: C:\spark\spark-3.5.1-bin-hadoop3
JAVA_HOME: C:\Program Files\Java\jdk-20
SPARK_LOCAL_IP: 127.0.0.1
PYTHONPATH : %SPARK_HOME%\python;%SPARK_HOME%\python\lib\py4j-0.10.9.7-src.zip
ПУТЬ: %HADOOP_HOME%\bin

Код: Выделить всё

%SPARK_HOME%\bin

Версии программного обеспечения:

Моя версия Java: java 20.0.2 18 июля 2023 г.
Моя версия Python: Python 3.12.0
Моя версия Spark: Spark 3.5.1
Ядро Python, используемое в VS Code IDE: %USERPROFILE%\AppData\Local\Programs\Python\Python312\python.exe
Пожалуйста, сообщите. Я в отчаянии.

Подробнее здесь: https://stackoverflow.com/questions/782 ... ta-created