`java.io.IOException` в задании pyspark при использовании pytest ⇐ JAVA

[Anonymous]

Я использую Windows 11 для тестирования с помощью pytest для простого задания PySpark.
Используется Python 3.10.11 (также встречается с 3.10.12 и 3.10.14).
Используется PySpark 3.5.0. Версия Java 21.0.2.
Это кажется просто предупреждением, но в конвейере оно рассматривается как ошибка.
Ошибка также возникает в контейнере Ubuntu в агентах Azure и конвейер никогда не завершается:

Код: Выделить всё

24/07/24 14:46:04 WARN SparkEnv: Exception while deleting Spark temp dir: C:\Users\myuser\AppData\Local\Temp\spark\spark-d5847c32\userFiles-eff55070
java.io.IOException: Failed to delete: C:\Users\myuser\AppData\Local\Temp\spark\spark-d5847c32\userFiles-eff55070\org.antlr_antlr4-runtime-4.9.3.jar
at org.apache.spark.network.util.JavaUtils.deleteRecursivelyUsingJavaIO(JavaUtils.java:146)
at org.apache.spark.network.util.JavaUtils.deleteRecursively(JavaUtils.java:117)
at org.apache.spark.network.util.JavaUtils.deleteRecursivelyUsingJavaIO(JavaUtils.java:129)
at org.apache.spark.network.util.JavaUtils.deleteRecursively(JavaUtils.java:117)
at org.apache.spark.network.util.JavaUtils.deleteRecursively(JavaUtils.java:90)
at org.apache.spark.util.SparkFileUtils.deleteRecursively(SparkFileUtils.scala:121)
at org.apache.spark.util.SparkFileUtils.deleteRecursively$(SparkFileUtils.scala:120)
at org.apache.spark.util.Utils$.deleteRecursively(Utils.scala:1126)
at org.apache.spark.SparkEnv.stop(SparkEnv.scala:108)
at org.apache.spark.SparkContext.$anonfun$stop$25(SparkContext.scala:2310)
at org.apache.spark.util.Utils$.tryLogNonFatalError(Utils.scala:1375)
at org.apache.spark.SparkContext.stop(SparkContext.scala:2310)
at org.apache.spark.SparkContext.stop(SparkContext.scala:2216)
at org.apache.spark.api.java.JavaSparkContext.stop(JavaSparkContext.scala:550)
at java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:75)
at java.base/jdk.internal.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:52)
at java.base/java.lang.reflect.Method.invoke(Method.java:580)
at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:244)
at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:374)
at py4j.Gateway.invoke(Gateway.java:282)
at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)
at py4j.commands.CallCommand.execute(CallCommand.java:79)
at py4j.ClientServerConnection.waitForCommands(ClientServerConnection.java:182)
at py4j.ClientServerConnection.run(ClientServerConnection.java:106)
at java.base/java.lang.Thread.run(Thread.java:1583)

предыдущие папки имеют все разрешения.

Подробнее здесь: https://stackoverflow.com/questions/787 ... ing-pytest