Я заметил вышеописанную ошибку при попытке создать SparkSession. Я застрял на этом на какое-то время.
Когда я выполняю это в Jupyter Notebook:
spark=SparkSession.builder.appName('appname').getOrCreate()
Получение этой ошибки:
Py4JJavaError: произошла ошибка при вызове None.org.apache.spark.api.java.JavaSparkContext.
: java.lang.UnsupportedOperationException: getSubject поддерживается только в том случае, если разрешен менеджер безопасности
в java.base/javax.security.auth.Subject.getSubject(Subject.java:347)
в org.apache.hadoop. Security.UserGroupInformation.getCurrentUser(UserGroupInformation.java:648)
в org.apache.spark.util.Utils$.$anonfun$getCurrentUserName$1(Utils.scala:2561)
в scala.Option.getOrElse (Option.scala:189)
в org.apache.spark.util.Utils$.getCurrentUserName(Utils.scala:2561)
в org.apache.spark.SparkContext.(SparkContext.scala:316 )
в org.apache.spark.api.java.JavaSparkContext.(JavaSparkContext.scala:58)
в java.base/jdk.internal.reflect.DirectConstructorHandleAccessor.newInstance(DirectConstructorHandleAccessor.java:62)
в java.base/java.lang.reflect.Constructor.newInstanceWithCaller(Constructor.java:501)
в java.base/java.lang.reflect.Constructor.newInstance(Constructor.java:485)
в py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:247)
в py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:357)
в py4j.Gateway.invoke(Gateway) .java:238)
в py4j.commands.ConstructorCommand.invokeConstructor(ConstructorCommand.java:80)
в py4j.commands.ConstructorCommand.execute(ConstructorCommand.java:69)
в py4j. ClientServerConnection.waitForCommands(ClientServerConnection.java:182)
в py4j.ClientServerConnection.run(ClientServerConnection.java:106)
в java.base/java.lang.Thread.run(Thread.java:1575)
Подробнее здесь: https://stackoverflow.com/questions/790 ... r-notebook
