Используйте Spark ML в Scala, используя Spark Connect ⇐ JAVA

[Anonymous]

Я хочу использовать API Spark ML в моем уже существующем проекте Scala, используя Spark Connect, чтобы удаленно выполнить код в кластерах Spark. Когда я пытаюсь импортировать org.apache.spark.ml , он не существует. Я использую Scala 2.13 с Clip Client Connect Client JVM 4.0.0. Я что -то упускаю?

Код: Выделить всё

ThisBuild / version := "0.1.0-SNAPSHOT"

ThisBuild / scalaVersion := "2.13.16"

lazy val root = (project in file("."))
.settings(
name := "ml"
)

libraryDependencies ++= Seq("com.typesafe" % "config" % "1.4.3",
"org.apache.spark" %% "spark-connect-client-jvm" % "4.0.0"
)

javaOptions += "--add-opens=java.base/java.nio=org.apache.arrow.memory.core,ALL-UNNAMED"

Также я попытался добавить "org.apache.spark" %% "spark-mllib" % "4.0.0" в LibraryDependencies и при этом я получаю эту ошибку

Код: Выделить всё

A master URL must be set in your configuration

Подробнее здесь: https://stackoverflow.com/questions/796 ... rk-connect