Попытка добавить модуль-info.java в spark.core.2.13 Apache Spark: как заставить scala принимать описание модуля и собрат ⇐ JAVA

[Anonymous]

Я хочу продолжить тему внедрения Java-модулей в Apache Spark. Они нужны для:

• сортировки и предотвращения конфликтов между зависимостями.
• позволяют интегрировать модули Spark в проекты, уже использующие Java-модули. В настоящее время это невозможно из-за некоторых зависимостей, которые заканчиваются версией Scala (

  Код: Выделить всё

  2.12

  , 2.13). Они приводят к тому, что имена автоматических модулей содержат цифры на конце, и это приводит к неправильному имени модуля.
  
  → Даже трюки с этим не сильно помогут, если бы только это было:

Код: Выделить всё

org.apache.maven.plugins
maven-jar-plugin



spark.core

как если бы это оставило все классы с открытым доступом, а в конце это не то, что хотелось бы.
Но если я начну попытку добавить модуль-info.java, я столкнусь с двумя проблемами:

• Я не уверен, как мне следует собрать в spark.core оба класса, происходящие из src/main/java и src/main/scala вместе. Я уже установил один модуль-info.java в src/main/java, и мне интересно, достаточно ли этого.
• scala2-sbt-bridge для компиляции Java в версии 2.13.18 от ноября 2025 года, похоже, все еще возникают проблемы с файлом Module-info.java, который он не распознает.

Код: Выделить всё

[INFO] --- scala:4.9.7:compile (scala-compile-first) @ spark-core_2.13 ---
[INFO] Compiler bridge file: /home/lebihan/.sbt/1.0/zinc/org.scala-sbt/org.scala-sbt-compiler-bridge_2.13-1.11.0-bin_2.13.18__61.0-1.11.0_20250927T224111.jar
[INFO] compiling 328 Scala sources and 8 Java sources to /home/lebihan/dev/Java/opensource/spark/core/target/scala-2.13/classes ...
[ERROR] [Error] /home/lebihan/dev/Java/opensource/spark/core/src/main/java/module-info.java:1: `;` expected but `.` found.

Это, конечно, старая проблема, и если она еще не исправлена ​​в компиляторе 2.x sbt, то, думаю, никогда не будет. Есть ли версия Scala, к которой мне следует подождать перехода Apache Spark? то есть: компилятор Scala может обрабатывать Java-модули в Scala 3.x? Или есть обходной путь?
Если у вас есть ответы, это прекрасно!

Но если у вас есть совет, как справиться с этой темой (помощь, которая может прийти из некоторой практики, ловушка, которая может возникнуть из-за выбора...) я был бы рад узнать об этом.

Подробнее здесь: https://stackoverflow.com/questions/798 ... ark-how-to