Я пишу структуру поверх Pyspark 3.5.5. Docker Image Base на стандартном «Spark: 3.5.5-java17», который добавляет мой фреймворк-код и все необходимые банки в пользовательское местоположение (добавление их в/Opt/Spark/Jars заставляет их загружать все, что плохо для меня, даже если все мои испытательные код работают, когда я потерпел неудачу. Sparksessession From My Python Code I настраиваю «spark.jars», «spark.driver.extraclasspath», «spark.executor.extraclaspath» и даже попытался использовать «addjar» через Java RPC, но в то время как журнал показывает, что драйвер поднимается на банки и загружает их, я сообщаю Classnotfoundexception для классов, которые я получаю от JARS. Установка вышеупомянутого приведенного выше абсолютных путей к банкам, с добавлением префикса «локальный: //», используя «,» или «:» как сепаратор и любая комбинация их, но все еще не может заставить его работать. Банки.
Есть ли что -нибудь еще, что я могу попробовать?
Подробнее здесь: https://stackoverflow.com/questions/796 ... om-pyspark
