Spark версии 3.4
Scala версии 2.12.17
Код: Выделить всё
from pyspark.sql import SparkSession
from pyspark.sql.functions import *
from pyspark import SparkConf
spark = SparkSession.builder \
.appName("SnowflakeDataRead") \
.config("spark.jars", "/content/spark-snowflake_2.12-2.12.0-spark_3.4.jar,/content/snowflake-jdbc-3.13.30.jar") \
.getOrCreate()
Py4JJavaError: произошла ошибка при вызове o353.load. : org.apache.spark.SparkClassNotFoundException: [DATA_SOURCE_NOT_FOUND] Не удалось найти источник данных: net.snowflake.spark.snowflake. Пакеты можно найти по адресу https://spark.apache.org/ Third-party-projects.html.
Я выполнил следующие действия: https://medium.com/@shrutighoradkar101/ Snowspark-Connection-Bridging-pyspark-and-Snowflake-for-Эффективная-обработка-данных-a2190fd7f3e2
И загрузите файлы Jar в правильных поддерживаемых версиях.
Подробнее здесь: https://stackoverflow.com/questions/787 ... ogle-colab