Я очень старался протестировать преобразование PySpark на своем локальном компьютере с Windows.
Вот что я сделал на данный момент.
Я установил последнюю версию Spark, загрузил Hadoop.dll и winutils, загрузил Microsoft Java SDK 17 и добавил необходимые переменные среды.
Однако, когда я пытаюсь запустить тест, я получаю следующее ошибка:
ОШИБКА test/test_customers.py::test_enrich_customers_logic - py4j.protocol.Py4JJavaError: произошла ошибка при вызове None.org.apache.spark.api.java.JavaSparkContext.
Я использую Python 3.11.9 в Windows 11.
Вот мой conftest.py:
import sys
import pytest
import socketserver
if sys.platform == 'win32':
socketserver.UnixStreamServer = socketserver.TCPServer
socketserver.UnixStreamHandler = socketserver.StreamRequestHandler
from pyspark.sql import SparkSession
@pytest.fixture(scope="session")
def spark():
builder = (SparkSession.builder
.master("local[1]")
.appName("Windows-PyTest-Local"))
session = builder.getOrCreate()
yield session
session.stop()
А вот мой тестовый модуль:
from transformations.customer_transforms import enrich_customers
def test_enrich_customers_logic(spark):
df = spark.createDataFrame([
(1, " John Doe ", "123-344-455"),
(2, "Jane Smith", "(987) 654-3210")
], ["customer_id", "customer_name", "phone"])
results = enrich_customers(df).collect()
assert results[0]["first_name"] == "John"
assert results[0]["last_name"] == "Doe"
assert results[0]["phone"] == "123344455"
Подробнее здесь: https://stackoverflow.com/questions/798 ... on-startup
