Искровое приспособление Pytest не работает при запуске ⇐ Python

[Anonymous]

Я очень старался протестировать преобразование PySpark на своем локальном компьютере с Windows.
Вот что я сделал на данный момент.

Я установил последнюю версию Spark, загрузил Hadoop.dll и winutils, загрузил Microsoft Java SDK 17 и добавил необходимые переменные среды.
Однако, когда я пытаюсь запустить тест, я получаю следующее ошибка:

ОШИБКА test/test_customers.py::test_enrich_customers_logic - py4j.protocol.Py4JJavaError: произошла ошибка при вызове None.org.apache.spark.api.java.JavaSparkContext.

Я использую Python 3.11.9 в Windows 11.
Вот мой conftest.py:
import sys
import pytest
import socketserver

if sys.platform == 'win32':
socketserver.UnixStreamServer = socketserver.TCPServer
socketserver.UnixStreamHandler = socketserver.StreamRequestHandler

from pyspark.sql import SparkSession

@pytest.fixture(scope="session")
def spark():
builder = (SparkSession.builder
.master("local[1]")
.appName("Windows-PyTest-Local"))

session = builder.getOrCreate()
yield session
session.stop()

А вот мой тестовый модуль:
from transformations.customer_transforms import enrich_customers

def test_enrich_customers_logic(spark):
df = spark.createDataFrame([
(1, " John Doe ", "123-344-455"),
(2, "Jane Smith", "(987) 654-3210")
], ["customer_id", "customer_name", "phone"])

results = enrich_customers(df).collect()

assert results[0]["first_name"] == "John"
assert results[0]["last_name"] == "Doe"
assert results[0]["phone"] == "123344455"


Подробнее здесь: https://stackoverflow.com/questions/798 ... on-startup