Как `pip install pyspark' устраняет необходимость настройки SPARK_HOME ⇐ Python

[Anonymous]

При установке PySpark с pypi.org

Код: Выделить всё

pip install pyspark==3.5.0

Похоже, что установка переменной среды SPARK_HOME не требуется.
Как это работает?
Напротив, если я скачаю Apache Spark с

Код: Выделить всё

https://www.apache.org/dyn/closer.lua/spark/spark-3.5.3/spark-3.5.3-bin-hadoop3.tgz

который содержит PySpark, необходимо выполнить следующие шаги

• Код: Выделить всё

  export SPARK_HOME=/opt/software/spark

• Код: Выделить всё

  export PATH=$SPARK_HOME/bin:$PATH

• Код: Выделить всё

  export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.10.9.7-src.zip:$SPARK_HOME/python/lib/pyspark.zip:$PYTHONPATH

Как `pip install pyspark' избавляет от необходимости настраивать SPARK_HOME ? Каков механизм?

Подробнее здесь: https://stackoverflow.com/questions/791 ... spark-home