Развертывание кода Flask и Pyspark в службе приложений Azure. ⇐ Python

[Anonymous]

Ниже приведен код, который я использовал для развертывания кода для проверки работоспособности службы приложений Azure. Но код не работает должным образом, домашняя_страница работала, но процесс_данные не работают с ошибкой 500. Итак, мой вопрос: сможем ли мы запустить службу приложений для Spark. Наконец-то он работает в моей локальной системе, но не в лазури для искры.

Код: Выделить всё

spark = SparkSession.builder \
.appName("PySparkApp") \
.master("local[*]") \
.config("spark.driver.bindAddress", "0.0.0.0") \
.config("spark.ui.enabled", "false") \
.config("spark.python.worker.reuse", "true") \
.getOrCreate()
spark.sparkContext.setLogLevel("ERROR")  # Suppress non-critical logs

@app.route('/')
def home_page():
return "Welcome To Home Page..."

@app.route('/process')
def process_data():
# Create a DataFrame with some example data
df = spark.createDataFrame([
Row(id=1, rate=2.0, description='string1', date=date(2000, 1, 1),datetime=datetime(2000, 1, 1, 12, 0)),
Row(id=2, rate=3.0, description='string2', date=date(2000, 2, 1), datetime=datetime(2000, 1, 2, 12, 0)),
Row(id=4, rate=5.0, description='string3', date=date(2000, 3, 1), datetime=datetime(2000, 1, 3, 12, 0))
])

# Convert to JSON without pandas
data = df.rdd.map(lambda row: row.asDict()).collect()

# Return data as JSON
return jsonify(data)

Я пробовал настроить все Spark, Java и Hadoop, но все равно безуспешно.

Подробнее здесь: https://stackoverflow.com/questions/793 ... pp-service