MemoryStream Spark 4.0 был перемещен или изменен? ⇐ JAVA

[Anonymous]

Я пытался обновить свой проект с Spark 3.5 до Spark 4.0. В процессе я столкнулся с этой проблемой в наших модульных тестах.

Код: Выделить всё

error: cannot find symbol
import org.apache.spark.sql.execution.streaming.MemoryStream;

error: cannot find symbol
MemoryStream inputStream =

Ниже приведен фрагмент кода, вызывающий проблему.

Код: Выделить всё

SQLContext spark = TestSparkUtils.getSparkSession().sqlContext();

MemoryStream inputStream =
new MemoryStream(
1,
TestSparkUtils.getSparkSession().sqlContext(),
Option.apply(1),
ExpressionEncoder.apply(TRANSFORM_SCHEMA));

Dataset df =
inputStream
.toDS()
.toDF(
"kafkaKey",
"t_uid",
"timestamp",
"resource_name",
"metrics",
"attributes");
Seq collection = JavaConverters.asScalaIteratorConverter(rows.iterator()).asScala().toSeq();

inputStream.addData(collection);

Стал ли этот класс устаревшим в Spark 4.0? Если да, есть ли альтернативные классы, которые я могу использовать? Извините, если это глупый вопрос, но я все еще относительно новичок в Spark.