Как создать дельта-таблицу с помощью автономного озера Delta Lake и записать данные ⇐ JAVA

[Anonymous]

Я могу прочитать дельта-таблицу, созданную в Amazon S3, с помощью автономного API, но не могу создать дельта-таблицу и вставить в нее данные. В приведенной ниже ссылке на озеро Дельта упоминается использование устройства чтения и записи Zappy, которое является вымышленным и используется в качестве справочного материала.
Я пробовал использовать средство записи паркета avro, но столкнулся с проблемами при получении всех необходимых данных. для объекта AddFile. Не могли бы вы поделиться каким-либо примером средства записи, которое можно использовать в Scala, и как зафиксировать метаданные в дельта-таблице?
https://docs.delta.io/latest /delta-standalone.html#-azure-blob-storage

Код: Выделить всё

ZappyDataFrame correctedSaleIdToTotalCost = ...;
ZappyDataFrame invalidSales = ZappyReader.readParquet(filteredFiles);
ZappyDataFrame correctedSales = invalidSales.join(correctedSaleIdToTotalCost, "id")

ZappyWriteResult dataWriteResult = ZappyWritter.writeParquet("/data/sales", correctedSales);

"Обратите внимание, что в этом примере для записи реальных данных паркета используется вымышленный движок Zappy, отличный от Spark, поскольку Delta Standalone не предоставляет никаких API-интерфейсов для записи данных. Вместо этого Delta Standalone Writer позволяет сохранять метаданные в журнал Delta после записи данных"
Используемые зависимости — pom.xml

Код: Выделить всё

org.scala-lang
scala-library
2.12.12



io.delta
delta-standalone_2.12
0.5.0


org.apache.hadoop
hadoop-client
3.3.1

Я пробовал использовать средство записи паркета avro, но столкнулся с проблемами при получении всех данных, необходимых для объекта AddFile. Не могли бы вы поделиться каким-либо примером средства записи, которое можно использовать в scala, и как зафиксировать мета данные в дельта-таблицу?

Подробнее здесь: https://stackoverflow.com/questions/761 ... write-data