Лучший способ преобразовать Flink DataStream в DataStream для использования Apache IcebergJAVA

Программисты JAVA общаются здесь
Ответить Пред. темаСлед. тема
Anonymous
 Лучший способ преобразовать Flink DataStream в DataStream для использования Apache Iceberg

Сообщение Anonymous »

Я новичок в Flink и пытаюсь использовать Flink с Kafka для ввода данных и айсбергом для хранения данных.
Вот шаги, которые я выполнил.
  • Читать поток данных POJO Java из kafkaSource (со схемой Avro).
  • Преобразовать поток данных POJO в DataStream с помощью оболочки MapFunction.
  • Отправьте поток данных в Iceberg с помощью FlinkSink.
Все работает, но меня беспокоит способ преобразования DataStream в DataStream. У меня есть сложная и довольно большая ссылка POJO, и чтобы преобразовать ее в RowData, мне пришлось использовать метод .setField() для каждого и обрабатывать каждое преобразование типа данных, например StringData, Map, List и т. д.
Я хотел проверить здесь, есть ли лучший способ сделать это.


Подробнее здесь: https://stackoverflow.com/questions/790 ... -for-apach
Реклама
Ответить Пред. темаСлед. тема

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

  • Похожие темы
    Ответы
    Просмотры
    Последнее сообщение
  • Лучший способ преобразовать Flink DataStream в DataStream для использования Apache Iceberg
    Anonymous » » в форуме JAVA
    0 Ответы
    13 Просмотры
    Последнее сообщение Anonymous
  • Лучший способ преобразовать Flink DataStream в DataStream для использования Apache Iceberg
    Anonymous » » в форуме JAVA
    0 Ответы
    16 Просмотры
    Последнее сообщение Anonymous
  • Лучший способ преобразовать Flink DataStream в DataStream для использования Apache Iceberg
    Anonymous » » в форуме JAVA
    0 Ответы
    19 Просмотры
    Последнее сообщение Anonymous
  • Flink Как DataStream объединяет пользовательский POJO в другой DataStream
    Anonymous » » в форуме JAVA
    0 Ответы
    20 Просмотры
    Последнее сообщение Anonymous
  • Apache Iceberg Java SDK: является ли объект org.apache.iceberg.Table потокобезопасным?
    Anonymous » » в форуме JAVA
    0 Ответы
    29 Просмотры
    Последнее сообщение Anonymous

Вернуться в «JAVA»