Создайте сеанс чтения с Emulator Emulator TestContainer с Apache BeamJAVA

Программисты JAVA общаются здесь
Ответить Пред. темаСлед. тема
Anonymous
 Создайте сеанс чтения с Emulator Emulator TestContainer с Apache Beam

Сообщение Anonymous »

Я использую эмулятор BigQuery (https://github.com/goccy/bigquery-emulator) для моих интеграционных тестов на локальной машине.
У меня есть проблема на моей работе Это не может создать сеанс чтения, задание застряло на неопределенный срок. > Здесь коды, которые я пытаюсь заставить его работать < /p>
my Apache Beam Bigquery Reader < /p>
return BigQueryIO.read(SchemaAndRecord::getRecord)
.fromQuery("SELECT * FROM `test-project.test-dataset.test-table`")
.usingStandardSql()
.withTemplateCompatibility()
.withMethod(BigQueryIO.TypedRead.Method.DIRECT_READ)
.withCoder(AvroCoder.of(schema));
< /code>
Параметры моего луча < /p>
System.setProperty(
"beamTestPipelineOptions",
"""
[
"--bigQueryEndpoint=%s",
"--credentialFactoryClass=org.apache.beam.sdk.extensions.gcp.auth.NoopCredentialFactory",
"--project=%s"
]
"""
.formatted(container.getEmulatorHttpEndpoint(), container.getProjectId()));
< /code>
Объявление моего контейнера < /p>
@Container
private static final BigQueryEmulatorContainer container = new BigQueryEmulatorContainer("ghcr.io/goccy/bigquery-emulator:0.6.6");
< /code>
задание запроса завершено последнее, и здесь последние соответствующие журналы < /p>
BigQuery job GenericData{classInfo=[jobId, location, projectId], {jobId=beam_bq_job_QUERY_testpipelineaz027760209071426734a5120_30b6b6143b7d4f3c9211dcfff9d9fc33_3daddee8e66f44efa001335da49f491e, projectId=test-project}} completed in state DONE
Query job beam_bq_job_QUERY_testpipelineaz027760209071426734a5120_30b6b6143b7d4f3c9211dcfff9d9fc33_3daddee8e66f44efa001335da49f491e completed


Подробнее здесь: https://stackoverflow.com/questions/794 ... pache-beam
Реклама
Ответить Пред. темаСлед. тема

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

  • Похожие темы
    Ответы
    Просмотры
    Последнее сообщение
  • Apache Beam с Python. Ошибка при попытке аутентификации Apache Kafka SASL_SSL OAUTHBEARER
    Anonymous » » в форуме Python
    0 Ответы
    36 Просмотры
    Последнее сообщение Anonymous
  • Почему Apache Beam удалил DoFnTester
    Гость » » в форуме JAVA
    0 Ответы
    28 Просмотры
    Последнее сообщение Гость
  • Apache Beam, имитация внешних клиентов, инициализированных в методе @Setup Lifecycle DoFn.
    Anonymous » » в форуме JAVA
    0 Ответы
    32 Просмотры
    Последнее сообщение Anonymous
  • Java Apache Beam, имитация внешних клиентов, инициализированных в методе @Setup DoFn с переменными конструкторов.
    Anonymous » » в форуме JAVA
    0 Ответы
    31 Просмотры
    Последнее сообщение Anonymous
  • Java Apache Beam, имитация внешних клиентов, инициализированных в методе @Setup DoFn с переменными конструкторов.
    Anonymous » » в форуме JAVA
    0 Ответы
    29 Просмотры
    Последнее сообщение Anonymous

Вернуться в «JAVA»