Я использую эмулятор BigQuery (https://github.com/goccy/bigquery-emulator) для моих интеграционных тестов на локальной машине.
У меня есть проблема на моей работе Это не может создать сеанс чтения, задание застряло на неопределенный срок. > Здесь коды, которые я пытаюсь заставить его работать < /p>
my Apache Beam Bigquery Reader < /p>
return BigQueryIO.read(SchemaAndRecord::getRecord)
.fromQuery("SELECT * FROM `test-project.test-dataset.test-table`")
.usingStandardSql()
.withTemplateCompatibility()
.withMethod(BigQueryIO.TypedRead.Method.DIRECT_READ)
.withCoder(AvroCoder.of(schema));
< /code>
Параметры моего луча < /p>
System.setProperty(
"beamTestPipelineOptions",
"""
[
"--bigQueryEndpoint=%s",
"--credentialFactoryClass=org.apache.beam.sdk.extensions.gcp.auth.NoopCredentialFactory",
"--project=%s"
]
"""
.formatted(container.getEmulatorHttpEndpoint(), container.getProjectId()));
< /code>
Объявление моего контейнера < /p>
@Container
private static final BigQueryEmulatorContainer container = new BigQueryEmulatorContainer("ghcr.io/goccy/bigquery-emulator:0.6.6");
< /code>
задание запроса завершено последнее, и здесь последние соответствующие журналы < /p>
BigQuery job GenericData{classInfo=[jobId, location, projectId], {jobId=beam_bq_job_QUERY_testpipelineaz027760209071426734a5120_30b6b6143b7d4f3c9211dcfff9d9fc33_3daddee8e66f44efa001335da49f491e, projectId=test-project}} completed in state DONE
Query job beam_bq_job_QUERY_testpipelineaz027760209071426734a5120_30b6b6143b7d4f3c9211dcfff9d9fc33_3daddee8e66f44efa001335da49f491e completed
Подробнее здесь: https://stackoverflow.com/questions/794 ... pache-beam
Создайте сеанс чтения с Emulator Emulator TestContainer с Apache Beam ⇐ JAVA
-
- Похожие темы
- Ответы
- Просмотры
- Последнее сообщение
-
-
Apache Beam с Python. Ошибка при попытке аутентификации Apache Kafka SASL_SSL OAUTHBEARER
Anonymous » » в форуме Python - 0 Ответы
- 36 Просмотры
-
Последнее сообщение Anonymous
-
-
-
Apache Beam, имитация внешних клиентов, инициализированных в методе @Setup Lifecycle DoFn.
Anonymous » » в форуме JAVA - 0 Ответы
- 32 Просмотры
-
Последнее сообщение Anonymous
-