Google BigQuery - потоковые данные в BigQueryJAVA

Программисты JAVA общаются здесь
Anonymous
Google BigQuery - потоковые данные в BigQuery

Сообщение Anonymous »

Я использую Google BigQuery для моего проекта
прямо сейчас я пытаюсь вставить новую строку в BQ на основе этого https://cloud.google.com/bigquery/strea ... tream-mava написал/>

Код: Выделить всё

private void insertRowsToBQ(MyCustomObject data) {
String datasetName = "mydatasetname";
String tableName = "mytablename";
Map rowContent = new HashMap();
rowContent.put("field_1", data.getdata1());
rowContent.put("field_2", data.getdata2());
rowContent.put("field_3", data.getdata3());
rowContent.put("field_4", data.getdata4());

try {
BigQuery bigquery = BigQueryOptions.getDefaultInstance().getService();
TableId tableId = TableId.of(datasetName, tableName);
InsertAllResponse response =
bigquery.insertAll(
InsertAllRequest.newBuilder(tableId)
.addRow(rowContent)
.build());

if (response.hasErrors()) {
for (Map.Entry entry : response.getInsertErrors().entrySet()) {
Logger.error("Response error: \n" + entry.getValue());
}
}
Logger.info("Rows successfully inserted into table");
} catch (BigQueryException e) {
Logger.error("Insert operation not performed \n" + e.toString());
}
}
Код работает нормально, не получил никакого журнала ошибок
, но когда я пытаюсь просмотреть его в Google Console
https://console.cloud.google.com/bigque ... rojectName
>>>>select * from `myprojectname.mydatasetname.mytablename` where DATE(_PARTITIONTIME) = "2021-03-24"
< /code>
Данные на консоли Google BQ, данные не отображаются.
Оказывается, что данные задерживаются более 1 часа, пока их не смогут просмотреть на BQ < /p>
Это ожидается? Или есть какая -то проблема?>

Подробнее здесь: https://stackoverflow.com/questions/667 ... o-bigquery

Вернуться в «JAVA»