Получение частичного ответа JSON для s3select с помощью aws java sdk v2 ⇐ JAVA

[Anonymous]

Я пытаюсь реализовать s3select в приложении весенней загрузки для запроса файла паркета в корзине s3, я получаю только частичный результат из вывода s3select. Пожалуйста, помогите определить проблему, я использовал aws java sdk v2. p>
После проверки вывода json (напечатанного в консоли) общее количество символов в выводе составляет 65 тыс.
Я использую eclipse и попытался снять флажок «Ограничить консоль» вывод" в настройках консоли, что не помогло.
Код: -
import java.util.List;
import java.util.concurrent.CompletableFuture;

import software.amazon.awssdk.auth.credentials.AwsBasicCredentials;
import software.amazon.awssdk.auth.credentials.AwsCredentialsProvider;
import software.amazon.awssdk.auth.credentials.StaticCredentialsProvider;
import software.amazon.awssdk.core.async.SdkPublisher;
import software.amazon.awssdk.regions.Region;
import software.amazon.awssdk.services.s3.S3AsyncClient;
import software.amazon.awssdk.services.s3.model.CompressionType;
import software.amazon.awssdk.services.s3.model.EndEvent;
import software.amazon.awssdk.services.s3.model.ExpressionType;
import software.amazon.awssdk.services.s3.model.InputSerialization;
import software.amazon.awssdk.services.s3.model.JSONOutput;
import software.amazon.awssdk.services.s3.model.OutputSerialization;
import software.amazon.awssdk.services.s3.model.ParquetInput;
import software.amazon.awssdk.services.s3.model.RecordsEvent;
import software.amazon.awssdk.services.s3.model.SelectObjectContentEventStream;
import software.amazon.awssdk.services.s3.model.SelectObjectContentEventStream.EventType;
import software.amazon.awssdk.services.s3.model.SelectObjectContentRequest;
import software.amazon.awssdk.services.s3.model.SelectObjectContentResponse;
import software.amazon.awssdk.services.s3.model.SelectObjectContentResponseHandler;

public class ParquetSelect {

private static final String BUCKET_NAME = "";
private static final String KEY = "";
private static final String QUERY = "select * from S3Object s";
public static S3AsyncClient s3;

public static void selectObjectContent() {
Handler handler = new Handler();

SelectQueryWithHandler(handler).join();

RecordsEvent recordsEvent = (RecordsEvent) handler.receivedEvents.stream()
.filter(e -> e.sdkEventType() == EventType.RECORDS)
.findFirst()
.orElse(null);

System.out.println(recordsEvent.payload().asUtf8String());

}

private static CompletableFuture SelectQueryWithHandler(SelectObjectContentResponseHandler handler) {
InputSerialization inputSerialization = InputSerialization.builder()
.parquet(ParquetInput.builder().build())
.compressionType(CompressionType.NONE)
.build();

OutputSerialization outputSerialization = OutputSerialization.builder()
.json(JSONOutput.builder().build())
.build();

SelectObjectContentRequest select = SelectObjectContentRequest.builder()
.bucket(BUCKET_NAME)
.key(KEY)
.expression(QUERY)
.expressionType(ExpressionType.SQL)
.inputSerialization(inputSerialization)
.outputSerialization(outputSerialization)
.build();

return s3.selectObjectContent(select, handler);
}

private static class Handler implements SelectObjectContentResponseHandler {
private SelectObjectContentResponse response;
private List receivedEvents = new ArrayList();
private Throwable exception;

@Override
public void responseReceived(SelectObjectContentResponse response) {
this.response = response;
}

@Override
public void onEventStream(SdkPublisher publisher) {
publisher.subscribe(receivedEvents::add);
}

@Override
public void exceptionOccurred(Throwable throwable) {
exception = throwable;
}

@Override
public void complete() {
}
}

}


Подробнее здесь: https://stackoverflow.com/questions/755 ... ava-sdk-v2