Загрузка набора данных Ray HDFS: не удалось закрыть HdfsReadableFile: IOError: Ошибка закрытия HDFS. Подробности: [errno ⇐ JAVA

[Anonymous]

Я использую паркеты чтения Ray Dataset в кластере HDFS.

импортировать луч test_dataset = ray.data.read_parquet('hdfs://hadoop@192.168.222.236:9000/path/to/file.parquet') test_dataset.take(1) При чтении паркетов кластер Ray выдает следующие сообщения об ошибках:

(_sample_fragment pid=111158) Ошибка FSDataInputStream#close: (_sample_fragment pid=111158) IOException: файловая система закрытаjava.io.IOException: файловая система закрыта (_sample_fragment pid = 111158) /arrow/cpp/src/arrow/status.cc:155: Не удалось закрыть HdfsReadableFile: IOError: Ошибка закрытия файла HDFS. Подробности: [errno 255] Неизвестная ошибка 255. (_sample_fragment pid=111158) в java.io.FilterInputStream.close(FilterInputStream.java:181) [повторяется 3 раза в кластере] (_sample_fragment pid=81082, ip=192.168.222.237) Ошибка FSDataInputStream#close: (_sample_fragment pid=81082, ip=192.168.222.237) IOException: файловая система закрытаjava.io.IOException: файловая система закрыта (_sample_fragment pid=81082, ip=192.168.222.237) /arrow/cpp/src/arrow/status.cc:155: Не удалось закрыть HdfsReadableFile: IOError: Ошибка закрытия файла HDFS. Подробности: [errno 255] Неизвестная ошибка 255. (_sample_fragment pid=81082, ip=192.168.222.237) по адресу java.base/java.io.FilterInputStream.close(FilterInputStream.java:180) [повторяется 3 раза по кластеру] (_sample_fragment pid = 8274, ip = 192.168.222.236) Ошибка FSDataInputStream # close: (_sample_fragment pid=8274, ip=192.168.222.236) IOException: файловая система закрытаjava.io.IOException: файловая система закрыта (_sample_fragment pid=8274, ip=192.168.222.236) /arrow/cpp/src/arrow/status.cc:155: Не удалось закрыть HdfsReadableFile: IOError: Ошибка закрытия файла HDFS. Подробности: [errno 255] Неизвестная ошибка 255. (_sample_fragment pid=8274, ip=192.168.222.236) в java.io.FilterInputStream.close(FilterInputStream.java:181) [повторяется 3 раза по кластеру] Я воспринял это как предупреждение, поскольку данные успешно загружаются, а кластер продолжает рассылать спам. Несмотря на то, что это не блокирует использование, я все равно хочу выяснить, почему.

Интересно, что сообщения показывают, что некоторые из них не удалось выполнить в java.base/java.io.FilterInputStream.close(FilterInputStream.java:180), а некоторые — в java.io .FilterInputStream.close(FilterInputStream.java:181) (без java.base).

Рабочие машины Ray такие же, как рабочие машины Hadoop.

Установлена ​​переменная среды CLASSPATH. Информационная страница Hadoop Namenode выглядит вполне нормально.
Среда
Питон 3.8.13

ray 2.8.1 Пирроу 14.0.0 Hadoop 3.3.6

Ява

openjdk версии «1.8.0_362» Среда выполнения OpenJDK (сборка 1.8.0_362-8u372-ga~us1-0ubuntu1~18.04-b09) 64-разрядная серверная виртуальная машина OpenJDK (сборка 25.362-b09, смешанный режим) ОС

Идентификатор дистрибьютора: Ubuntu Описание: Ubuntu 18.04.6 LTS. Релиз: 18.04 Кодовое имя: бионический Я проверил состояние кластера Ray и кластера Hadoop: оба в порядке. Возвращенный набор данных может успешно обучить модель.

Я ожидаю, что смогу каким-то образом избавиться от этих сообщений, устранив основную причину. Если данные успешно загружены, это довольно странно, и я беспокоюсь, что программа может выйти из строя или результат не будет заслуживающим доверия.