При экспорте иногда появляется «Слишком много открытых файлов». ⇐ Linux

[Гость]

Требование: загрузить данные в CnosDB;
Я записал в CnosDB 26 ГБ неупорядоченных данных, как показано ниже:

Код: Выделить всё

load_cnosdb --db-name "public" --file ./cnodb-iot-seed-123-scale-100-2021_000_shufed --urls "http://xxxx:8902" --workers 20

а затем я экспортирую данные из CnosDB следующим образом:

Код: Выделить всё

copy into 'file:///home/bca/code/cnosdb/data/test' from readings FILE_FORMAT = (
TYPE = 'CSV',
DELIMITER=',',
WITH_HEADER=false
);

результат следующий:

Код: Выделить всё

422 Unprocessable Entity, details: {"error_code":"010001","error_message":"Datafusion: External error: External error: TskvError: Unable to open file '/home/xxx/code/cnosdb/data/cnosdb/1001/db/data/cnosdb.public/6/delta/_000016.delta': Too many open files (os error 24)"}

и я проверяю дескрипторы:

Код: Выделить всё

[root@cicd_ujv23 cnosdb]# lsof -p 16634| wc -l
100
[root@cicd_ujv23 cnosdb]# lsof -p 16634| wc -l
23312
[root@cicd_ujv23 cnosdb]# lsof -p 16634| wc -l
38778
[root@cicd_ujv23 cnosdb]# lsof -p 16634| wc -l
58376
[root@cicd_ujv23 cnosdb]# lsof -p 16634| wc -l
25278

anyone else encounter the error? how to solve it ?


Источник: https://stackoverflow.com/questions/781 ... -exporting