Как я могу восстановить (или понять вывод h5debug) моего файла hdf5? ⇐ Python

[Anonymous]

У меня есть файл hdf5, который настолько велик, что мне приходится использовать домашний файловый сервер для записи данных (4,04 ТБ, согласно Finder в macOS). Это набор логитов, расчет которого занимает несколько часов, и по какой-то причине после расчета последнего фрагмента данных он потерпел неудачу.
Теперь я понимаю:
Теперь я понимаю:

Код: Выделить всё

h5debug /Volumes/MacBackup-1/gguf/baseline_logits.hdf5

Reading signature at address 0 (rel)
File Super Block...
File name (as opened):                             /Volumes/MacBackup-1/gguf/baseline_logits.hdf5
File name (after resolving symlinks):              /Volumes/MacBackup-1/gguf/baseline_logits.hdf5
File access flags                                  0x00000000
File open reference count:                         1
Address of super block:                            0 (abs)
Size of userblock:                                 0 bytes
Superblock version number:                         0
Free list version number:                          0
Root group symbol table entry version number:      0
Shared header version number:                      0
Size of file offsets (haddr_t type):               8 bytes
Size of file lengths (hsize_t type):               8 bytes
Symbol table leaf node 1/2 rank:                   4
Symbol table internal node 1/2 rank:               16
Indexed storage internal node 1/2 rank:            32
File status flags:                                 0x00
Superblock extension address:                      18446744073709551615 (rel)
Shared object header message table address:        18446744073709551615 (rel)
Shared object header message version number:       0
Number of shared object header message indexes:    0
Address of driver information block:               18446744073709551615 (rel)
Root group symbol table entry:
Name offset into private heap:                  0
Object header address:                          96
Cache info type:                                Symbol Table
Cached entry information:
B-tree address:                              136
Heap address:                                680
Error in closing file!
HDF5: infinite loop closing library
L,T_top,F,P,P,Z,FD,VL,VL,PL,E,SL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL,FL

Из результатов отладки мне неясно, что на самом деле не так. Что касается реального размера, я думаю, что он меньше 4 ТБ:

Код: Выделить всё

ls -la  /Volumes/MacBackup-1/gguf/baseline_logits.hdf5
-rwx------@ 1 macdev  staff   3.7T Nov 12 12:21 /Volumes/MacBackup-1/gguf/baseline_logits.hdf5

Вот журнал моего сценария, когда он потерпел неудачу, это было не очень конкретное сообщение об ошибке:

Код: Выделить всё

[471] 114207.41 ms [472] 24712.48 ms [473] 120010.91 ms [474] 134073.39 ms
INFO - Processed 4 chunks
INFO - Final file size: 3832472.77 MB
Running from 475 to 478
INFO - generate_logits starting (version 0.5.3)
INFO - Loaded precomputed tokens from /Users/Shared/Public/huggingface/salamandra-2b-instruct/imatrix/oscar/calibration-dataset.txt.tokens.npy
INFO - Processing chunks from 475 to 478
INFO - Estimated runtime: 6.11 minutes for 3 remaining chunks
[475] 122266.14 ms [476] 27550.59 ms ERROR - Unexpected error occurred: Can't decrement id ref count (unable to close file, errno = 9, error message = 'Bad file descriptor')
Error occurred. Exiting.

Это произошло потому, что размер файла чуть превышал 4 ТБ (в зависимости от того, как вы на него смотрите), что кажется подозрительным, но он записывается (с Mac) на компьютер с Windows 11 с Диск 16Тб из которых до этого было свободно 13Тб, отформатировал в NTFS. В моей информации SMB указано, что я подключен к smb_3.1.1 с LARGE_FILE_SUPPORTED TRUE, что, как я надеюсь, предоставит мне 16 ТБ, доступных для NTFS.
Как я могу восстановить (или понять вывод h5debug) моего файла hdf5?

Подробнее здесь: https://stackoverflow.com/questions/791 ... -hdf5-file