Со вчерашнего дня отлично работающий, полностью неизмененный код конвейера начал случайным образом удалять файлы Pickle, когда они записываются из среды Colab на диск Google. Это случается часто, но случайно, поскольку я могу запустить один и тот же код с одними и теми же данными без каких-либо изменений, а разные шаги потерпят неудачу, возможно, с интервалом в несколько часов. Честно говоря, я понятия не имею, как это могло произойти.
Ошибка при чтении: «UnpicklingError: данные Pickle были усечены».
Одновременной памяти и дискового пространства достаточно, данные, похоже, сериализуются правильно, а размер файла большой (около 940 МБ), но раньше без проблем обрабатывалось 5,4 ГБ.
Одно следует отметить, что возможно, что У os.replace() возникла проблема: когда я сделал временную копию, проверил ее, а затем попытался заменить, я написал временную копию, она была проверена как нормальная, а затем функция замены исказила ее. Однако я действительно не понимаю, как это возможно.
Изменить:
После долгих исследований выяснилось, что это проблема FUSE. Я понятия не имею, почему именно, но FUSE периодически не может молча обновить большие файлы. Когда это происходит с существующим файлом, и вы немедленно пытаетесь снова открыть и прочитать этот файл, диск Google каким-то образом повреждает его, сохраняя старую версию, но используя метаданные более новой версии. Вот почему оно читается как усеченное.
