RuntimeError в Torch.CAT во время Vace-WAN2.1 Вывод: несоответствие формы маски и видео-тензора ⇐ Python

[Anonymous]

Я использую модель генерации видео WAN2.1-Vace, и во время вывода я столкнулся с выполнением RuntimeError , связанной с несоответствующими фигурами тензора в Torch.cat Внутри vace_latent () .

Код: Выделить всё

src_video tensor size before generation: torch.Size([3, 1, 848, 464])
src_mask  tensor size before generation: torch.Size([1, 1, 848, 464])
< /code>
Это вызывает следующую ошибку, когда код пытается объединить тензоры из видео и маски: < /p>
RuntimeError: Sizes of tensors must match except in dimension 0. Expected size 3 but got size 2 for tensor number 1 in the list.
< /code>
Ошибка происходит из этой части кода: < /p>
return [torch.cat([zz, mm], dim=0) for zz, mm in zip(z, m)]

Похоже, что количество пакетов/кадров вдоль dim = 0 не совпадает между видео и маской, но я не уверен, как исправить это правильно или какая должна быть ожидаемая форма ввода. Вот что я сделал: < /p>

Код: Выделить всё

if src_mask is not None and src_mask[0].shape[1] == 1:
src_mask[0] = src_mask[0].expand(-1, 3, -1, -1)
print(f"DEBUG: src_mask channel expanded to 3: {src_mask[0].shape}")

Я ожидал, что это сделало бы маску и видео входы иметь соответствующие размеры каналов (оба с формой [3, 1, H, W] ), поэтому модель могла объединить их без ошибок. Тем не менее, я все еще получил одинаковое время выполнения во время torch.cat , жалуясь на несоответствие размеров вдоль измерения 0.
Так я использую вывод:

Код: Выделить всё

python vace/vace_wan_inference.py \
--src_video assets/videos/src_video_rgb.mp4 \
--src_mask assets/videos/src_mask_rgb.mp4 \
--src_ref_images "assets/ref/hamer_61.png,assets/ref/pose_61.png" \
--prompt "重建一隻符合骨架姿勢與結構的真實人手，寫實風格，聚焦手部細節"

Кажется, что количество кадров или какого-либо измерения все еще не смещено, но я не уверен, должен ли я расширять размер партии/кадра или просто канал.

Подробнее здесь: https://stackoverflow.com/questions/797 ... -tensor-sh