Я пытаюсь создать/воспроизвести функцию, аналогичную AI Tattoo Video Generator на сайте Tattooai.design, которая берет статическое изображение татуировки (или генерирует его) и создает короткое видео (5 секунд, 720p, 16:9), показывающее его на коже с естественными движениями тела (например, открытием/закрытием руки, легким сгибанием), в то время как татуировка соответствует кривизне кожи, морщинам и растяжениям. Насколько я вижу, она использует Wan 2.6 для части генерации видео. Я экспериментировал с моделями преобразования изображения в видео с открытым исходным кодом (например, Stable Video Diffusion, AnimateDiff или пытался получить доступ к вариантам WAN через API), но мне не удалось:
- заставить татуировку реалистично «прилипать» к деформирующей коже без артефактов или скольжения.
- Побуждать к тонким, естественным движениям, специфичным для тела. (например, «рука на изображении медленно открывается и закрывается, обнажая татуировку на тыльной стороне руки с морщинами на коже»).
- Достижение согласованного соответствия тона кожи и просмотра под разными углами в коротком клипе.
Кто-нибудь успешно использовал Wan 2.6 (или аналогичную модель, например Open-Sora, DynamiCrafter) для это своего рода задача «удержания объекта на деформируемой поверхности»? Какие инженерные методы, расширения ControlNet (карты глубины/позы?) или этапы постобработки работают лучше всего? Пример подсказки с сайта: «[Рука] на картинке начинает слегка покачиваться, показывая татуировку на тыльной стороне руки». Фрагмент кода, с которого я начинаю (используя, например, диффузоры ComfyUI или Hugging Face, если применимо):
python
Код: Выделить всё
# pseudocode example
from diffusers import SomeVideoPipeline
pipe = SomeVideoPipeline.from_pretrained("path/to/wan-like-model")
image = load_image("tattoo_on_hand.png")
video_frames = pipe(
image=image,
prompt="subtle hand flexing, tattoo on back conforms to skin movement, realistic wrinkles",
num_frames=25, # ~5s at 5fps
height=720, width=1280
).frames
Есть ли какие-нибудь советы по настройке модели для сохранения татуировки или альтернативы, которые работают локально/офлайн?
Подробнее здесь:
https://stackoverflow.com/questions/798 ... deo-ai-lik
Мобильная версия