Сопоставить аниме-кадров с соответствующим кадром (используя сопоставление шаблонов/функций?) ⇐ Python

[Anonymous]

У меня есть изображение cel (слоя окрашенного пластикового листа, отсканированного для создания кадра для старых анимационных фильмов) из службы доставки Kiki, как показано ниже:


и я хочу иметь возможность сопоставить его с точным (или достаточно близким) совпадающим кадром в фильме Служба доставки Kiki:


Для ясности: у меня есть папка, содержащая около 12 000 кадров из фильма, охватывающих все время выполнения, поэтому задача состоит в том, чтобы перебрать их, чтобы алгоритмически найти кадр, который «наиболее похож» на cel.
Чего я хочу

• Точно сопоставить ячейку с соответствующим кадром фильма
• Что это, вероятно, означает: оценка (от 0 до 1 включительно) для каждого из 12 000 кадров, где 1 означает идеальное совпадение с ячейкой, а 0 означает абсолютное отсутствие совпадения с ячейкой, при этом оценка максимизируется для фактического соответствующего кадра. Также может случиться так, что алгоритм завершает работу, когда обнаруживается оценка > 0,99 (скажем).

Вопрос

• Каков оптимальный подход для этого?

Наблюдения

• Сопоставление шаблонов кажется неоптимальным, потому что кажется, что предполагается найти небольшую часть изображения в гораздо большем изображении.
• Я знаю, что «пирамиды изображений» можно использовать для создания набора изображений все меньше и меньше, но это кажется дорогостоящим с точки зрения времени и вычислений.
• Сопоставление объектов может быть лучшим подходом, поскольку кажется, что оно работает независимо от масштаба и вращения.

Что я пробовал

• Удаление пустого фона в ячейке. Это связано с тем, что пробелы не имеют значения, и я не хочу, чтобы они влияли на какой-либо алгоритм (т. е. алгоритм пытается сопоставить только изображения с большим количеством белого фона)

Код: Выделить всё

import cv2 as cv
import numpy as np
from matplotlib import pyplot as plt

cel = cv.imread('./cels/kikis_delivery_service/1.jpg', 1)
cel_grey = cv.cvtColor(cel, cv.COLOR_BGR2GRAY)

ret, mask = cv.threshold(cel_grey, 220, 255, cv.THRESH_BINARY_INV)
b, g, r = cv.split(cel)
rgba = [b, g, r, mask]
dst = cv.merge(rgba, 4)
cv.imwrite('test.png', dst)

• Соответствие шаблону, но результаты были плохими (оценка < 0,3 с использованием cv.TM_CCOEFF_NORMED)

Любой помощь и предложения по этому поводу будут очень признательны.