MatchTemplate() пропускает обнаружения и дает ложные срабатывания, что я могу сделать? ⇐ Python

[Anonymous]

Я пытаюсь использовать opencv для обнаружения объектов в видеоигре. Я взял изображение в формате PNG и обрезал его, чтобы фон стал прозрачным, однако он обнаруживает его только на пороговых уровнях ~ 0,6.
Изображение иглы:


Изображение Haystack:< /p>


Это было сделано с использованием порога 0,8. Обратите внимание на количество ложных срабатываний, а также истинно отрицательных результатов обнаружения.
Вот код Python.

Код: Выделить всё

import cv2 as cv
import numpy as np

class Vision:

# properties
needle_img = None
needle_w = 0
needle_h = 0
method = None

# constructor
def __init__(self, needle_img_path, method=cv.TM_CCOEFF_NORMED):
# load the image we're trying to match
self.needle_img = cv.imread(needle_img_path, cv.IMREAD_UNCHANGED)

# Save the dimensions of the needle image
self.needle_w = self.needle_img.shape[1]
self.needle_h = self.needle_img.shape[0]

# There are 6 methods to choose from:
# TM_CCOEFF, TM_CCOEFF_NORMED, TM_CCORR, TM_CCORR_NORMED, TM_SQDIFF, TM_SQDIFF_NORMED
self.method = method

def find(self, haystack_img, threshold=0.9, debug_mode=None):
# run the OpenCV algorithm
base = self.needle_img[:, :, 0:3]
alpha = self.needle_img[:, :, 3]
alpha = cv.merge([alpha, alpha, alpha])
result = cv.matchTemplate(haystack_img, base, self.method,mask=alpha)

# Get the all the positions from the match result that exceed our threshold
locations = np.where(result >= threshold)
locations = list(zip(*locations[::-1]))
#print(locations)

# First we need to create the list of [x, y, w, h] rectangles
rectangles = []
for loc in locations:
rect = [int(loc[0]), int(loc[1]), self.needle_w, self.needle_h]
# Add every box to the list twice in order to retain single (non-overlapping) boxes
rectangles.append(rect)
rectangles.append(rect)
# Apply group rectangles
# "Relative difference between sides of the rectangles to merge them into a group."
rectangles, weights = cv.groupRectangles(rectangles, groupThreshold=1, eps=0.5)
#print(rectangles)

points = []
if len(rectangles):
#print('Found needle.')

line_color = (0, 255, 0)
line_type = cv.LINE_4
marker_color = (255, 0, 255)
marker_type = cv.MARKER_CROSS

# Loop over all the rectangles
for (x, y, w, h) in rectangles:

# Determine the center position
center_x = x + int(w/2)
center_y = y + int(h/2)
# Save the points
points.append((center_x, center_y))

if debug_mode == 'rectangles':
# Determine the box position
top_left = (x, y)
bottom_right = (x + w, y + h)
# Draw the box
cv.rectangle(haystack_img, top_left, bottom_right, color=line_color,
lineType=line_type, thickness=2)
elif debug_mode == 'points':
# Draw the center point
cv.drawMarker(haystack_img, (center_x, center_y),
color=marker_color, markerType=marker_type,
markerSize=40, thickness=2)

if debug_mode:
cv.imshow('Matches', haystack_img)
#cv.waitKey()
#cv.imwrite('result_click_point.jpg', haystack_img)

return points

Я также использую Wincap для захвата экрана в режиме реального времени, но думаю, что основная проблема заключается в обнаружении изображения. Если я подаю изображение иглы как точное изображение с точностью до пикселя, которое я хочу, чтобы оно обнаружило, почему оно не может правильно обнаружить его при высоких порогах?

Подробнее здесь: https://stackoverflow.com/questions/791 ... t-can-i-do