сопоставление шаблона с двумя изображениями, различающимися по цвету

Я ищу

1: обнаружить кнопку

2: определите победителя по цвету кнопки

Похоже, что сопоставление шаблонов - это то, что я должен делать, но это работает в оттенках серого. Кнопки, которые я обнаружил, зеленые и красные, но в оттенках серого выглядят почти одинаково. Моя идея заключалась в том, что если я вычту два цветовых канала из изображения и два шаблона, то когда я конвертирую все в оттенки серого, два изображения шаблона будут выглядеть по-разному и приведут к разным оценкам.

На практике так не получается. Я немного повозился с этим, и либо оба шаблона имеют очень высокие оценки, либо они вообще не обнаруживают кнопку должным образом. Я не могу понять расхождения.

Я новичок в OpenCV, поэтому, возможно, мой подход просто не очень хорош. Столь же вероятно, что то, что я пишу, не делает то, что я думаю. Дайте мне знать, что вы думаете. Я включил свой код и исходные изображения, которые использую.

import cv2
import numpy as np
from matplotlib import pyplot as plt

dire = cv2.imread('dire.jpg')
dire_template = cv2.imread('dire_template.jpg')
radiant = cv2.imread('radiant.jpg')
radiant_template = cv2.imread('radiant_template.jpg')

# color images are in the form BGR
# removing the B and G from the images makes the "continue" button more distinct between the two teams
# since dire is red while radiant is green
dire_red = dire.copy()
dire_red[:,:,0] = 0
dire_red[:,:,1] = 0

dire_template_red = dire_template.copy()
dire_template_red[:,:,0] = 0
dire_template_red[:,:,1] = 0

radiant_red = radiant.copy()
radiant_red[:,:,0] = 0
radiant_red[:,:,1] = 0

radiant_template_red = radiant_template.copy()
radiant_template_red[:,:,0] = 0
radiant_template_red[:,:,1] = 0


dire_gray = cv2.cvtColor(dire_red, cv2.COLOR_BGR2GRAY)
dire_template_gray = cv2.cvtColor(dire_template_red, cv2.COLOR_BGR2GRAY)
radiant_gray = cv2.cvtColor(radiant_red, cv2.COLOR_BGR2GRAY)
radiant_template_gray = cv2.cvtColor(radiant_template_red, cv2.COLOR_BGR2GRAY)

# plt.figure(0)
# plt.imshow(dire_red)
# plt.figure(1)
# plt.imshow(radiant_red)
# plt.figure(2)
# plt.imshow(dire_gray, cmap='gray')
# plt.figure(3)
# plt.imshow(radiant_gray, cmap='gray')
# plt.figure(4)
# plt.imshow(dire_template_red)
# plt.figure(5)
# plt.imshow(radiant_template_red)
# plt.figure(6)
# plt.imshow(dire_template_gray)
# plt.figure(7)
# plt.imshow(radiant_template_gray, cmap='gray')

# plt.show()

w, h = dire_template_gray.shape[::-1]

# All the 6 methods for comparison in a list
methods = ['cv2.TM_CCOEFF_NORMED', 
            'cv2.TM_CCORR_NORMED', 'cv2.TM_SQDIFF_NORMED']

for meth in methods:
    print(f'{meth}: ')
    # this would be the live image
    img = dire_gray.copy()
    method = eval(meth)

    # Apply template Matching
    dire_res = cv2.matchTemplate(img,dire_template_gray,method)
    radiant_res = cv2.matchTemplate(img,radiant_template_gray,method)


    dire_vals = [min_val, max_val, min_loc, max_loc] = cv2.minMaxLoc(dire_res)
    radiant_vals = [min_val, max_val, min_loc, max_loc] = cv2.minMaxLoc(radiant_res)

    print(dire_vals)
    print(radiant_vals)
    # print(f'min val: {min_val} max val: {max_val}')

    # If the method is TM_SQDIFF or TM_SQDIFF_NORMED, take minimum
    if method in [cv2.TM_SQDIFF, cv2.TM_SQDIFF_NORMED]:
        top_left = min_loc
    else:
        top_left = max_loc
    bottom_right = (top_left[0] + w, top_left[1] + h)

    cv2.rectangle(img,top_left, bottom_right, 255, 2)

    # plt.subplot(121),plt.imshow(res,cmap = 'gray')
    plt.subplot(121),plt.imshow(dire_res)
    plt.title('Matching Result'), plt.xticks([]), plt.yticks([])
    # plt.subplot(122),plt.imshow(img,cmap = 'gray')
    plt.subplot(122),plt.imshow(img)
    plt.title('Detected Point'), plt.xticks([]), plt.yticks([])
    plt.suptitle(meth)

    plt.show()

radiant.jpg dire.jpg radiant_template.jpg введите описание изображения здесь


python opencv template-matching
person 2c2c    schedule 21.07.2017    source источник
comment
Найдите местоположение в оттенках серого. Как только вы узнаете, где находится кнопка, вернитесь к BGR (или даже к HSV) и определите цвет.   -  person Dan Mašek    schedule 21.07.2017
comment
вы хотите обнаружить обе кнопки с одним и тем же кодом или вы хотите их различать? А как насчет согласования формы краев, например согласования фаски?   -  person Micka    schedule 21.07.2017

Ответы (1)


arrow_upward
2
arrow_downward

Ваш подход кажется именно таким, каким вы должны его реализовать. Я применил тот же подход, и вот мой результат:

Шаг 1. Загрузите изображения в цвете и увеличьте масштаб серого.

img_red = cv2.imread("red.jpg")
img_red_gray = cv2.cvtColor(img_red, cv2.COLOR_BGR2GRAY)

img_green = cv2.imread("green.jpg")
img_green_gray = cv2.cvtColor(img_green, cv2.COLOR_BGR2GRAY)

// template is required only in gray
template = cv2.imread("template.jpg", 0)

Шаг 2. Получите размер шаблона и выполните сопоставление с шаблоном.

w, h = template.shape[::-1]
method = cv2.TM_CCOEFF
res = cv2.matchTemplate(img_red_gray, template, method)

Шаг 3. Определите местоположение шаблона на изображении и определите его среднюю интенсивность цвета.

min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(res)
top_left = max_loc
color = cv2.mean(img_red[top_left[1]:top_left[1] + h, top_left[0]:top_left[0]+w])

Дополнительно: Чтобы нарисовать совпадение на основном изображении

bottom_right = (top_left[0] + w, top_left[1] + h)
cv2.rectangle(img_red_gray, top_left, bottom_right, 255, 2)

Полученные результаты:

Шаблон в зеленом

Шаблон в красном

Красный цвет изображения = (5.1372107567229515, 12.502939337085678, 72.62376485303315, 0.0) (B, G, R, A)

Зеленый цвет изображения = (63.20187617260788, 85.38574108818011, 49.76873045653534, 0.0) (B, G, R, A)

Как предложил @Dan, вы также можете сделать это в HSV, чтобы получить более высокие различия.

Вы можете ясно видеть, что теперь вы можете сказать с помощью значений одного канала, является ли шаблон на изображении зеленым или красным. Надеюсь, это поможет!

person Rick M.    schedule 21.07.2017