В предыдущем уроке мы запускали фактическое предварительно обученное обнаружение объектов, но наш код беспорядочный, и обнаружение работает очень медленно. В этой части мы почистим беспорядочный код и внесем некоторые изменения в код, чтобы наше обнаружение объектов работало быстрее.

Сначала я перебрал весь код и удалил весь ненужный код, поэтому вместо использования object_detection_tutorial_grabscreen.py лучше взять object_detection_tutorial_grabscreen_pretty.py будет намного проще понять, как это работает.

После очистки кода я начал вносить в него некоторые изменения. В основном я удалил функцию def run_inference_for_single_image(image, graph): и добавил необходимые строки в основной цикл while, и это изменило скорость обнаружения объектов. Не вдаваясь в подробности, вот код, который можно скопировать и протестировать (его можно найти на странице GitHub):

# Welcome to the object detection tutorial!

# # Imports
os.environ['CUDA_VISIBLE_DEVICES'] = '-1'

# title of our window
title = "FPS benchmark"
# set start time to current time
start_time = time.time()
# displays the frame rate every 2 second
display_time = 2
# Set primarry FPS to 0
fps = 0
# Load mss library as sct
sct = mss.mss()
# Set monitor size to capture to MSS
monitor = {"top": 40, "left": 0, "width": 800, "height": 640}

# ## Env setup

# # Model preparation
PATH_TO_FROZEN_GRAPH = 'frozen_inference_graph.pb'
# List of the strings that is used to add correct label for each box.
PATH_TO_LABELS = 'mscoco_label_map.pbtxt'
NUM_CLASSES = 80

# ## Load a (frozen) Tensorflow model into memory.
label_map = label_map_util.load_labelmap(PATH_TO_LABELS)
categories = label_map_util.convert_label_map_to_categories(
    label_map, max_num_classes=NUM_CLASSES, use_display_name=True)
category_index = label_map_util.create_category_index(categories)

detection_graph = tf.Graph()
with detection_graph.as_default():
    od_graph_def = tf.GraphDef()
    with tf.gfile.GFile(PATH_TO_FROZEN_GRAPH, 'rb') as fid:
        serialized_graph = fid.read()
        od_graph_def.ParseFromString(serialized_graph)
        tf.import_graph_def(od_graph_def, name='')

# # Detection
with detection_graph.as_default():
    with tf.Session(graph=detection_graph) as sess:
        while True:
            # Get raw pixels from the screen, save it to a Numpy array
            image_np = np.array(sct.grab(monitor))
            # To get real color we do this:
            image_np = cv2.cvtColor(image_np, cv2.COLOR_BGR2RGB)
            # Expand dimensions since the model expects images to have shape: [1, None, None, 3]
            image_np_expanded = np.expand_dims(image_np, axis=0)
            # Actual detection.
            image_tensor = detection_graph.get_tensor_by_name('image_tensor:0')
            boxes = detection_graph.get_tensor_by_name('detection_boxes:0')
            scores = detection_graph.get_tensor_by_name('detection_scores:0')
            classes = detection_graph.get_tensor_by_name('detection_classes:0')
            num_detections = detection_graph.get_tensor_by_name(
                'num_detections:0')
            # Visualization of the results of a detection.
            (boxes, scores, classes, num_detections) = sess.run(
                [boxes, scores, classes, num_detections],
                feed_dict={image_tensor: image_np_expanded})
            vis_util.visualize_boxes_and_labels_on_image_array(
                image_np,
                np.squeeze(boxes),
                np.squeeze(classes).astype(np.int32),
                np.squeeze(scores),
                category_index,
                use_normalized_coordinates=True,
                line_thickness=3)
            # Show image with detection
            cv2.imshow(title, cv2.cvtColor(image_np, cv2.COLOR_BGR2RGB))
            # Bellow we calculate our FPS
            fps += 1
            TIME = time.time() - start_time
            if (TIME) >= display_time:
                print("FPS: ", fps / (TIME))
                fps = 0
                start_time = time.time()
            # Press "q" to quit
            if cv2.waitKey(25) & 0xFF == ord("q"):
                cv2.destroyAllWindows()
                break

Как и в предыдущем уроке, мы проверяем, насколько быстро он работает. Мы делаем ту же фотографию с тем же количеством объектов, чтобы сравнить результаты, полученные в 3-й части урока. На изображении ниже вы можете увидеть значительную разницу по сравнению с тем, что было раньше, и в среднем она составляет 1 FPS. Если вы запустите его на графическом процессоре, вы получите прирост от 5 до 10 раз.

А вот и наша картинка с обнаруженными объектами:

В этом туториале мы работали с кодом из 3-й части туториала. Здесь мы чистили код, и в основном мы работали с циклом while. Мы заставили его работать так быстро, как только можем прямо сейчас. Далее наша цель — сделать наши пользовательские данные для обучения.

Первоначально опубликовано на https://pylessons.com/Tensorflow-object-detection-merged-grab-screen-faster

Больше контента на plainenglish.io. Подпишитесь на нашу бесплатную еженедельную рассылку новостей. Получите эксклюзивный доступ к возможностям написания и советам в нашем сообществе Discord.