В предыдущем уроке мы запускали фактическое предварительно обученное обнаружение объектов, но наш код беспорядочный, и обнаружение работает очень медленно. В этой части мы почистим беспорядочный код и внесем некоторые изменения в код, чтобы наше обнаружение объектов работало быстрее.
Сначала я перебрал весь код и удалил весь ненужный код, поэтому вместо использования object_detection_tutorial_grabscreen.py
лучше взять object_detection_tutorial_grabscreen_pretty.py
будет намного проще понять, как это работает.
После очистки кода я начал вносить в него некоторые изменения. В основном я удалил функцию def run_inference_for_single_image(image, graph):
и добавил необходимые строки в основной цикл while, и это изменило скорость обнаружения объектов. Не вдаваясь в подробности, вот код, который можно скопировать и протестировать (его можно найти на странице GitHub):
# Welcome to the object detection tutorial!
# # Imports
os.environ['CUDA_VISIBLE_DEVICES'] = '-1'
# title of our window
title = "FPS benchmark"
# set start time to current time
start_time = time.time()
# displays the frame rate every 2 second
display_time = 2
# Set primarry FPS to 0
fps = 0
# Load mss library as sct
sct = mss.mss()
# Set monitor size to capture to MSS
monitor = {"top": 40, "left": 0, "width": 800, "height": 640}
# ## Env setup
# # Model preparation
PATH_TO_FROZEN_GRAPH = 'frozen_inference_graph.pb'
# List of the strings that is used to add correct label for each box.
PATH_TO_LABELS = 'mscoco_label_map.pbtxt'
NUM_CLASSES = 80
# ## Load a (frozen) Tensorflow model into memory.
label_map = label_map_util.load_labelmap(PATH_TO_LABELS)
categories = label_map_util.convert_label_map_to_categories(
label_map, max_num_classes=NUM_CLASSES, use_display_name=True)
category_index = label_map_util.create_category_index(categories)
detection_graph = tf.Graph()
with detection_graph.as_default():
od_graph_def = tf.GraphDef()
with tf.gfile.GFile(PATH_TO_FROZEN_GRAPH, 'rb') as fid:
serialized_graph = fid.read()
od_graph_def.ParseFromString(serialized_graph)
tf.import_graph_def(od_graph_def, name='')
# # Detection
with detection_graph.as_default():
with tf.Session(graph=detection_graph) as sess:
while True:
# Get raw pixels from the screen, save it to a Numpy array
image_np = np.array(sct.grab(monitor))
# To get real color we do this:
image_np = cv2.cvtColor(image_np, cv2.COLOR_BGR2RGB)
# Expand dimensions since the model expects images to have shape: [1, None, None, 3]
image_np_expanded = np.expand_dims(image_np, axis=0)
# Actual detection.
image_tensor = detection_graph.get_tensor_by_name('image_tensor:0')
boxes = detection_graph.get_tensor_by_name('detection_boxes:0')
scores = detection_graph.get_tensor_by_name('detection_scores:0')
classes = detection_graph.get_tensor_by_name('detection_classes:0')
num_detections = detection_graph.get_tensor_by_name(
'num_detections:0')
# Visualization of the results of a detection.
(boxes, scores, classes, num_detections) = sess.run(
[boxes, scores, classes, num_detections],
feed_dict={image_tensor: image_np_expanded})
vis_util.visualize_boxes_and_labels_on_image_array(
image_np,
np.squeeze(boxes),
np.squeeze(classes).astype(np.int32),
np.squeeze(scores),
category_index,
use_normalized_coordinates=True,
line_thickness=3)
# Show image with detection
cv2.imshow(title, cv2.cvtColor(image_np, cv2.COLOR_BGR2RGB))
# Bellow we calculate our FPS
fps += 1
TIME = time.time() - start_time
if (TIME) >= display_time:
print("FPS: ", fps / (TIME))
fps = 0
start_time = time.time()
# Press "q" to quit
if cv2.waitKey(25) & 0xFF == ord("q"):
cv2.destroyAllWindows()
break
Как и в предыдущем уроке, мы проверяем, насколько быстро он работает. Мы делаем ту же фотографию с тем же количеством объектов, чтобы сравнить результаты, полученные в 3-й части урока. На изображении ниже вы можете увидеть значительную разницу по сравнению с тем, что было раньше, и в среднем она составляет 1 FPS. Если вы запустите его на графическом процессоре, вы получите прирост от 5 до 10 раз.
А вот и наша картинка с обнаруженными объектами:
В этом туториале мы работали с кодом из 3-й части туториала. Здесь мы чистили код, и в основном мы работали с циклом while. Мы заставили его работать так быстро, как только можем прямо сейчас. Далее наша цель — сделать наши пользовательские данные для обучения.
Первоначально опубликовано на https://pylessons.com/Tensorflow-object-detection-merged-grab-screen-faster
Больше контента на plainenglish.io. Подпишитесь на нашу бесплатную еженедельную рассылку новостей. Получите эксклюзивный доступ к возможностям написания и советам в нашем сообществе Discord.