Как сегментировать отдельные книги на изображении книжной полки

книжная полка

Когда вы фотографируете книжную полку, корешки книг выглядят как прямоугольники (более или менее). Я пытаюсь сегментировать изображения книг на книжной полке (и позже сравнить их с моим набором данных изображений книг).

Как видно на изображении выше, отдельные книжные корешки можно разделить по цвету, теням (между двумя книгами) и иногда по текстуре. Книги на представленном изображении установлены довольно аккуратно, но иногда книги могут опираться на другие книги; поэтому их «прямоугольники» позвоночника могут иметь любую ориентацию. Кроме того, на корешке некоторых книг напечатаны прямоугольники! Таким образом, они могут быть ошибочно разделены на маленькие книги.

Каков наилучший подход к сегментации книг? Другими словами, как я могу обнаружить прямоугольники разного размера, цвета и текстуры?


person Shamshun    schedule 20.09.2018    source источник


Ответы (1)


Вы можете сегментировать изображение в суперпикселях (я рекомендую использовать SLIC [1], который доступен в OpenCV), извлеките информацию о суперпикселях и классифицируйте их на основе этого, чтобы получить окончательную сегментацию.

Суперпиксель должен прилегать к границе книги, создавая нужные прямоугольники.

Координаты суперпикселя и текстура/цвет помогут вам объединить суперпиксели, для отдельных книг это может помочь полностью их сегментировать.

  1. Ачанта, Радхакришна и др. Сложные суперпиксели. № EPFL-REPORT-149300. 2010.
person JoOkuma    schedule 26.09.2018
comment
Как насчет книг с текстурами разных цветов и форм? Или те, которые имеют, скажем, черную верхнюю половину и белую нижнюю половину? - person Shamshun; 29.09.2018
comment
Ваши знания о смещении книги будут необходимы для создания этого классификатора (когда я говорю классификатор, я не имею в виду просто использование реализации SVM). - person JoOkuma; 02.10.2018
comment
Например, вы можете сначала обнаружить полку и обрезать каждую из них на отдельном изображении, при этом у вас будет граница, где будут ваши книги. Вы знаете, что две книги не будут находиться друг над другом, если они находятся в вертикальном положении и т. д. Теперь процесс обнаружения книг можно выполнить, подгоняя прямоугольники к сегментированным суперпикселям. Я думаю, что ваше предварительное знание изображения является ключом к разработке хорошего классификатора. - person JoOkuma; 02.10.2018
comment
Хотя это может работать для определенного изображения книжной полки, я ищу более надежное решение этой проблемы. Я обновляю свой вопрос и добавляю дополнительную информацию. - person Shamshun; 08.10.2018