Визуальный поиск: как быстро найти производственные детали

Визуальный поиск: как быстро найти производственные детали

Обрабатывающая промышленность находится под огромным давлением необходимости внедрять передовые технологические решения, чтобы оставаться конкурентоспособными во все более цифровой экономике и экономике по требованию. Вы должны быть быстрее, умнее и гибче, чтобы соответствовать требованиям клиентов и отрасли, и эффективность процессов имеет основополагающее значение для достижения этой цели. Решение этой задачи требует переосмысления каждого аспекта производственного процесса — от инженерных технологий и логистики цепочки поставок до управления запасами и доступности замены мелких деталей. Вы можете подумать, что функция поиска мелких запасных частей незначительна с точки зрения долгосрочных бизнес-целей, но если вы технический директор производственной компании, вы понимаете, насколько важно оптимизировать и ускорить этот процесс, чтобы внедряйте инновации, создавайте и добавляйте ценность для бизнеса более динамично и комплексно.

В этой статье мы покажем вам, как мы помогли дальновидной производственной компании оптимизировать процесс поиска запасных частей с помощью универсального решения для визуального поиска.

Проблема производственного бизнеса

Процесс создания надежного механического изделия, будь то эскалатор или автомобильный двигатель, требует множества мелких деталей. Мы признаем, что эти детали со временем изнашиваются и требуют замены, чтобы избежать поломок и обеспечить бесперебойную работу механики продукта.

Однако правильная идентификация этих мелких производственных деталей в поисковом каталоге может быть очень сложной задачей. Микросхемы и микросхемы, болты и винты, штифты и предохранители, плюс множество других ответственных мелких деталей могут отличаться мелкими деталями, которые не видны невооруженным глазом — создавая сотни выкроек с несколькими изделиями по каждой выкройке. Кроме того, ручной поиск нужной детали в сложном каталоге из тысяч деталей, которые могут не иметь видимых серийных номеров, содержать только этикетку или их трудно отличить, усугубляет и без того утомительный и бесконечно трудоемкий процесс для инженеров по техническому обслуживанию. .

К нам обратилась компания-производитель, которая столкнулась именно с такой проблемой. Их существующий процесс поиска деталей включал инженеров по техническому обслуживанию, которые искали детали в каталоге, отправляя фотографии необходимых им деталей или используя ограниченный поиск по ключевым словам. Результаты были неэффективными и часто требовали дополнительных ресурсов компании и времени, чтобы найти нужные детали для заказа.

Им требовалось решение для быстрого и эффективного поиска небольших запасных частей с использованием изображения, оптического распознавания символов и расширенного поиска по ключевым словам, независимо от фотографии детали или ее упаковки. И, конечно же, мы были готовы принять вызов!

Анализ проблемы поиска производственных деталей

При анализе данных, которыми поделился с нами клиент, мы обнаружили смесь фотографий самих деталей, фотографий упаковок или только этикеток продуктов. Серийные номера или легко различимые символы были хорошо видны на некоторых фотографиях, но не на всех.

Поэтому одной из основных проблем, с которыми мы столкнулись, было устранение различий между фотографиями, которые отправляли инженеры, и изображениями в поисковом каталоге. Например, были примеры визуально неразличимых изображений, где деталь отличал только номер модели, фотографии наклейки с серийным номером вместо самого предмета, линейки рядом с предметами на фотографиях для обозначения масштаба, чертежи детали в каталоге. вместо фото.

В заключение нам нужно было построить универсальное решение, способное обрабатывать и распознавать любые типы данных, при этом удовлетворяющее следующим требованиям:

• Возможность быстро и легко находить/идентифицировать детали по запросу просто с помощью мобильного телефона;
• Поиск детали вне зависимости от типа фото (этикетка или сама деталь);
• Разрешить пользователям выполнять поиск по ключевым словам (серийный номер, цвет, материал, имя, категория) для получения мгновенных результатов.

Чтобы удовлетворить эти требования к решению, мы решили использовать комбинацию нескольких технологий, включая визуальный поиск, оптическое распознавание символов (OCR) и оптимизированный поиск по ключевым словам.

Далее мы обсудим эти технологии более подробно, чтобы понять, как они работают для создания эффективного решения визуального поиска для производства деталей.

Внедрение решения для поиска деталей с визуальным поиском и оптическим распознаванием символов

Типичная система визуального поиска основана на модели визуального подобия — архитектуре нейронной сети, такой как CNN или Vision Transformer, которая может обрабатывать изображение, извлекать его ключевые характеристики и учиться отличать одно от другого. Специально обученная модель визуального сходства представляет каждый товар как закодированный вектор признаков в многомерном векторном пространстве, где расстояние между векторами признаков определяет релевантность совпадений товаров. Другими словами, на основе евклидова или косинусного расстояния (алгоритм K-nn) ближайшие векторы признаков к входному изображению возвращаются как наиболее релевантные результаты поиска.

Подробнее о визуальном поиске:

• Идентификация винтов, практический пример визуального поиска
• Как распознавать монеты с помощью визуальной модели глубокого обучения
• Расширение обнаружения продуктов с помощью поиска по сходству изображений на основе машинного обучения
• Street-to-Shop: будущее моды за визуальным поиском?

Обучение модели визуального подобия

Для этого варианта использования мы реализовали модель CNN на основе архитектуры ResNeXt (ResNeXt-50 (32×4d)), предварительно обученную на наборе данных ImageNet. Однако производственные детали, с которыми мы имели дело, не были должным образом доступны в предварительно обученном наборе данных, а это означало, что нам пришлось расширить набор обучающих данных, добавив около 10 000 изображений производственных деталей из независимых источников вместе с помеченным набором данных, предоставленным клиентом.

С соответствующими наборами данных мы обучили специальную модель визуального подобия глубокого обучения с использованием ArcFace или Additive Angular Margin Loss, которая автоматически создает функцию расстояния для конкретной задачи, показывающую меру сходства между двумя объектами.

Формула потерь Additive Angular Margin (ArcFace) выглядит следующим образом:

С помощью этой техники мы смогли улучшить дискриминационную способность модели и стабилизировать процесс обучения, который включал точную настройку представлений признаков более высокого порядка в базовой модели, чтобы сделать их более подходящими для конкретной задачи:

Результат: визуальная модель, которая смогла сгруппировать изображения одного и того же продукта вместе для получения более точных результатов поиска:

На этом разработка нашего поискового решения не заканчивается. Читайте дальше, чтобы узнать, как мы справились с поиском, основанным на распознавании текста, а не на изображении реальных продуктов.

Оптическое распознавание символов

С моделью визуального поиска нам все еще нужно было решить проблему поиска деталей, основываясь только на упаковке продукта или входных данных этикетки. Модель визуального поиска не способна идентифицировать текст или числа, поэтому визуальный поиск этикетки продукта с серийным номером будет давать только визуально похожие изображения без учета фактического серийного номера:

Здесь OCR вступает в поисковый дизайн. Модель OCR способна идентифицировать ключевые слова, такие как серийный номер, номер партии, торговая марка производителя, а затем искать эти слова в каталоге.

В нашем случае мы использовали облачное OCR-решение, отвечающее всем нашим требованиям. Принимая во внимание, что некоторые изображения могут быть повернуты неправильно (что затрудняет точную идентификацию символов), мы включили метод предварительной обработки изображения, чтобы повернуть изображение 4 раза на 90 градусов, запустить процесс распознавания символов для каждой стороны, вычислить средний балл для каждой стороны, а затем выберите вариант с наибольшим количеством очков.

Как видно из изображений ниже, мы смогли найти совпадающие ключевые слова на упаковках или этикетках и точно определить правильный продукт в каталоге:

Удовлетворив требования визуального поиска и поиска OCR отдельно, следующие шаги включали гомогенизацию двух методов в единое решение и расширение функциональности ключевых слов с помощью Elasticsearch для более надежных и многогранных возможностей поиска.

Фильтрация ключевых слов

Наконец, мы добавили возможности фильтрации ключевых слов, чтобы обеспечить еще более релевантные результаты поиска, используя механизм Elasticsearch вместе с плагином Open Distro. Это позволило нам выполнить поиск K-nn (ближайший сосед) с использованием логического запроса и повышающих коэффициентов для ранжирования изображений в соответствии с двумя логическими предложениями: Должен соответствовать визуальному сходству, а Должен соответствовать распознаванию символов.

Это означает, что приложение выполняет визуальный поиск параллельно с определением текста ключевого слова на изображении, а затем использует обе оценки для соответствующего ранжирования результатов:

Использование этого логического подхода чем больше совпадений, тем лучше означает, что наиболее релевантные результаты поднимаются выше в результатах поиска.

Визуальный поиск + OCR + интеллектуальный поиск по ключевым словам = идеальное попадание

Теперь система выполняет комбинированный поиск с помощью экстрактора признаков CNN, модели OCR и дополнительных ключевых слов с предположением, что ключевое слово взвешено с дополнительным коэффициентом повышения.

Посмотрите это демонстрационное видео Visual Parts Finder, чтобы увидеть окончательное решение в действии!

Заключение

Сочетание этих трех технологий поиска позволяет инженерам по техническому обслуживанию выполнять многосторонний поиск, который дает наиболее точные результаты:

• Визуальный поиск на основе извлечения признаков CCN и алгоритма knn — если фотография занимает высокое место по визуальному сходству;
• Поиск OCR — при обнаружении текстового контента, например упаковки или этикетки продукта;
• Комбинированный поиск с использованием ключевых слов-фильтров — если добавляются ключевые слова, такие как модель продукта, год выпуска, конкретный цвет или другая указанная информация.

Деловая ценность визуального поиска для компаний-производителей

Скорость и точность этого решения для визуального поиска деталей имеет огромное значение для производственных компаний, конкурирующих в быстро развивающейся отрасли. Вы можете ожидать не только заметного повышения производительности труда инженеров по техническому обслуживанию, но и значительного снижения затрат на вспомогательные ресурсы для функции поиска деталей и, что наиболее важно, больше времени для внедрения инноваций в вашей отрасли.

Если вы хотите узнать больше о решениях визуального поиска для производственной отрасли, свяжитесь с нами, чтобы обсудить ваши конкретные потребности.