Фон:

Индустрия 4.0 кардинально меняет способы производства, улучшения и доставки продукции компаниями. Производители интегрируют передовые новые технологии, включая Интернет вещей (IoT), граничные вычисления, искусственный интеллект и машинное обучение, в свои производственные мощности и во все операции.

Качество производства и Доходность — два основных показателя эффективности в отрасли. Плохой контроль качества производства приводит к значительным операционным и финансовым затратам в виде низкой производительности, увеличения запасов, большого количества отзывов, претензий и ремонтов. На самом деле, по оценкам Американского общества качества, для многих организаций затраты на качество достигают 15–20% годового дохода от продаж или миллиарды долларов в год для крупных производителей.

Поэтому для производителей чрезвычайно важно использовать технологические достижения нового века и искать новые способы повышения качества продукции и выхода продукции.

Что такое визуальный осмотр ИИ?

Визуальный осмотр (VI) – это процесс осмотра компонента или части оборудования невооруженным глазом с целью поиска дефектов.

Искусственный интеллект визуального контроля – это дисциплина компьютерных наук, которая обучает машины понимать изображения и визуальные данные так же, как это делают люди. ИИ для визуального осмотра использует лучшие из технологий глубокого обучения, чтобы эмулировать способности человеческого зрения и формировать когнитивное понимание атрибутов изображения, чтобы указывать на аномалии в них, так же, как это сделал бы человек, но с гораздо большей скоростью. и точности.

Каковы проблемы с текущими подходами визуального контроля?

  • Вручную. Большинство работ по визуальному осмотру выполняются вручную. Это требует много времени, сильно зависит от навыков оператора, подвержено ошибкам, а также является дорогостоящим.
  • Машины. Другой подход заключается в использовании специализированных инспекционных машин, использующих ультразвук, рентгенографию и т. д. Они чрезвычайно дороги и специально созданы для решения очень специфических задач. только проблемы и не расширяются для различных вариантов использования.
  • Искусственный интеллект: стандартные модели компьютерного зрения, используемые для проверки, не предназначены для решения производственных задач. Это модели, которые обучаются на наборе данных для сценариев использования ИИ общего назначения в отношении лиц, объектов, настроений, цветов, обнаружения мест и т. д., и поэтому требуют очень больших наборов данных для обучения сценариям визуального контроля с нуля, и даже в этом случае трудно обеспечить требуемую точность. .

Представляем Google Cloud Visual Inspection AI (VIAI)

Команды Google столкнулись с теми же проблемами, о которых говорилось выше, при производстве пиксельных телефонов и потратили годы на решение проблем, связанных с качеством. Искусственный интеллект для визуальной проверки — современная платформа искусственного интеллекта для визуальной проверки, основанная на глубоком обучении, является кульминацией вышеуказанных усилий и представляет собой специально созданную платформу для проверки качества на основе искусственного интеллекта, специально предназначенную для решения производственные проблемы.

Ниже приведены некоторые из основных особенностей службы Visual Inspection AI:

  • Превосходное компьютерное зрение и технология искусственного интеллекта: клиенты VIAI повысили точность до 10 раз по сравнению с подходами машинного обучения общего назначения. Он может обнаруживать мельчайшие дефекты, поддерживая изображения сверхвысокого разрешения (до 100 млн пикселей) с использованием технологии компьютерного зрения, которую Forrester назвал лидером в отрасли.
  • Автономное выполнение локально. Производители могут запускать модели проверки на границе сети или локально. Инспекция может выполняться либо в Google Cloud, либо полностью автономно в цехе вашего завода.
  • Быстрая окупаемость. Клиенты могут развернуть за несколько недель, а не за месяцы, как с традиционными решениями машинного обучения (ML). Создан для инженеров-технологов и специалистов по качеству, не требует компьютерного зрения или опыта машинного обучения.
  • Начните быстро и без особых усилий: VIAI может создавать точные модели, используя до в 300 раз меньшеизображений, помеченных человеком, чем платформы машинного обучения общего назначения. Для устаревших решений требуются тысячи помеченных изображений.
  • Выходит за рамки обнаружения аномалий: в отличие от конкурирующих решений, которые используют простое обнаружение аномалий, глубокое обучение VIAI позволяет клиентам обучать модели, которые обнаруживают, классифицируют и точно локализуют множество типов дефектов в одном изображение.
  • Высокомасштабируемое развертывание: производители могут гибко развертывать иуправлять жизненным циклом моделей машинного обучения, масштабируя решение по производственным линиям и фабрикам.

Как и многие другие сервисы Google, сервис Visual Inspection AI теперь доступен как общедоступный сервис, и это тот же сервис, который проверяет миллионы пиксельных телефонов, как показано на изображении выше.

Какие варианты использования решает Visual Inspection AI?

Платформа Google Cloud Visual Inspection AI подходит для 3 различных вариантов использования в производстве:

1) Обнаружение аномалии изображения:

Модель обнаружения аномалий обнаруживает аномалии на уровне изображения. Обучение должно включать изображения с аномалиями и без них, и модель сможет их различать. Обнаружение аномалий можно использовать в различных промышленных случаях, таких как идентификация дефектных деталей, обнаружение износа деталей, деформаций, аномалий упаковки и маркировки и т. д.

2) Косметический осмотр:

Косметический осмотр выявляет даже самые мелкие и сложные дефекты (вмятины, царапины, трещины, деформации и т.д.) на любой поверхности. Он имеет возможность обнаруживать несколько типов дефектов (царапины, вмятины), а также идентифицировать несколько вхождений типов дефектов, что очень уникально.

Косметический осмотр можно использовать для различных вариантов использования, таких как осмотр поверхности в покрасочном цехе, осмотр сварных швов в кузовном цехе, осмотр в прессовом цехе (царапины, вмятины, трещины, пятна), проверка поверхности продукта (пролитие клея, деформация сетки, царапины, пузыри). ,) и т. д.

3) Проверка сборки

Проверка сборки выявляет даже самые незначительные дефекты на различных этапах процесса сборки (неправильные, неуместные, отсутствующие, повернутые или деформированные компоненты). Проверка сборки может использоваться на сборочных участках промышленного производства для проверки упаковки, проверки сборки платы. и т. д.

Ждать! Чем VIAI отличается от Google Cloud Vision AI или AutoML Vision?

Искусственное зрение и визуальный контроль

Vision API предлагает мощную предварительно обученную модель Vision, размещенную и обученную Google. Он используется для универсальных сервисов Vision AI, таких как обнаружение объектов, лиц, настроений, цветов, чтения текста и т. д. с помощью сервисов REST API. Он не предназначен специально для производственных сценариев использования, а также предоставляет платформу, такую ​​​​как визуальный осмотр, позволяющую моделировать обучение с использованием ваших собственных наборов данных.

AutoML Vision и визуальная проверка

AutoML Vision — это платформа, которая позволяет обучать ваши собственные модели машинного обучения. Однако сервис AutoML Image/Video лучше всего подходит для создания универсальных моделей Vision для таких случаев использования, как лица, возражения, места, определение настроений и т. д.

С другой стороны, Visual Inspection, хотя и похож на платформу AutoML, использует промышленные наборы данных и модели, впервые разработанные Google, для решения трех конкретных производственных вариантов использования, указанных выше. Это отраслевое решение на основе домена по сравнению со службой машинного зрения AutoML общего назначения.

ХОРОШО! Итак, как же создать службу Visual Inspection?

Платформа VIAI обеспечивает 4 простых шага по созданию службы VIAI с помощью интуитивно понятного пользовательского интерфейса и не требует кода.

  1. Коллекция изображений. Первый шаг — это сбор изображений и их сохранение в облачном хранилище. Эти изображения предназначены как для дефектных, так и для недефектных товаров.
  2. Маркировка изображений.Каждое изображение должно быть снабжено комментариями для идентификации и маркировки элементов как дефектных или правильных. Для косметической инспекции это может включать аннотирование нескольких типов и вхождений дефектов.
  3. Обучение модели. После завершения маркировки начинается этап обучения модели. Обучение разбито на несколько этапов. На начальном этапе обучения используется аспект ИИ, называемый активным обучением, который помогает предлагать элементы для маркировки. На втором этапе используются эти новые маркированные элементы для повышения точности.
  4. Развертывание модели. По завершении обучения создается новая модель VIAI, которая сохраняется в реестре. Модель готова к экспорту в виде контейнера на завод или фабрику для развертывания и оперативного прогнозирования.

Давайте пойдем и построим модель!

Мы создадим модель косметического визуального осмотра для выявления царапин и вмятин на поверхности телефона Pixel, как показано ниже.

Шаг 1. Сбор изображений. Перейдите к службе Visual Inspection в Google Console и нажмите «Создать наборы данных».

Укажите имя набора данных → Выберите косметическую проверку в качестве цели, ограничивающую рамку в качестве типа аннотации → Нажмите «Создать». Это создаст новую коллекцию набора данных.

Затем загрузите тренировочные изображения в набор данных, загрузив их непосредственно со своего компьютера или загрузив изображения в GCS, создав файл CSV и указав его в пути к файлу импорта ниже.

По завершении все изображения будут загружены в набор данных.

Шаг 2. Маркировка изображений (аннотации)

На экране набора данных выберите вкладку Дефекты рядом с опцией просмотра.

Нажмите — Добавить тип дефекта и добавьте 2 типа дефектов: Вмятина и Царапина. Поверхность пиксельного телефона имеет эти два типа дефектов, которые мы аннотируем и сопоставляем с соответствующими типами дефектов.

После завершения вы увидите их в списке с разными цветами с левой стороны, как показано ниже.

Теперь начнем с аннотации изображения. Нажмите на изображение, чтобы открыть представление аннотации. Нажмите значок «Добавить ограничивающую рамку» в палитре.

Нарисуйте многоугольник вокруг дефекта на пиксельном телефоне и сопоставьте его с настроенными типами дефектов.

Повторите это для всех обучающих изображений.

Теперь мы готовы с обучающим набором данных, так что начнем обучение модели!

Шаг 3 Обучение модели:

Нажмите кнопку Начать обучение справа. Это запустит процесс обучения в фоновом режиме, и в зависимости от количества изображений и сложности обучение модели займет от 24 до 48+ часов.

По завершению обучения создается новая кастомная косметическая модель для осмотра вашего пиксельного телефона!

Нажмите на параметры модели в левом меню. Развернув название модели, вы увидите модель.

Оценка.Нажмите на название модели, и вы перейдете на страницу оценки, которая содержит подробные сведения о показателях оценки модели, таких как точность, полнота, матрица путаницы и т. д., что позволяет получить представление о точности модели.

Тестирование модели:

Теперь, когда модель готова, давайте протестируем ее перед развертыванием в рабочей среде.

Щелкните вкладку «Тестирование и использование» рядом с оценкой, чтобы перейти на следующую страницу.

Чтобы протестировать модель визуальной проверки, необходимо создать Артефакт решения. Артефакт решения — это фактический контейнер, содержащий нашу обученную модель.

Нажмите «Создать архитектора решений». Он обеспечивает 2 типа подготовки.

  1. Онлайн-тестирование. Этот вариант позволяет создать онлайн-версию модели, которую можно использовать для бесплатного тестирования до 20 изображений. Заполните детали, как показано ниже, и нажмите «Продолжить».

2. Развертывание:

Это необходимо для создания артефакта развертывания для производства. Для расчета стоимости использования этой модели требуются дополнительные сведения, такие как количество потоков камер и количество месяцев использования. Это фиксированная стоимость , которая позволяет обрабатывать любое количество изображений с помощью модели, а не начислять плату за количество обработанных изображений.

Модель развертывания обычно создается после того, как созданная выше модель онлайн-тестирования будет протестирована и готова к работе.

Заполните соответствующие данные и нажмите «Продолжить».

По завершении вышеуказанного действия платформа создаст оба артефакта, как показано ниже.

Нажмите на кнопку «Создать тест» на экране.

Выберите модель онлайн-тестирования в раскрывающемся списке и укажите образцы тестовых изображений в формате CSV и выходной путь для модели для записи вывода. Нажмите «Создать», чтобы запустить пакет.

Пакетный процесс выберет каждое тестовое изображение, предоставленное в качестве входных данных, обработает его с помощью модели косметической проверки и сохранит выходной файл jsonl и изображения в указанном выходном месте.

Чтобы сделать его более интуитивно понятным, платформа интегрировала страницу вывода, которая показывает все дефекты, обнаруженные на изображении, с их аннотациями.

Чтобы увидеть это — щелкните путь, сгенерированный в столбце «Хранилище», и появится следующая страница, демонстрирующая результаты вывода модели на тестовом изображении, аннотированные типами дефектов, указанными справа.

Нажмите «Предварительный просмотр изображений», чтобы изменить изображение и просмотреть все тестовые изображения на предмет точности модели косметического осмотра и посмотреть, как модель правильно идентифицировала мельчайшие царапины и вмятины — Браво!

Шаг 4. Развертывание модели:

Модель VIAI можно развернуть как в Google Cloud, так и локально.

Локальное развертывание:

Давайте рассмотрим локальное развертывание, так как клиенты чаще всего запрашивают его.

Требования к оборудованию:

Прежде чем модель можно будет развернуть локально, необходимо выполнить необходимые настройки оборудования.

  1. Пограничный сервер. Мы рекомендуем промышленный ПК Nexcom X300 Edge с графическим процессором в качестве оптимальных аппаратных характеристик для периферийной аналитики. Он поддерживает все ключевые протоколы потоковой передачи камеры, такие как Genicam, RTSP и т. д.

2. Камера. Предлагаемая спецификация камеры должна поддерживать один из вышеперечисленных протоколов.

3. Освещение. Освещение является ключом к получению стабильного качества и четкого изображения источника для общего успеха вывода модели.

Сквозная эталонная архитектура:

Настройка VIAI Edge:

При наличии необходимого оборудования VIAI предоставляет программное обеспечение Edge Server, которое можно установить на промышленный ПК. Стек программного обеспечения представлен зеленым блоком выше. Программное обеспечение предоставляет все необходимые компоненты на периферии с помощью автоматизированного сценария, а также предоставляет серверные службы Google Cloud.

Наша косметическая модель теперь готова к прайм-тайму. Модель, которую мы создали с помощью описанного выше варианта развертывания «Создать артефакт решения», хранится в реестре Google Cloud Container. Используя конфигурацию, сервер Edge извлекает контейнер из реестра и развертывает его в кластере K8s на сервере Edge.

Изображения, снятые камерами с производственной линии, можно обрабатывать с помощью модели, размещенной на сервере VIAI, а вывод можно использовать для автоматизации контроля качества.

Через определенные промежутки времени данные вывода и обучающие изображения могут отправляться в облако для повторного обучения моделей, а уточненная модель может быть развернута обратно на пограничный сервер для постоянной настройки и улучшения производительности модели.

Ура! Вы успешно создали и развернули косметическую модель проверки!!

Заключение:

Достижения в области искусственного интеллекта и периферийных вычислений привели к совершенно новому взгляду на традиционные проблемы в области качества и контроля производства. Используя передовые технологии глубокого обучения в визуальном контроле, отрасли могут добиться гораздо более высокой точности, масштаба и производительности при меньших затратах и ​​практически без вмешательства человека.

Google является пионером в создании технологических решений на основе искусственного интеллекта, таких как Visual Inspection. Для получения более подробной информации посетите страницу → https://cloud.google.com/solutions/visual-inspection-ai.

Удачной пограничной аналитики!