Начнем с определения термина симуляция, так как это довольно абстрактное понятие. Моделирование может варьироваться от авиасимуляторов до моделирования электрических и механических компонентов или моделей целых городов.

«Моделирование — это имитация работы реального процесса или системы во времени».

По сути, существует некая система, которая имеет ряд входных данных, применяет к этим входным данным некоторые математические функции и возвращает выходные данные в виде данных, которые могут быть визуальными (например, симулятор робототехники) или просто чистыми данными (например, энергетический тренажер EnergyPlus).

Моделирование использовалось учеными-компьютерщиками довольно давно, начиная с конца 1950-х годов. За последние 20 лет возросшая вычислительная мощность и огромные объемы данных позволили симуляциям значительно повысить точность и ценность. Многие ведущие промышленные симуляторы почти полностью соответствуют физическим реалиям или бизнес-процессам.

Огромное влияние оказала эволюция индустрии цифровых игр. Геймеры хотели получить более захватывающий опыт, требующий высококачественной графики и более реалистичного поведения предметов в виртуальных мирах. Компании, занимающиеся промежуточным программным обеспечением для игр, разрабатывали и поставляли мощные 3D- и 2D-физические движки за последние 30 лет.

Моделирование в промышленности

Используя некоторые из этих программных продуктов и множество математических библиотек, предприятия могут моделировать сложные системы с большим количеством компонентов, что позволяет экспертам в данной области (SME) тестировать и оценивать системы до их создания в реальном мире. Варианты использования включают цифровые двойники, робототехнику, настройку небольших и крупных промышленных машин, электрических и физических систем многих видов, а также оптимизацию бизнес-процессов, таких как цепочки поставок.

Хотя существует большое количество пользовательских и очень специализированных симуляций, основанных на одной модели, существует также ряд платформ симуляторов, которые могут запускать и моделировать практически бесконечное количество моделей. Примеры: MATLAB Simulink (инжиниринг и производство), ANSYS (инжиниринг), AnyLogic (цепочка поставок), Gazebo (робототехника), TRNSYS (энергетика) и многие другие.

Моделирование + глубокое обучение с подкреплением

Обучение с подкреплением (RL) определяется как:

Область «машинного обучения, связанная с тем, как программные агенты должны совершать действия в среде, чтобы максимизировать совокупное вознаграждение».

Другими словами, RL обучает агента изучению политики того, как действовать, пробуя большое количество действий в заданной среде, оптимизируя определенную функцию вознаграждения.

Глубокое обучение с подкреплением (DRL) следует тому же методу, используя глубокую нейронную сеть для представления политики.

Обучение с подкреплением требует очень большого количества эпизодов «проб и ошибок» — или взаимодействия с окружающей средой — для изучения хорошей политики. Поэтому тренажеры необходимы для достижения результатов экономически эффективным и своевременным способом.

Только представьте, что вы пытаетесь научить робота ходить, наблюдая, как реальный физический робот пытается упасть 100 000 раз, прежде чем он сможет успешно и стабильно ходить. Или обучить ИИ играть в настольную игру GO, фактически играя с человеком в сотнях тысяч игр. Симуляторы позволяют этим эпизодам происходить в цифровом мире, обучая ИИ полностью раскрывать свой потенциал, экономя время и деньги.

Некоторые симуляции моделируют среду, в которой агент может совершать непрерывные действия, влияющие на состояние среды; другие настройки имитационной модели, когда дискретный ввод создает другой вывод. Оба эти типа моделирования могут быть использованы для обучения с подкреплением.

Симуляции + глубокое обучение с подкреплением + бонсай

Bonsai — это платформа искусственного интеллекта, которая позволяет предприятиям программировать управление промышленными системами, и единственный коммерчески доступный продукт для программирования управления промышленными системами с использованием глубокого обучения с подкреплением.

Используя платформу Bonsai, предприятия могут создавать МОЗГ (модель ИИ), подключать симулятор по своему выбору и обучать МОЗГ в этой среде, чтобы научиться желаемому поведению.

Чтобы узнать больше о построении моделирования и применении DRL на вашем предприятии, перейдите на нашу страницу Начало работы.