Симуляторы: ключевая среда обучения для прикладного обучения с глубоким подкреплением
На данный момент глубокое обучение с подкреплением (DRL) - одна из самых захватывающих областей искусственного интеллекта. Пока еще рано, но есть очевидные и недостаточно обслуживаемые рынки, на которых эта технология может быть применена сегодня: предприятия, которые хотят автоматизировать или оптимизировать эффективность промышленных систем и процессов (включая производство, энергетику, HVAC, робототехнику и системы цепочек поставок). .
Но есть ключевой элемент для создания прикладных ДХО: среды моделирования. В этом блоге мы расскажем вам, на что способны симуляторы, зачем они вам нужны и как вы можете использовать симуляторы Bonsai Platform + для решения реальных бизнес-задач.
Что такое симуляция?
Начнем с определения термина s имитация, поскольку это довольно абстрактное понятие. Моделирование может варьироваться от симуляторов полета до моделирования электрических и механических компонентов или моделей целых городов.
«Моделирование - это имитация работы реального процесса или системы во времени».
По сути, существует некая система, которая имеет несколько входов, применяет к этим входам некоторые математические функции и возвращает результат в виде данных, которые могут быть визуальными (например, симулятор робототехники) или просто данными (например, энергетический симулятор EnergyPlus).
Ученые-информатики использовали моделирование довольно давно, начиная с конца 1950-х годов. За последние 20 лет возросшие вычислительные мощности и огромные объемы данных позволили моделированиям значительно повысить точность и ценность. Многие ведущие промышленные модели почти одинаково соответствуют физическим реалиям или бизнес-процессам.
Огромное влияние оказала эволюция индустрии цифровых игр. Геймерам хотелось получить более захватывающий опыт, требующий высокоточной графики и более реалистичного поведения предметов в виртуальных мирах. За последние 30 лет компании-производители промежуточного программного обеспечения для игр разработали и поставили мощные движки для 3D и 2D физики.
Моделирование в промышленности
Используя некоторые из этих программных продуктов и различные математические библиотеки, предприятия могут моделировать сложные системы с большим количеством компонентов, которые позволяют экспертам в данной области (SME) тестировать и оценивать системы перед их построением в реальном мире. Примеры использования включают цифровых двойников, робототехнику, настройку малых и больших промышленных машин, электрических и физических систем многих видов, а также оптимизацию бизнес-процессов, таких как цепочки поставок.
Хотя существует большое количество специализированных и очень специализированных симуляций, основанных на одной модели, существует также ряд платформ симуляторов, которые могут запускать и моделировать практически бесконечное количество моделей. Примеры: MATLAB Simulink (проектирование и производство), ANSYS (инжиниринг), AnyLogic (цепочка поставок), Gazebo (робототехника), TRNSYS (энергетика) и многие другие.
Симуляции + глубокое обучение с подкреплением
Обучение с подкреплением (RL) определяется как:
Область« машинного обучения , связанная с тем, как программные агенты должны выполнять действия в среде, чтобы максимизировать совокупное вознаграждение».
Другими словами, RL обучает агента изучать политику того, как действовать, пробуя большое количество действий в данной среде, оптимизируя для определенной функции вознаграждения.
Глубокое обучение с подкреплением (DRL) следует тому же методу, используя глубокую нейронную сеть для представления политики.
Обучение с подкреплением требует очень большого количества эпизодов «проб и ошибок» - или взаимодействий с окружающей средой - для изучения хорошей политики. Поэтому тренажеры необходимы для рентабельного и своевременного достижения результатов.
Только представьте себе попытку научить робота ходить, наблюдая, как настоящий физический робот пытается упасть 100000 раз, прежде чем он сможет успешно и последовательно ходить. Или обучите ИИ игре в настольную игру GO, фактически играя за человека-соперника в сотнях тысяч игр. Симуляторы позволяют этим эпизодам происходить в цифровом мире, обучая ИИ полностью раскрыть свой потенциал, экономя время и деньги.
Некоторые симуляции моделируют среды, в которых агент может выполнять непрерывные действия, влияющие на состояние среды; другие настройки имитационной модели, где дискретный вход создает другой выход. Оба этих типа моделирования могут использоваться для обучения с подкреплением.
Симуляторы + глубокое обучение с подкреплением + бонсай
Bonsai - это платформа искусственного интеллекта, которая позволяет предприятиям программировать управление в промышленных системах, и единственный коммерчески доступный продукт для программирования управления промышленными системами с использованием глубокого обучения с подкреплением.
Используя платформу Bonsai, предприятия могут создать BRAIN (модель искусственного интеллекта), подключить симулятор по своему выбору и обучить BRAIN в этой среде, чтобы научиться желаемому поведению.
Чтобы узнать больше о создании моделирования и применении DRL на вашем предприятии, перейдите на нашу страницу Начало работы.
