DeepMind объявила сегодня об открытии исходного кода своей библиотеки TRFL (произносится «трюфель»), которая содержит множество строительных блоков, полезных для разработки агентов обучения с подкреплением (RL) в TensorFlow. TRFL, созданный командой DeepMind Research Engineering, представляет собой набор основных алгоритмических компонентов, которые DeepMind использовала для внутренних целей для многих своих успешных агентов, включая DQN, DDPG и архитектуру для учащихся, взвешенных по важности.
Агенты глубокого обучения с подкреплением обычно состоят из большого количества компонентов, которые могут тонко взаимодействовать друг с другом, что затрудняет обнаружение исследователями недостатков в больших вычислительных графах. Исследовательская группа DeepMind представила подход, в котором для решения этой проблемы используется масштабируемая распределенная реализация агента v-trace. Обширные кодовые базы агентов внесли значительный вклад в воспроизводство исследований, но им не хватает гибкости для модификации. Следовательно, необходим дополнительный подход для обеспечения надежных, хорошо протестированных строительных блоков реализации, которые можно использовать для различных агентов RL.
Библиотека TRFL содержит функции, которые могут реализовывать как передовые методы, так и классические алгоритмы RL. TRFL также предоставляет незавершенные алгоритмы, которые могут действовать как дополнительные реализации при создании полнофункционального агента RL.
Поскольку библиотека TRFL по-прежнему широко используется DeepMind, они будут продолжать поддерживать ее и со временем добавлять новые функции.
TRFL доступен на GitHub.
Автор: Виктор Лу | Редактор: Майкл Саразен
Подпишитесь на нас в Twitter @Synced_Global, чтобы получать ежедневные новости об искусственном интеллекте
Мы знаем, что вы не хотите пропустить ни одной истории. Подпишитесь на наш популярный Synced Global AI Weekly , чтобы получать еженедельные обновления AI.
