Исследователи из Университета Аалто (Финляндия) и Ote Robotics создали четвероногого робота для исследований в области обучения с подкреплением (Reinforcement Learning, RL).
Он получил название RealAnt и считается сравнительно доступным вариантом, позволяющим эффективно использовать реального робота для тестирования и отладки алгоритмов RL. Исходный код его аппаратного и программного обеспечения полностью открыт.
Новая платформа представляет собой минималистичную версию среды моделирования «Муравей», которая часто используется в исследованиях RL.
К слову, недавно в развитии этого способа машинного обучения произошли качественные изменения. Изначально методы RL демонстрировали хороший результат лишь в том случае, если роботы предварительно обучались в симуляциях на протяжении тысяч часов.
Такой метод позволял «набивать шишки» в виртуальности, не повреждая воплощённого в железе робота. Однако среда моделирования не учитывает все особенности физического окружения, поэтому после сборки предварительно обученным роботам всё равно приходится переучиваться.
Совсем недавно общими усилиями сообщества удалось добиться стабильно высоких результатов, отказавшись от длительных симуляций и повысив эффективность выборки данных для обучения.
Сегодня для многих задач более удобным выглядит непосредственное обучение роботов в реальном мире, когда им предварительно задают ограничения по допустимым диапазонам движений и референсным показаниям датчиков.
Разработчики решили: пускай робот учится на своих ошибках сразу в реальной среде, мы лишь убережём его от самых серьёзных повреждений.
Сначала робот RealAnt самостоятельно учиться скоординированно двигать ногами, потом ходить, а затем и выполнять задания. Он всегда «знает» ориентацию своего тела по отношению к реальной среде и «понимает», чего не способен выполнить без ущерба для себя.
Самостоятельная Сборка RealAnt обойдется примерно в 410 долларов, если учитывать только затраты на материалы. Отдельные компоненты выпускаются серийно и их легко достать. После подготовки отдельных модулей финальная сборка робота займёт около часа.
Для
Источник: TechXplore
Исходный код проекта RealAnt: GitHub
Подробнее: Arxiv.org