• JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
 
  Bookmark and Share
 
 
Master's Dissertation
DOI
https://doi.org/10.11606/D.3.2011.tde-12122011-152445
Document
Author
Full name
Tiago Matos
E-mail
Institute/School/College
Knowledge Area
Date of Defense
Published
São Paulo, 2011
Supervisor
Committee
Reali Costa, Anna Helena (President)
Barros, Leliane Nunes de
Romero, Roseli Aparecida Francelin
Title in Portuguese
Uso de política abstrata estocástica na navegação robótica.
Keywords in Portuguese
Aprendizado computacional relacional
Inteligência artificial
Robótica
Abstract in Portuguese
A maioria das propostas de planejamento de rotas para robôs móveis não leva em conta a existência de soluções para problemas similares ao aprender a política para resolver um novo problema; e devido a isto, o problema de navegação corrente deve ser resolvido a partir do zero, o que pode ser excessivamente custoso em relação ao tempo. Neste trabalho é realizado o acoplamento do conhecimento prévio obtido de soluções similares, representado por uma política abstrata, a um processo de aprendizado por reforço. Além disto, este trabalho apresenta uma arquitetura para o aprendizado por reforço simultâneo, de nome ASAR, onde a política abstrata auxilia na inicialização da política para o problema concreto, e ambas as políticas são refinadas através da exploração. A fim de reduzir a perda de informação na construção da política abstrata é proposto um algoritmo, nomeado X-TILDE, que constrói uma política abstrata estocástica. A arquitetura proposta é comparada com um algoritmo de aprendizado padrão e os resultados demonstram que ela é eficaz em acelerar a construção da política para problemas práticos.
Title in English
Using stochastic abstract policies in robotic navigation.
Keywords in English
Knowledge transfer
Policy abstraction
Reinforcement learning
Relational MDP
Robotic navigation
Abstract in English
Most work in path-planning approaches for mobile robots does not take into account existing solutions to similar problems when learning a policy to solve a new problem, and consequently solves the current navigation problem from scratch, what can be very time consuming. In this work we couple a prior knowledge obtained from a similar solution to a reinforcement learning process. The prior knowledge is represented by an abstract policy. In addition, this work presents a framework for simultaneous reinforcement learning called ASAR, where the abstract policy helps start up the policy for the concrete problem, and both policies are refined through exploration. For the construction of the abstract policy we propose an algorithm called X-TILDE, that builds a stochastic abstract policy, in order to reduce the loss of information. The proposed framework is compared with a default learning algorithm and the results show that it is effective in speeding up policy construction for practical problems.
 
WARNING - Viewing this document is conditioned on your acceptance of the following terms of use:
This document is only for private use for research and teaching activities. Reproduction for commercial use is forbidden. This rights cover the whole data about this document as well as its contents. Any uses or copies of this document in whole or in part must include the author's name.
Publishing Date
2011-12-14
 
WARNING: The material described below relates to works resulting from this thesis or dissertation. The contents of these works are the author's responsibility.
  • BEIRIGO, Rafael Lemes, et al. Avaliação de Políticas Abstratas na Transferência de Conhecimento em Navegação Robótica. Revista de Sistemas e Computação [online], 2012, vol. 2, p. 17-25. Dispon?vel em: http://www.revistas.unifacs.br/index.php/rsc/article/view/2420.
  • Bergamo, Yannick P., et al. Accelerating reinforcement learning by reusing abstract policies. In VIII Encontro Nacional de Inteligência Artificial (ENIA 2011), Natal, RN, 2011. Encontro Nacional de Inteligência Artificial. : SBC, 2011.
  • MATOS, T., et al. Simultaneous abstract and concrete reinforcement learning. In 9th Symposium on Abstraction, Reformulation and Approximation (SARA 2011), Parador de Cardona, Spain, 2011. 9th Symposium on Abstraction, Reformulation and Approximation.Menlo Park, CA : AAAI Press, 2011.
  • MATOS, T., e COSTA, Anna Helena Reali. Aprendizado por Reforço Relacional para Reaproveitamento do Conhecimento em Navegação Robótica. In WTDIA 2010 - V Workshop on MSc Dissertation and PhD Thesis in Artificial Intelligence, São Bernardo do Campo, 2010. Anais do WTDIA 2010 - V Workshop on MSc Dissertation and PhD Thesis in Artificial Intelligence. : SBC, 2010.
All rights of the thesis/dissertation are from the authors
CeTI-SC/STI
Digital Library of Theses and Dissertations of USP. Copyright © 2001-2024. All rights reserved.