• JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
 
  Bookmark and Share
 
 
Doctoral Thesis
DOI
https://doi.org/10.11606/T.3.2020.tde-01042021-143348
Document
Author
Full name
Cyntia Eico Hayama Nishida
E-mail
Institute/School/College
Knowledge Area
Date of Defense
Published
São Paulo, 2020
Supervisor
Committee
Costa, Anna Helena Reali (President)
Barros, Leliane Nunes de
Fujita, André
Hashimoto, Ronaldo Fumio
Lopes, Fabricio Martins
Title in Portuguese
Aprendizado por reforço em lote no controle de sistemas biológicos.
Keywords in Portuguese
Aprendizado computacional
Aprendizado por reforço
Inteligência artificial
Redes de regulação gênica
Sistemas biológicos
Abstract in Portuguese
Nas últimas décadas, o estudo de redes biológicas (BT - do inglês textitBiological neTworks) cresceu em importância por possibilitar o entendimento de como entidades biológicas interagem entre si para realizar tarefas biológicas e como intervir nessas redes para tratar doenças pela aplicação de terapias. Um dos principais desafios da intervenção em BTs é descobrir quando e quais intervenções aplicar para torná-las mais saudáveis. Um conjunto de perfis de atividade de entidades, denominado bacia de atração (BOA), leva a BT em direção a um determinado fenótipo; desta forma, para uma BT ter um fenótipo saudável é necessário que ela esteja em uma BOA saudável. Entretanto, grande parte das propostas desconsidera a existência de BOAs e obtém estratégias de intervenção que evitam certos perfis de atividade de entidades, o que pode causar doenças. Além disso, sem a completa observação de todas as entidades envolvidas em uma tarefa biológica, é difícil inferir um modelo preciso e identificar se a BOA atual é saudável. Em vez de gerar uma estratégia de intervenção a partir de um modelo impreciso, nós propomos um novo arcabouço que aprende as estratégias diretamente de um conjunto de experiências coletado previamente. O arcabouço proposto, denominado Basin of Attraction Control Framework through Experiences (BOAConFE), integra o conceito de BOA e técnicas de aprendizado de máquina para calcular estratégias de controle capazes de levar BTs rapidamente para BOAs saudáveis, enquanto reduz a quantidade de intervenções. BOAConFE calcula a probabilidade de observações estarem em BOAs saudáveis para lidar com a observabilidade parcial e incorporar o conhecimento sobre BOAs no arcabouço. BOAConFE utiliza o método proposto multiple Steps Basin of Attraction Fitted Q-Iteration (mSBOAFQI) que usa essas probabilidades junto com uma trajetória composta por múltiplos passos para definir estratégias de intervenção a partir das experiências. Nós mostramos empiricamente que BOAConFE consegue levar rapidamente uma BT parcialmente observável para BOAs saudáveis, enquanto reduz o número de intervenções. Os nossos resultados destacam os benefícios de usar múltiplos passos para lidar com observabilidade parcial e a probabilidade de observações estarem em BOAs saudáveis para explorar o conhecimento sobre BOAs.
Title in English
Controlling biological systems through batch reinforcement learning.
Keywords in English
Artificial intelligence
Biological networks
Gene regulatory networks
Machine learning
Reinforcement learning
Abstract in English
Over the last decades, there has been an increase in interest in the study of biological networks (BT) to understand how the entities interact with each other during the execution of biological tasks and how to intervene in these networks for the treatment of diseases. A major challenge in the intervention of BTs is to discover when and what interventions should be applied in order to shift them to healthy phenotypes. A set of entity activity profiles, called basin of attraction (BOA), takes a BT to a specific phenotype; therefore, a healthy BOA drives the BT to a healthy phenotype. However, most proposals disregard BOAs and derive an intervention strategy avoiding certain entity activity profiles, which may disrupt the execution of biological tasks and cause other diseases. Additionally, without the complete observability of all entities, it is difficult to infer an accurate model and to identify whether the current BOA is healthy. Instead of generating an intervention strategy from an inaccurate model, we proposea novel framework that learns a strategy directly from a batch of experiences provided in advance. Our proposed framework, named Basin of Attraction Control Framework through Experiences (BOAConFE), combines BOA and machine learning techniques to derive intervention strategies that are capable of quickly shifting partially observable BTs to healthy BOAs, while reducing the number of interventions. BOAConFE computes the probability of observations being in healthy BOAs in order to use it to deal with partial observability and incorporate BOA knowledge into our framework. Building on BOAConFE, we propose multiple Steps Basin of Attraction Fitted Q-Iteration (mSBOAFQI) that uses these probabilities together with a trajectory composed of multiple steps to define intervention strategies from experiences. We empirically demonstrate that BOAConFE can quickly shift a partially observable BT to healthy BOAs, while reducing the number of interventions. Our results highlight the benefits of using multiple steps to deal with partial observability and BOA probability to explore BOA information.
 
WARNING - Viewing this document is conditioned on your acceptance of the following terms of use:
This document is only for private use for research and teaching activities. Reproduction for commercial use is forbidden. This rights cover the whole data about this document as well as its contents. Any uses or copies of this document in whole or in part must include the author's name.
Publishing Date
2021-04-01
 
WARNING: Learn what derived works are clicking here.
All rights of the thesis/dissertation are from the authors
CeTI-SC/STI
Digital Library of Theses and Dissertations of USP. Copyright © 2001-2021. All rights reserved.