• JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
 
  Bookmark and Share
 
 
Tese de Doutorado
DOI
https://doi.org/10.11606/T.3.2020.tde-01042021-143348
Documento
Autor
Nome completo
Cyntia Eico Hayama Nishida
E-mail
Unidade da USP
Área do Conhecimento
Data de Defesa
Imprenta
São Paulo, 2020
Orientador
Banca examinadora
Costa, Anna Helena Reali (Presidente)
Barros, Leliane Nunes de
Fujita, André
Hashimoto, Ronaldo Fumio
Lopes, Fabricio Martins
Título em português
Aprendizado por reforço em lote no controle de sistemas biológicos.
Palavras-chave em português
Aprendizado computacional
Aprendizado por reforço
Inteligência artificial
Redes de regulação gênica
Sistemas biológicos
Resumo em português
Nas últimas décadas, o estudo de redes biológicas (BT - do inglês textitBiological neTworks) cresceu em importância por possibilitar o entendimento de como entidades biológicas interagem entre si para realizar tarefas biológicas e como intervir nessas redes para tratar doenças pela aplicação de terapias. Um dos principais desafios da intervenção em BTs é descobrir quando e quais intervenções aplicar para torná-las mais saudáveis. Um conjunto de perfis de atividade de entidades, denominado bacia de atração (BOA), leva a BT em direção a um determinado fenótipo; desta forma, para uma BT ter um fenótipo saudável é necessário que ela esteja em uma BOA saudável. Entretanto, grande parte das propostas desconsidera a existência de BOAs e obtém estratégias de intervenção que evitam certos perfis de atividade de entidades, o que pode causar doenças. Além disso, sem a completa observação de todas as entidades envolvidas em uma tarefa biológica, é difícil inferir um modelo preciso e identificar se a BOA atual é saudável. Em vez de gerar uma estratégia de intervenção a partir de um modelo impreciso, nós propomos um novo arcabouço que aprende as estratégias diretamente de um conjunto de experiências coletado previamente. O arcabouço proposto, denominado Basin of Attraction Control Framework through Experiences (BOAConFE), integra o conceito de BOA e técnicas de aprendizado de máquina para calcular estratégias de controle capazes de levar BTs rapidamente para BOAs saudáveis, enquanto reduz a quantidade de intervenções. BOAConFE calcula a probabilidade de observações estarem em BOAs saudáveis para lidar com a observabilidade parcial e incorporar o conhecimento sobre BOAs no arcabouço. BOAConFE utiliza o método proposto multiple Steps Basin of Attraction Fitted Q-Iteration (mSBOAFQI) que usa essas probabilidades junto com uma trajetória composta por múltiplos passos para definir estratégias de intervenção a partir das experiências. Nós mostramos empiricamente que BOAConFE consegue levar rapidamente uma BT parcialmente observável para BOAs saudáveis, enquanto reduz o número de intervenções. Os nossos resultados destacam os benefícios de usar múltiplos passos para lidar com observabilidade parcial e a probabilidade de observações estarem em BOAs saudáveis para explorar o conhecimento sobre BOAs.
Título em inglês
Controlling biological systems through batch reinforcement learning.
Palavras-chave em inglês
Artificial intelligence
Biological networks
Gene regulatory networks
Machine learning
Reinforcement learning
Resumo em inglês
Over the last decades, there has been an increase in interest in the study of biological networks (BT) to understand how the entities interact with each other during the execution of biological tasks and how to intervene in these networks for the treatment of diseases. A major challenge in the intervention of BTs is to discover when and what interventions should be applied in order to shift them to healthy phenotypes. A set of entity activity profiles, called basin of attraction (BOA), takes a BT to a specific phenotype; therefore, a healthy BOA drives the BT to a healthy phenotype. However, most proposals disregard BOAs and derive an intervention strategy avoiding certain entity activity profiles, which may disrupt the execution of biological tasks and cause other diseases. Additionally, without the complete observability of all entities, it is difficult to infer an accurate model and to identify whether the current BOA is healthy. Instead of generating an intervention strategy from an inaccurate model, we proposea novel framework that learns a strategy directly from a batch of experiences provided in advance. Our proposed framework, named Basin of Attraction Control Framework through Experiences (BOAConFE), combines BOA and machine learning techniques to derive intervention strategies that are capable of quickly shifting partially observable BTs to healthy BOAs, while reducing the number of interventions. BOAConFE computes the probability of observations being in healthy BOAs in order to use it to deal with partial observability and incorporate BOA knowledge into our framework. Building on BOAConFE, we propose multiple Steps Basin of Attraction Fitted Q-Iteration (mSBOAFQI) that uses these probabilities together with a trajectory composed of multiple steps to define intervention strategies from experiences. We empirically demonstrate that BOAConFE can quickly shift a partially observable BT to healthy BOAs, while reducing the number of interventions. Our results highlight the benefits of using multiple steps to deal with partial observability and BOA probability to explore BOA information.
 
AVISO - A consulta a este documento fica condicionada na aceitação das seguintes condições de uso:
Este trabalho é somente para uso privado de atividades de pesquisa e ensino. Não é autorizada sua reprodução para quaisquer fins lucrativos. Esta reserva de direitos abrange a todos os dados do documento bem como seu conteúdo. Na utilização ou citação de partes do documento é obrigatório mencionar nome da pessoa autora do trabalho.
Data de Publicação
2021-04-01
 
AVISO: Saiba o que são os trabalhos decorrentes clicando aqui.
Todos os direitos da tese/dissertação são de seus autores
CeTI-SC/STI
Biblioteca Digital de Teses e Dissertações da USP. Copyright © 2001-2024. Todos os direitos reservados.