O câncer de próstata é o segundo câncer mais frequente em homens no mundo. A radioterapia apresenta um papel fundamental no tratamento do câncer de próstata. Para planejamento do tratamento inicial, o paciente é classificado em um grupo de risco, podendo ser baixo, intermediário ou alto risco. Entretanto, esses grupos, normalmente baseados em três dados principais coletados durante o diagnóstico (concentração do antígeno prostático específico pré-terapia, soma do escore de Gleason e estágio clínico do tumor), costumam apresentar alta heterogeneidade e, assim, pacientes com diferentes características podem ser classificados em um mesmo grupo de risco. O tratamento excessivo de tumores com pouca probabilidade de progressão e o subtratamento de tumores mais agressivos são consequências disso. As técnicas de Aprendizado de Máquina vêm sendo utilizadas com sucesso em diversas aplicações voltadas à oncologia, incluindo classificação e avaliação de risco. Com isso, o objetivo deste estudo é refinar a metodologia de determinação do grupo de risco de câncer de próstata em pacientes tratados com radioterapia, utilizando métodos de aprendizado não supervisionado. Foram utilizados dados de 485 pacientes com câncer de próstata tratados com radioterapia entre janeiro de 2010 e janeiro de 2017 no Hospital das Clínicas da Faculdade de Medicina de Ribeirão Preto. Oito diferentes algoritmos de agrupamento foram implementados na linguagem de computação Python, sendo eles: K-means, Mini Batch K-means, Affinity Propagation, Agglomerative Clustering, BIRCH, DBSCAN, OPTICS e Agrupamento Profundo com Autoencoder. Três estratégias foram propostas para obter um melhor resultado do refinamento dos grupos de risco e seus resultados foram analisados e comparados utilizado o método de Kaplan-Meier, juntamente com o teste log-rank, e o método da silhueta. Os algoritmos com os melhores desempenhos foram Mini Batch K-means e Autoencoder, apresentando curvas distintas no gráfico de Kaplan-Meier, os menores valores no teste log-rank e valores positivos de coeficiente de silhueta. Foram implementadas árvores de decisões a partir dos grupos resultantes destes algoritmos para tornar explícitos os indicadores mais relevantes e para apresentar conjuntos de regras que permitem entender a lógica de geração dos agrupamentos. Por fim, uma ferramenta foi desenvolvida para que o usuário consiga classificar novos pacientes nos grupos de risco definidos pelos melhores resultados das três estratégias. Conclui-se que este estudo apresenta novas regras de grupos de risco refinadas, baseadas em dados referentes ao tumor e ao paciente, além de oferecer uma maneira mais simples e direta para o médico especialista compreender a formação dos grupos de risco.

Prostate cancer is the second most common cancer in men worldwide. Radiotherapy is fundamental for the treatment of prostate cancer. For initial treatment planning, the patient is classified into a risk group, which can be low, intermediate or high risk. However, these groups, usually based on three main data collected during diagnosis (pre-therapy prostate specific antigen concentration, sum of Gleason score and tumor clinical stage), tend to present great heterogeneity and, thus, patients with different characteristics may be classified in the same risk group. Overtreatment of tumors that are unlikely to progress and undertreatment of more aggressive tumors are consequences of this. Machine learning techniques have been used successfully in a variety of oncology applications, including risk assessment and classification. Therefore, the aim of this study is to refine the methodology for determining the risk group for prostate cancer in patients treated with radiotherapy, using unsupervised learning methods. Data from 485 patients with prostate cancer treated with radiotherapy between January 2010 and January 2017 at the Hospital das Clínicas of the Faculty of Medicine of Ribeirão Preto were used. Eight different clustering algorithms were implemented in the Python programming language. The algorithms are: K-means, Mini Batch K-means, Affinity Propagation, Agglomerative Clustering, BIRCH, DBSCAN, OPTICS and Deep Clustering using Autoencoder. Three strategies were proposed to obtain a better result from the refinement of risk groups and their results were analyzed and compared using the Kaplan-Meier method, with the log-rank test, and the silhouette method. The algorithms with the best performances were Mini Batch K-means and Autoencoder, presenting different curves in the Kaplan-Meier graph, the lowest values in the log-rank test and positive silhouette coefficient values. Decision trees were implemented from the groups resulting from these algorithms to make the most relevant indicators explicit and in order to present sets of rules that allow understanding the logic of generating the clusters. Finally, a tool was developed so that the user can classify new patients into the risk groups defined by the best results of the three strategies. It is concluded that this study presents new refined risk group rules, based on tumor and patient data, in addition to offering a friendlier way for the specialist to understand the risk groups.