OBJETIVOS: Desenvolver um modelo de inteligência artificial (IA) para identificação e graduação histológica do câncer de próstata (CaP) e comparar sua precisão com a avaliação de um uropatologista especializado. MATERIAL E MÉTODOS: 36 lâminas histológicas provenientes de espécimes de prostatectomia radical foram escaneadas, segmentadas, analisadas e anotadas por um uropatologista experiente. As seguintes áreas foram caracterizadas: estroma, glândulas normais, Gleason 3, 4 e 5. Dois métodos foram utilizados para classificar as imagens: um método de classificação categórica que consistia em atribuir um único rótulo a cada imagem analisada e um método de segmentação de instâncias que envolvia o delineamento específico de cada área de interesse em cada imagem, em vez de atribuir um único rótulo a toda a imagem. As arquiteturas utilizadas para o treinamento dos métodos foram a VGGNet, um tipo de rede neural convolucional, e Mask R-CNN (region-based convolutional neural network),respectivamente. Após o treinamento, imagens que não foram utilizadas no treinamento foram avaliadas pelo modelo. O modelo que apresentou melhor performance também foi aplicado para avaliar lâminas de biópsia de próstata que não foram usadas no treinamento. RESULTADOS: O modelo de classificação categórico utilizou em seu treinamento 2.583 imagens, sendo 662 imagens com tecido benigno, 640, 640 e 641 imagens, com câncer de próstata padrão 3, 4 e 5 predominante, respectivamente. Esse modelo apresentou uma acurácia de treinamento de 97,57% e uma acurácia de validação de 95,74%. No entanto, ao utilizar o modelo treinado no conjunto de teste com 100 novas imagens nunca usadas no treinamento, a acurácia obtida foi de 45% na determinação de tecido benigno e maligno, e quando maligno, em definir corretamente sua graduação de Gleason. No método de segmentação por instâncias, foram utilizadas 6.160 imagens e 8.367 anotações realizadas nessas imagens (glândulas normais: 3.982, estroma: 3.049, Gleason 3: 858, Gleason 4: 2.321, Gleason 5: 1.361). O modelo apresentou uma acurácia de treinamento de 95,1% e acurácia de validação de 93,2%. Após o término do treinamento, o modelo foi exposto a imagens nunca vistas, separadas antes do treinamento e não usadas para esse fim. A concordância entre o modelo de aprendizado profundo e a anotação feita pelo patologista na detecção correta de tecido benigno e maligno, incluindo seus padrões, foi de 89%. Por fim, aplicamos o modelo de Mask R-CNN em 292 lâminas de biópsia de próstata. O coeficiente de Dice entre o modelo de IA e o especialista em uropatologia foi de 0,7962. CONCLUSÕES: Algoritmos de aprendizagem profunda tem um alto potencial para uso no diagnóstico e graduação do câncer de próstata. O método de segmentação de instâncias foi superior ao método de classificação categórico

OBJECTIVES: To develop an artificial intelligence (AI) model for identification and histological grading of prostate cancer (PCa) and to compare its accuracy with the assessment of a specialized uropathologist. MATERIALS AND METHODS: 36 histological slides from radical prostatectomy specimens were scanned, segmented, analyzed, and annotated by an experienced uropathologist. The following areas were characterized: stroma, normal glands, Gleason 3, 4, and 5. Two methods were employed to classify the images: a categorical classification method, which involved assigning a single label to each analyzed image, and an instance segmentation method that entailed the specific delineation of each area of interest in each image, rather than assigning a single label to the whole image. The architectures used for training the methods were VGGNet, a type of convolutional neural network, and Mask R-CNN (region-based convolutional neural network), respectively. After training, images not used in the training were assessed by the model. The top-performing model was also applied to evaluate prostate biopsy slides not utilized in the training. RESULTS: The categorical classification model used 2,583 images for training, with 662 images of benign tissue, 640, 640, and 641 images of prostate cancer with predominant grades 3, 4, and 5, respectively. This model exhibited a training accuracy of 97.57% and a validation accuracy of 95.74%. However, when applying the trained model to a test set of 100 new images never used in training, the accuracy was 45% in determining benign and malignant tissues, and when malignant, in correctly defining its Gleason grade. In the instance segmentation method, 6,160 images and 8,367 annotations on these images were used (normal glands: 3,982, stroma: 3,049, Gleason 3: 858, Gleason 4: 2,321, Gleason 5: 1,361). The model achieved a training accuracy of 95.1% and a validation accuracy of 93.2%. After training, the model was exposed to previously unseen images set aside before training and not used for that purpose. The agreement between the deep learning model and the pathologist's annotation in correctly detecting benign and malignant tissues, including their patterns, was 89%. Finally, we applied the Mask R-CNN model to 292 prostate biopsy slides. The Dice coefficient between the AI model and the uropathology specialist was 0.7962. CONCLUSIONS: Deep learning algorithms possess high potential for use in the diagnosis and grading of prostate cancer. The instance segmentation method proved superior to the categorical classification method