Fusão de Redes Neurais Convolucionais e Vision Transformers para classificação de câncer de pele em imagens médicas.

Abstract

O câncer de pele é o mais frequente no Brasil e no mundo, tornando fundamental o desenvolvimento de métodos para auxiliar o diagnóstico da doença. Neste trabalho, propõe se a arquitetura híbrida SWF-Net, baseada na fusão em nível de características entre uma Rede Neural Convolucional (ResNet-50) e um Vision Transformer, para a classificação de câncer de pele em imagens médicas. O objetivo da pesquisa é avaliar se a estratégia de fusão proposta proporciona desempenho superior em comparação a seus resultados isolados. A pesquisa caracteriza-se como aplicada, utilizando técnicas de aprendizado profundo e os conjuntos de dados BloodMNIST, empregado na etapa piloto, e DermaMNIST, utilizado na avaliação final. Os modelos foram avaliados por meio das métricas de acurácia, AUC macro e matrizes de confusão. Os resultados demonstraram que a SWF-Net alcançou acurácia de 87,03% e AUC macro de 0,9638 no DermaMNIST, superando o desempenho da ResNet-50 isolada (84,94%) e do Vision Transformer treinado com pesos iniciados aleatoriamente (70,37%), indicando que a estratégia de fusão proposta é eficaz para melhorar o desempenho da classificação de lesões dermatológicas.