Plasticidade e rigidez em modelos de embeddings globais e monolíngues para o português brasileiro.

Abstract

Este trabalho investiga comparativamente modelos de embeddings globais e monolíngues aplicados ao português brasileiro, analisando o equilíbrio entre plasticidade e rigidez das representações semânticas sob diferentes regimes de uso. São avaliadas sete famílias de modelos em quatro tarefas de processamento de linguagem natural (classificação, clusterização, inferência textual e similaridade semântica textual) considerando tanto o regime de linear probing quanto a adaptação supervisionada via fine-tuning eficiente de parâmetros com LoRA. Os resultados indicam que, embora modelos globais apresentem desempenho competitivo em linear probing, modelos monolíngues tendem a demonstrar maior estabilidade e ganhos mais consistentes após a adaptação, especialmente em tarefas sensíveis à geometria do espaço de embeddings, como STS. Adicionalmente, análises quantitativas e qualitativas de tokenização revelam que somente vocabulários especializados não garantem maior eficiência ou desempenho, evidenciando um dilema entre alinhamento morfológico, robustez a empréstimos linguísticos e compactação das representações. As descobertas contribuem para uma compreensão mais profunda dos trade-offs envolvidos na escolha e adaptação de modelos de embeddings para aplicações em português brasileiro, oferecendo subsídios práticos para decisões em cenários reais de PLN.