Detecção de toxicidade em linguagem codificada : um estudo de caso em uma comunidade gamer do YouTube.

Abstract

A detecção automática de toxicidade já lida bem com as formas explícitas, mas comunidades podem transmitir conteúdo nocivo por uma linguagem codificada própria, feita de palavras e siglas de aparência cotidiana que ganham sentido nocivo por acordo interno do grupo. Este trabalho avalia quanto os detectores de estado da arte enxergam desse fenômeno em um estudo de caso sobre uma comunidade de jogos do YouTube brasileiro, notoriamente tóxica, cujos chats ao vivo foram coletados em sete canais ao longo de dois meses, num total de 1,74 milhão de mensagens. Foram construídos dois instrumentos. O primeiro é um catálogo dos termos codificados da comunidade, que é o registro escrito de cada termo com o significado que ele tem no uso interno, suas variantes e exemplos reais, levantado a partir da vivência do pesquisador nesses chats e confirmado pela análise estatística das palavras que acompanham cada termo no corpus completo. O segundo é um conjunto de referência de 3.500 mensagens rotuladas à mão, em que cada mensagem tóxica é ainda classificada segundo o modo como a toxicidade chega ao leitor: de forma explícita ou codificada. Sobre essa mesma amostra foram avaliadas três famílias de detectores: um classificador multilíngue de prateleira, modelos ajustados sobre bases de toxicidade em português brasileiro e modelos de linguagem de grande porte instruídos com quantidade crescente de contexto cultural. Sem acesso ao código da comunidade, os detectores encontram de 1,9% a 9,4% das mensagens de toxicidade codificada, contra 48% a 90% das explícitas, e o resultado se repete em arquiteturas e escalas diferentes. Fornecido o catálogo junto com a instrução, os três modelos de linguagem passam a encontrar de 96% a 98% das mensagens codificadas. É a documentação do código que recupera a detecção, e não o modelo, ao passo que acrescentar exemplos genéricos chega a piorar o desempenho. A precisão permanece baixa em todas as configurações testadas, entre 6,9% e 24,6%, de modo que esses modelos erram na maior parte das mensagens que classificam como tóxicas. A moderação eficaz de comunidades com repertório codificado depende de conhecimento cultural documentado, sendo o catálogo de termos codificados uma intervenção viável para melhoria de sistemas de moderação e uma técnica replicável em outros contextos, como o de comunidades que desenvolvam uma linguagem própria.