Aplicação de aprendizado por reforço em um sistema de automação industrial.

Abstract

O avanço da Indústria 4.0 tem ampliado o interesse pela aplicação de algoritmos avançados de controle e aprendizado de máquina em sistemas de automação industrial. Nesse contexto, métodos baseados em Aprendizado por Reforço (Reinforcement Learning - RL) destacam-se pelo potencial de adaptação a processos dinâmicos e incertos, operando sem a necessidade de modelos matemáticos explícitos do processo. Entretanto, a aplicação prática desses algoritmos no chão de fábrica ainda é limitada, restringida pela arquitetura de hardware dos Controladores Lógicos Programáveis (CLP) e pelas exigências de determinismo e alocação estática de memória. Objetiva-se desenvolver um framework para a transpilação automática de políticas de aprendizado por reforço, treinadas em ambiente Python, para a linguagem Texto Estruturado (ST), em conformidade com a norma IEC 61131-3. A metodologia consiste no treinamento offline de um agente Q-learning em ambiente simulado, seguido da transpilação da matriz de conhecimento e do código de controle a ser inserido no CLP. Como estudo de caso, considerou-se o controle de um sistema dinâmico de primeira ordem, utilizando um controlador Proporcional-Integral (PI) como baseline de desempenho. A política convertida é executada e validada em ambiente de automação industrial simulado utilizando o software de programação EcoStruxure Control Expert. Os resultados demonstraram viabilidade técnica da conversão, preservando a integridade da lógica de decisão do agente. Na análise comparativa de desempenho, o controlador baseado em RL superou um controlador PI clássico sintonizado analiticamente, apresentando uma redução de 16,8% na Integral do Erro Absoluto (IAE). A solução proposta oferece uma alternativa robusta escalável para a modernização de malhas de controle em setores críticos, como a mineração, viabilizando a adoção de estratégias adaptativas em plataformas de automação consolidadas.