Uma revisão sistemática conduzida por pesquisadores do grupo Interfaces, da Universidade Federal de São Carlos (UFSCar), revelou fragilidades metodológicas significativas em estudos que utilizam Redes Neurais de Grafos (GNNs). Essa tecnologia de inteligência artificial, amplamente aplicada em setores críticos como medicina, segurança financeira e biologia, analisa dados estruturados em rede.
O trabalho, publicado no periódico IEEE Access, analisou 84 artigos científicos e identificou que a confiabilidade de muitos resultados pode estar comprometida devido à falta de diversidade nos testes e à opacidade dos experimentos.
Falhas metodológicas
O principal problema detectado pelos pesquisadores é a dependência excessiva de pouquíssimas bases de dados. Dos artigos examinados, 82% validaram seus algoritmos utilizando apenas três conjuntos de dados específicos: Cora, CiteSeer e PubMed. Originalmente criadas para tarefas de classificação supervisionada (onde a IA já sabe o que procurar), essas bases foram adaptadas para o agrupamento de dados (clustering), o que distorce a eficácia real das ferramentas.
Segundo Guilherme Henrique Messias, autor principal do estudo, essa repetição cria um falso senso de segurança. É como testar diferentes medicamentos sempre no mesmo grupo restrito de pacientes; a eficácia demonstrada não garante que o sistema funcionará em cenários complexos do mundo real. Bases de citações acadêmicas, por exemplo, dispõem de estruturas muito distintas de redes sociais ou sistemas financeiros, nas quais o comportamento dos "nós" (usuários ou transações) é muito mais assimétrico e imprevisível.
Baixa reprodutibilidade
A pesquisa também acendeu um alerta sobre a transparência científica na área de IA. A grande maioria dos algoritmos analisados não disponibilizava códigos de programação ou repositórios abertos. Essa "caixa-preta" impede a reprodutibilidade, um pilar fundamental da ciência.
Messias relatou que, em tentativas de replicar alguns experimentos, os resultados obtidos foram drasticamente diferentes dos reportados pelos autores originais, o que levanta suspeitas sobre a precisão dos dados publicados.
Segundo as informações da UFSCar, outra limitação técnica identificada foi a incapacidade dos algoritmos de definirem, de forma autônoma, o número de grupos a serem identificados. Na prática, o usuário precisa informar previamente quantos grupos existem nos dados. Se o número informado estiver incorreto, o resultado da análise será falho.
Em situações reais, como a investigação de uma rede criminosa desconhecida, essa informação prévia raramente está disponível.
Novos horizontes
Apesar das críticas, o estudo reconhece o vasto potencial das GNNs. A revisão catalogou aplicações bem-sucedidas em diagnósticos de Parkinson, planejamento urbano e detecção de fraudes. Para fortalecer a área, os pesquisadores da UFSCar propuseram uma nova taxonomia para organizar os algoritmos, facilitando a comparação entre diferentes técnicas e a identificação de lacunas.
Como próximo passo, de acordo com as informações, o grupo defende a criação de bases de dados sintéticas (artificiais). Esses dados controlados permitiriam testar a IA em cenários que simulem fielmente os problemas reais, sem as limitações das bases acadêmicas tradicionais.
O estudo também aponta que o uso de arquiteturas de transformers — as mesmas que revolucionaram o processamento de texto — ainda é pouco explorado para agrupamento em grafos, representando uma fronteira promissora para futuras inovações tecnológicas mais robustas e confiáveis.
