Speaker
Description
A Inteligência Artificial generativa, especialmente os Modelos de Linguagem de Grande Escala (LLMs) como Gemini, emerge como ferramenta promissora na educação superior para otimizar processos avaliativos diante da sobrecarga docente. Este estudo avaliou a eficácia do Gemini na correção automatizada de relatórios acadêmicos, comparando seu desempenho com a avaliação docente tradicional. A pesquisa analisou dez relatórios de Engenharia de Materiais da Universidade Federal Fluminense, coletados entre 2023 e 2024, mediante três modalidades distintas: (i) correção tradicional realizada pelo docente com rubrica; (ii) correção por IA sem critérios pré-estabelecidos (modalidade livre); e (iii) correção por IA com rubrica definida (modalidade estruturada). As notas seguiram escala de 0 a 10 pontos, com análise comparativa das médias e aplicação do teste de correlação de Pearson para medir alinhamento entre avaliações. Realizou-se também análise qualitativa das justificativas produzidas. A IA demonstrou agilidade significativa, porém revelou discrepâncias nas notas atribuídas: a modalidade livre apresentou notas 8% inferiores às docentes, enquanto a estruturada resultou em notas 14% superiores, indicando variabilidade nas pontuações independentemente do fornecimento de critérios. A correlação de Pearson evidenciou maior alinhamento entre docente e IA estruturada, sugerindo que critérios explícitos aproximam o comportamento avaliativo da IA ao padrão humano. As justificativas geradas pela IA caracterizaram-se por tom predominantemente positivo. Na modalidade livre, as justificativas apresentaram caráter genérico, dificultando a identificação precisa de critérios não atendidos pelos trabalhos. Observou-se, ainda, que a IA não utilizou integralmente todos os critérios estabelecidos, e as justificativas da IA estruturada nem sempre se alinharam aos critérios do docente. Embora o Gemini tenha demonstrado uma correlação entre as notas atribuídas pela IA e o método tradicional, foram observadas discrepâncias significativas nos valores absolutos das avaliações. Os resultados indicam que aperfeiçoamento de prompts e desenvolvimento de rubricas mais detalhadas são essenciais para tornar a IA ferramenta confiável na avaliação acadêmica
| Palavras-chave | Inteligência artificial, Gemini, relatórios, correção. |
|---|
