ChatGPT na educação: estudo aponta ganhos complementares de IA e raciocínio crítico

O que o estudo avaliou

Um experimento randomizado com 1.053 estudantes de graduação do primeiro ano investigou, em quatro condições, os efeitos do acesso ao ChatGPT, de um treinamento em raciocínio causal, da combinação dos dois recursos e da ausência de ambos. O teste foi conduzido com alunos da Bocconi University diante de um caso de marketing: elaborar recomendações para ampliar conhecimento e uso da loja de produtos da universidade. (cdn.openai.com)

Os participantes com acesso ao ChatGPT Edu utilizaram o GPT-4o. As respostas foram avaliadas por avaliadores humanos com uma escala de cinco pontos e também submetidas a análises de texto, incluindo quantidade e diversidade de ideias e proximidade com recomendações de especialistas. (openai.com)

O que os resultados mostram

O acesso ao ChatGPT elevou a avaliação das recomendações em cerca de 0,86 ponto numa escala de 1 a 5, em relação ao grupo de controle, cuja pontuação estimada foi 2,09. Segundo o artigo, esse foi o único tratamento associado a melhora estatisticamente significativa na avaliação de desempenho da tarefa. (cdn.openai.com)

O efeito do ChatGPT apareceu sobretudo em respostas com mais ideias, lógica mais coerente e maior proximidade com recomendações produzidas por especialistas. Isso não significa que a ferramenta substituiu integralmente o trabalho dos alunos: eles precisaram formular pedidos, avaliar as respostas e decidir o que incorporar à entrega final. (openai.com)

O treinamento em raciocínio causal produziu outro tipo de resultado. Ele aumentou a explicitação de mecanismos, o uso de condições que poderiam refutar uma hipótese e a diversidade de ideias. Porém, isoladamente, não elevou a nota na rubrica usada — que priorizava objetivos específicos de marketing, como awareness e uso. (cdn.openai.com)

Na condição combinada, os estudantes mantiveram os ganhos ligados à diversidade de ideias do treinamento e resultados semelhantes aos do acesso ao ChatGPT em nota e quantidade de ideias. O estudo também encontrou maior coerência lógica e mais sinais de questionamento de pressupostos nesse grupo. (openai.com)

Fato e interpretação

Fato: o experimento sugere que ChatGPT e treinamento de raciocínio causal atuaram de formas diferentes na tarefa analisada: a ferramenta elevou a qualidade avaliada das respostas; o treinamento ampliou a diversidade e a explicação causal das propostas. (openai.com)

Interpretação da ON Academy: para instituições de ensino, a discussão não deveria se limitar a liberar ou proibir IA generativa. O desenho de atividades e avaliações precisa distinguir entregas bem estruturadas de evidências de raciocínio, originalidade e capacidade de justificar escolhas. Em tarefas que aceitam respostas convencionais e têm critérios muito padronizados, uma entrega mais polida pode não revelar, sozinha, o que o aluno compreendeu.

Limites para leitura responsável

Os resultados se referem a estudantes iniciantes, a uma universidade e a uma tarefa de recomendação de marketing com tempo limitado. Portanto, não permitem concluir automaticamente que os mesmos efeitos ocorrerão em todas as disciplinas, faixas etárias, instituições ou formatos de avaliação. O próprio estudo discute que o resultado depende do tipo de tarefa e dos critérios usados para avaliar as respostas. (cdn.openai.com)

A pauta também menciona uma expansão do ChatGPT for Teachers para distritos escolares dos Estados Unidos. No conjunto de fontes fornecido, porém, há evidência apenas para o estudo com universitários; não há fonte suficiente para confirmar os números ou o alcance dessa suposta expansão. Por isso, esta análise não trata essa alegação como fato.

Implicações práticas para educação, produto e marketing educacional

1. Redesenhe a avaliação, não apenas a política de uso de IA. Inclua etapas que tornem o processo observável: justificativa de hipóteses, comparação de alternativas, critérios de decisão e revisão crítica da resposta gerada.
2. Ensine o uso da ferramenta junto de competências cognitivas. O experimento indica complementaridade entre acesso ao ChatGPT e treinamento em raciocínio causal, em vez de uma escolha obrigatória entre os dois. (openai.com)
3. Evite usar apenas a qualidade textual como indicador de aprendizagem. Respostas claras e completas podem refletir apoio da IA; rubricas podem incorporar originalidade, explicação de mecanismos e análise de limites.
4. Teste em contexto próprio antes de escalar. Instituições e empresas educacionais podem rodar pilotos por disciplina, perfil de aluno e tipo de atividade, comparando qualidade da entrega, diversidade de propostas e evidências de compreensão.

Para equipes que desenvolvem programas de capacitação e produtos educacionais, a principal consequência é de desenho: a IA pode apoiar desempenho em tarefas estruturadas, enquanto práticas pedagógicas precisam preservar espaço para investigação, crítica e diferenciação de ideias.

Fonte: [OpenAI, “Better answers, broader thinking: What students gain from ChatGPT and critical-thinking training”] (openai.com)

Leitura relacionada: conheça os treinamentos da ON Academy para desenvolver competências aplicadas em IA, marketing e estratégia.