Para instituições de ensino
O Companion é uma harness, a estrutura que faz um modelo de IA ensinar cada aluno até ele saber explicar o que estudou.
Retrato da turma. Matemática, aula Gestão de Estoques e Lote Econômico de Compras, 32 alunos, 41 sessões. Classes de custos de manutenção, 24 de 32 alunos com o conceito sólido. Custos de aquisição para reposição, 19 de 32 alunos com o conceito sólido. Objetivo, variáveis e fórmula da EOQ, 15 de 32 alunos com o conceito sólido. Classificação ABC, 8 de 32 alunos com o conceito sólido. Aplicação da EOQ nas decisões de pedido, 4 de 32 alunos com o conceito sólido.
Alunos do ensino médio com um chatbot que dava respostas foram 48% melhor nos exercícios, mas 17% pior na prova sem consulta. Uma versão que dava dicas em vez de respostas praticamente eliminou essa perda.
Alunos de física de Harvard que estudaram com uma IA orientada por princípios pedagógicos tiveram um ganho mais de duas vezes maior do que numa aula de aprendizagem ativa sobre o mesmo conteúdo, e em menos tempo.
Um modelo de IA sozinho
Não garante que cada conceito relevante seja trabalhado até haver evidência de entendimento.
Percentil 70
Numa meta-análise de 108 avaliações, turmas que só avançavam depois de o aluno dominar cada unidade levaram o aluno médio ao percentil 70 nas provas finais. Nas turmas sem essa exigência, o aluno médio ficou no percentil 50.
Kulik, Kulik e Bangert-Drowns · Review of Educational Research, 1990
Um modelo de IA sozinho
Condensa, desvia e pula etapas antes de o aluno estar pronto.
61% contra 38%
Num estudo com 54 turmas de matemática do 7º ano, os alunos resolveram os mesmos exercícios durante quatro meses, e só a ordem mudava. Parte das turmas praticava um tipo de problema por vez. As outras recebiam os tipos misturados e precisavam decidir qual método usar em cada questão. Um mês depois, numa prova surpresa, as turmas da ordem misturada acertaram 61%, e as outras, 38%.
Um modelo de IA sozinho
Acompanha a conversa, mas não preserva um objetivo estável de aprendizagem.
41% contra 19%
Em Harvard, estudantes assistiram a uma aula gravada de estatística de 21 minutos, dividida em quatro partes. Em momentos aleatórios, os pesquisadores perguntavam se eles estavam prestando atenção. Quem só assistia estava pensando em outra coisa em 41% das vezes. Quem respondia a perguntas curtas sobre o conteúdo entre as partes se distraiu em 19% das vezes e tirou 90% na prova final, contra 68%.
Um modelo de IA sozinho
Entrega a explicação pronta, organizada como uma aula.
33,8% contra 21,8%
Numa meta-análise de 225 estudos em cursos de graduação de exatas, a taxa de reprovação foi de 33,8% nas aulas expositivas e de 21,8% nas aulas em que os estudantes resolviam problemas e discutiam.
Um modelo de IA sozinho
Lê sinais em cada resposta, mas não os transforma numa avaliação acumulada por conceito.
Aprenderam mais. Sentiram que aprenderam menos.
Em Harvard, 149 estudantes de física tiveram as mesmas aulas numa versão expositiva e numa versão ativa. Na versão ativa, foram melhor no teste e, ainda assim, relataram ter aprendido menos. A sensação de ter entendido não serve como evidência.
Um modelo de IA sozinho
Ajusta uma resposta de cada vez, sem um retrato do que o aluno já demonstrou.
Responder a cada passo chega perto de um tutor humano.
Numa revisão de experimentos com sistemas de tutoria, os que respondiam a cada passo da solução tiveram efeito de 0,76 desvio-padrão sobre o aprendizado, perto dos 0,79 de tutores humanos. Os que só corrigiam a resposta final tiveram 0,31.
Um modelo de IA sozinho
Não guarda o domínio, os erros e as lacunas do aluno para a próxima sessão.
80% contra 36%
Estudantes aprenderam 40 palavras em suaíli. Para um grupo, cada palavra saía dos testes no primeiro acerto, como se já estivesse aprendida. Para outro, ela continuava voltando. Uma semana depois, o primeiro grupo lembrava 36% das palavras, e o segundo, cerca de 80%. Acertar uma vez não mostra que o aluno vai lembrar.
Um modelo de IA sozinho
Cede a pedidos de resumo, de resposta pronta ou de avanço sem tentativa.
Dar dicas em vez de respostas eliminou a perda.
Num experimento com quase mil estudantes do ensino médio, quem praticou com um chatbot que dava respostas teve notas 17% menores na prova sem consulta. A versão que só dava dicas praticamente eliminou essa perda.
Um modelo de IA, sozinho, responde bem ao que o aluno pergunta. Ensinar, porém, exige saber o que precisa ser coberto, em que ordem, o que o aluno já demonstrou e o que ficou frágil da última vez.
A harness funciona como o sistema operacional do modelo. A partir do material das suas aulas, mapeamos os conceitos de cada disciplina e a ordem em que devem ser ensinados. Durante a sessão, a harness decide o que o modelo ensina, registra o que cada aluno demonstrou e mantém as regras pedagógicas, como só avançar quando o aluno consegue explicar o conceito. É ela que dá as oito garantias acima, e cada sessão parte do que a anterior registrou.
Por trás da conversa, a harness acompanha cinco coisas.
O tutor apresenta a fórmula da EOQ, o conceito desta parte da aula. Para a harness, esse conceito ainda está Parcial.
O aluno diz “ah, entendi.”, sem explicar o porquê. Sem evidência nova, a Regra mantém a sessão nesta parte.
A Regra impede o modelo de entregar a resposta. Então o tutor pede que o aluno explique uma variação.
O aluno explica a causa com as próprias palavras. Isso conta como evidência.
Com essa evidência, a harness muda o conceito de Parcial para Sólido.
A Sequência mostra o próximo conceito, Classificação ABC. A Memória lembra que ele ficou Frágil na última sessão.
Dessa forma, o aluno vê uma conversa, e a harness sustenta o ensino por trás dela.
beta
Cada aluno deixa sinais enquanto estuda, como dúvidas, tentativas, erros e avanços. O Companion junta esses sinais num retrato da turma. Antes da aula, o professor vê quais conceitos estão frágeis, quais equívocos se repetem e onde estão as lacunas. Com isso, ele ajusta o foco, os exemplos e o ritmo da aula e usa o tempo presencial no que precisa dele.
Retrato da turma, beta. Matemática, aula Gestão de Estoques e Lote Econômico de Compras, 32 alunos, 41 sessões. Classes de custos de manutenção, 24 de 32 alunos com o conceito sólido. Custos de aquisição para reposição, 19 de 32 alunos com o conceito sólido. Objetivo, variáveis e fórmula da EOQ, 15 de 32 alunos com o conceito sólido. Classificação ABC, 8 de 32 alunos com o conceito sólido. Aplicação da EOQ nas decisões de pedido, 4 de 32 alunos com o conceito sólido.
Foco sugerido: Classificação ABC. Retomar o critério de valor anual de consumo antes da aplicação da EOQ.
Estamos desenvolvendo, com as instituições parceiras, outras formas de integrar o Companion às aulas.
Cada instituição tem currículo, calendário e cultura de ensino próprios. A conversa começa por aí: qual disciplina, qual material e qual resultado a sua instituição quer observar.