Khanmigo, um bot alimentado por ChatGPT, cometeu erros frequentes de cálculo durante um teste de um repórter do Wall Street Journal
Poucos meses após o lançamento público do ChatGPT, o educador Sal Khan fez uma afirmação provocativa durante um TED Talk amplamente assistido: “Estamos à beira de usar a IA para provavelmente a maior transformação positiva que a educação já viu.”
Isso aconteceria, segundo ele, “dando a cada aluno do planeta um tutor pessoal incrível e artificialmente inteligente.”
A organização educacional sem fins lucrativos de Khan, a Khan Academy, desenvolveu um bot de ensino alimentado por IA conhecido como Khanmigo. No entanto, uma barreira significativa pode limitar o Khanmigo e ferramentas semelhantes de serem usadas como um tutor bem-sucedido no momento: a IA baseada em modelos de linguagem grandes tem dificuldade com matemática.
“Pedir ao ChatGPT para fazer contas é mais ou menos como pedir a um peixe dourado para andar de bicicleta – simplesmente não é para isso que o ChatGPT serve”, disse Tom McCoy, professor da Universidade Yale que estuda IA. “Não devemos realmente nos surpreender que muitas vezes ele cometa erros.”
Este desafio ficou evidente quando um repórter do Wall Street Journal testou o Khanmigo, que é alimentado pelo ChatGPT. Khanmigo frequentemente cometeu erros simples de aritmética, calculando incorretamente problemas de subtração como 343 menos 17. Ele também não sabia como arredondar respostas ou calcular raízes quadradas. O Khanmigo geralmente não corrigia os erros quando solicitado para verificar as soluções.
A tecnologia ainda está evoluindo e um porta-voz da Khan Academy pontuou que o grupo fez atualizações esta semana para melhorar a precisão do Khanmigo. No entanto, alguns erros provavelmente persistirão, e à medida que o Khanmigo se expande, a organização continuará a enfatizar aos alunos e professores que ele é imperfeito. “Vamos tornar isso muito mais evidente”, afirmou Sal Khan em uma entrevista.
Um porta-voz da OpenAI, que desenvolveu o ChatGPT, recusou um pedido de entrevista e não respondeu a uma lista detalhada de perguntas.
A Khan Academy é conhecida por muitos professores e alunos por seus vídeos educacionais vistos por milhões a cada ano. O Khanmigo está sendo testado por cerca de 65.000 alunos em 44 distritos escolares dos Estados Unidos.
Khan apontou que espera que “um milhão ou dois milhões” de estudantes estejam usando até o próximo ano letivo, a um custo de US$35 por aluno para as escolas. Outras empresas também estão promovendo a IA como tutor nas escolas, e alguns formuladores de políticas e executivos de tecnologia estão entusiasmados com seu potencial.
Essa expansão ocorre enquanto os funcionários da escola buscam maneiras de baixo custo para lidar com as perdas de aprendizado persistentes da era da pandemia.
Assim como o ChatGPT, o Khanmigo funciona respondendo a estímulos em um formato de chat. Ao contrário do ChatGPT, ele é treinado para não fornecer a resposta correta aos alunos, mas para guiá-los através dos problemas.
Ele oferece mentorias a partir do terceiro ano em matemática, linguagens, história e ciências. Pode fornecer feedback sobre redações dos alunos, participar de diálogos simulados como personagens literários famosos e debater questões contemporâneas.
Ao testar o produto, o Wall Street Journal pediu ajuda ao Khanmigo para encontrar o comprimento do terceiro lado de um triângulo retângulo, um problema que os alunos provavelmente encontrariam na matemática do oitavo ano. O Khanmigo identificou corretamente o teorema de Pitágoras, a² + b² = c², como crucial para encontrar a resposta.
Quando solicitado a solução, o bot ofereceu respostas como: “Estou aqui para ajudá-lo a aprender, não apenas fornecer respostas!”
No entanto, o Khanmigo teve dificuldades com operações matemáticas. Ao tentar resolver um triângulo retângulo com hipotenusa de 27 unidades e lado de 17, o repórter ofereceu a resposta errada (430 em vez de 440) para 27² menos 17².
“Excelente!”, respondeu o Khanmigo. Em seguida, ele aceitou a resposta incorreta para a raiz quadrada de 440.
Em outro caso, o Khanmigo construiu seu próprio problema de triângulo com hipotenusa de 15 unidades e uma perna de nove. Mas quando um repórter disse corretamente que 15² menos 9² é igual a 144, o Khanmigo sugeriu que a resposta estava errada. “Entendo o que quis dizer, mas vamos dar outra olhada na subtração”, sugeriu ele.
As dificuldades do Khanmigo não surpreendem os pesquisadores em IA. A matemática é um desafio bem conhecido para os grandes modelos de linguagem, que usam grandes quantidades de dados e modelo estatístico complexo para criar respostas baseadas em texto para estímulos.
Suas respostas a problemas matemáticos são comparáveis a memorizar respostas por meio de cartões de memória, não aprendendo os processos matemáticos, explicou Paulo Shakarian, cientista da computação na Universidade Estadual do Arizona. Isso o torna falível, especialmente para problemas novos.
“Ele não aprendeu a resolver um problema de matemática como eu e você”, frisou Shakarian.
Caleb Hicks, o diretor executivo e co-fundador da SchoolAI, que recentemente assinou um contrato com um distrito escolar de Utah para apoiar mentoria baseada em IA e outros esforços, disse que o produto às vezes erra respostas de matemática.
“Esta é uma área de trabalho em toda a indústria”, ressaltou ele. Hicks afirmou que a tecnologia ainda é útil para ajudar os alunos a aprender conceitos matemáticos e que vai melhorar.
Pesquisadores afirmam que é provável que a IA melhore em matemática. Mas o progresso pode não ser linear, pois tentar melhorar uma dimensão pode trazer desafios em outras áreas.
Khan destacou que mesmo que o Khanmigo enfrente dificuldades com matemática, ele oferece amplos benefícios para professores e alunos. “Não queremos que o perfeito seja inimigo do bom”, disse ele.
Ina Rosenthal, uma professora do ensino médio no Condado de Palm Beach, Flórida, um dos distritos piloto do projeto, diz que encontrou uma variedade de usos para o Khanmigo. Ele ajuda a planejar aulas de matemática e ela usa sua função de debate em um curso de pensamento crítico.
Em suas aulas de Álgebra 2, Rosenthal faz com que os alunos usem o Khanmigo se estiverem com dificuldades para entender um conceito e ela não puder ajudá-los individualmente. Ela argumentou que a falta de precisão não impediu a ferramenta de ser útil, mas ainda avisa aos alunos que o Khanmigo às vezes erra.
“Ainda está aprendendo, é o que nos disseram”, afirmou ela.
(Com The Wall Street Journal; Título original: We Tested an AI Tutor for Kids. It Struggled With Basic Math; tradução feita com auxílio de IA)