SOCIEDADE INTELIGÊNCIA
ARTIFICIAL
Ensino
superior Um ano depois de ter sido criado, o ChatGPT, ferramenta capaz
de produzir textos em qualquer área, generalizou-se, gerando dúvidas sobre
autoria de teses e trabalhos. Universidades já estão a mudar regras de
avaliação
IA obriga
faculdades a mudar avaliação de alunos, por
JOANA PEREIRA BASTOS
2023 11 03
No passado ano
letivo, Rui Sousa Silva, professor da Faculdade de Letras da Universidade do
Porto, pediu um trabalho académico a uma turma de 50 alunos do 1º ano. Quando
começou a corrigi-los, notou algo estranho: nenhum dos trabalhos continha um
único erro ortográfico ou gramatical, nem sequer uma pequena gralha, coisa
nunca antes vista. E as frases eram curtas e diretas, sem orações intercalares,
um estilo típico do inglês mas pouco frequente na escrita portuguesa.
Independentemente do conteúdo e do tema, que variava, a estrutura era
praticamente igual em todos. Especialista em linguística forense, o docente
rapidamente concluiu: “Estes textos não foram escritos por humanos.”
Na altura, o
ChatGPT ainda era muito recente. Numa das aulas, Rui Sousa Silva tinha
conversado com os alunos sobre esta ferramenta de inteligência artificial (IA)
generativa que reproduz a linguagem humana na perfeição e é capaz de responder
a perguntas e gerar, em poucos segundos, textos completos em qualquer área e à
medida das instruções que recebe, desde poemas a ensaios ou teses académicas.
Deixou claro que podiam usá-la para apoio na pesquisa, mas nunca para a
realização integral dos trabalhos. Por isso estranhou que tivessem contrariado
as suas indicações. Mas a análise linguística que tinha feito dos textos
entregues pelos estudantes não oferecia dúvidas, assim como o facto de nenhuma
das dissertações fazer referência aos autores que tinham sido abordados em
aula. Quando os confrontou, a grande maioria dos alunos acabou por admitir que
o verdadeiro autor dos trabalhos era o ChatGPT.
Criada há um
ano, a ferramenta generalizou-se rapidamente, ultrapassando em apenas dois
meses a marca dos 100 milhões de utilizadores a nível mundial e
transformando-se no software com o crescimento mais rápido da História. Para as
universidades, nunca nada foi tão potencialmente disruptivo. Ao acelerar a um
ritmo inimaginável a capacidade de pesquisa e cruzamento de fontes, as
aplicações de IA generativa, como o ChatGPT ou o Bard, por exemplo, podem
ajudar a produção científica e, em última análise, fortalecer a aprendizagem;
mas, ao mesmo tempo, são capazes de minar a integridade da avaliação dos alunos
e até reduzir a sua capacidade de reflexão se os estudantes se limitarem a
pedir à máquina que pense por si e a reproduzir acriticamente os textos gerados
por esta.
Em todo o
mundo, as instituições de ensino superior estão ainda a tentar perceber como
adaptar-se à nova realidade. Algumas universidades de referência, como a
francesa Sciences Po, proibiram estas ferramentas, mas a maioria acredita que é
impossível travar o seu uso. Por isso muitas optaram por permitir esta
tecnologia e até incentivar a sua utilização, desde que com regras e com
ajustes ao modelo de avaliação. É essa também a tendência em Portugal.
“As tecnologias
de IA no ensino não podem ser proibidas. Não há como. Dessa forma, pelo
contrário, devem ser utilizadas por todos, em condições controladas, para se
perceber como se pode tirar partido delas para aumentar a eficiência da
aprendizagem sem pôr em causa o treino e aquisição de competências”, defende
Rogério Colaço, presidente do Instituto Superior Técnico, frisando que os
alunos têm de perceber que “não as poderão usar de forma acrítica ou
fraudulenta”. Para o evitar, devem reforçar-se as avaliações presenciais, diz.
Em alguns
cursos da Universidade do Minho já foram mesmo introduzidas alterações na
avaliação, “promovendo-se a substituição de trabalhos escritos por provas
orais”. Também no Instituto Superior de Economia e Gestão (ISEG), em Lisboa,
foram aprovadas pelo Conselho Pedagógico várias recomendações no sentido de
privilegiar avaliações presenciais, como exames ou trabalhos elaborados nas
aulas. Os que forem realizados fora das salas terão de contemplar uma
apresentação oral com um peso significativo na nota — entre 50% e 60% no caso
de teses de mestrado e doutoramento — para “confirmar a autoria do trabalho”. E
será exigido aos alunos que declarem em que tarefas ou fases da investigação
usaram estas tecnologias. “Fugimos do modelo proibicionista. A nossa ideia é
mitigar os riscos da utilização da IA generativa, potenciando as suas
vantagens”, explica Tiago Cruz Gonçalves, professor do ISEG e membro do grupo
de trabalho que produziu estas recomendações.
ERROS,
FALSIDADES E ALUCINAÇÕES
Nas suas aulas,
o docente ajuda os alunos a usar o ChatGPT ou o Bing para melhorarem a
pesquisa, alertando-os para os riscos: ao recorrerem a uma quantidade
gigantesca de informação disponível na internet sem distinguir o que é
verdadeiro ou falso, estas ferramentas podem reproduzir erros e fontes que não
são fiáveis e replicar “enviesamentos cognitivos”, geográficos ou de género,
por exemplo.
Na Escola de
Tecnologias Aplicadas do ISCTE este tipo de formação é obrigatória para os
estudantes de todas as licenciaturas. No módulo Trabalho Académico com IA os
jovens aprendem a usar devidamente estas aplicações, até porque a qualidade dos
textos produzidos depende da forma mais ou menos sofisticada como lhes forem
dadas as instruções e for formulada a pergunta ou o pedido. E ganham
consciência das limitações desta tecnologia — que não são poucas. “O ChatGPT
tem grande dificuldade em apresentar os dados que sustentam as afirmações que
produz e não refere as fontes em que se fundamenta. Quando pedimos as
referências bibliográficas em que se baseia, muitas vezes alucina e inventa,
invocando artigos científicos que não existem”, adverte o diretor da escola,
Ricardo Paes Mamede.
Ainda assim, o
docente considera que a ferramenta “é muito boa a organizar e sintetizar
argumentos” e tem uma ótima qualidade de escrita, “melhor do que a da maioria
dos alunos”. Foi isso, aliás, o que o levou a perceber que a tese de mestrado
que um orientando lhe apresentou não tinha sido produzida por ele mas pela
aplicação. Conhecia bem a escrita do aluno e não batia certo com o que via à
sua frente. “Do ponto de vista da estrutura do texto e da redação, foi a
dissertação mais bem escrita que já alguma vez vi”, diz. Mas, além de
constituir uma fraude, a tese não era apresentável, por não conter quaisquer
referências ou citações ao longo do texto nem fundamentar as afirmações,
violando um princípio básico da ciência.
Ricardo Paes
Mamede deu duas opções ao aluno: ou refazia a tese por ele próprio ou tinha de
referir as fontes em que esta se baseava. Sem conseguir encontrá-las, o jovem
acabou por apresentar uma dissertação efetivamente sua, usando a aprendizagem
do ChatGPT apenas para melhorar a sua redação. “Pode estar menos bem escrita ou
pior estruturada, mas é dele, é original, e refere as fontes que consultou.
Isso é o mais importante”, salienta. Agora, o diretor do ISCTE Sintra incentiva
os estudantes a recorrerem à IA generativa sobretudo para rever e aprimorar os
textos que produzem, melhorando a escrita e a estrutura. Desse modo aprenderão
a dominar uma tecnologia emergente respeitando princípios éticos e científicos.
HUMANO VS.
MÁQUINA
Depois do
surgimento do ChatGPT, muitas plataformas de deteção de plágio usadas pelas
universidades receberam atualizações para abranger também a deteção de escrita
gerada por inteligência artificial, indicando o grau de probabilidade de
determinado texto ter sido escrito por uma máquina. Um pouco por todo o mundo,
os professores têm recorrido a estes softwares para perceber se há fraude na
autoria dos trabalhos, mas os resultados ainda são pouco fiáveis.
Foi o que Rui
Sousa Silva comprovou. Sendo especialista em linguística forense e deteção de
plágio, conseguiu perceber a fraude, depois confessada pelos alunos, mas o
software foi incapaz de a detetar. E também já foram reportados casos em que
aconteceu o oposto, isto é, em que o software gerou “falsos positivos”. Por
exemplo, uma destas plataformas apontou como muito provável a Constituição dos
EUA ter sido escrita pelo ChatGPT. Assim sendo, há a possibilidade real de
alunos inocentes serem injustamente acusados e de colegas fraudulentos
escaparem impunes. “Todas as ferramentas que vi até agora falham bastante na
deteção da IA. E pairar um ambiente de dúvida é muito pouco saudável”, diz o
docente.
André Casado,
professor na Faculdade de Ciências Humanas da Universidade Católica,
confrontou-se este ano com o peso dessa incerteza. A tese de mestrado de um
aluno seu na área de Marketing foi classificada pelo software usado pela
instituição como tendo uma probabilidade superior a 50% de ter sido escrita por
IA, mas o estudante não assumiu. “Não temos como provar”, assume o professor. É
a palavra de um humano contra o veredicto de uma máquina sobre se a tese é,
afinal, do humano ou da máquina.
Entre tantas
incertezas, as universidades estão ainda a refletir sobre como devem proceder.
Ninguém duvida das potencialidades desta tecnologia, mas são também muitos os
receios. “Pode ser bastante enriquecedora para o ensino e para a ciência. Mas
se for usada sem controlo, vai acabar por condenar o pensamento e a escrita”,
teme Rui Sousa Silva.
FRASES
“Não há como
proibir as tecnologias de IA no ensino. Por isso, devem ser usadas por todos,
em condições controladas, para se perceber como se pode tirar partido delas”
Rogério
Colaço
Presidente do
Instituto Superior Técnico
“O ChatGPT
pode ser bastante enriquecedor para o ensino e para a ciência. Mas se for usado
sem controlo, vai acabar por condenar o pensamento e a escrita”
Rui Sousa
Silva
Professor da
Faculdade de Letras do Porto
https://leitor.expresso.pt/semanario/semanario2662/html/primeiro-caderno/sociedade/ia-obriga-faculdades-a-mudar-avaliacao-de-alunos-
