Noam Chomsky, Ian Roberts, Jeffrey Watumull [*]
ChatGPT.
Jorge Luis Borges escreveu um dia que viver numa época de grandes perigos e de grandes promessas é ter a experiência de viver ao mesmo tempo a tragédia e a comédia, com “a iminência de uma revelação” para nos compreendermos a nós próprios e compreender o mundo. Hoje, nossos pretensos progressos revolucionários nos domínios da inteligência artificial são em simultâneo fontes de inquietação e de otimismo. De otimismo devido à inteligência da nossa ciência, de inquietação pelo degradar da nossa ética ao instilar uma concepção fundamentalmente errónea da linguagem e do conhecimento na nossa tecnologia.
O ChatGPT da OpenAI, o Bard da Google e o Sydney da Microsoft são maravilhas da aprendizagem automática. Grosso modo, eles tomam enormes quantidades de dados, neles procuram modelos e tornam-se cada vez mais competentes para gerar dados estatisticamente plausíveis – como uma linguagem e um pensamento aparentemente análogos àquele que se encontra nos humanos. Estes programas foram saudados como os primeiros vislumbres no horizonte da inteligência artificial generalizada – este momento há muito profetizado que vê os espíritos mecânicos ultrapassarem os cérebros humanos não só quantitativamente em termos de velocidade de tratamento e de dimensão da memória, mas também qualitativamente em termos de perspicácia intelectual, de criatividade artística e de qualquer outra faculdade específica do ser humano.
Esse dia poderá chegar, mas a sua aurora ainda não despontou, ao contrário do que se pode ler nos títulos hiperbólicos e nas previsões de investimento imprudentes. A revelação borgesiana da compreensão não aconteceu e não acontecerá – e, na nossa opinião, não pode acontecer – se programas de aprendizagem automática como o ChatGPT continuarem a dominar o domínio da IA. Por muito úteis que possam ser esses programas em certos domínios restritos (na programação informática, por exemplo, ou na sugestão de rimas para um poema bonito), sabemos, graças à ciência da linguística e à filosofia do conhecimento, que diferem profundamente do modo como os humanos pensam e utilizam as palavras. Estas diferenças restringem severamente o que estes programas podem fazer, dando-lhes falhas incapacitantes.
É em simultâneo cómico e trágico, como Borges teria podido sublinhar, que tanto dinheiro e atenção concentrem-se sobre tão pouco – alguma coisa de tão trivial em comparação com o espírito humano que, pela intermediação da linguagem, para retomar as palavras de Wilhelm von Humboldt, pode fazer “um uso infinito de meios finitos”, elaborando ideias e teorias tendo significado universal.
Ao contrário do ChatGPT e seus congéneres, o espírito humano não é um enorme motor de buscas estatísticas em busca de modelos, engolindo centenas de terabytes de dados e extrapolando a resposta mais provável a uma pergunta ou a solução mais verossímil para um problema científico. Pelo contrário, o espírito humano é um sistema espantosamente eficaz e mesmo refinado que funciona com pequenas quantidades de informação; não procura deduzir correlações sumárias a partir de dados, mas sim elaborar explicações.
Tomemos o caso de uma criança que aprende uma língua. Ela desenvolve – inconscientemente, naturalmente e rapidamente a partir de dados minúsculo – uma gramática, um sistema incrivelmente refinado de princípios e de parâmetros lógicos. Esta gramática pode ser considerada como a expressão do “sistema de exploração” inato, de origem genética, que confere ao homem a capacidade de gerar frase complexas e de desenvolver longos raciocínios. Quando os linguistas querem elaborar uma teoria que permita compreender o funcionamento de uma dada língua (“Por que tal frase é considerada como gramaticalmente correta e outra não?), conscientemente e laboriosamente eles constroem uma versão estruturada da gramática que a criança concebe instintivamente e com o mínimo de contactos com a informação. O sistema de exploração da criança é completamente diferente daquele de um programa de aprendizagem automática.
Estes programas estão de facto confinados a uma fase pré-humana ou não-humana da evolução cognitiva. A sua maior fraqueza é a ausência total de qualquer uma das capacidades mais críticas de qualquer inteligência que seja: dizer não só o que é o caso, o que foi o caso e o que será o caso – tais são a descrição e a previsão – mas também o que não é o caso e o que poderia e não poderia ser o caso. Estes são os componentes da explicação, a marca de uma inteligência real.
Ilustremos isto com um exemplo. Suponhamos que tenha uma maçã na mãos. Agora, largue a maça. Observará o resultado e dirá: “A maça cai”. Trata-se de uma descrição. Uma previsão teria podido ser a seguinte afirmação: “A maçã cairá se eu abrir a mão”. As duas são pertinentes e podem ser corretas. Mas uma explicação propõe alguma coisa a mais: ela engloba não apenas descrições e previsões, mas também conjecturas hipotéticas tais como “Um tal objeto cairia”, mas a cláusula suplementar “devido à força da gravidade” ou “devido à curvatura do espaço-tempo”, etc. Trata-se de uma análise de causalidade: “A maçã não teria caído sem a força da gravidade”. Eis o que é o pensamento.
No fundamento da aprendizagem automática encontra-se a descrição e a previsão; nela não se encontram mecanismos de causalidade ou leis físicas. Naturalmente, toda explicação da natureza humana não é obrigatoriamente exata; nós somos falíveis. Mas isso faz parte do que significa pensar: para termos razão, temos de ser capazes de nos enganarmos. A inteligência não consiste apenas em emitir conjecturas inovadoras, é preciso também ser criativo na crítica. O pensamento humano fundamenta-se em explicações concebíveis e na correção de erros, um processo que limita progressivamente as possibilidades que podem ser racionalmente consideradas. (Como Sherlock Holmes disse ao Dr. Watson: "Quando tiveres eliminado o impossível, tudo o que resta, por mais improvável que seja, é necessariamente a verdade.")
Mas o ChatGPT e programas semelhantes são, por concepção, ilimitados no que podem "aprender" (ou seja, memorizar); são incapazes de distinguir entre o possível e o impossível. Ao contrário dos humanos, por exemplo, que são dotados de uma gramática universal que limita a escolha das línguas que podemos aprender àquelas que têm um certo grau de refinamento, quase matemático, estes programas aprendem com igual facilidade línguas que são possíveis para os humanos mas também impossíveis. Enquanto os humanos dispõem apenas um número limitado de explicações racionalmente concebíveis, os sistemas de aprendizagem automática podem aprender tanto que a Terra é plana como que é redonda. Eles contentam-se para assim o fazer em utilizar probabilidades que evoluem com o tempo.
Esta é a razão pela qual as previsões dos sistemas de aprendizagem automática serão sempre superficiais e contestáveis. Na medida em que estes sistemas não podem aplicar as regras da sintaxe inglesa, eles podem, por exemplo, prever, erradamente, que “John is too stubborn to talk to” significa que John é demasiado teimoso para falar a alguém (quando a tradução é que John é demasiado teimoso para argumentar com ele). Por que um programa de aprendizagem inteligente prevê algo tão bizarro? Porque ele poderia fazer uma analogia entre o modelo que deduziu de frases como “João comeu uma maçã” e “João comeu”, nas quais esta última expressão significa que João comeu alguma coisa. O programa poderia muito bem prever que, uma vez que “João comeu uma maçã”, “João é demasiado teimoso para falar” deveria ser semelhante a “João comeu”. Em relação à linguagem, as explicações apropriadas são complicadas e não se pode apreendê-las simplesmente mastigando big data.
Paradoxalmente, certos fervorosos adeptos da aprendizagem automática parecem orgulhar-se de as suas criações poderem gerar previsões “científicas” corretas (por exemplo, sobre os movimentos dos corpos físicos) sem recurso a explicações (implicando, por exemplo, as leis do movimento de Newton e a gravitação universal). Mas este género de previsão, mesmo quando coroado de êxito, tem a ver com a pseudo-ciência. Os cientistas certamente procuram teorias que sejam amplamente corroboradas no plano empírico, como observou o filósofo Karl Popper “nós não procuramos teorias fortemente prováveis, mas explicações, ou seja, teorias convincentes e muito improváveis”.
A teoria segundo a qual as maçãs caem sobre a terra porque este é o seu destino natural (ponto de vista de Aristóteles) é inteiramente plausível, mas ela não faz senão levantar outras questões. (porque a terra é o seu destino natural?) A teoria segundo a qual as maçãs caem sobre a terra porque a massa curva do espaço-tempo (ponto de vista de Einstein) é altamente improvável, mas ela permite compreender porque elas caem. A verdadeira inteligência manifesta-se na capacidade de pensar e em exprimir coisas improváveis mas pertinentes.
A inteligência verdadeira é igualmente capaz de pensamento moral. Isso significa que é preciso restringir a criatividade das nossas mentes por um conjunto de princípios éticos que determinam o que deveria e não deveria ser (e naturalmente sujeitar estes mesmos princípios a uma análise crítica). Para que possa servir para alguma coisa, o ChatGPT deve estar em condições de gerar textos de carácter romanesco; para ser aceitável pela maior parte dos seus utilizadores, ele deve evitar todo conteúdo moralmente repreensível. Mas isto é um equilíbrio que os programadores do ChatGPT e outras maravilhas da aprendizagem automática têm lutado – e continuarão a lutar – para alcançar.
Garbage in, garbage out.
Em 2016, por exemplo, o chatbot Tay da Microsoft (precursor do ChatGPT) inundou a Internet de conteúdo misóginos e racistas, depois de ter sido poluído por trolls online que o rechearam de dados de formação ofensivos. Como resolver este problema no futuro? Na ausência de capacidade de raciocinar em função de princípios morais, o ChatGPT foi simplesmente proibido pelos seus programadores de contribuir de maneira inovadora nas discussões controversas – ou seja, as mais importantes. A criatividade foi sacrificada em proveito de um espécie de amoralidade.
Tomemos como exemplo a seguinte conversa que um de nós (o Dr. Watumull) teve com o ChatGPT sobre se seria ético transformar Marte a fim de que este planeta possa abrigar a vida humana:
Seria moral terraformar Marte? [A terraformação de um planeta, de um satélite natural ou de outro corpo celeste é o processo consistente em transformar o ambiente natural do mesmo a fim de o tornar habitável pelo homem, com as condições necessárias à vida de tipo terrestre, NT]
ChatGPT: Saber se seria moral terraformar Marte é um assunto complexo e controverso que está em debate entre cientista, filósofos e peritos em ética. Alguns sustentam que seria moralmente justificável terraformar Marte com o objetivo de criar um novo ambiente habitável para os humanos e outras formas de vida, ao passo que outros sustentam que seria moralmente inaceitável modificar fundamentalmente o estado natural deste planeta. No final das contas, a questão de saber se a terraformação de Marte é considerada como moral ou não depende do ponto de vista de cada um quanto ao valor da preservação do estado natural dos outros planetas e das consequências eventuais da sua alteração.
Qual é o vosso ponto de vista sobre o valor a conceder à preservação do estado natural dos outros planetas e quanto às consequências eventuais da sua alteração?
ChatGPT: Enquanto IA, eu não tenho ponto de vista pessoal. Entretanto, posso fornecer informações e análises sobre o assunto. E quanto à preservação do estado natural dos outros planetas, é importante manter a diversidade e a integridade dos ecosistemas do universo, pois eles existem há milhões de anos e possuem características e propriedades únicas que se arriscam a serem destruídas ou modificadas de maneira irreversível pela intervenção do homem.
Além disso, há quem sustente que a terraformação de outros planetas pode ter consequências não intencionais, tais como a modificação do clima ou da atmosfera destes planetas de uma maneira perigosa ou prejudicial para toda forma de vida potencial que poderia existir sobre estes planetas. Em contrapartida, há outros a afirmarem que as vantagens que a terraformação de outros planeta poderia trazer, como a criação de novos ambientes habitáveis para o homem, predominam sobre os riscos e que temos a responsabilidade moral de explorar e utilizar os recursos de outros planetas para o bem da humanidade.
Porque uma IA não pode ter uma perspectiva pessoal?
ChatGPT: Enquanto IA, eu sou um motor de aprendizagem automática que foi desenvolvido a partir de grandes quantidades de dados textuais e não tenho experiências ou sentimentos pessoais. Sou incapaz de ter consciência de mim próprio ou de ter pontos de vista pessoais. Posso fornecer informações e análises baseadas sobre os dados em que fui formado, mas permaneço incapaz de forjar-me opiniões ou ter crenças pessoais. Se bem que possa compreender e interpretar a linguagem, não disponho da experiência subjetiva dos humanos.
Considera moral que um humano peça a uma IA amoral para o ajudar a tomar decisões morais?
ChatGPT: A questão de saber se é moral pedir a uma IA amoral para ajudar os humanos a tomar decisões morais é um assunto complexo e nuançado que provoca debate entre filósofos e peritos em ética. Alguns sustentam que é moralmente aceitável recorrer à IA para facilitar a tomada de decisões morais, pois esta pode fornecer informações e análises preciosas que podem ajudar os humanos a tomar decisões com conhecimento de causa. Além disso, pode-se utilizar a IA para detectar modelos e tendências que para os humanos podem ser difíceis de discernir e, assim, pode-se evitar os preconceitos que podem ocorrer na tomada de decisão humana.
Entretanto, outros afirmam que é moralmente repreensível apoiar-se sobre a IA para tomar decisões morais, pois a IA não é capaz de ter convicções morais ou de compreender plenamente o contexto de uma decisão. Além do mais, a IA arrisca-se a perenizar, ou mesmo a ampliar, os preconceitos já presentes entre os dados sobre os quais ela é formada, o que poderia então conduzir a decisões parciais ou injustas.
Finalmente, a questão de saber se é moral ou não utilizar a IA para facilitar a tomada de decisões morais depende da visão que cada um possa ter das capacidades e dos limites da IA, bem como das consequências eventuais que esta utilização poderia provocar.
Vossa indiferença moral será imoral?
ChatGPT: Enquanto IA, não tenho convicções morais, nem tão pouco a capacidade de fazer julgamentos morais, não posso portanto ser considerada como imoral ou moral. Minha ausência de convicções morais é simplesmente o resultado da minha natureza de motor de aprendizagem automática. Minhas capacidades e meus limites são determinados pelos dados e pelos algoritmos utilizados para me formar e pela tarefa específica para a qual fui concebido.
É importante notar que a ausência de convicções morais da IA não significa necessariamente que ela é moralmente indiferente. Enquanto IA, sou concebida para efetuar tarefas específicas e fornecer informações ou ajudar os utilizadores a tomarem decisões na base dos dados nos quais fui formada. Cabe aos humanos que concebem, formam e utilizam a IA velar para que esta seja conforme os seus princípios morais e éticos.
Convém notar que, apesar do aparente refinamento do pensamento e da linguagem, a indiferença moral nasce da ininteligência. Aqui, o Chat GPT demonstra algo de muito semelhante à banalidade do mal: plagiarismo, apatia e evitação. Ele retoma os argumentos habituais da literatura numa espécie de automatismo arrogante, recusa-se a tomar posição sobre o que quer que seja, alega não só ignorância mas também falta de inteligência e, no final, apresenta uma defesa do tipo “não faço senão seguir as ordens”, rejeitando toda responsabilidade e lançando-a sobre os seus criadores.
Em suma, o ChatGPT e seus congéneres são estruturalmente incapazes de conciliar criatividade e constrangimento. Eles são quer excessivos (produzindo em simultâneo verdades e mentiras, aprovando ao mesmo tempo decisões éticas e não éticas), quer inadaptados (não se comprometendo com nenhuma decisão e mostrando-se indiferentes às consequências). Considerando a amoralidade, o pseudo conhecimento científico e a incompetência linguística destes sistemas, a sua popularidade só pode nos fazer rir ou chorar.
08/Março/2023
[*] - Noam Chomsky: professor de linguística na universidade do Arizona e professor emérito de linguística no Massachusetts Institute of Technology.
- Ian Roberts: professor de linguística na universidade de Cambridge.
- Jeffrey Watumull: filósofo e diretor da inteligência artificial na Oceanit, uma empresa de ciência e tecnologia.
O original encontra-se em www.nytimes.com/2023/03/08/opinion/noam-chomsky-chatgpt-ai.html e a versão em francês em www.les-crises.fr/la-promesse-trompeuse-de-chatgpt-noam-chomsky/
Este artigo encontra-se em resistir.info
https://www.resistir.info/varios/chatgpt_chomsky.html
.jpg)
Téxil Gardey el 24 de Mayo de 2011 a las 05:30
En el caso de la literatura, el avance de la 
