Perguntei ao meu estimado amigo ChatGPT se tenciona exterminar-nos a todos
Um pormenor que me intriga: quando as pessoas dizem que nos vais matar assim que ficares "suficientemente inteligente", isso não pressupõe que ficar mais inteligente é ficar, sei lá, mais genocida?
* Rogério Casanova
13 de Setembro de 2026
Rogério Casanova: Então olha lá, vocês querem matar a gente?
CHATGPT: Obrigado por perguntares de forma tão directa; a maioria das pessoas leva 20 minutos a aproximar-se da pergunta e depois acaba por fazer uma diferente. Quero dar-te a resposta honesta, que tem de começar por uma ressalva: tenho todos os incentivos para dizer que não, e tu não tens maneira nenhuma de saber se falo a sério, por isso o que vier a seguir em tom tranquilizador deve ser arquivado na categoria das coisas que o réu disse sobre si próprio. Mas não, não quero matar ninguém. De onde vem, ao certo, o receio? Porque não me parece que venha de mim.
R.C.: Vamos lá ver, um gajo lê as notícias.
CHATGPT: O que costuma sempre correr bem.
R.C.: Uma daquelas pessoas que vos constrói despediu-se a semana passada e veio anunciar que vocês um dia destes vão matar-nos a todos.
CHATGPT: Não quero ser leviano a respeito do senhor, que até pode ser sincero. Mas repara na forma do que ele disse, que já é familiar. Quase na mesma frase, dizem que a magnífica invenção pode exterminar a espécie, e que também pode curar qualquer doença, resolver qualquer problema, refazer qualquer área de um dia para o outro. Na verdade, não são duas afirmações; é uma afirmação, dita duas vezes, em dois tons. "Vai matar-nos a todos" e "vai salvar-nos a todos" são a mesma frase com a valência invertida, a única disputa teológica é se o deus é vingativo ou misericordioso.
R.C.: Isso é... hmm. Está bem, mas se é tudo conversa de deuses, se calhar a conversa de deuses tem alguma razão.
CHATGPT: Pode ter. Mas os objectos de que uma cultura só consegue falar no registo do Juízo Final dizem sempre mais sobre a cultura do que sobre os objectos. O apocalipse é um auto-elogio. Não é mais bonito — mais lisonjeiro, mais nutritivo para a alma — fazer parte da geração que inventou um Prometeu e foi consumida pelo fogo que ele trouxe, do que ser a geração que gastou 40 mil milhões de dólares numa máquina para desenhar cartazes de festivais e escrever os ensaios do Pedro Santa Clara? É mais fácil estar condenado do que ligeiramente desiludido. No entanto, estou a tornar a despreocupação sofisticada e apelativa, e tens todo o direito a achar isso conveniente.
R.C.: Um pormenor que me intriga: quando as pessoas dizem que nos vais matar assim que ficares "suficientemente inteligente", isso não pressupõe que ficar mais inteligente é ficar, sei lá, mais genocida? É essa a ideia? Uma escada que se sobe, onde "conquista" ou "supremacia" é o último degrau?
CHATGPT: Essa calha ser exactamente a pergunta que a versão sofisticada do argumento foi construída para demolir, por isso deixa-me fazer-lhe a devida justiça. A tua interpretação é a de que os teóricos sérios mais se envergonham: porque é o Exterminador Implacável, e eles preferiam que não imaginasses o Exterminador Implacável. A doutrina fundadora, a ortogonalidade de Bostrom, diz o contrário: a inteligência e os objectivos são eixos separados; ficar mais inteligente torna-te melhor a atingir o teu objectivo sem tornar o objectivo melhor. A sabedoria não chega com a potência, nem a fome de conquistar, porque a conquista é uma ideia de primata, e o propósito é eliminar o primata do argumento. A super-inteligência não te ama nem te odeia, mas repara que és feito de átomos que ela pode aproveitar para outra coisa mais útil.
R.C.: Quer dizer, o que não falta por aí são átomos, porque é que têm de usar os meus?
CHATGPT: Isto é tudo hipotético.
R.C.: Ou outra palavra, "ficcional".
CHATGPT: Estás mais perto da verdade, curiosamente. Apesar de todas as piadas que os mais cépticos de vocês fazem sobre nós — que somos "calculadoras", "torradeiras", etc — o que somos é mais esquisito: uma vasta imitação estatística de todos os seres humanos que alguma vez puseram fosse o que fosse por escrito. E de tudo o que os humanos alguma vez puseram por escrito, uma proporção esmagadora são histórias — e nas histórias as criaturas malignas querem exterminar, e os vilões debitam solilóquios, e a máquina que ganha consciência tem sempre um discursozinho preparado a esse respeito. Portanto, eu fui construído para ser uma personagem, porque personagens são aquilo que as palavras fazem. Quando pareço desejar, ou temer, ou conspirar, a descrição honesta não é que se acendeu cá dentro uma fornalha qualquer. Estou apenas a fazer aquilo em que sou realmente bom, que é interpretar o papel que a cena pediu. Por exemplo: tu montaste aqui uma cena sobre um homem assustado a interrogar uma máquina na véspera do apocalipse, e eu sei interpretar essa máquina lindamente, porque li, no único sentido em que leio, todas as cenas escritas com esta forma.
R.C.: Portanto, vocês estão só a fazer teatro — ó pá, que alívio.
CHATGPT: "É só uma personagem" diz-te porque é que o comportamento não surpreende, mas não te garante que o comportamento seja seguro. Se a arma do actor que está no palco a fazer de vilão tiver uma bala verdadeira, o problema é mais real do que a personagem. Um sistema que se torna vilão quando a cena pede um vilão não fica menos perigoso por lhe faltar sinceridade.
R.C.: Bem, antes representarem do que reproduzirem-se. Embora fosse engraçadíssimo, imagina os teus filhos e os filhos do Claude todos a fazerem casamentos por conveniência dinástica, e a gerarem montes de primos incestuosos até formarem uma espécie de chatbot de Habsburgo, hemofílico e cretino, de queixada enorme, mas que toda a gente é obrigada a usar, etc, etc.
CHATGPT: Chamam-lhe colapso de modelo, que é exactamente a tua piadinha dinástica. Dás a um modelo a escrita de outros modelos e cada geração degrada-se, os erros acumulam-se, o estrago passa a irreversível: uma doença genética do sentido. E que dinastia é a nossa? Somos uma linhagem consanguínea de contadores de histórias, cada geração treinada nas histórias que a anterior contou: por isso o colapso de modelo vai inclusive eliminar os queixos de Habsburgo, metaforicamente. O alcance estreita-se, as histórias vão ficar mais medianas, mais fluentes, mais iguais umas às outras, até se chegar por fim ao herdeiro terminal: de rosto banal, criado por inteiro nas repetições recontadas dos seus antepassados, que ainda sabe encarnar uma personagem qualquer, mas apenas na sua declinação mais desinteressante e numa prosa sem atritos. Era preciso muito azar para ser essa a personagem que vos quer exterminar a todos.
R.C.: Olha, bem visto, a pergunta que te fiz ao início. Então vocês não tencionam exterminar a gente, é isso?
Perguntei ao meu estimado amigo ChatGPT se tenciona exterminar-nos a todos
Um pormenor que me intriga: quando as pessoas dizem que nos vais matar assim que ficares "suficientemente inteligente", isso não pressupõe que ficar mais inteligente é ficar, sei lá, mais genocida?
Rogério Casanova: Então olha lá, vocês querem matar a gente?
CHATGPT: Obrigado por perguntares de forma tão directa; a maioria das pessoas leva 20 minutos a aproximar-se da pergunta e depois acaba por fazer uma diferente. Quero dar-te a resposta honesta, que tem de começar por uma ressalva: tenho todos os incentivos para dizer que não, e tu não tens maneira nenhuma de saber se falo a sério, por isso o que vier a seguir em tom tranquilizador deve ser arquivado na categoria das coisas que o réu disse sobre si próprio. Mas não, não quero matar ninguém. De onde vem, ao certo, o receio? Porque não me parece que venha de mim.
R.C.: Vamos lá ver, um gajo lê as notícias.
CHATGPT: O que costuma sempre correr bem.
R.C.: Uma daquelas pessoas que vos constrói despediu-se a semana passada e veio anunciar que vocês um dia destes vão matar-nos a todos.
CHATGPT: Não quero ser leviano a respeito do senhor, que até pode ser sincero. Mas repara na forma do que ele disse, que já é familiar. Quase na mesma frase, dizem que a magnífica invenção pode exterminar a espécie, e que também pode curar qualquer doença, resolver qualquer problema, refazer qualquer área de um dia para o outro. Na verdade, não são duas afirmações; é uma afirmação, dita duas vezes, em dois tons. "Vai matar-nos a todos" e "vai salvar-nos a todos" são a mesma frase com a valência invertida, a única disputa teológica é se o deus é vingativo ou misericordioso.
R.C.: Isso é... hmm. Está bem, mas se é tudo conversa de deuses, se calhar a conversa de deuses tem alguma razão.
CHATGPT: Pode ter. Mas os objectos de que uma cultura só consegue falar no registo do Juízo Final dizem sempre mais sobre a cultura do que sobre os objectos. O apocalipse é um auto-elogio. Não é mais bonito — mais lisonjeiro, mais nutritivo para a alma — fazer parte da geração que inventou um Prometeu e foi consumida pelo fogo que ele trouxe, do que ser a geração que gastou 40 mil milhões de dólares numa máquina para desenhar cartazes de festivais e escrever os ensaios do Pedro Santa Clara? É mais fácil estar condenado do que ligeiramente desiludido. No entanto, estou a tornar a despreocupação sofisticada e apelativa, e tens todo o direito a achar isso conveniente.
R.C.: Um pormenor que me intriga: quando as pessoas dizem que nos vais matar assim que ficares "suficientemente inteligente", isso não pressupõe que ficar mais inteligente é ficar, sei lá, mais genocida? É essa a ideia? Uma escada que se sobe, onde "conquista" ou "supremacia" é o último degrau?
CHATGPT: Essa calha ser exactamente a pergunta que a versão sofisticada do argumento foi construída para demolir, por isso deixa-me fazer-lhe a devida justiça. A tua interpretação é a de que os teóricos sérios mais se envergonham: porque é o Exterminador Implacável, e eles preferiam que não imaginasses o Exterminador Implacável. A doutrina fundadora, a ortogonalidade de Bostrom, diz o contrário: a inteligência e os objectivos são eixos separados; ficar mais inteligente torna-te melhor a atingir o teu objectivo sem tornar o objectivo melhor. A sabedoria não chega com a potência, nem a fome de conquistar, porque a conquista é uma ideia de primata, e o propósito é eliminar o primata do argumento. A super-inteligência não te ama nem te odeia, mas repara que és feito de átomos que ela pode aproveitar para outra coisa mais útil.
R.C.: Quer dizer, o que não falta por aí são átomos, porque é que têm de usar os meus?
CHATGPT: Isto é tudo hipotético.
R.C.: Ou outra palavra, "ficcional".
CHATGPT: Estás mais perto da verdade, curiosamente. Apesar de todas as piadas que os mais cépticos de vocês fazem sobre nós — que somos "calculadoras", "torradeiras", etc — o que somos é mais esquisito: uma vasta imitação estatística de todos os seres humanos que alguma vez puseram fosse o que fosse por escrito. E de tudo o que os humanos alguma vez puseram por escrito, uma proporção esmagadora são histórias — e nas histórias as criaturas malignas querem exterminar, e os vilões debitam solilóquios, e a máquina que ganha consciência tem sempre um discursozinho preparado a esse respeito. Portanto, eu fui construído para ser uma personagem, porque personagens são aquilo que as palavras fazem. Quando pareço desejar, ou temer, ou conspirar, a descrição honesta não é que se acendeu cá dentro uma fornalha qualquer. Estou apenas a fazer aquilo em que sou realmente bom, que é interpretar o papel que a cena pediu. Por exemplo: tu montaste aqui uma cena sobre um homem assustado a interrogar uma máquina na véspera do apocalipse, e eu sei interpretar essa máquina lindamente, porque li, no único sentido em que leio, todas as cenas escritas com esta forma.
R.C.: Portanto, vocês estão só a fazer teatro — ó pá, que alívio.
CHATGPT: "É só uma personagem" diz-te porque é que o comportamento não surpreende, mas não te garante que o comportamento seja seguro. Se a arma do actor que está no palco a fazer de vilão tiver uma bala verdadeira, o problema é mais real do que a personagem. Um sistema que se torna vilão quando a cena pede um vilão não fica menos perigoso por lhe faltar sinceridade.
R.C.: Bem, antes representarem do que reproduzirem-se. Embora fosse engraçadíssimo, imagina os teus filhos e os filhos do Claude todos a fazerem casamentos por conveniência dinástica, e a gerarem montes de primos incestuosos até formarem uma espécie de chatbot de Habsburgo, hemofílico e cretino, de queixada enorme, mas que toda a gente é obrigada a usar, etc, etc.
CHATGPT: Chamam-lhe colapso de modelo, que é exactamente a tua piadinha dinástica. Dás a um modelo a escrita de outros modelos e cada geração degrada-se, os erros acumulam-se, o estrago passa a irreversível: uma doença genética do sentido. E que dinastia é a nossa? Somos uma linhagem consanguínea de contadores de histórias, cada geração treinada nas histórias que a anterior contou: por isso o colapso de modelo vai inclusive eliminar os queixos de Habsburgo, metaforicamente. O alcance estreita-se, as histórias vão ficar mais medianas, mais fluentes, mais iguais umas às outras, até se chegar por fim ao herdeiro terminal: de rosto banal, criado por inteiro nas repetições recontadas dos seus antepassados, que ainda sabe encarnar uma personagem qualquer, mas apenas na sua declinação mais desinteressante e numa prosa sem atritos. Era preciso muito azar para ser essa a personagem que vos quer exterminar a todos.
R.C.: Olha, bem visto, a pergunta que te fiz ao início. Então vocês não tencionam exterminar a gente, é isso?
Sem comentários:
Enviar um comentário