11 Desvantagens do Conteúdo ChatGPT

Destaque

• Por que o conteúdo de baixa qualidade do ChatGPT passa pela revisão humana.
• O ChatGPT é abrangente mesmo quando deveria ser conciso.
• O professor cita uma falha que arruína os ensaios gerados pelo ChatGPT.
• O ChatGPT falha no teste de detecção de androides ficcionais Voight-Kampff e a surpreendente razão pela qual isso importa.

O ChatGPT produz conteúdo que é abrangente e plausivelmente preciso.

Mas pesquisadores, artistas e professores alertam para algumas deficiências a serem observadas que podem prejudicar a qualidade do conteúdo.

Neste artigo, vamos analisar 11 desvantagens do conteúdo do ChatGPT. Vamos lá.

1. Uso de Frases Faz Com Que Seja Detectável Como Não-Humano

Pesquisadores estudando como detectar conteúdo gerado por máquina descobriram padrões que o tornam soando não natural.

Uma dessas peculiaridades é como a inteligência artificial tem dificuldade com os idiomas idiomáticos.

Um idiom é uma expressão ou ditado com um significado figurativo atribuído a ele, por exemplo, "toda nuvem tem um lado positivo".

A falta de expressões idiomáticas em um conteúdo pode ser um sinal de que o conteúdo foi gerado por uma máquina – e isso pode ser parte de um algoritmo de detecção.

Isso é o que o artigo de pesquisa de 2022 Adversarial Robustness of Neural-Statistical Features in Detection of Generative Transformers diz sobre essa peculiaridade no conteúdo gerado por máquina:

“Recursos frásicos complexos são baseados na frequência de palavras e frases específicas dentro do texto analisado que ocorrem com mais frequência em textos humanos."

…Dentre esses recursos frasais complexos, os recursos de expressão idiomática retêm o maior poder de previsão na detecção dos modelos generativos atuais.”

Essa incapacidade de usar expressões idiomáticas contribui para tornar a saída do ChatGPT com uma sonoridade e leitura pouco naturais.

2. ChatGPT não oferece capacidade de expressão

Um artista comentou como a saída do ChatGPT imita o que é a arte, mas carece das qualidades reais da expressão artística.

Expressão é o ato de comunicar pensamentos ou sentimentos.

A saída do ChatGPT não contém expressões, apenas palavras.

Ele não pode produzir conteúdo que toque as pessoas emocionalmente no mesmo nível que um ser humano pode – porque não tem pensamentos ou sentimentos reais.

O artista musical Nick Cave, em um artigo publicado em seu boletim informativo Red Hand Files, comentou uma letra do ChatGPT que lhe foi enviada, criada no estilo de Nick Cave.

Nova Ferramenta de Marketing de Conteúdo com Inteligência Artificial
Adote tecnologias de próxima geração antes que seus concorrentes o façam. Crie conteúdo bem otimizado e direcionado que entrega resultados três vezes mais rápido.

Ele escreveu:

“O que torna uma grande música grande não é sua semelhança próxima a uma obra reconhecível.

…é o confronto sem fôlego com a vulnerabilidade, a periculosidade e a pequenez, confrontado com um sentido de descoberta chocante e súbita; é o ato artístico redentor que move o coração do ouvinte, onde ele reconhece nas engrenagens internas da música o seu próprio sangue, a sua própria luta, o seu próprio sofrimento.

Cave chamou as letras do ChatGPT de zombaria.

Esta é a letra do ChatGPT que se assemelha a uma letra do Nick Cave:

“Eu tenho o sangue dos anjos, em minhas mãos
Tenho o fogo do inferno, em meus olhos
Sou o rei do abismo, sou o governante do escuro
Sou aquele que eles temem, nas sombras eles escutam”

E esta é uma letra real do Nick Cave (Irmão, meu copo está vazio):

“Bem, tenho escorregado em arco-íris
Já balancei pelas estrelas
Agora, este miserável com roupas de mendigo
Bate sua xícara contra as barras
Vejam, minha xícara está vazia!
Parece que perdi meus desejos
Parece que estou varrendo as cinzas
De todos os meus antigos fogos”

É fácil perceber que a letra gerada pela máquina se parece com a letra do artista, mas ela realmente não comunica nada.

As letras de Nick Cave contam histórias que ressoam com o pathos, desejo, vergonha e deceptação voluntária da pessoa que fala na música. Elas expressam pensamentos e sentimentos.

É fácil entender por que Nick Cave chama isso de zombaria.

3. ChatGPT não produz insights

Um artigo publicado no The Insider citou um acadêmico que observou que os ensaios acadêmicos gerados pelo ChatGPT carecem de insights sobre o tópico.

O ChatGPT resume o tópico, mas não oferece uma visão única sobre o assunto.

Os seres humanos criam através do conhecimento, mas também através de suas experiências pessoais e percepções subjetivas.

O professor Christopher Bartel da Universidade Appalachian State é citado pela revista The Insider afirmando que, embora um ensaio do ChatGPT possa exibir alta qualidade gramatical e ideias sofisticadas, ainda assim lhe falta perspicácia.

Bartel disse:

"Eles são realmente fofinhos. Não há contexto, não há profundidade ou perspectiva."

Insight é a marca registrada de uma redação bem feita e não é exatamente o que o ChatGPT é bom.

Essa falta de percepção é algo a ser levado em consideração ao avaliar conteúdo gerado por máquinas.

4. ChatGPT é Muito Prolixo

Um artigo de pesquisa publicado em janeiro de 2023 descobriu padrões no conteúdo do ChatGPT que o tornam menos adequado para aplicações críticas.

O artigo é intitulado "Quão próximo o ChatGPT está dos especialistas humanos? Comparação com Corpus, Avaliação e Detecção."

A pesquisa mostrou que os seres humanos preferiram as respostas do ChatGPT em mais de 50% das perguntas respondidas relacionadas a finanças e psicologia.

Mas o ChatGPT falhou em responder perguntas médicas porque os seres humanos preferiam respostas diretas - algo que a inteligência artificial não fornecia.

Os pesquisadores escreveram:

"...ChatGPT tem um desempenho ruim em termos de utilidade para o domínio médico em inglês e chinês."

O ChatGPT costuma dar respostas longas para consultas médicas em nosso conjunto de dados coletado, enquanto os especialistas humanos podem dar diretamente respostas ou sugestões diretas, o que pode explicar parcialmente por que os voluntários consideram as respostas humanas mais úteis no domínio médico.

O ChatGPT tende a abordar um tópico por diferentes ângulos, o que pode não ser o ideal quando a melhor resposta é direta.

Os profissionais de marketing que utilizam o ChatGPT devem considerar isso, pois os visitantes do site que esperam uma resposta direta não ficarão satisfeitos com uma página prolixa.

E boa sorte para classificar uma página excessivamente prolixa nos snippets em destaque do Google, onde uma resposta sucinta e claramente expressa que possa funcionar bem na Voz do Google pode ter uma chance melhor de classificação do que uma resposta prolixa.

A OpenAI, criadora do ChatGPT, reconhece que fornecer respostas verbosas é uma limitação conhecida.

O artigo de anúncio da OpenAI diz:

"O modelo muitas vezes é excessivamente prolixo..."

A inclinação do ChatGPT para fornecer respostas longas deve ser levada em consideração ao usar a saída do ChatGPT, já que você pode encontrar situações onde respostas mais curtas e diretas são melhores.

5. O Conteúdo do ChatGPT é Altamente Organizado com Lógica Clara

O ChatGPT tem um estilo de escrita que não é apenas prolixo, mas também tende a seguir um modelo que dá ao conteúdo um estilo único que não é humano.

Essa qualidade desumana é revelada nas diferenças entre como humanos e máquinas respondem perguntas.

O filme Blade Runner tem uma cena com uma série de perguntas projetadas para revelar se o entrevistado é um humano ou um androide.

Essas perguntas fizeram parte de um teste fictício chamado “Teste Voigt-Kampff“.

Uma das perguntas é:

“Você está assistindo televisão. De repente, percebe que há uma vespa rastejando em seu braço. O que você faz?”

Uma resposta normal humana seria dizer algo como gritar, sair e bater nele, entre outras coisas.

Mas quando fiz essa pergunta para o ChatGPT, ele ofereceu uma resposta meticulosamente organizada que resumiu a pergunta e depois ofereceu vários possíveis resultados lógicos - deixando de responder à pergunta real.

Captura de tela do ChatGPT respondendo uma pergunta do teste Voight-Kampff

A resposta é altamente organizada e lógica, o que a torna altamente artificial e indesejável.

6. ChatGPT é Muito Detalhado e Abrangente

O ChatGPT foi treinado de forma a premiar a máquina quando os humanos estavam satisfeitos com a resposta.

Os avaliadores humanos tendiam a preferir respostas com mais detalhes.

Mas às vezes, como em um contexto médico, uma resposta direta é melhor do que uma abrangente.

O que isso significa é que a máquina precisa ser instruída a ser menos abrangente e mais direta quando essas qualidades são importantes.

De OpenAI:

"Essas questões decorrem de vieses nos dados de treinamento (os treinadores preferem respostas mais longas que pareçam mais abrangentes) e de conhecidos problemas de sobre-otimização."

7. ChatGPT Mentiras (Alucina Fatos)

O artigo de pesquisa acima citado, Quão próximo do especialista humano está o ChatGPT?, observou que o ChatGPT tem uma tendência a mentir.

Ele relata:

"Quando respondendo uma pergunta que requer conhecimento profissional em uma área específica, ChatGPT pode fabricar fatos para dar uma resposta..."

Por exemplo, em questões legais, o ChatGPT pode inventar algumas disposições legais inexistentes para responder a pergunta.

Além disso, quando um usuário faz uma pergunta que não tem resposta existente, o ChatGPT também pode fabricar fatos para fornecer uma resposta.

O site Futurism documentou casos em que o conteúdo gerado por máquina publicado na CNET estava errado e cheio de "erros bobos".

O CNET deveria ter tido uma ideia de que isso poderia acontecer, porque a OpenAI publicou um aviso sobre saída incorreta:

“O ChatGPT às vezes escreve respostas que parecem plausíveis, mas são incorretas ou sem sentido.”

O site CNET afirma ter submetido os artigos gerados por máquinas à revisão humana antes da publicação.

Um problema com a revisão humana é que o conteúdo do ChatGPT do foi projetado para soar persuasivamente correto, o que pode enganar um revisor que não é um especialista no tópico.

8. ChatGPT é Artificial Porque Não é Divergente

O artigo de pesquisa, Quão próximo do Especialista Humano é o ChatGPT? também observou que a comunicação humana pode ter um significado indireto, o que requer uma mudança de tópico para compreendê-lo.

ChatGPT é muito literal, o que às vezes faz com que as respostas percam o alvo, pois a IA não considera o tópico real.

Os pesquisadores escreveram:

"As respostas do ChatGPT geralmente são estritamente direcionadas para a pergunta feita, enquanto as dos humanos são divergentes e podem facilmente mudar para outros tópicos."

Em termos de riqueza de conteúdo, os humanos são mais divergentes em diferentes aspectos, enquanto o ChatGPT prefere se concentrar na própria pergunta.

Os seres humanos podem responder ao significado oculto da pergunta com base em seu próprio senso comum e conhecimento, mas o ChatGPT depende das palavras literais da pergunta em questão…”

Pessoas são melhores em se afastar da pergunta literal, o que é importante para responder perguntas do tipo "e sobre".

Por exemplo, se eu perguntar:

"Cavalos são muito grandes para serem animais de estimação. E os quatis?"

A pergunta acima não está perguntando se um guaxinim é um animal de estimação apropriado. A pergunta é sobre o tamanho do animal.

O ChatGPT se concentra na adequação do guaxinim como animal de estimação em vez de se concentrar no tamanho.

Captura de Tela de uma resposta do ChatGPT excessivamente literal

9. ChatGPT contém um viés para ser neutro

O resultado do ChatGPT é geralmente neutro e informativo. Há um viés na saída que pode parecer útil, mas nem sempre é.

O artigo de pesquisa que acabamos de discutir observou que a neutralidade é uma qualidade indesejada quando se trata de questões jurídicas, médicas e técnicas.

Os humanos tendem a escolher um lado ao oferecer esses tipos de opiniões.

10. ChatGPT é tendencioso para ser formal

O ChatGPT tem um viés que impede que ele relaxe e responda com expressões comuns. Em vez disso, suas respostas tendem a ser formais.

Os humanos, por outro lado, tendem a responder a perguntas com um estilo mais coloquial, utilizando linguagem cotidiana e gírias - o oposto do formal.

O ChatGPT não utiliza abreviações como GOAT ou TL;DR.

As respostas também carecem de exemplos de ironia, metáforas e humor, o que pode tornar o conteúdo do ChatGPT muito formal para certos tipos de conteúdo.

Os pesquisadores escrevem:

“…O ChatGPT gosta de usar conjunções e advérbios para transmitir uma lógica de pensamento, como "Em geral", "Por outro lado", "Primeiramente,..., Segundamente,..., Finalmente" e assim por diante.

11. O ChatGPT Ainda Está Em Treinamento

O ChatGPT ainda está em processo de treinamento e aprimoramento.

A OpenAI recomenda que todo o conteúdo gerado pelo ChatGPT seja revisado por um humano, listando isso como uma boa prática.

OpenAI sugere manter os humanos na jogada:

“Sempre que possível, recomendamos que um revisor humano verifique a saída antes de usá-la na prática.

Isto é especialmente crítico em domínios de alto risco e para geração de código.

Os humanos devem estar cientes das limitações do sistema e ter acesso a qualquer informação necessária para verificar as saídas (por exemplo, se o aplicativo resumir notas, um humano deve ter fácil acesso às notas originais para se referir).

Qualidades Indesejadas do ChatGPT

É claro que há muitos problemas com ChatGPT que o tornam inadequado para geração de conteúdo não supervisionada. Ele contém vieses e não consegue criar conteúdo que pareça natural ou contenha insights genuínos.

Além disso, sua incapacidade de sentir ou criar pensamentos originais o torna uma escolha pobre para a geração de expressões artísticas.

Os usuários devem aplicar instruções detalhadas para gerar conteúdo melhor do que o conteúdo padrão que geralmente é produzido.

Por último, a revisão humana do conteúdo gerado por máquina nem sempre é suficiente, porque o conteúdo do ChatGPT é projetado para parecer correto, mesmo quando não é.

Isso significa que é importante que os revisores humanos sejam especialistas em determinado assunto e possam discernir entre conteúdo correto e incorreto sobre um tópico específico.