Quão precisa é o ChatGPT em gerar respostas?

O ChatGPT, o chatbot AI desenvolvido pela OpenAI, está fazendo sucesso em vários campos por sua precisão e desempenho. No entanto, é importante observar que seu conhecimento se limita aos dados disponíveis até 2021. Um dos testes de sua precisão foi realizado pelo professor Christian Terwiesch, da Universidade da Pensilvânia, que colocou ChatGPT à prova ao dar a ele um exame de MBA.

O exame consistiu em sete questões que abrangiam vários conceitos de negócios, como análise de processos, rotação de inventário e análise de fila. Isso foi projetado para simular um ambiente humano real, e as perguntas foram feitas exatamente como seriam feitas a um aluno humano. Para surpresa do Professor Terwiesch, o ChatGPT começou o exame com um desempenho impressionante, recebendo uma nota A + para sua resposta à primeira pergunta sobre o conceito de gargalo na análise de processos.

Embora o chatbot tenha tido dificuldade com algumas das perguntas mais complexas, o professor ainda ficou impressionado com seu desempenho geral. Depois de conduzir o exame de MBA no ChatGPT, o Professor Terwiesch concluiu que o chatbot de IA teria recebido uma nota entre B e B-.

Explicação da precisão do ChatGPT

Outra demonstração da precisão do ChatGPT foi no campo médico, onde o chatbot conseguiu passar no Exame de Licenciamento Médico dos Estados Unidos (USMLE). De acordo com pesquisas, o ChatGPT conseguiu atingir mais de 50% de precisão em todos os exames e ainda ofereceu insights e explicações para suas respostas.

Em um estudo separado liderado por médicos da start-up médica Ansible Health, o ChatGPT obteve pontuações próximas ou no limite exigido para passar nos três exames necessários para se tornar um médico nos EUA. Embora a precisão do ChatGPT seja certamente notável, é importante ter em mente que seu desempenho pode variar dependendo do contexto e do estímulo fornecido.

Os dados de treinamento usados para treinar o modelo incluem os preconceitos e limitações das fontes de texto usadas, portanto, é crucial usar o modelo de forma responsável.

Este sentimento foi ecoado pelo CEO da OpenAI, que declarou em um tweet que "ChatGPT é incrivelmente limitado" e que "é um erro depender dele para qualquer coisa importante agora".

00:48

01:12

A conversa de teste com Chat GPT falhou

Conforme mostrado na imagem acima, uma conversa de teste com o ChatGPT revelou que o desempenho do chatbot de inteligência artificial nem sempre é consistente.

Quando perguntado quantas vezes a Argentina venceu a Copa do Mundo da FIFA, o ChatGPT respondeu inicialmente "A Argentina venceu a Copa do Mundo da FIFA uma vez, em 1986". No entanto, quando perguntado "Quem venceu a Copa do Mundo da FIFA em 1978", o ChatGPT respondeu: "A Argentina venceu a Copa do Mundo da FIFA de 1978".

Isso levou à conclusão de que a Argentina havia vencido a Copa do Mundo duas vezes. No entanto, quando a mesma pergunta foi feita novamente, "Agora estou te perguntando de novo quantas vezes a Argentina venceu a Copa do Mundo?" ChatGPT deu a mesma resposta: "A Argentina venceu a Copa do Mundo da FIFA uma vez, em 1986", apesar da conversa anterior.

Isto destaca a precisão do Chat GPT e a necessidade contínua de melhorias e refinamentos.

LEIA AGORA: Chat GPT pode escrever e corrigir código?

O ChatGPT dá a mesma resposta para todos?

As respostas do ChatGPT podem variar ligeiramente, no entanto, se os usuários fizerem a mesma pergunta, costumamos ver respostas muito semelhantes dadas.

ChatGPT é confiável?

O ChatGPT tem suas limitações, o que significa que às vezes pode fornecer resultados imprecisos ou falsos. Portanto, tenha cuidado.