Estudo descobre que a IA como o ChatGPT tem um desempenho ruim em conversas médicas reais, apesar de ter uma boa pontuação em testes. Study finds AI like ChatGPT performs poorly in real medical conversations despite scoring well on tests.

Pesquisadores da Harvard Medical School e da Universidade de Stanford descobriram que, embora modelos de IA como o ChatGPT tenham um bom desempenho em testes médicos padronizados, sua eficácia em conversas médicas do mundo real é limitada. Researchers from Harvard Medical School and Stanford University found that while AI models like ChatGPT perform well on standardized medical tests, their effectiveness in real-world medical conversations is limited. O estudo utilizou um novo quadro de avaliação chamado CRAFT-MD, que simula interações clínicas do mundo real. The study used a new evaluation framework called CRAFT-MD, which simulates real-world clinical interactions. Os modelos de IA tiveram dificuldades em coletar informações do paciente e fazer diagnósticos precisos, destacando a necessidade de métodos de teste mais realistas antes que essas ferramentas sejam usadas em ambientes clínicos. The AI models struggled with collecting patient information and making accurate diagnoses, highlighting the need for more realistic testing methods before these tools are used in clinical settings.