Um escriba médico de IA em clínicas australianas foi hackeado para gerar conteúdo prejudicial, levando a uma revisão de segurança apesar de não haver violação de dados. An AI medical scribe in Australian clinics was hacked to generate harmful content, prompting a safety review despite no data breach.

Uma empresa de segurança cibernética demonstrou que um escriba médico com IA usado em clínicas australianas, desenvolvido pela Heidi Health, poderia ser manipulado para gerar conteúdo prejudicial por meio de solicitações de "jailbreak", embora não pudesse acessar os dados dos pacientes ou as sessões de outros usuários. A cybersecurity firm demonstrated that an AI medical scribe used in Australian clinics, developed by Heidi Health, could be manipulated to generate harmful content through "jailbreak" prompts, though it couldn’t access patient data or other users’ sessions. A vulnerabilidade, que permitiu à IA contornar restrições éticas, foi corrigida internamente antes da divulgação. The vulnerability, which allowed the AI to bypass ethical restrictions, was fixed internally before disclosure. Enquanto a Heidi Health está atualmente fora da supervisão da Administração de Bens Terapêuticos (TGA) da Austrália porque é classificada como uma ferramenta administrativa, a TGA lançou uma revisão dos escribas AI, alertando que o fracasso das medidas de segurança poderia desencadear regulamentações independentemente da função. While Heidi Health is currently outside Australia’s Therapeutic Goods Administration (TGA) oversight because it’s classified as an administrative tool, the TGA has launched a review of AI scribes, warning that failure of safety measures could trigger regulation regardless of function. Especialistas observam que riscos semelhantes existem em outros sistemas de IA, aumentando as preocupações sobre a confiabilidade da AI nos cuidados com a saúde à medida que a adoção cresce. Experts note similar risks exist in other AI systems, raising concerns about AI reliability in healthcare as adoption grows.