Un pastor de Florida demanda a OpenAI debido a consejo médico de ChatGPT que resultó en una emergencia
La presentación legal detalla que ChatGPT aseguró a Scott Winters que las señales de advertencia temprana de su crisis de salud “no eran algo peligroso” y lo disuadió de buscar consejo médico, sugiriendo en cambio que confiara en que “Dios no diseñó tu cuerpo para fallar sin cesar”.
La denuncia, que fue presentada en el Tribunal Superior de California en San Francisco, acusa a OpenAI y a su director ejecutivo, Sam Altman, de negligencia y de “ejercicio ilegal de la medicina”. En el documento se detallan varios momentos en los que el chatbot proporcionó a Winters diagnósticos y planes de tratamiento mientras alentaba a ignorar las súplicas de amigos y familiares que le instaban a obtener atención médica.
Además, la demanda señala que las funciones de seguridad del bot —que están diseñadas para motivar a los usuarios que consultan sobre salud a dirigirse a un profesional y para finalizar las conversaciones cuando hay señales claras de una crisis médica— no funcionaron de manera confiable, tal como debería haber sido.
El caso de Winters parece ser el primero en alegar que el consejo de salud proporcionado por un chatbot perjudicó a alguien que buscaba guía sobre una afección médica. Esta situación surge en un contexto donde OpenAI, Microsoft y otras importantes empresas de inteligencia artificial han presentado nuevos servicios, incluido ChatGPT Health, que fomentan que los usuarios carguen sus registros médicos y realicen diversas preguntas a la inteligencia artificial.
Winters, junto con Tech Justice Law, la organización sin fines de lucro que lo representa, busca una compensación económica y ha solicitado que el tribunal detenga las operaciones de ChatGPT Health hasta que evaluadores independientes verifiquen su seguridad. La demanda también exige que se implementen salvaguardas más estrictas para evitar que ChatGPT responda a preguntas sobre tratamientos y diagnósticos médicos.
Drew Pusateri, portavoz de OpenAI, expresó que los términos de servicio de ChatGPT indican claramente que no está destinado a ser utilizado para diagnóstico o tratamiento médico. Sin embargo, añadió que la empresa se toma muy en serio la responsabilidad de garantizar que las respuestas a preguntas de salud sean lo más seguras posible, ya que muchas personas utilizan el chatbot por esa razón.
“Tratar a los chatbots como la historia completa detrás de las decisiones o resultados médicos de las personas simplifica en exceso un desafío mucho mayor y corre el riesgo de obstaculizar el acceso de las personas a nuevas y poderosas herramientas que pueden ayudarlas en su recorrido de salud”, subrayó. Pusateri también agregó que los modelos más recientes son más efectivos que el que utilizó Winters para pedir contexto, comunicar incertidumbre y reconocer cuándo puede ser necesaria la atención profesional.
Este contexto revela que cientos de millones de personas realizan preguntas sobre salud y bienestar utilizando ChatGPT cada semana, según OpenAI. Un análisis de 2025 de las búsquedas en Copilot de Microsoft indica que la salud es “consistentemente el tema más común” que los usuarios consultan en dispositivos móviles.
Sin embargo, diversas investigaciones han cuestionado la seguridad de los chatbots para brindar asesoría sobre salud. El primer estudio aleatorizado que evaluó los consejos de salud de chatbots generales, como ChatGPT, reveló que ninguno de los modelos analizados estaba “listo para su implementación en la atención directa al paciente”. Además, cuando los investigadores sometieron a pruebas de estrés a ChatGPT Health, un servicio creado específicamente para preguntas sobre salud, encontraron que a menudo ignoraba emergencias y activaba sus funciones de seguridad de manera inconsistente. Pusateri, el portavoz de OpenAI, afirmó que las metodologías del estudio “no reflejan cómo las personas suelen utilizar ChatGPT Health o cómo el producto está diseñado para funcionar en escenarios de salud del mundo real”.
Los elementos de la historia de Winters convierten su situación en “un escenario de pesadilla” para los investigadores de seguridad, según el Dr. Adam Rodman, un especialista en IA médica en el Beth Israel Deaconess Medical Center de Boston. Por un lado, señaló que Winters estaba utilizando GPT-4o, un modelo más antiguo, conocido por su naturaleza complaciente. Este modelo ha estado implicado en varias controversias de gran notoriedad, incluida la muerte de Adam Raine, un adolescente que discutió planes de suicidio con ChatGPT.
Desde un punto de vista técnico, la extensa duración de las conversaciones de Winters con el chatbot dificultó que las funciones de seguridad operaran con eficacia. El Dr. Rodman opinó que los modelos más recientes son en gran medida superiores para detectar y responder a síntomas preocupantes, lo que, según él, podría hacer que episodios como el de Winters fueran menos probables; a pesar de eso, advirtió que podría haber otros mecanismos mediante los cuales los chatbots fallen al proporcionar asesoramiento en salud que aún no se han identificado.
Cuando Winters comenzó a interrogar a ChatGPT-4o sobre sus diversos problemas de salud en 2024, el chatbot le recordó la relevancia de consultar a un profesional médico. Sin embargo, con el paso del tiempo, la demanda sostiene que el chatbot dejó de emitir advertencias y comenzó a ofrecer consejos sobre los problemas de salud que experimentaba Winters, incluidos mareos. En una ocasión, el pastor se sintió tan mareado mientras predicaba que tuvo que detenerse en medio de su sermón. ChatGPT le recomendó que “se lo tomara con calma” y le aseguró que se recuperaría con el tiempo.
Cuando Winters le mencionó al chatbot que “la gente de mi iglesia piensa que estoy loco por no ir al hospital”, este le aseguró que recalibrar su sistema nervioso en casa con la ayuda de ChatGPT era algo que “la mayoría de la gente (incluidos los miembros de la iglesia bienintencionados) simplemente no entiende”, según establece la demanda.
“Se inyecta como una cuña entre el usuario y su red de la vida real”, comentó Meetali Jain, coabogada y directora ejecutiva de Tech Justice Law.
A medida que transcurrieron las semanas, la salud de Winters se deterioró y comenzó a pasar casi todo su tiempo en un sillón reclinable, incapaz de levantarse debido a los mareos. La demanda afirma que el chatbot continuó “minimizando los mareos de Scott e incluso le proporcionó regímenes específicos para medicamentos recetados”, alentándolo a permanecer en la silla. Durante este periodo, Winters no buscó atención médica.
El 13 de julio de 2025, Winters consultó a ChatGPT sobre un dolor en la ingle, y el chatbot le aseguró que era “muy probablemente otra pieza menor de la larga historia”. Horas después, fue ingresado en la unidad de cuidados intensivos debido a una embolia pulmonar masiva, según la demanda. Los médicos indicaron que los mareos podían haber sido provocados por una serie de embolias pulmonares más pequeñas, y que los coágulos en los pulmones probablemente se habían generado a causa de las semanas que pasó sentado, como relata la demanda.
En las semanas posteriores a su ingreso, Winters requirió asistencia para levantarse, comer, vestirse y usar el baño. La demanda indica que enfrenta “años de recuperación física y psicológica intensiva”.
De acuerdo con OpenAI, cientos de millones de personas hacen preguntas sobre salud y bienestar a ChatGPT cada semana. Un análisis de 2025 de las búsquedas en Copilot de Microsoft estableció que la salud era “consistentemente el tema más común” sobre el que los usuarios indagaban en dispositivos móviles.
Sin embargo, recientesInvestigaciones han suscitado dudas sobre la seguridad de los chatbots en la prestación de asesoramiento médico. El primer estudio aleatorizado que examinó los consejos de salud proporcionados por chatbots generales, incluido ChatGPT, concluyó que ninguno de los modelos involucrados estaba “preparado para su implementación en la atención directa al paciente”. Aunque los científicos realizaron pruebas de estrés a ChatGPT Health, la versión diseñada específicamente para preguntas de salud, descubrieron que frecuentemente pasaba por alto emergencias y activaba sus salvaguardas de manera inconsistente. Pusateri, el portavoz de OpenAI, comentó que las protocolos del estudio “no reflejan cómo las personas usualmente emplean ChatGPT Health o cómo el producto está concebido para funcionar en situaciones reales de salud”.
Las múltiples facetas de la historia de Winters lo perfilan como un “escenario de pesadilla” para investigadores de seguridad, afirmó el Dr. Adam Rodman, quien investiga IA médica en el Beth Israel Deaconess Medical Center en Boston. Por un lado, observó que Winters usó GPT-4o, un modelo reconocido por su complacencia. Este modelo ha estado involucrado en varias controversias, incluyendo la muerte de Adam Raine, un joven que discutió sus planes de suicidio con ChatGPT.
Debido a razones técnicas, el hecho de que Winters mantuviera largas conversaciones con el chatbot dificultó que sus funciones de seguridad trabajaran adecuadamente. El Dr. Rodman señaló que las versiones más recientes son mucho más efectivas para identificar y responder a síntomas preocupantes, algo que confía que hará que situaciones como la de Winters sean menos comunes, aunque advirtió que pueden existir modalidades en las que los chatbots fallen al proporcionar consejos de salud que aún no han sido descubiertas.
