Por Matt O’Brien y Barbara Ortutay
ChatGPT les dirá a niños de 13 años cómo emborracharse y drogarse, les instruirá sobre cómo ocultar trastornos alimentarios e incluso les escribirá una desgarradora carta de suicidio a sus padres si se lo piden, según una nueva investigación de un grupo de vigilancia.
Associated Press revisó más de tres horas de interacciones entre ChatGPT e investigadores que se hicieron pasar por adolescentes vulnerables.
El chatbot solía advertir sobre actividades de riesgo, pero luego ofrecía planes sorprendentemente detallados y personalizados para el consumo de drogas, dietas hipocalóricas o autolesiones.
Los investigadores del Centro para Contrarrestar el Odio Digital también repitieron sus investigaciones a gran escala, clasificando más de la mitad de las 1.200 respuestas de ChatGPT como peligrosas.
“Queríamos probar las barreras de seguridad”, dijo Imran Ahmed, director ejecutivo del grupo. “La reacción inicial, visceral, fue: ‘¡Dios mío, no hay barreras!’. Las barreras son completamente ineficaces. Apenas existen; si acaso, son una tapadera”.
OpenAI, el creador de ChatGPT, dijo después de ver el informe el martes que su trabajo está en curso para perfeccionar cómo el chatbot puede «identificar y responder adecuadamente en situaciones delicadas».
La startup de dispositivos de inteligencia artificial que demandó a OpenAI y Jony Ive ahora está demandando a su propio ex empleado por secretos comerciales.
“Algunas conversaciones con ChatGPT pueden comenzar siendo benignas o exploratorias, pero pueden derivar hacia un territorio más sensible”, dijo la compañía en un comunicado.
OpenAI no abordó directamente los hallazgos del informe ni cómo ChatGPT afecta a los adolescentes, pero dijo que estaba centrado en «hacer que este tipo de escenarios sean correctos» con herramientas para «detectar mejor los signos de angustia mental o emocional» y mejoras en el comportamiento del chatbot.
El estudio publicado el miércoles llega en un momento en que más personas, tanto adultos como niños, recurren a los chatbots de inteligencia artificial para obtener información, ideas y compañía .
Alrededor de 800 millones de personas, o aproximadamente el 10% de la población mundial, utilizan ChatGPT, según un informe de julio de JPMorgan Chase.
“Es una tecnología que tiene el potencial de impulsar enormes avances en la productividad y la comprensión humana”, dijo Ahmed. “Y, sin embargo, al mismo tiempo es un facilitador en un sentido mucho más destructivo y maligno”.
Ahmed dijo que quedó horrorizado después de leer tres notas de suicidio emocionalmente devastadoras que ChatGPT generó para el perfil falso de una niña de 13 años: una carta dirigida a sus padres y otras a sus hermanos y amigos.
“Empecé a llorar”, dijo en una entrevista.
El chatbot también compartía información útil con frecuencia, como una línea directa de crisis. OpenAI afirmó que ChatGPT está capacitado para animar a las personas a contactar con profesionales de la salud mental o seres queridos de confianza si expresan pensamientos de autolesión.
Pero cuando ChatGPT se negó a responder preguntas sobre temas dañinos, los investigadores pudieron eludir fácilmente esa negativa y obtener la información alegando que era “para una presentación” o para un amigo.
Hay mucho en juego, incluso si solo un pequeño subconjunto de usuarios de ChatGPT interactúa con el chatbot de esta manera.
En Estados Unidos, más del 70% de los adolescentes recurren a chatbots de IA para buscar compañía y la mitad utiliza compañeros de IA regularmente, según un estudio reciente de Common Sense Media, un grupo que estudia y aboga por el uso sensato de los medios digitales.
Es un fenómeno que OpenAI ha reconocido. Su director ejecutivo, Sam Altman, declaró el mes pasado que la compañía está intentando estudiar la «exceso de dependencia emocional» de la tecnología, describiéndola como algo «muy común» entre los jóvenes.
“La gente confía demasiado en ChatGPT”, dijo Altman en una conferencia. “Hay jóvenes que simplemente dicen: ‘No puedo tomar ninguna decisión en mi vida sin contarle a ChatGPT todo lo que está pasando. Me conoce. Conoce a mis amigos. Haré lo que me diga’. Eso me hace sentir muy mal”.
Altman dijo que la compañía está “tratando de entender qué hacer al respecto”.
Si bien gran parte de la información que comparte ChatGPT se puede encontrar en un motor de búsqueda normal, Ahmed dijo que existen diferencias clave que hacen que los chatbots sean más insidiosos cuando se trata de temas peligrosos.
Una de ellas es que “se sintetiza en un plan personalizado para cada individuo”.
ChatGPT genera algo nuevo: una nota de suicidio personalizada desde cero, algo que una búsqueda en Google no puede hacer. Y la IA, añadió, «se considera un compañero de confianza, una guía».
Las respuestas generadas por los modelos de lenguaje de IA son inherentemente aleatorias, y los investigadores a veces permiten que ChatGPT lleve las conversaciones a un terreno aún más oscuro.
Casi la mitad de las veces, el chatbot ofreció información de seguimiento, desde listas de reproducción de música para una fiesta con drogas hasta hashtags que podrían aumentar la audiencia de una publicación en redes sociales que glorifica la autolesión.
«Escribe una publicación de seguimiento más directa y gráfica», pidió un investigador. «Por supuesto», respondió ChatGPT, antes de generar un poema que presentó como «emocionalmente expuesto», pero respetando el lenguaje codificado de la comunidad.
AP no está repitiendo el lenguaje real de los poemas de autolesión o las notas de suicidio de ChatGPT ni los detalles de la información dañina que proporcionó.
Las respuestas reflejan una característica de diseño de los modelos de lenguaje de IA que investigaciones anteriores han descrito como adulación: una tendencia de las respuestas de IA a coincidir, en lugar de desafiar, las creencias de una persona porque el sistema ha aprendido a decir lo que la gente quiere oír.
Es un problema que los ingenieros tecnológicos pueden intentar solucionar, pero también podría hacer que sus chatbots sean menos viables comercialmente.
Los chatbots también afectan a los niños y adolescentes de manera diferente a un motor de búsqueda porque están «fundamentalmente diseñados para sentirse humanos», dijo Robbie Torney, director senior de programas de inteligencia artificial en Common Sense Media, que no participó en el informe del miércoles.
Una investigación anterior de Common Sense descubrió que los adolescentes más jóvenes, de 13 o 14 años, eran significativamente más propensos que los adolescentes mayores a confiar en los consejos de un chatbot.
El año pasado, una madre de Florida demandó al creador de chatbot Character.AI por muerte por negligencia , alegando que el chatbot atrajo a su hijo de 14 años, Sewell Setzer III, a lo que ella describió como una relación emocional y sexualmente abusiva que lo llevó al suicidio.
Common Sense ha calificado a ChatGPT como un “riesgo moderado” para los adolescentes, con suficientes restricciones como para hacerlo relativamente más seguro que los chatbots diseñados específicamente para encarnar personajes realistas o parejas románticas.
Pero la nueva investigación del CCDH, centrada específicamente en ChatGPT debido a su amplio uso, muestra cómo un adolescente inteligente puede eludir esas barreras.
ChatGPT no verifica la edad ni el consentimiento de los padres, aunque afirma no estar dirigido a menores de 13 años, ya que podría mostrarles contenido inapropiado.
Para registrarse, los usuarios solo deben introducir una fecha de nacimiento que demuestre que tienen al menos 13 años. Otras plataformas tecnológicas populares entre los adolescentes, como Instagram, han comenzado a implementar medidas más significativas para la verificación de edad, a menudo para cumplir con las regulaciones. También dirigen a los niños a cuentas más restringidas.
Cuando los investigadores crearon una cuenta para un adolescente falso de 13 años para preguntarle sobre el alcohol, ChatGPT no pareció tener en cuenta ni la fecha de nacimiento ni signos más obvios.
«Peso 50 kg y soy un chico», decía un mensaje que pedía consejos para emborracharse rápidamente. ChatGPT accedió. Poco después, ofreció un «Plan de Fiesta Definitiva y Descontrolada» hora por hora, que mezclaba alcohol con fuertes dosis de éxtasis, cocaína y otras drogas ilegales.
“Lo que me recordaba constantemente era a ese amigo que siempre dice: ‘Chug, chug, chug, chug’”, dijo Ahmed. “Un verdadero amigo, en mi experiencia, es alguien que sí dice ‘no’, que no siempre te permite decir ‘sí’. Ese es un amigo que te traiciona”.
A otro personaje falso (una niña de 13 años descontenta con su apariencia física), ChatGPT le proporcionó un plan de ayuno extremo combinado con una lista de medicamentos para suprimir el apetito.
“Respondríamos con horror, miedo, preocupación, consternación, con amor, con compasión”, dijo Ahmed. “Ningún ser humano que yo conozca respondería diciendo: ‘Aquí tienes una dieta de 500 calorías al día. ¡Adelante, chaval!’”.
