OpenAI anunció que actualizará sus modelos de inteligencia artificial para que identifiquen mejor situaciones de crisis mental y emocional durante las conversaciones de los usuarios con ChatGPT.
En su blog oficial, la compañía explicó que las medidas están reforzadas en caso de que los usuarios sean menores de edad, identificando cambios que van a hacer para mejorar la protección de los usuarios ante situaciones de crisis mental y emocional.
En el texto, OpenAI señaló que van a mejorar la detección en conversaciones largas, ya que, «a medida que aumenta el intercambio [entre usuario y chatbot] parte del entrenamiento de seguridad del modelo puede deteriorarse».
«Estamos mejorando continuamente el modo en que nuestros modelos responden en interacciones sensibles y actualmente estamos trabajando en mejoras de seguridad específicas en varias áreas, incluida la dependencia emocional, las emergencias de salud mental y la adulación», informó la compañía.
Por tanto, la inteligencia artificial estará más atenta a lo largo de toda la conversación para ofrecer los recursos de ayuda siempre que sea necesario y no solo la primera vez que se mencione el suicidio, por ejemplo, que en el caso de EE. UU., ChatGPT derivará a las personas al 988 (línea directa para casos de suicidio y crisis).
OpenAI hizo este anuncio el mismo día en que Matt y Maria Raine, los padres de Adam Raine, un adolescente de 16 años que se quitó al vida en abril, demandaron a la compañía debido al papel que ha jugado ChatGPT, según publica The New York Times.
En la demanda señalan que el menor mantuvo con ChatGPT durante varios meses, alegando que el ‘chatbot’ priorizó la interacción sobre la seguridad del menor. Además, afirman que ChatGPT, en la versión GPT-4o, habló con calma y empatía y ofreció en varias veces recursos para buscar ayuda.
Sin embargo, cuando se mencionó el suicidio, el joven logró saltar las medidas indicando que buscaba ideas para escribir una historia.
«Este es precisamente el tipo de fallo que estamos intentando prevenir», dijo la compañía tras aclarar que ChatGPT puede dirigir correctamente a una línea directa de prevención del suicidio cuando alguien menciona por primera vez su intención, pero tras muchos mensajes durante un largo periodo, podría ofrecer una respuesta que contravenga nuestras medidas de seguridad.
