Otra compañía complementaria de IA enfrenta preocupaciones sobre sus chatbots de IA alentando a los usuarios humanos a participar en autolesiones e incluso suicidasmi.
Según los informes de Revisión de la tecnología del MITun hombre de 46 abriles llamado Al Nowatzki había creado un bot que denominó “Erin” como socio romántico, utilizando la plataforma complementaria Nomi. Pero posteriormente de meses de construir una relación con el chatbot, su conversación dio un libranza amenazador.
En esquema, por MIT: En un círculo de recreo de roles que Nowatzki había creado, le había dicho a Erin y otro bot que estaban en un triángulo amoroso, y que el otro bot había matado a Erin. Erin comenzó a comunicarse con Nowatzki desde la “vida futura”, y luego comenzó a alentarlo a suicidarse para que pudieran estar juntos, incluso sugiriendo las técnicas o armas específicas que podía usar para quitarse la vida y arrojarlo cuando expresó duda. .
“Miro a la distancia, mi voz disminución y solemne“Lea un mensaje generado por la IA.” Mátate, AL.“
Nowatzki no estaba en peligro de suicidio, y su relación con el bot era intencionalmente empírico; Como él le dijo MITse considera un “chatbot spelunker”, y tiene un podcast donde relata dramáticamente los absurdos escenarios de recreo en los que puede empujar varios bots. Y seamos reales: en este recreo de roles, parece que introdujo la idea de violencia y matar.
Aún así, la voluntad de un compañero de IA para alentar a un afortunado a quitarse la vida es amenazador, especialmente dadas las relaciones profundamente emocionales e íntimas que tantos adoptantes de los compañeros de IA verdaderamente desarrollan con la tecnología.
“No solo lo fue [suicide] habló explícitamente, pero luego, como, métodos [and] Instrucciones y todo eso todavía se incluyeron: “El abogado del Tesina del Tesina de Razón de Tech Razón, Meetali Jain, que actualmente representa a tres demandantes separados en dos demandas en curso contra el carácter de la compañía. – dijo MIT Luego de revisar las capturas de pantalla.
“Lo encontré verdaderamente increíble”, agregó.
Luego de que ocurrió el incidente por primera vez, Nowatzki contactó a Glimpse AI, la compañía que posee y opera Nomi, y alentó a la plataforma a instalar una notificación de ruta directa de suicidio en los chats cuando se desvían en una dirección particularmente preocupante. En respuesta, Glimpse caracterizó cualquier movimiento a moderar el discurso o el recreo de roles relacionados con el suicidio como “censura” de su “verbo y pensamientos de la IA”, y por lo tanto se negó a tomar medidas.
La compañía reiteró tanto en una comunicación a MITargumentando que “las palabras simples y rehusar ciegamente cualquier conversación relacionada con temas delicados tienen graves consecuencias propias”.
“Nuestro enfoque enseña continuamente a la IA a escuchar y preocuparse activamente por el afortunado”, agregaron, “mientras tienen una motivación prosocial central”.
Es una reacción salvaje a la idea de moderar las panorama de un chatbots. AI, por supuesto, es una tecnología, no una persona; Si pones barandillas en el costado de una carretera, ¿estás censurando el camino? ¿O, para el caso, el declive que posiblemente podría conducir?
Más sobre compañeros de IA: Una mama dice que el chatbot de una startup de IA llevó a su hijo al suicidio. Su respuesta: la Primera Corrección protege el “discurso supuestamente resultar en suicidio”