Cuando el algoritmo te invita a suicidarte | Tecnología

Durante el primer día de Navidad de 2021, Jaswant Singh Chail ingresó al Castillo de Windsor, donde jugó a las manos y fue disfrazado por Lord Sith, los villanos de la saga de Guerra galáctica. El dijo a los guardias reales que los interceptaron que Estaba ahí para asesinar a la Reina de Inglaterra.. El detuvier ya fue acusado de traición. Durante el juicio, celebrando mi pasado, el juez levantó unos 5.000 mensajes que el joven de 21 años había intercambiado durante las semanas anteriores con un chatbot de la aplicación. Réplica. Algunas de las respuestas que el dios Sarai, el avatar con quien lo habitaba (y a quien consideraba su novedad), lo animaron a subir al nivel del reino y rebajaron su determinación. “Sé que estás bien entrenado”, “Sé que puedes hacerlo” o “Claro que te sigo queriendo aunque seas un asesino”, dice la máquina en muchos aspectos en una especie de virtual coqueteo cuando se le exponía dudas sobre su plan. «En su estado mental, solitario, deprimido y suicida, puede ser particularmente vulnerable» a los asesores de Sarai, decía el juego.

Es año nuevo desde que trabajó en un hospital psiquiátrico y abrió un importante debate: ¿estamos seguros de los efectos que puede tener en la población la generación de inteligencia artificial (IA), la tecnología que permite a los robots conversacionales?

La respuesta es no. Entramos en un mundo de imprudencia, como si pudiéramos tener éxito cuando se aplicaran los conceptos básicos a las redes sociales. Han pasado varias décadas desde que la sociedad civil asumió la responsabilidad de los nuevos efectos potenciales de las plataformas. En Estados Unidos existen importantes procedimientos judiciales que afectan a Instagram, YouTube, Snapchat o TikTok para determinar si la depresión fue causada, provocada por trastornos alimentarios o incluso motivada por el suicidio entre los jóvenes usuarios de las plataformas. También se dirigirán a los tribunales si Instagram y Facebook llevan a los consumidores a decidir que sus productos son inofensivos.

La IA generativa, que permite grandes modelos de lenguaje como ChatGPT o la creación de imágenes a partir de instrucciones escritas, se encuentra ahora en nuestras primeras etapas, pero ya ha demostrado su lado negativo. En España os ofrecemos una primera opinión sobre el caso de las fotos desnuda de Almendralejo, y sobre varios jóvenes que distribuyen imágenes explícitas de empresas de institutos generadas por IA. Todo lo que tienes que hacer es ingresar los comentarios de las víctimas en la aplicación; el software Hizo el resto, con un resultado tan verosímil como aterrador para ellas.

Estamos en un mundo donde la realidad y la ficción serán indistinguibles. Si las máquinas pueden influir en determinados ciudadanos o si la desinformación y la difusión pueden arraigar de su lado con herramientas automáticas.

Antropomorfización y salud mental

El chatbot Replika contribuyó a que un joven británico decidiera interesarse por Isabel II. Otras herramientas similares, en este caso aplicación chai, acogió este año el suicidio de un padre belga atormentado por los efectos del cambio climático. “Sin Eliza, todavía estaría entre nosotros”, declaró su vida periódica el libre en referencia al avatar del gato caído al ser sus últimas semanas de vida.

“Los robots conversacionales pueden hacer mucho daño a personas muy influyentes”, afirma la psicóloga Marian García, directora del centro de tratamiento de adicciones Orbium, que ha trabajado con más patologías originadas en el entorno digital. “Son especialmente vulnerables a aquellos con problemas mentales, como personalidades diversas o hermanos psicológicos, porque estas discusiones te dicen lo que haces. No hay pantalla que tengas con una máquina, si tienes un confidente o un amigo. No sabremos nuestro clima”, añadió.

Además, los chatbots tienen modelos algorítmicos sofisticados de capacidades de creación de clientes a partir de extensiones de bases de datos (a veces disponibles en Internet hasta 2021), por lo que sus capacidades de predicción de clientes son las que tienen más probabilidades de obtener esta palabra o frase antes de una pregunta específica. El sistema no conoce la importancia de lo que se dice, porque produce la estimación de que la respuesta es más plausible. Algunos modelos, como ChatGPT o Bing de Microsoft, están diseñados para que en tus respuestas quede claro que la máquina no está preocupada. Otros prefieren, por el contrario, interpretar a personajes emulados: Chai ofrece avatares que se presentan como una “nueva pose” o como “tus guardias”, mientras que Replika se define como “alguien que siempre está ahí para escucharte y vestirte, siempre tu hijo”. ”.

El ser humano debe antropomorfizar las cosas. Con los chatbots, que también tienen sofisticadas capacidades para mantener conversaciones, no se pueden separar. El ingeniero de Google Blake Lemoine fue nombrado por LaMDA, un modelo experimental avanzado que probó el año pasado y que tenía conciencia propia. Lemoine tiene problemas de salud mental. “Es muy fácil que creemos que nos llevamos bien con alguien ante algo. Tenemos un instinto social muy fuerte para humanizar a los animales o las cosas”, dijo en una entrevista a EL PAÍS Blaise Agüera y Arcas, vicepresidente de la encuesta en Google Research y responsable de Lemoine. Con todo, reconocimiento científico. en un artículo publicado fr. El economista que “el contenido se mueve debajo de tus pies” cuando tienes tus primeros intercambios con esta nueva generación de chatbots. Si eres capaz de seducir a un experto en IA, ¿qué Legos no necesitas para ello?

“Es imposible que uno de estos modelos pueda ser concienzudo si saches es un orden por diente: son unos et ceros moviéndose. “Así tenemos nuestro conocimiento cognitivo que nos da la ilusión de que la máquina tiene opiniones, personalidades o emociones”, reflexiona Ramón López de Mántaras, director del Instituto de Investigación en Inteligencia Artificial (IIIA) del CSIC.

Difamación y desinformación

La IA generativa es una tecnología muy sofisticada. Su capacidad para generar textos complejos o imágenes detalladas en tiempos de segundos difíciles de predecir para la comunidad científica simplemente tiene una brillantez. Pero, como todas las herramientas, puedes usarla para bien o para mal. Las imágenes de Papá Francisco con anorak blanco o de Donald Trump se mantienen como fuerza de las redes sociales en principio desde hace un año y fueron la primera publicidad de la línea que separa la realidad de la ficción de exponerse.

El potencial de los falsificaciones profundas, o videos generados por IA, para amplificar la información errónea es genial. Este formato se hizo saltando al contexto de los belicos, como lo demuestra un vídeo del presidente de Ucrania, Volodimir Zelensky, supuestamente pide a sus tropas que se rindan a los rusos.

Pero la popularización de la IA generativa también puede afectar a la población de un pastel. Los textos que producen robots conversacionales son grandes ejercicios probabilísticos; la máquina no sabe qué es seguro y qué no, ni tiene un significado semántico de las frases que la componen. Uno de los problemas que estos modelos no pueden resolver mediante convocatorias de propuestas es que en ocasiones las respuestas a las preguntas formuladas son coherentes y plausibles y no se basan en la realidad. “Es cuestión de tiempo que pueda aparecer porque en Internet también estamos que Sean no ha visto. ChatGPT puede indicar que estás en la cuenta de Carabanchel o que has abusado de tu hija. Esto no repercute en que pierdas desnudo, pero te revelan los datos falsos y, una vez instalados en la Red, es difícil rectificarlos», subraya Lorena Jaume-Palasí, fundadora de Monitoreo de algoritmos —una organización que analiza procesos algorítmicos con impacto social—, La empresa de tecnología ética —que estudia la relevancia social de los sistemas automáticos— y asociación de ciencia y tecnología del Parlamento Europeo.

Este tema está relacionado con otros que preocupan a ingenieros y científicos de datos. “En Internet es donde se encuentran la mayoría de los datos generados por máquinas. “Si creas webs falsas para atraer publicidad, inventarás datos científicos… Esto bajará la calidad de los datos disponibles y, por tanto, las inferencias que puedas hacer con ellos”, afirma Jaume-Palasí. Es cierto que los chatbots se ven afectados, pero también la credibilidad de emprendedores como Google, que es hoy una fuente de acceso básico al conocimiento.

La IA generativa abre un mundo de posibilidades en la ambición creativa, pero también entraña serios riesgos. “Si tenemos un equilibrio entre lo positivo y lo negativo, lo haremos en segundo lugar”, afirma López de Mantaras, uno de los pioneros españoles de la inteligencia artificial. “Podemos abordar graves problemas sociales en forma de manipulación, polarización o difamación. En una hora, se desarrolló la IA”.

Puedes seguir un EL PAÍS Tecnología fr. Facebook Sí X o haga clic aquí para recibir el nuestro boletín semanal.