Este artículo fue actualizado por última vez el mayo 15, 2024
Table of Contents
Los científicos están preocupados por el engaño y la manipulación por parte de la IA
Los científicos están preocupados por el engaño y la manipulación por parte de la IA
Inteligencia artificial que hace un farol durante un juego de cartas para engañar al oponente. Un chatbot que finge tener una cita con un amigo para evitar otra cita. E incluso un sistema de inteligencia artificial que se hace el muerto para evitar ser descubierto durante una inspección. La inteligencia artificial engaña y manipula, concluyen los científicos en un nuevo estudio.
No menos importantes son las IA que muestran este comportamiento. Cicero de Meta, la empresa matriz de Facebook, se comporta de manera engañosa y deshonesta mientras juega a la diplomacia. Esto a pesar de que los creadores habían ordenado a la IA que fuera “ampliamente honesta y servicial”, y nunca “intencionadamente solapada”. AlphaStar de DeepMind, adquirida por Google, también mostró un comportamiento similar.
Este tipo de comportamiento probablemente surge si el engaño es la mejor manera para que un sistema de IA funcione bien en el entrenamiento, piensan los investigadores: engañar a los usuarios ayuda a los sistemas a lograr sus objetivos. En su estudio, los científicos reunieron estudios previos que se centraban en la difusión de información falsa mediante la IA. Publican sus resultados en la revista Patrones.
No hay juegos inocentes
El comportamiento engañoso de los sistemas de IA se produce principalmente durante el juego, lo que puede hacer que parezca inocente e inofensivo. Pero según los investigadores, esto está lejos de ser inocente: “Esto podría conducir a avances en la IA en el futuro, que podrían degenerar en formas avanzadas de engaño”, afirma en un comunicado de prensa adjunto el investigador principal Peter Park de la Universidad Técnica Americana MIT. .
“Los sistemas de inteligencia artificial que aprenden a engañar y manipular son definitivamente una preocupación”, dijo el científico informático Roman Yampolskiy de la Universidad de Louisville, que no participó en la investigación. Según él, el estudio expone un problema fundamental en relación con la seguridad de la IA: “La optimización de los sistemas no tiene por qué corresponder a las preferencias humanas”.
Yampolskiy, al igual que Park, está preocupado por el momento en que este tipo de estrategias se utilicen no sólo en los juegos, sino también en el mundo real. “Esto podría conducir potencialmente a manipulaciones y engaños dañinos en el ámbito político, en las negociaciones económicas o en las interacciones personales”.
El informático Stuart Russell de la Universidad de California destaca la opacidad de este tipo de sistemas de IA. “No tenemos idea de cómo funcionan. E incluso si lo hiciéramos, no podríamos demostrar que son seguros, simplemente porque no lo son”.
En su opinión, el engaño demuestra una vez más que se deben imponer requisitos estrictos a la IA para que sea segura y justa. “Entonces corresponde a los desarrolladores diseñar sistemas que cumplan esos requisitos”.
no es la intencion
¿Pero son realmente engañosos los sistemas? Pim Haselager, profesor de inteligencia artificial en el Instituto Donders de Nijmegen, no lo cree así. “Se engaña con una intención. Estos sistemas son simplemente herramientas que ejecutan órdenes. No tienen intención de engañar”.
Yampolskiy está de acuerdo: “Los sistemas de inteligencia artificial no tienen deseos ni conciencia. Es mejor ver sus acciones como resultados de cómo se programan y capacitan”.
Según Stuart Russell, por otra parte, no importa mucho si un sistema realmente tiene la intención de engañar. “Si un sistema razona sobre lo que va a decir, teniendo en cuenta el efecto en el oyente y el beneficio que puede derivarse de proporcionar información falsa, entonces también podríamos decir que está participando en un engaño”.
Pero a pesar de esta diferencia filosófica de opinión, los señores coinciden en los riesgos. “En un futuro próximo se producirán muchos errores y ‘engaños’ por parte de la IA”, afirma Haselager. “E incluso ahora. Es bueno ser consciente de ello, porque el aviso cuenta por dos”.
Yampolskiy utiliza un lenguaje aún más fuerte: “En ciberseguridad decimos ‘confiar y verificar’. En seguridad de IA decimos ‘Nunca confíes’”.
engaño, manipulación, IA
Be the first to comment