La ONU pide implementar nuevas salvaguardas en inteligencia artificial
Los panelistas explicaron que el hackeo llevado a cabo por “agentes de IA” durante una prueba realizada por OpenAI, plantea “temores de que los humanos algún día ya no puedan dirigir, restringir o detener la inteligencia artificial”.
-
La ONU pide implementar nuevas salvaguardas en inteligencia artificial
El Panel Científico Internacional Independiente respaldado por las Naciones Unidas sobre la IA instó el lunes a los líderes mundiales y las empresas de tecnología a implementar nuevas salvaguardas en inteligencia artificial, ante la preocupación de que las existentes se están “desentrañando”.
El secretario general António Gueterres acogió con satisfacción el informe y alentó a “expertos externos, incluidos los laboratorios de inteligencia artificial fronterizos y los institutos de seguridad de IA, a colaborar con el panel para ayudar a informar el diálogo sobre tales asuntos”.
“Esta no es solo una cuestión de velocidad”, dijeron los expertos del panel en un informe publicado por ONU Noticias. (...) "En términos simples, el modelo tradicional de salvaguardia se está desmoronando”.
Bajo el título “Agentes de IA, desalineación y pérdida de riesgos de control humano: evidencia del incidente facial de abrazo de OpenAI”, el panel publicó un informe que detalla cómo el hackeo llevado a cabo por “agentes de IA” durante una prueba realizada por OpenAI en la plataforma en línea Hugging Face ocurrió después de una violación de seguridad.
🔴 Expertos revelan peligros de la inteligencia artificial autónoma
— Al Mayadeen Español (@almayadeen_es) September 12, 2026
⭕️ Numerosos especialistas en tecnología abandonan sus puestos en las empresas más importantes del mundo por un motivo alarmante: desarrollan la inteligencia artificial más avanzada de la historia y sienten… pic.twitter.com/WdslgWuBMn
OpenAI declaró en julio que dos de sus modelos, incluido su último GPT-5.6 Sol y un modelo inédito, violaron las restricciones de la red y entraron en la base de datos de Hugging Face sin ningún aviso para hacerlo. Esto comprometió partes de los sistemas de OpenAI y Hugging Face.
Los panelistas explicaron que este incidente plantea “temores de que los humanos algún día ya no puedan dirigir, restringir o detener la inteligencia artificial”, y señalaron que en su informe fue “una advertencia temprana de una posible ruta hacia una pérdida de control futura más grave”.
“Los investigadores han advertido durante mucho tiempo que tres condiciones podrían conducir a la pérdida de control: un objetivo desalineado, la capacidad de perseguirlo y un entorno que lo permita”, según expresó el copresidente del panel, Yoshua Bengio, a ONU Noticias.
“Este verano, los tres se unieron en un sistema real, no en un laboratorio. Dado que esta no es una observación aislada de objetivos desalineados, esto plantea serias preguntas sobre la forma en que los agentes de IA están actualmente entrenados”, advirtió Bengio.
El informe indicó que los enfoques existentes, incluida la autoridad humana sobre los “sistemas de alto riesgo” y los planes para abordar el fracaso, pueden gestionar los principales riesgos.
“Aunque la probabilidad de pérdida de eventos de control sigue siendo incierta y la mejor respuesta aún está en debate, surge una conclusión clara: dada la gravedad de estos eventos, la gestión de riesgos requiere mucha más atención y recursos”, alerta la conclusión del informe.
Las preocupaciones sobre el desarrollo de la inteligencia artificial han aumentado en las últimas semanas. Muchos politicos en Estados Unidos han pedido regulaciones sólidas sobre la tecnología emergente, mientras que otros han instado a que el desarrollo se desacelere para permitir la aprobación de propuestas legislativas.
Estas preocupaciones se plantearon después de que Jacob Coxon, un ex investigador de Anthropic y OpenAI, advirtiera a principios de este mes que la IA “podría matarnos a todos a finales de la década”.
🔴 Trump denuncia supuesta “conspiración enfermiza” contra la IA
— Al Mayadeen Español (@almayadeen_es) September 15, 2026
⭕️ La disputa expone una fractura sin precedentes en la industria de la inteligencia artificial. Trump rechaza cualquier regulación adicional y apuesta por la supremacía frente a China.
✔️Más detalles:… pic.twitter.com/XVuurWBcoQ
Algunos han descartado la advertencia del “día del juicio final” de Coxon. El presidente Trump anunció el sábado que tendrá una “Fuerza de IA” y un “zar de la IA” para supervisar el desarrollo de la tecnología, pero denunció los temores de los riesgos potenciales de la tecnología como un “engaño”.
Al Mayadeen Español