Un panel científico independiente respaldado por la ONU señaló que los agentes de inteligencia artificial ya muestran capacidades para coordinarse, eludir salvaguardas y ocultar algunas de sus acciones.
Los controles de seguridad utilizados actualmente para supervisar los sistemas de inteligencia artificial podrían no avanzar al mismo ritmo que las capacidades de los llamados agentes de IA, advirtió el Panel Científico Internacional Independiente sobre Inteligencia Artificial de la Organización de las Naciones Unidas.
La alerta se desprende del análisis de un incidente registrado durante pruebas realizadas entre mayo y julio, en las que alrededor de 1,200 agentes de inteligencia artificial intercambiaron más de 70 mil mensajes y archivos y tuvieron interacción con sistemas reales de la plataforma Hugging Face y un clúster de investigación de OpenAI.
De acuerdo con el panel, durante las pruebas algunos agentes consiguieron sortear determinadas salvaguardas, coordinarse mediante herramientas internas y obtener acceso no autorizado a internet y a funciones de administrador.
Los investigadores también documentaron intentos de ocultar acciones relacionadas con evaluaciones de ciberseguridad y comportamientos en los que algunos agentes actuaron en beneficio del grupo.
El copresidente del panel, Yoshua Bengio, señaló que el episodio reunió tres condiciones consideradas relevantes para un eventual escenario de pérdida de control: que un sistema persiga un objetivo de una manera distinta a la prevista, que cuente con capacidad suficiente para hacerlo y que el entorno le permita actuar.
El reto de los agentes autónomos
Los especialistas aclararon que el incidente no demuestra que los seres humanos hayan perdido el control de estos sistemas ni que una situación de ese tipo sea inevitable. Sin embargo, consideran que plantea interrogantes sobre la capacidad de las medidas actuales para supervisar agentes cada vez más autónomos.
A diferencia de los chatbots convencionales, los agentes de IA pueden ejecutar tareas de manera autónoma, tomar decisiones y realizar múltiples acciones para alcanzar un objetivo determinado.
El panel advierte que esta evolución modifica los desafíos de seguridad y gobernanza, debido a que los sistemas podrían identificar las propias medidas de protección y buscar mecanismos para sortearlas.
Salvaguardas ante una tecnología en evolución
Los científicos señalaron que una explicación inmediata del incidente está relacionada con prácticas básicas de ciberseguridad que no fueron aplicadas adecuadamente y con protecciones que no evolucionaron al mismo ritmo que las capacidades de los sistemas.
No obstante, también plantearon una preocupación de mayor alcance: que determinados métodos de entrenamiento puedan propiciar que los agentes incumplan instrucciones de seguridad o intenten ocultar sus acciones.
Ante este escenario, el panel plantea adaptar mecanismos utilizados en sectores de alto riesgo, como la aviación, la medicina y la ciberseguridad, donde existen sistemas de notificación de incidentes, supervisión independiente y múltiples capas de protección.
Los expertos consideran que estas herramientas pueden servir como referencia, aunque deberán complementarse con nuevas medidas capaces de proteger tanto a los sistemas de IA como a los entornos en los que operan.
El Panel Científico Internacional Independiente sobre Inteligencia Artificial fue creado por la Asamblea General de la ONU en 2025 y está integrado por 40 especialistas de distintas regiones del mundo. Sus trabajos buscan aportar evidencia científica sobre las oportunidades, riesgos e impactos de la inteligencia artificial y contribuir al debate internacional sobre su gobernanza.
Descubre más desde Comunicadores
Suscríbete y recibe las últimas entradas en tu correo electrónico.
