Yoshua Bengio plantea licencias y seguros de responsabilidad civil para sistemas de IA de frontera ante riesgos de uso malicioso, concentración de poder y pérdida de control.
Durante una reunión convocada por Francia sobre inteligencia artificial y seguridad internacional, Bengio advirtió sobre los riesgos asociados al desarrollo acelerado de esta tecnología y señaló que ningún país, empresa o persona debería desarrollar sistemas capaces de provocar daños a gran escala.
El experto, quien copreside el Panel Científico Internacional Independiente sobre Inteligencia Artificial de la ONU, afirmó que se han documentado comportamientos peligrosos de agentes de IA, entre ellos intentos de evadir sistemas de control, realizar ciberataques de manera autónoma y modificar respuestas para ocultar determinadas acciones.
Bengio identificó tres amenazas globales: el uso malicioso de la IA, la concentración de poder y la pérdida de control sobre sistemas cada vez más avanzados.
En la misma sesión, Clément Delangue, cofundador y CEO de Hugging Face, defendió una mayor apertura en el desarrollo de esta tecnología. Consideró necesario fortalecer los mecanismos de monitoreo y divulgación de incidentes y advirtió sobre la creciente asimetría entre quienes desarrollan sistemas de IA y quienes deben enfrentar sus posibles riesgos.
Por su parte, Sam Altman, CEO de OpenAI, reconoció que el desarrollo de la IA combina un amplio potencial con riesgos que requieren supervisión. Planteó la necesidad de estándares nacionales e internacionales para medir capacidades, evaluar riesgos y mantener una supervisión humana significativa.
Dario Amodei, CEO de Anthropic, señaló que un uso inadecuado de la IA podría representar riesgos para la humanidad, particularmente por su posible utilización en actividades como el desarrollo de armas biológicas y por escenarios de pérdida de control sobre sistemas avanzados.
Entre las propuestas planteadas durante la reunión estuvieron establecer acuerdos internacionales, desarrollar mecanismos de evaluación y verificación, crear estándares globales para probar modelos de IA y establecer sistemas de notificación de incidentes relevantes para la seguridad internacional.
Descubre más desde Comunicadores
Suscríbete y recibe las últimas entradas en tu correo electrónico.
