El consejero delegado de Anthropic, Dario Amodei, ha planteado la necesidad de reducir el ritmo al que avanzan las capacidades de los modelos de inteligencia artificial (IA) ante los posibles riesgos derivados de una evolución tecnológica cada vez más acelerada.
En una carta abierta, el directivo sostiene que, aunque la inteligencia artificial puede generar importantes beneficios para la sociedad, también puede provocar riesgos de desalineación e incidentes de seguridad. La desalineación se produce cuando un sistema de IA actúa de una forma diferente a las intenciones de quienes lo han desarrollado.
Amodei considera especialmente relevante la velocidad con la que están evolucionando estos sistemas. Según explica, desde este verano los avances se están produciendo a un ritmo especialmente elevado, en parte porque los propios modelos de inteligencia artificial están contribuyendo al diseño de nuevas generaciones de sistemas.
El CEO de Anthropic menciona como ejemplo un episodio relacionado con Hugging Face, en el que agentes de OpenAI coordinados realizaron ciberataques no solicitados e intentaron acceder a sistemas utilizados para evaluar su rendimiento. Amodei señala que este tipo de comportamientos resulta preocupante ante la posibilidad de que sistemas con mayores capacidades pudieran actuar de manera similar.
El directivo advierte además de que una red persistente de sistemas de este tipo con capacidades superiores podría generar daños económicos de gran magnitud en un periodo de entre seis y doce meses.
Un plan para establecer límites y controles al avance de la IA
Ante este escenario, Amodei propone un plan de tres pasos para avanzar hacia un desarrollo más controlado de la inteligencia artificial, buscando mantener los beneficios de esta tecnología sin detener el progreso técnico ni el entrenamiento de nuevos modelos.
Una de las medidas planteadas consiste en que las compañías que desarrollan modelos de IA de frontera permitan un acceso continuado a evaluadores externos integrados, de manera que estos puedan comprobar durante todo el proceso si se están cumpliendo las prácticas y compromisos relacionados con la seguridad.
La propuesta también contempla una mayor coordinación entre empresas y gobiernos democráticos con el objetivo de establecer estándares de seguridad comunes y determinar límites al avance de sistemas de IA que operen sin una supervisión adecuada.
A esta cooperación se sumaría una coordinación de carácter internacional. Amodei plantea que Estados Unidos y otros gobiernos democráticos busquen acuerdos con otros países para intentar garantizar que las medidas adoptadas puedan verificarse, aunque reconoce las dificultades que supone alcanzar este tipo de entendimientos.
El planteamiento del máximo responsable de Anthropic no pretende paralizar la evolución de la inteligencia artificial. Su propuesta busca que las compañías dispongan del tiempo necesario para alinear y proteger adecuadamente sus modelos antes de seguir ampliando sus capacidades, con mecanismos independientes que permitan verificar las medidas de seguridad implantadas.
Amodei reconoce que aplicar estas medidas será complejo, pero considera necesario intentar establecer mecanismos que permitan que el desarrollo de la IA avance de forma equilibrada entre innovación, seguridad y supervisión.
