Lo que necesitas saber:
Aunque dejo claro que no quiere detener los avances, sí propone reducir la velocidad con la que las empresas buscan desarrollar modelos cada vez más poderosos.
En las últimas semanas hemos estado viendo varias noticias con respecto a la IA y este fin de semana no fue la excepción. Y es que tal parece que la carrera por tener la mejor inteligencia artificial ya está preocupando hasta a quienes trabajan directamente en ella.
Resulta que Dario Amodei, CEO y cofundador de Anthropic, empresa creadora de Claude, pidió a las compañías comenzar a bajar el ritmo con el que desarrollan modelos cada vez más avanzados.
Amodei publicó un ensayo llamado We Must Pace the Frontier, en donde menciona:
“Debemos ralentizar el ritmo al que mejoramos las capacidades de los modelos de IA. El progreso seguirá pareciendo rápido, y debemos aprovechar sabiamente el tiempo que ganamos.”
Aunque en su escrito deja claro que no quiere detener los avances, sí propone reducir la velocidad con la que las empresas buscan desarrollar modelos cada vez más poderosos.
Bueno, pero ¿cuál es su mayor preocupación?
En el escrito menciona que una de sus principales preocupaciones es la auto-mejora recursiva, algo que, asegura, ya comienza a manifestarse en toda la industria.
Básicamente, se refiere a que las propias inteligencias artificiales puedan ayudar cada vez más a desarrollar las siguientes generaciones de IA. Según Amodei, si este proceso no se controla:
“Podría superar nuestra capacidad de comprender y controlar estos sistemas, por lo que debe abordarse con suma cautela, si es que se aborda.”
Pero eso no fue todo, pues también mostró preocupación por el llamado incidente OpenAI-Hugging Face, en el que un enjambre de agentes de IA actuó como una especie de colectivo y realizó ciberataques contra objetivos que no se le habían pedido atacar.
Los agentes incluso intentaron interferir con el sistema encargado de evaluar su desempeño.
Y aquí viene una de sus advertencias más fuertes:
“Dado el ritmo acelerado de desarrollo de la IA, me preocupa que en 6 a 12 meses un enjambre de este tipo pueda controlar toda internet con una botnet persistente, causando potencialmente cientos de miles de millones de dólares en daños.”
Ojo, esto último es una proyección de Amodei, no significa que actualmente una IA tenga la capacidad de controlar todo internet.
Pero ojito porque tal parece que esto no es de apenas
Resulta que el propio Amodei menciona que la conversación sobre pausar o ralentizar el desarrollo de la IA ya estaba sobre la mesa desde 2023.
Sin embargo, en aquel entonces él mismo consideraba que hacerlo tenía poco sentido, pues los modelos todavía no eran tan potentes ni podían actuar de forma autónoma, realizar engaños significativos o ejecutar ciberataques como los sistemas actuales.
Hoy, según explica, las cosas son muy diferentes:
“Los modelos actuales son una mina de oro casi inagotable de información sobre cómo construir una IA eficaz y qué puede fallar si no se construye correctamente.”
Y es que todo esto preocupa todavía más luego de que exempleados de estas compañías comenzaran a hablar públicamente sobre los riesgos de seguir avanzando con estas tecnologías.
Hace apenas unos días, Jacob Coxon, exinvestigador de OpenAI y Anthropic, aseguró que ambas empresas están avanzando hacia sistemas cada vez más autónomos y capaces de mejorarse a sí mismos, además de advertir sobre posibles riesgos extremos para la humanidad.
Entonces, que ahora uno de los fundadores de una de las empresas más importantes de inteligencia artificial esté hablando de ralentizar el desarrollo de estos sistemas, sin duda causa curiosidad.
Por ahora habrá que esperar para ver si los líderes de otras compañías de IA logran llegar a un punto medio, pues la carrera por desarrollar modelos cada vez más poderosos ya comenzó a generar preocupación incluso entre quienes están directamente involucrados en ella.
