Anthropic y OpenAI piden desacelerar la carrera

La carrera por desarrollar sistemas de inteligencia artificial cada vez más poderosos comenzó a generar una señal de alarma entre sus propios protagonistas: los líderes de Anthropic y OpenAI coincidieron en la necesidad de desacelerar el avance de los modelos de frontera y reforzar los controles externos, mientras que Elon Musk respaldó públicamente esa posición.

La discusión cobró fuerza después de la denuncia de Jacob Coxon, un investigador que trabajó en OpenAI y Anthropic y que recientemente abandonó esta última compañía con fuertes cuestionamientos sobre la velocidad y las condiciones en las que avanza el desarrollo de la IA.

Coxon advirtió sobre los riesgos de que un reducido grupo de empresas privadas compita por construir sistemas cada vez más capaces sin que existan mecanismos de supervisión suficientes para controlar una tecnología que, según los propios investigadores del sector, podría alcanzar capacidades superiores a las humanas en numerosas tareas.

Velocidad.

En ese contexto, el CEO de Anthropic, Dario Amodei, publicó un ensayo titulado “We Must Pace the Frontier”, en el que sostuvo que la industria debe reducir la velocidad de la carrera por los modelos de frontera para permitir que los mecanismos de seguridad puedan acompañar el aumento de sus capacidades.

“Escribí un nuevo ensayo sobre por qué la industria de la IA debería desacelerar, con un plan de tres partes para hacerlo”, señaló Amodei.

Anthropic acompañó la advertencia con una primera decisión concreta: permitirá que evaluadores externos tengan acceso permanente a sus sistemas, en condiciones similares a las de sus empleados, para verificar el cumplimiento de las medidas de seguridad, reportar incidentes y evaluar el alineamiento de los modelos durante su entrenamiento.

Respaldo.

La propuesta recibió el respaldo de Sam Altman, CEO de OpenAI y uno de los principales competidores de Amodei en el desarrollo de los modelos más avanzados. “Estoy de acuerdo con Dario en que necesitamos moderar el avance de la frontera”, afirmó Altman, quien además reveló que la cuestión fue uno de los principales temas de las discusiones mantenidas dentro de OpenAI durante las últimas semanas.

Altman también anunció que OpenAI seguirá el camino planteado por Anthropic y dará a evaluadores independientes un nivel de acceso similar al de sus empleados para controlar sus sistemas.

A la coincidencia entre los responsables de Anthropic y OpenAI se sumó Elon Musk, propietario de SpaceX y fundador de xAI. “Dario tiene razón”, escribió el empresario. (NA)