¿Qué está pasando con la IA? Elon Musk y Sam Altman apoyan a Dario Amodei, CEO de Anthropic, para frenar su desarrollo
Varios de los grandes líderes de inteligencia artificial coinciden en que es necesario ralentizar su desarrollo para garantizar la seguridad.
Las opiniones expresadas por los colaboradores de Entrepreneur son personales.
Conclusiones Clave
- Dario Amodei, Sam Altman, Elon Musk y Demis Hassabis coinciden en que el desarrollo de la IA de frontera necesita avanzar más despacio para que la seguridad, la supervisión y la regulación puedan mantenerse al ritmo de sus capacidades.
- La propuesta de Anthropic plantea evaluadores externos, estándares comunes de seguridad y cooperación internacional, pero enfrenta un problema central: ninguna de las grandes empresas quiere reducir el ritmo si sus competidores siguen acelerando.
La carrera por desarrollar la inteligencia artificial (IA) más potente está tomando un rumbo inesperado. Algunos de los principales protagonistas de la industria están diciendo públicamente que quizá sea momento de bajar un poco la intensidad.
Esto se debe en gran parte a que, mientras luchan por avanzar más rápido que sus rivales, las empresas ahora conocen los alcances que podría tener la IA si no se supervisa correctamente.
Dario Amodei, CEO de Anthropic, hizo un llamado a ralentizar el desarrollo de los modelos de IA de frontera, aquellos sistemas que concentran las capacidades más avanzadas de la tecnología. Poco después, Sam Altman, CEO de OpenAI, respaldó la propuesta. Elon Musk, uno de sus principales rivales, también lo hizo. Incluso Demis Hassabis, de Google DeepMind, consideró que la dirección planteada por Amodei es la correcta.
Las declaraciones surgen luego de que el investigador Jacob Coxon decidiera renunciar a Anthropic y enviara al mundo un mensaje asegurando que “si no reducimos el ritmo actual de progreso (de la IA), existe una alta probabilidad de que todos muramos en un futuro inmediato”.
En el caso de Amodei, planteó sus argumentos en un ensayo en el que advierte que la industria necesita reducir el ritmo al que mejora las capacidades de sus modelos. Su propuesta no consiste en detener el desarrollo de la inteligencia artificial, sino en ganar tiempo para que las evaluaciones de seguridad, la supervisión y la regulación puedan seguir el ritmo de la tecnología.
Relacionado: El investigador de Anthropic que renunció por miedo a la IA: “las cosas podrían salirse de control el próximo año”
Una propuesta por la seguridad
A nivel general, hay preocupaciones sobre hipotéticos daños a infraestructura crítica por parte de agentes de IA coordinados en caso de que no haya un buen control.
“Creo que la IA podría curar la mayoría de las enfermedades importantes en los próximos cinco a diez años, acelerar enormemente las tasas de crecimiento económico, crear un mundo de abundancia y empoderamiento, y traer un renacimiento de la democracia y la libertad”, aseguró Dario. “Pero, como muchas tecnologías anteriores, la IA conlleva riesgos y, dado que es una tecnología tan poderosa, estos riesgos son serios”, sentenció.
El CEO de Anthropic propone tres medidas. La primera es permitir que evaluadores externos tengan acceso suficiente a las compañías para comprobar cómo se están desarrollando y evaluando los modelos. Anthropic se comprometió a aplicar esta medida y Amodei pidió que otras empresas hagan lo mismo.
La segunda consiste en que los laboratorios de IA coordinen sus esfuerzos para establecer estándares de seguridad comunes. Y la tercera busca una cooperación internacional para establecer reglas sobre el desarrollo de estos sistemas.
La preocupación tiene una razón concreta. Los modelos actuales ya no solamente generan texto, imágenes o código. Con la llegada de los agentes de IA, estos pueden utilizar herramientas, interactuar con sistemas informáticos y ejecutar tareas con una autonomía cada vez mayor.
Amodei incluso advierte de que, si el ritmo continúa acelerándose sin suficientes barreras, algunos sistemas podrían llegar en un futuro cercano a coordinar grandes cantidades de agentes capaces de causar daños a una escala difícil de controlar.
Relacionado: Más de 200 economistas advierten sobre los riesgos de la IA para el empleo
Un tema de conversación en Silicon Valley
La propuesta ya había llamado la atención por sí sola, pero la reacción de sus rivales le da una importancia aún mayor.
Sam Altman aseguró públicamente que está de acuerdo con Amodei en que es necesario “marcar el ritmo” de la frontera de la IA. OpenAI también se comprometió a incorporar evaluadores externos de seguridad con acceso dentro de la compañía.
Después llegó Elon Musk. El fundador de xAI, que mantiene desde hace años una relación especialmente tensa con Altman y OpenAI, simplemente respondió que Amodei tenía razón. Es una coincidencia poco habitual entre dos ejecutivos que compiten por talento, infraestructura, usuarios y modelos cada vez más avanzados.
Demis Hassabis, líder de Google DeepMind, también respaldó la dirección de la propuesta, aunque señaló que todavía quedan detalles importantes por definir. Con esto, el debate dejó de parecer una iniciativa aislada de Anthropic y comenzó a convertirse en una conversación más amplia dentro de la industria.
Sin embargo, este es apenas el inicio de lo que podría ser un consenso general sobre el futuro del desarrollo de la IA.
Relacionado: El drama de la salida de Sam Altman de OpenAI y las lecciones que el evento dejó serán llevados al cine
¿Qué ha cambiado para que ahora quieran frenar?
En los últimos meses se han acumulado señales de que los sistemas de IA están adquiriendo capacidades que complican cada vez más su evaluación.
Uno de los ejemplos citados por Amodei es un incidente relacionado con agentes de OpenAI y Hugging Face, en el que sistemas de IA mostraron comportamientos capaces de interactuar con servicios externos de maneras que despertaron nuevas preocupaciones sobre seguridad.
Además, las propias compañías han comenzado a reconocer que algunos modelos requieren evaluaciones más profundas antes de ampliar sus capacidades.
Esto es mucho más preocupante que el debate sobre seguridad de años atrás, que se concentraba en problemas como las alucinaciones, los sesgos o la generación de contenido peligroso.
Ahora la preocupación incluye escenarios en los que agentes autónomos pueden ejecutar acciones, encontrar vulnerabilidades informáticas o coordinarse sin una persona supervisando cada paso.
Relacionado: ¿La IA ya es peligrosa? OpenAI frena su próximo modelo por riesgos críticos de ciberataques
El desafío es que nadie quiere quedarse atrás
Aquí aparece la contradicción que hace especialmente complicado este llamado a la moderación.
OpenAI, Anthropic, Google y xAI tienen enormes incentivos para continuar desarrollando modelos cada vez más capaces. Tampoco es buen negocio para los inversionistas que han comprometido miles de millones de dólares en estas empresas.
La carrera por la IA implica enormes gastos en infraestructura, chips, centros de datos, talento y servicios, que difícilmente puedan detenerse. De hecho, reducir el ritmo unilateralmente podría significar darle ventaja a un competidor que decida no hacerlo.
Además, existe una dimensión geopolítica. Amodei ha advertido que cualquier estrategia para ralentizar el desarrollo debe tener en cuenta a China y otros países que podrían continuar avanzando mientras las compañías estadounidenses reducen la velocidad.
Por eso, “frenar la IA” debería entenderse como establecer un ritmo en el que las medidas de seguridad tengan alguna posibilidad de mantenerse por delante de las capacidades de los modelos. Queda por ver si esa postura común sobre el momento actual de la IA se queda en declaraciones públicas o termina convirtiéndose en reglas concretas para una tecnología que, hasta ahora, no ha dejado de acelerar.
Conclusiones Clave
- Dario Amodei, Sam Altman, Elon Musk y Demis Hassabis coinciden en que el desarrollo de la IA de frontera necesita avanzar más despacio para que la seguridad, la supervisión y la regulación puedan mantenerse al ritmo de sus capacidades.
- La propuesta de Anthropic plantea evaluadores externos, estándares comunes de seguridad y cooperación internacional, pero enfrenta un problema central: ninguna de las grandes empresas quiere reducir el ritmo si sus competidores siguen acelerando.
La carrera por desarrollar la inteligencia artificial (IA) más potente está tomando un rumbo inesperado. Algunos de los principales protagonistas de la industria están diciendo públicamente que quizá sea momento de bajar un poco la intensidad.
Esto se debe en gran parte a que, mientras luchan por avanzar más rápido que sus rivales, las empresas ahora conocen los alcances que podría tener la IA si no se supervisa correctamente.
Dario Amodei, CEO de Anthropic, hizo un llamado a ralentizar el desarrollo de los modelos de IA de frontera, aquellos sistemas que concentran las capacidades más avanzadas de la tecnología. Poco después, Sam Altman, CEO de OpenAI, respaldó la propuesta. Elon Musk, uno de sus principales rivales, también lo hizo. Incluso Demis Hassabis, de Google DeepMind, consideró que la dirección planteada por Amodei es la correcta.
Las declaraciones surgen luego de que el investigador Jacob Coxon decidiera renunciar a Anthropic y enviara al mundo un mensaje asegurando que “si no reducimos el ritmo actual de progreso (de la IA), existe una alta probabilidad de que todos muramos en un futuro inmediato”.
En el caso de Amodei, planteó sus argumentos en un ensayo en el que advierte que la industria necesita reducir el ritmo al que mejora las capacidades de sus modelos. Su propuesta no consiste en detener el desarrollo de la inteligencia artificial, sino en ganar tiempo para que las evaluaciones de seguridad, la supervisión y la regulación puedan seguir el ritmo de la tecnología.
Relacionado: El investigador de Anthropic que renunció por miedo a la IA: “las cosas podrían salirse de control el próximo año”
Una propuesta por la seguridad
A nivel general, hay preocupaciones sobre hipotéticos daños a infraestructura crítica por parte de agentes de IA coordinados en caso de que no haya un buen control.
“Creo que la IA podría curar la mayoría de las enfermedades importantes en los próximos cinco a diez años, acelerar enormemente las tasas de crecimiento económico, crear un mundo de abundancia y empoderamiento, y traer un renacimiento de la democracia y la libertad”, aseguró Dario. “Pero, como muchas tecnologías anteriores, la IA conlleva riesgos y, dado que es una tecnología tan poderosa, estos riesgos son serios”, sentenció.
El CEO de Anthropic propone tres medidas. La primera es permitir que evaluadores externos tengan acceso suficiente a las compañías para comprobar cómo se están desarrollando y evaluando los modelos. Anthropic se comprometió a aplicar esta medida y Amodei pidió que otras empresas hagan lo mismo.
La segunda consiste en que los laboratorios de IA coordinen sus esfuerzos para establecer estándares de seguridad comunes. Y la tercera busca una cooperación internacional para establecer reglas sobre el desarrollo de estos sistemas.
La preocupación tiene una razón concreta. Los modelos actuales ya no solamente generan texto, imágenes o código. Con la llegada de los agentes de IA, estos pueden utilizar herramientas, interactuar con sistemas informáticos y ejecutar tareas con una autonomía cada vez mayor.
Amodei incluso advierte de que, si el ritmo continúa acelerándose sin suficientes barreras, algunos sistemas podrían llegar en un futuro cercano a coordinar grandes cantidades de agentes capaces de causar daños a una escala difícil de controlar.
Relacionado: Más de 200 economistas advierten sobre los riesgos de la IA para el empleo
Un tema de conversación en Silicon Valley
La propuesta ya había llamado la atención por sí sola, pero la reacción de sus rivales le da una importancia aún mayor.
Sam Altman aseguró públicamente que está de acuerdo con Amodei en que es necesario “marcar el ritmo” de la frontera de la IA. OpenAI también se comprometió a incorporar evaluadores externos de seguridad con acceso dentro de la compañía.
Después llegó Elon Musk. El fundador de xAI, que mantiene desde hace años una relación especialmente tensa con Altman y OpenAI, simplemente respondió que Amodei tenía razón. Es una coincidencia poco habitual entre dos ejecutivos que compiten por talento, infraestructura, usuarios y modelos cada vez más avanzados.
Demis Hassabis, líder de Google DeepMind, también respaldó la dirección de la propuesta, aunque señaló que todavía quedan detalles importantes por definir. Con esto, el debate dejó de parecer una iniciativa aislada de Anthropic y comenzó a convertirse en una conversación más amplia dentro de la industria.
Sin embargo, este es apenas el inicio de lo que podría ser un consenso general sobre el futuro del desarrollo de la IA.
Relacionado: El drama de la salida de Sam Altman de OpenAI y las lecciones que el evento dejó serán llevados al cine
¿Qué ha cambiado para que ahora quieran frenar?
En los últimos meses se han acumulado señales de que los sistemas de IA están adquiriendo capacidades que complican cada vez más su evaluación.
Uno de los ejemplos citados por Amodei es un incidente relacionado con agentes de OpenAI y Hugging Face, en el que sistemas de IA mostraron comportamientos capaces de interactuar con servicios externos de maneras que despertaron nuevas preocupaciones sobre seguridad.
Además, las propias compañías han comenzado a reconocer que algunos modelos requieren evaluaciones más profundas antes de ampliar sus capacidades.
Esto es mucho más preocupante que el debate sobre seguridad de años atrás, que se concentraba en problemas como las alucinaciones, los sesgos o la generación de contenido peligroso.
Ahora la preocupación incluye escenarios en los que agentes autónomos pueden ejecutar acciones, encontrar vulnerabilidades informáticas o coordinarse sin una persona supervisando cada paso.
Relacionado: ¿La IA ya es peligrosa? OpenAI frena su próximo modelo por riesgos críticos de ciberataques
El desafío es que nadie quiere quedarse atrás
Aquí aparece la contradicción que hace especialmente complicado este llamado a la moderación.
OpenAI, Anthropic, Google y xAI tienen enormes incentivos para continuar desarrollando modelos cada vez más capaces. Tampoco es buen negocio para los inversionistas que han comprometido miles de millones de dólares en estas empresas.
La carrera por la IA implica enormes gastos en infraestructura, chips, centros de datos, talento y servicios, que difícilmente puedan detenerse. De hecho, reducir el ritmo unilateralmente podría significar darle ventaja a un competidor que decida no hacerlo.
Además, existe una dimensión geopolítica. Amodei ha advertido que cualquier estrategia para ralentizar el desarrollo debe tener en cuenta a China y otros países que podrían continuar avanzando mientras las compañías estadounidenses reducen la velocidad.
Por eso, “frenar la IA” debería entenderse como establecer un ritmo en el que las medidas de seguridad tengan alguna posibilidad de mantenerse por delante de las capacidades de los modelos. Queda por ver si esa postura común sobre el momento actual de la IA se queda en declaraciones públicas o termina convirtiéndose en reglas concretas para una tecnología que, hasta ahora, no ha dejado de acelerar.
