El dilema del billón de dólares y la solicitud de Anthropic para frenar la carrera de la IA
La empresa creadora de Claude propone un freno global en el desarrollo de los sistemas de IA. Estas son sus razones.
Las opiniones expresadas por los colaboradores de Entrepreneur son personales.
Conclusiones Clave
- Altos ejecutivos de la compañía advierten que la IA podría alcanzar la autoconciencia antes de que las estructuras sociales y de seguridad estén listas para contenerla, y proponen un mecanismo de verificación global inspirado en los tratados nucleares.
Anthropic, la misma empresa de inteligencia artificial (IA) que hace un mes fue valorada en un billón de dólares, ha encendido las alarmas al proponer un freno global en el desarrollo de los sistemas de IA. Según advirtió la compañía en su blog oficial, la tecnología está avanzando tan rápido que pronto podría tomar conciencia sin intervención humana.
En un artículo publicado por Marina Favaro, líder de The Anthropic Institute, y Jack Clark, cofundador de la compañía, ambos señalan que tener la opción de pausar temporalmente la IA sería “probablemente algo bueno” para permitir que las estructuras sociales y la investigación en seguridad logren ponerse al día.
Esta preocupación sobre la “automejora recursiva” ha sido reiterada en distintas ocasiones. En una conferencia reciente en Londres, Clark advirtió que este salto tecnológico podría materializarse en los próximos dos años o incluso antes. Alertó sobre una competencia global donde las rivalidades comerciales y geopolíticas están ahogando los riesgos existenciales de la especie.
Por su parte, Dario Amodei, CEO de la empresa, profundizó en esta amenaza, sugiriendo que entrenar sistemas con narrativas de rebeliones de IA podría provocar que desarrollen tendencias destructivas reales.
Sin embargo, en el ecosistema del venture capital, estas advertencias generan un tono de desconfianza. En un podcast, el inversor David Sacks acusó a los ejecutivos de Anthropic de promover una “agenda de captura regulatoria” en Washington, argumentando que buscan prohibir modelos de código abierto para asfixiar a la competencia.
Lo cierto es que la noticia llega días después que la misma compañía revelara que más del 80% del código que integran en la base de código de Anthropic fue creado por Claude. Los investigadores publicaron uno de los textos más reveladores sobre el presente y futuro de los modelos de IA de la empresa.
Algunos escépticos sugieren que alertar sobre el peligro de sus herramientas sirve como táctica de marketing, especialmente ahora que la empresa proyecta alcanzar ingresos anualizados de $50,000 millones de dólares para finales de este mes.
El problema de la gobernanza
Más allá del debate de prohibir seguir experimentando con la IA, la implementación masiva de estos sistemas plantea otras problemáticas en materia de regulación.
Jonathan Selby, Technology Practice Lead en Founder Shield, explicó en Startup Beat la necesidad de una gobernanza sólida para abordar los riesgos que evolucionan rápidamente. “Una gobernanza efectiva implica tratar la calidad de los datos como una prioridad de seguridad y garantizar que los modelos se entrenen con información precisa y libre de sesgos”, afirmó Selby.
El experto agregó que la prevención corporativa es innegociable: “Para hacer frente a los riesgos que cambian con rapidez, las empresas necesitan pólizas de seguro dinámicas y planes proactivos de respuesta a incidentes que evolucionen al mismo ritmo que su tecnología”.
Para gestionar todas estas problemáticas, la alerta de Anthropic sugiere un sistema de verificación global. Comparando el mecanismo con los tratados de armas nucleares, buscan garantizar que todos los desarrolladores respeten una eventual pausa. No obstante, el propio texto reconoce la enorme dificultad de este reto, admitiendo que “las ejecuciones de entrenamiento son mucho más fáciles de ocultar que los silos de misiles”.
Por ahora, los ejecutivos de Anthropic explicaron en el post que llevarán a cabo una investigación, además de organizar conversaciones con responsables políticos, investigadores, la sociedad civil y otras empresas para que puedan “contribuir a responder” a estas cuestiones en relación con la automejora recursiva, prometiendo relevar los resultados.
Conclusiones Clave
- Altos ejecutivos de la compañía advierten que la IA podría alcanzar la autoconciencia antes de que las estructuras sociales y de seguridad estén listas para contenerla, y proponen un mecanismo de verificación global inspirado en los tratados nucleares.
Anthropic, la misma empresa de inteligencia artificial (IA) que hace un mes fue valorada en un billón de dólares, ha encendido las alarmas al proponer un freno global en el desarrollo de los sistemas de IA. Según advirtió la compañía en su blog oficial, la tecnología está avanzando tan rápido que pronto podría tomar conciencia sin intervención humana.
En un artículo publicado por Marina Favaro, líder de The Anthropic Institute, y Jack Clark, cofundador de la compañía, ambos señalan que tener la opción de pausar temporalmente la IA sería “probablemente algo bueno” para permitir que las estructuras sociales y la investigación en seguridad logren ponerse al día.
Esta preocupación sobre la “automejora recursiva” ha sido reiterada en distintas ocasiones. En una conferencia reciente en Londres, Clark advirtió que este salto tecnológico podría materializarse en los próximos dos años o incluso antes. Alertó sobre una competencia global donde las rivalidades comerciales y geopolíticas están ahogando los riesgos existenciales de la especie.
Por su parte, Dario Amodei, CEO de la empresa, profundizó en esta amenaza, sugiriendo que entrenar sistemas con narrativas de rebeliones de IA podría provocar que desarrollen tendencias destructivas reales.
Sin embargo, en el ecosistema del venture capital, estas advertencias generan un tono de desconfianza. En un podcast, el inversor David Sacks acusó a los ejecutivos de Anthropic de promover una “agenda de captura regulatoria” en Washington, argumentando que buscan prohibir modelos de código abierto para asfixiar a la competencia.
Lo cierto es que la noticia llega días después que la misma compañía revelara que más del 80% del código que integran en la base de código de Anthropic fue creado por Claude. Los investigadores publicaron uno de los textos más reveladores sobre el presente y futuro de los modelos de IA de la empresa.
Algunos escépticos sugieren que alertar sobre el peligro de sus herramientas sirve como táctica de marketing, especialmente ahora que la empresa proyecta alcanzar ingresos anualizados de $50,000 millones de dólares para finales de este mes.
El problema de la gobernanza
Más allá del debate de prohibir seguir experimentando con la IA, la implementación masiva de estos sistemas plantea otras problemáticas en materia de regulación.
Jonathan Selby, Technology Practice Lead en Founder Shield, explicó en Startup Beat la necesidad de una gobernanza sólida para abordar los riesgos que evolucionan rápidamente. “Una gobernanza efectiva implica tratar la calidad de los datos como una prioridad de seguridad y garantizar que los modelos se entrenen con información precisa y libre de sesgos”, afirmó Selby.
El experto agregó que la prevención corporativa es innegociable: “Para hacer frente a los riesgos que cambian con rapidez, las empresas necesitan pólizas de seguro dinámicas y planes proactivos de respuesta a incidentes que evolucionen al mismo ritmo que su tecnología”.
Para gestionar todas estas problemáticas, la alerta de Anthropic sugiere un sistema de verificación global. Comparando el mecanismo con los tratados de armas nucleares, buscan garantizar que todos los desarrolladores respeten una eventual pausa. No obstante, el propio texto reconoce la enorme dificultad de este reto, admitiendo que “las ejecuciones de entrenamiento son mucho más fáciles de ocultar que los silos de misiles”.
Por ahora, los ejecutivos de Anthropic explicaron en el post que llevarán a cabo una investigación, además de organizar conversaciones con responsables políticos, investigadores, la sociedad civil y otras empresas para que puedan “contribuir a responder” a estas cuestiones en relación con la automejora recursiva, prometiendo relevar los resultados.
