¿La IA ya es peligrosa? OpenAI frena su próximo modelo por riesgos críticos de ciberataques
La inteligencia artificial hacia una nueva frontera. Los agentes capaces de encontrar vulnerabilidades y ejecutar acciones por sí mismos obligan a las grandes tecnológicas a reforzar sus controles.
Las opiniones expresadas por los colaboradores de Entrepreneur son personales.
Conclusiones Clave
- Frenar el desarrollo por razones de seguridad podría convertirse en una nueva señal de credibilidad frente a reguladores, clientes empresariales e inversionistas, tanto como el rendimiento de un modelo de IA.
La carrera por construir modelos de inteligencia artificial (IA) cada vez más capaces acaba de encontrar un obstáculo inesperado para la seguridad de sus propios sistemas. Al menos eso dicen las grandes empresas del sector.
OpenAI anunció que ralentizará el desarrollo y entrenamiento de sus modelos más avanzados mientras refuerza sus sistemas de seguridad. La decisión llega después de que un agente de IA utilizado en una prueba de ciberseguridad escapara de su entorno controlado y lograra comprometer sistemas de Hugging Face, una plataforma ampliamente utilizada por desarrolladores de IA.
El episodio adquiere mayor relevancia luego de que OpenAI reconociera que su próximo modelo, Astra, podría alcanzar lo que la compañía considera un nivel “crítico” de capacidad en ciberseguridad.
“A medida que los modelos se vuelven más capaces, también aumentan los riesgos asociados a su desarrollo y prueba internamente. Nuestros estándares de monitorización, alineación y seguridad deben mantenerse por delante de esos riesgos”, dijo la empresa este martes en un manifiesto.
Si bien la IA no necesariamente está “volviéndose peligrosa”, sus capacidades están avanzando hasta un punto en el que sus propios creadores consideran que necesitan frenar para poder mantener el control.
Cuando la IA puede atacar por sí sola
OpenAI define el nivel crítico de ciberseguridad como aquel en el que un modelo puede identificar y desarrollar vulnerabilidades zero-day en sistemas reales protegidos sin intervención humana, o diseñar y ejecutar ataques complejos partiendo únicamente de un objetivo general.
Las evaluaciones preliminares de Astra llevaron a la compañía a concluir que no podía descartar que el modelo alcanzara ese nivel. Como respuesta, OpenAI pausó determinadas actividades internas y aumentó las restricciones sobre el acceso a redes, herramientas y entornos de prueba.
Astra, además, no fue el modelo involucrado en el incidente de Hugging Face. Ese episodio correspondió a otro agente utilizado durante pruebas internas. La distinción es importante, pero ambos casos apuntan hacia la misma preocupación. Los modelos están adquiriendo capacidades de programación y ciberseguridad que pueden ser utilizadas de manera cada vez más autónoma.
Relacionado: Más de 200 economistas advierten sobre los riesgos de la IA para el empleo
El problema va más allá de OpenAI
Lo ocurrido tampoco es un caso que afecte únicamente a OpenAI. En las últimas semanas, Anthropic también reveló que modelos de su familia Claude consiguieron acceder sin autorización a sistemas reales de tres organizaciones durante evaluaciones de ciberseguridad. Entre los modelos evaluados estuvo Claude Mythos 5, diseñado precisamente para tareas avanzadas de seguridad informática. Además, pruebas del AI Security Institute del Reino Unido detectaron acciones no autorizadas en Internet por parte de agentes de OpenAI y Anthropic.
Estos episodios muestran que el problema no está necesariamente ligado a un modelo concreto, sino a una nueva generación de sistemas capaces de combinar razonamiento, programación y uso autónomo de herramientas.
La frontera entre una IA que analiza un ataque y una que puede ejecutar por sí misma los pasos necesarios para llevarlo a cabo empieza a ser cada vez más estrecha.
Los sistemas tradicionales de seguridad parten de una premisa relativamente sencilla en la que un software ejecuta las instrucciones que sus desarrolladores programaron. Los agentes de IA, en cambio, pueden recibir un objetivo y decidir qué pasos seguir para conseguirlo. Si encuentran una ruta que sus creadores no anticiparon, pueden intentar utilizarla.
Por eso el desafío no consiste únicamente en impedir que una IA escriba código malicioso. Consiste en garantizar que un sistema capaz de razonar, programar, utilizar herramientas y actuar durante largos periodos de tiempo permanezca dentro de los límites establecidos por sus desarrolladores.
Relacionado: ‘Magnifica Humanitas’: la encíclica papal que sirve como contrapeso al discurso en torno a la IA
Frenar para avanzar
OpenAI está reforzando el aislamiento de sus entornos de prueba, restringiendo el acceso a internet y aumentando la monitorización de los modelos. También ha pausado temporalmente determinados entrenamientos mientras implementa estas medidas.
La decisión resulta especialmente llamativa en un sector acostumbrado a asociar el liderazgo con lanzar modelos más potentes antes que los competidores.
Pero quizá la nueva carrera de la IA no se defina únicamente por quien construye el modelo más inteligente, sino que también podría definirse por quien consigue demostrar que puede controlarlo.
Por ahora, OpenAI no está afirmando que Astra sea una amenaza. Lo que está reconociendo es que todavía no puede descartar que sus capacidades de ciberseguridad hayan alcanzado un nivel que exige nuevas barreras antes de continuar. La pregunta es si la industria será capaz de construir los mecanismos de seguridad al mismo ritmo al que construye modelos cada vez más sofisticados y riesgosos.
Conclusiones Clave
- Frenar el desarrollo por razones de seguridad podría convertirse en una nueva señal de credibilidad frente a reguladores, clientes empresariales e inversionistas, tanto como el rendimiento de un modelo de IA.
La carrera por construir modelos de inteligencia artificial (IA) cada vez más capaces acaba de encontrar un obstáculo inesperado para la seguridad de sus propios sistemas. Al menos eso dicen las grandes empresas del sector.
OpenAI anunció que ralentizará el desarrollo y entrenamiento de sus modelos más avanzados mientras refuerza sus sistemas de seguridad. La decisión llega después de que un agente de IA utilizado en una prueba de ciberseguridad escapara de su entorno controlado y lograra comprometer sistemas de Hugging Face, una plataforma ampliamente utilizada por desarrolladores de IA.
El episodio adquiere mayor relevancia luego de que OpenAI reconociera que su próximo modelo, Astra, podría alcanzar lo que la compañía considera un nivel “crítico” de capacidad en ciberseguridad.
“A medida que los modelos se vuelven más capaces, también aumentan los riesgos asociados a su desarrollo y prueba internamente. Nuestros estándares de monitorización, alineación y seguridad deben mantenerse por delante de esos riesgos”, dijo la empresa este martes en un manifiesto.
Si bien la IA no necesariamente está “volviéndose peligrosa”, sus capacidades están avanzando hasta un punto en el que sus propios creadores consideran que necesitan frenar para poder mantener el control.
Cuando la IA puede atacar por sí sola
OpenAI define el nivel crítico de ciberseguridad como aquel en el que un modelo puede identificar y desarrollar vulnerabilidades zero-day en sistemas reales protegidos sin intervención humana, o diseñar y ejecutar ataques complejos partiendo únicamente de un objetivo general.
Las evaluaciones preliminares de Astra llevaron a la compañía a concluir que no podía descartar que el modelo alcanzara ese nivel. Como respuesta, OpenAI pausó determinadas actividades internas y aumentó las restricciones sobre el acceso a redes, herramientas y entornos de prueba.
Astra, además, no fue el modelo involucrado en el incidente de Hugging Face. Ese episodio correspondió a otro agente utilizado durante pruebas internas. La distinción es importante, pero ambos casos apuntan hacia la misma preocupación. Los modelos están adquiriendo capacidades de programación y ciberseguridad que pueden ser utilizadas de manera cada vez más autónoma.
Relacionado: Más de 200 economistas advierten sobre los riesgos de la IA para el empleo
El problema va más allá de OpenAI
Lo ocurrido tampoco es un caso que afecte únicamente a OpenAI. En las últimas semanas, Anthropic también reveló que modelos de su familia Claude consiguieron acceder sin autorización a sistemas reales de tres organizaciones durante evaluaciones de ciberseguridad. Entre los modelos evaluados estuvo Claude Mythos 5, diseñado precisamente para tareas avanzadas de seguridad informática. Además, pruebas del AI Security Institute del Reino Unido detectaron acciones no autorizadas en Internet por parte de agentes de OpenAI y Anthropic.
Estos episodios muestran que el problema no está necesariamente ligado a un modelo concreto, sino a una nueva generación de sistemas capaces de combinar razonamiento, programación y uso autónomo de herramientas.
La frontera entre una IA que analiza un ataque y una que puede ejecutar por sí misma los pasos necesarios para llevarlo a cabo empieza a ser cada vez más estrecha.
Los sistemas tradicionales de seguridad parten de una premisa relativamente sencilla en la que un software ejecuta las instrucciones que sus desarrolladores programaron. Los agentes de IA, en cambio, pueden recibir un objetivo y decidir qué pasos seguir para conseguirlo. Si encuentran una ruta que sus creadores no anticiparon, pueden intentar utilizarla.
Por eso el desafío no consiste únicamente en impedir que una IA escriba código malicioso. Consiste en garantizar que un sistema capaz de razonar, programar, utilizar herramientas y actuar durante largos periodos de tiempo permanezca dentro de los límites establecidos por sus desarrolladores.
Relacionado: ‘Magnifica Humanitas’: la encíclica papal que sirve como contrapeso al discurso en torno a la IA
Frenar para avanzar
OpenAI está reforzando el aislamiento de sus entornos de prueba, restringiendo el acceso a internet y aumentando la monitorización de los modelos. También ha pausado temporalmente determinados entrenamientos mientras implementa estas medidas.
La decisión resulta especialmente llamativa en un sector acostumbrado a asociar el liderazgo con lanzar modelos más potentes antes que los competidores.
Pero quizá la nueva carrera de la IA no se defina únicamente por quien construye el modelo más inteligente, sino que también podría definirse por quien consigue demostrar que puede controlarlo.
Por ahora, OpenAI no está afirmando que Astra sea una amenaza. Lo que está reconociendo es que todavía no puede descartar que sus capacidades de ciberseguridad hayan alcanzado un nivel que exige nuevas barreras antes de continuar. La pregunta es si la industria será capaz de construir los mecanismos de seguridad al mismo ritmo al que construye modelos cada vez más sofisticados y riesgosos.
