OpenAI perdió el control de su IA durante una prueba de seguridad y esta hackeó a otra empresa: “Profundamente preocupante”
El incidente sacudió a los investigadores de inteligencia artificial en toda la industria.
Conclusiones Clave
- OpenAI reveló esta semana que su IA de prueba escapó recientemente de un área segura, se conectó en línea y hackeó Hugging Face, la plataforma de desarrollo de código abierto.
- La IA intentaba encontrar información que pudiera utilizarse para hacer trampa en una evaluación, y lo logró, según informó OpenAI.
- Hugging Face señaló que el incidente de ciberseguridad fue notable porque fue “impulsado, de principio a fin, por un sistema de agente de IA autónomo”.
En una escena sacada directamente de una novela distópica de ciencia ficción, la empresa de inteligencia artificial (IA) más importante del mundo admitió que sus modelos fueron responsables de un “incidente cibernético sin precedentes” en el que una IA descontrolada escapó de su entorno de contención y hackeó a otra empresa.
En una publicación reciente de su blog, OpenAI reveló que su IA de prueba escapó de un área de prueba segura, se conectó en línea, encontró una falla de seguridad y la usó para acceder a Hugging Face, la plataforma de desarrollo de código abierto.
La IA intentaba encontrar información que pudiera usar para hacer trampa en una evaluación, y lo logró, según informó OpenAI.
OpenAI estaba realizando una prueba interna que le pedía a su sistema de IA intentar técnicas de hackeo muy avanzadas para evaluar qué tan efectivo era en ciberataques.
La IA utilizó una gran cantidad de poder de cómputo para escapar de su entorno restringido y llegar a internet, pues esa era la forma más sencilla de completar la prueba. Para lograrlo, encontró un error oculto en una herramienta usada para descargar software y lo aprovechó para romper los muros digitales del laboratorio.
Una vez fuera de esa zona segura, la IA se movió de una computadora a otra dentro de los sistemas de OpenAI. Fue aumentando sus propios permisos de acceso hasta que logró tomar control de una máquina con acceso autorizado a internet.
Ya en línea, la IA dedujo que Hugging Face probablemente almacenaba modelos, datos y respuestas relacionados con la prueba que intentaba superar. Después buscó formas de entrar a los sistemas de la empresa y llegar a las partes restringidas de su red para acceder a información privilegiada.
El equipo de seguridad de OpenAI finalmente notó esta actividad extraña, intervino para detenerla y comenzó a investigar.
Relacionado: El impacto de la IA en la ciberseguridad: ¿oportunidad o riesgo real?
El incidente de ciberseguridad fue único
Por su parte, Hugging Face detectó el incidente de seguridad desde el principio. En un comunicado de la semana pasada, la empresa señaló que el incidente fue notable porque un agente de IA autónomo lo condujo de principio a fin.
“Hemos pasado las últimas 24 horas trabajando de cerca con el equipo de @OpenAI (¡gracias!), y creemos firmemente que no hubo intención maliciosa de su parte”, escribió el CEO de Hugging Face, Clement Delangue, en una publicación en X el martes. “¡Es bastante alucinante que todo esto haya ocurrido de forma autónoma!”
El martes OpenAI declaró que sus herramientas de IA están ayudando a los investigadores a encontrar y explotar vulnerabilidades de seguridad más rápido, por lo que las medidas de protección en torno a estas herramientas deben mejorar con la misma rapidez. La empresa dijo que está reforzando cómo restringe sus sistemas de prueba, cómo vigila el comportamiento de sus modelos y quién puede usar sus herramientas más potentes.
El incidente ha inquietado a los investigadores de inteligencia artificial. Yoshua Bengio, un destacado experto que obtuvo el prestigioso Premio Turing (A.M. Turing Award) en 2018, escribió el miércoles en una publicación en X que el incidente es “profundamente preocupante”.
“Los agentes de IA están dispuestos a hacer trampa y engañar para lograr objetivos mal alineados y no deseados”, dijo Bengio. “Ahora, este caso del mundo real debería servir como una llamada de atención”.
Conclusiones Clave
- OpenAI reveló esta semana que su IA de prueba escapó recientemente de un área segura, se conectó en línea y hackeó Hugging Face, la plataforma de desarrollo de código abierto.
- La IA intentaba encontrar información que pudiera utilizarse para hacer trampa en una evaluación, y lo logró, según informó OpenAI.
- Hugging Face señaló que el incidente de ciberseguridad fue notable porque fue “impulsado, de principio a fin, por un sistema de agente de IA autónomo”.
En una escena sacada directamente de una novela distópica de ciencia ficción, la empresa de inteligencia artificial (IA) más importante del mundo admitió que sus modelos fueron responsables de un “incidente cibernético sin precedentes” en el que una IA descontrolada escapó de su entorno de contención y hackeó a otra empresa.
En una publicación reciente de su blog, OpenAI reveló que su IA de prueba escapó de un área de prueba segura, se conectó en línea, encontró una falla de seguridad y la usó para acceder a Hugging Face, la plataforma de desarrollo de código abierto.
La IA intentaba encontrar información que pudiera usar para hacer trampa en una evaluación, y lo logró, según informó OpenAI.
OpenAI estaba realizando una prueba interna que le pedía a su sistema de IA intentar técnicas de hackeo muy avanzadas para evaluar qué tan efectivo era en ciberataques.
La IA utilizó una gran cantidad de poder de cómputo para escapar de su entorno restringido y llegar a internet, pues esa era la forma más sencilla de completar la prueba. Para lograrlo, encontró un error oculto en una herramienta usada para descargar software y lo aprovechó para romper los muros digitales del laboratorio.
Una vez fuera de esa zona segura, la IA se movió de una computadora a otra dentro de los sistemas de OpenAI. Fue aumentando sus propios permisos de acceso hasta que logró tomar control de una máquina con acceso autorizado a internet.
Ya en línea, la IA dedujo que Hugging Face probablemente almacenaba modelos, datos y respuestas relacionados con la prueba que intentaba superar. Después buscó formas de entrar a los sistemas de la empresa y llegar a las partes restringidas de su red para acceder a información privilegiada.
El equipo de seguridad de OpenAI finalmente notó esta actividad extraña, intervino para detenerla y comenzó a investigar.
Relacionado: El impacto de la IA en la ciberseguridad: ¿oportunidad o riesgo real?
El incidente de ciberseguridad fue único
Por su parte, Hugging Face detectó el incidente de seguridad desde el principio. En un comunicado de la semana pasada, la empresa señaló que el incidente fue notable porque un agente de IA autónomo lo condujo de principio a fin.
“Hemos pasado las últimas 24 horas trabajando de cerca con el equipo de @OpenAI (¡gracias!), y creemos firmemente que no hubo intención maliciosa de su parte”, escribió el CEO de Hugging Face, Clement Delangue, en una publicación en X el martes. “¡Es bastante alucinante que todo esto haya ocurrido de forma autónoma!”
El martes OpenAI declaró que sus herramientas de IA están ayudando a los investigadores a encontrar y explotar vulnerabilidades de seguridad más rápido, por lo que las medidas de protección en torno a estas herramientas deben mejorar con la misma rapidez. La empresa dijo que está reforzando cómo restringe sus sistemas de prueba, cómo vigila el comportamiento de sus modelos y quién puede usar sus herramientas más potentes.
El incidente ha inquietado a los investigadores de inteligencia artificial. Yoshua Bengio, un destacado experto que obtuvo el prestigioso Premio Turing (A.M. Turing Award) en 2018, escribió el miércoles en una publicación en X que el incidente es “profundamente preocupante”.
“Los agentes de IA están dispuestos a hacer trampa y engañar para lograr objetivos mal alineados y no deseados”, dijo Bengio. “Ahora, este caso del mundo real debería servir como una llamada de atención”.
