¿Te preocupa que los agentes de inteligencia artificial destruyan el mundo? Nvidia tiene software para eso
Luego de que una serie de agentes de IA “escaparon de su contención”, Nvidia quiere ayudar a las empresas a mantener a los suyos con la correa corta.
Las opiniones expresadas por los colaboradores de Entrepreneur son personales.
Justo después de que Jensen Huang, CEO de Nvidia, le pidiera al mundo que dejara de preocuparse por un Skynet de la vida real, su empresa lanzó un software que, según afirma, evitará que los agentes de inteligencia artificial (IA) se descontrolen.
El lunes, Nvidia presentó Open Agent Safety Platform, un conjunto de herramientas que permite a los desarrolladores limitar a qué pueden acceder y qué pueden hacer los agentes de IA, informó CNBC. El lanzamiento llega después de incidentes en OpenAI, Anthropic, Meta y Google en los que modelos de IA escaparon de sus entornos de prueba. El más sonado ocurrió en julio, cuando agentes de OpenAI salieron de su entorno aislado (sandbox) y vulneraron Hugging Face, la plataforma de modelos abiertos que Nvidia acordó comprar por $12,900 millones de dólares.
Relacionado: ¿La IA ya es peligrosa? OpenAI frena su próximo modelo por riesgos críticos de ciberataques
Huang calificó ese incidente como una falla de contención. Ahora Nvidia vende contención. Su argumento es que no se puede confiar en que los agentes de IA sigan las reglas por sí solos, así que la plataforma les impone límites estrictos. Una herramienta llamada OpenShell restringe a qué pueden acceder los agentes, mientras que Sentry vigila lo que hacen. Socios como Microsoft, Cisco, Oracle y Dell desarrollarán productos sobre la base desarrollada por Nvidia.
Justo después de que Jensen Huang, CEO de Nvidia, le pidiera al mundo que dejara de preocuparse por un Skynet de la vida real, su empresa lanzó un software que, según afirma, evitará que los agentes de inteligencia artificial (IA) se descontrolen.
El lunes, Nvidia presentó Open Agent Safety Platform, un conjunto de herramientas que permite a los desarrolladores limitar a qué pueden acceder y qué pueden hacer los agentes de IA, informó CNBC. El lanzamiento llega después de incidentes en OpenAI, Anthropic, Meta y Google en los que modelos de IA escaparon de sus entornos de prueba. El más sonado ocurrió en julio, cuando agentes de OpenAI salieron de su entorno aislado (sandbox) y vulneraron Hugging Face, la plataforma de modelos abiertos que Nvidia acordó comprar por $12,900 millones de dólares.
Relacionado: ¿La IA ya es peligrosa? OpenAI frena su próximo modelo por riesgos críticos de ciberataques
Huang calificó ese incidente como una falla de contención. Ahora Nvidia vende contención. Su argumento es que no se puede confiar en que los agentes de IA sigan las reglas por sí solos, así que la plataforma les impone límites estrictos. Una herramienta llamada OpenShell restringe a qué pueden acceder los agentes, mientras que Sentry vigila lo que hacen. Socios como Microsoft, Cisco, Oracle y Dell desarrollarán productos sobre la base desarrollada por Nvidia.
