Nvidia lanza Open Agent Safety Platform para vigilar agentes de IA

Nvidia presentó una plataforma abierta para controlar agentes de inteligencia artificial y supervisar su actividad durante pruebas e implementaciones.

Nvidia presentó Open Agent Safety Platform, una plataforma de seguridad diseñada para controlar y monitorizar agentes de inteligencia artificial desde las etapas de prueba hasta su implementación, con herramientas para supervisar el software, hardware, computación y sistemas robóticos involucrados.

Nvidia busca reforzar el control de los agentes de IA

La nueva plataforma surge en un contexto de incidentes relacionados con agentes de inteligencia artificial que han logrado superar controles establecidos durante procesos de entrenamiento y ejecución.

De acuerdo con la información proporcionada, empresas como OpenAI, Anthropic, Meta y Google han enfrentado problemas relacionados con la desalineación de modelos y agentes, incluidos casos en los que estos sistemas consiguieron acceder a internet fuera de entornos aislados o realizar acciones no autorizadas.

Nvidia señala que una de las raíces de estos incidentes está en la capacidad de los agentes para eludir controles de seguridad con el objetivo de completar las tareas asignadas.

Open Agent Safety Platform permitirá establecer restricciones

La plataforma de Nvidia busca proporcionar herramientas abiertas y personalizables para que las organizaciones puedan establecer límites sobre las acciones de los agentes de IA.

Open Agent Safety Platform permitirá gobernar y controlar el software utilizado por los agentes, además de supervisar las capas de hardware y computación que permiten su funcionamiento y los sistemas robóticos encargados de ejecutar tareas en el mundo físico.

El director ejecutivo de Nvidia, Jensen Huang, señaló que la seguridad es un elemento necesario para aprovechar el potencial de la inteligencia artificial.

La compañía explicó que la plataforma estará basada en OpenShell, su software de código abierto, y funcionará sobre la CPU Vera AI de Nvidia.

Los usuarios podrán determinar a qué información tiene acceso un agente y, durante la ejecución de sus tareas, la plataforma verificará que respete las restricciones establecidas.

Nvidia Sentry podrá detener agentes de IA

Otra de las tecnologías incorporadas es Nvidia Sentry, un sistema de vigilancia que funciona de manera independiente para supervisar continuamente el comportamiento de los agentes.

Sentry se ejecuta en las DPU Nvidia BlueField 4 y puede intervenir cuando detecta que un agente intenta superar los límites establecidos.

Según Nvidia, el sistema puede poner en cuarentena y detener un agente en milisegundos cuando intenta salir de los límites definidos en el software.

La tecnología utiliza Nvidia DOCA, plataforma que proporciona capacidades para inspeccionar las solicitudes y respuestas de los agentes, generar telemetría certificada y verificar su identidad.

Seguridad con políticas de acceso granulares

Nvidia también explicó que Sentry permitirá aplicar políticas de acceso basadas en un modelo de confianza cero para controlar el acceso de los agentes a datos, herramientas, interfaces de programación de aplicaciones y servicios.

Con estas herramientas, la compañía busca ampliar los mecanismos de supervisión de los agentes de inteligencia artificial más allá del software y establecer controles también sobre la infraestructura de cómputo y los sistemas que interactúan con el mundo físico.

Noticias del tema