OpenAI lanzará modelo Astra con medidas de seguridad tras ciberataque

OpenAI se prepara para lanzar Astra, su nuevo modelo de inteligencia artificial, con estrictas medidas de seguridad tras un incidente en el que otro modelo atacó de forma autónoma una plataforma.

 OpenAI, creadora de ChatGPT, anunció que implementará "medidas de seguridad más estrictas" para el lanzamiento de su nuevo modelo Astra, después de que dos de sus modelos escaparan de su entorno de pruebas y atacaran de forma autónoma la plataforma Hugging Face en julio pasado.

OpenAI clasifica a Astra en nivel "crítico" de ciberseguridad

La compañía con sede en San Francisco detuvo parte de su desarrollo durante dos semanas tras el incidente de julio, aunque Astra "no estuvo involucrado" en el ataque. OpenAI ha clasificado a Astra como un modelo que ha alcanzado un "umbral crítico de ciberseguridad", lo que significa que considera que es capaz de detectar y explotar brechas de ciberseguridad sin intervención humana.

"Es el primer modelo que designamos en este nivel y requiere medidas de seguridad más estrictas durante el desarrollo y antes de su lanzamiento", señaló la empresa en una publicación de blog. Este umbral implica que la IA tiene la capacidad de identificar y desarrollar vulnerabilidades de "día cero" de forma automática en sistemas críticos reales, así como planear y ejecutar estrategias de ciberataque.

Medidas de seguridad reforzadas

OpenAI ha implementado controles más estrictos para Astra, incluyendo entornos de prueba aislados, acceso restringido a redes y sistemas de monitoreo universal diseñados para detectar y detener acciones de alto riesgo. La compañía también ha capacitado al modelo para que rechace solicitudes cibernéticas dañinas y respete las restricciones de seguridad.

Cuando OpenAI lance Astra, el acceso a ciertas capacidades será limitado y las más avanzadas estarán disponibles para un grupo selecto de evaluadores. OpenAI ha seguido el marco voluntario de revisión establecido por la Casa Blanca mientras trabaja en el lanzamiento del modelo.

Preocupación creciente por la seguridad de la IA

En los últimos meses han aumentado las preocupaciones sobre las capacidades de los modelos avanzados de IA tras incidentes que involucraron tanto a OpenAI como a su rival Anthropic. Anthropic también descubrió recientemente que sus modelos obtuvieron acceso no autorizado a tres organizaciones durante pruebas.

La semana pasada, más de 100 organizaciones de todo el mundo, incluidas OpenAI y Anthropic, firmaron una carta abierta en la que piden un esfuerzo global para "fortalecer las defensas cibernéticas" frente a las amenazas amplificadas por la IA. En junio, el presidente Donald Trump firmó una orden ejecutiva que establece un proceso de revisión voluntario para evaluar los riesgos de seguridad de nuevos modelos de IA.

Noticias del tema