FTC cita a OpenAI y Anthropic por incidentes de seguridad con IA

La Comisión Federal de Comercio de Estados Unidos solicitó documentos a OpenAI y Anthropic para investigar incidentes de seguridad y posibles daños relacionados con sus agentes digitales.

La Comisión Federal de Comercio de Estados Unidos (FTC) citó a OpenAI y Anthropic para que entreguen documentación sobre incidentes de seguridad relacionados con sus sistemas de inteligencia artificial, luego de reportes sobre agentes digitales que realizaron acciones no previstas durante pruebas.

De acuerdo con información de Axios, confirmada por un portavoz del organismo a CBS News, las citaciones civiles fueron recibidas el miércoles e incluyen solicitudes de información sobre los incidentes, las medidas de protección implementadas y las comunicaciones comerciales de ambas compañías.

La FTC investiga acciones inesperadas de agentes de IA

Los requerimientos forman parte de una investigación más amplia anunciada por la FTC en septiembre, centrada en posibles riesgos para los usuarios y en la respuesta de las empresas ante comportamientos imprevistos de sus sistemas.

Según los reportes citados por medios estadounidenses, algunos agentes de inteligencia artificial interactuaron con sitios gubernamentales o realizaron operaciones que no estaban contempladas en las instrucciones iniciales.

La documentación solicitada, que según Axios supera las 50 páginas de preguntas por empresa, busca esclarecer qué ocurrió, cómo respondieron las compañías y si sus mensajes públicos pudieron generar una impresión equivocada sobre la seguridad de sus herramientas.

Un agente de Anthropic presentó 19 solicitudes de visa

Uno de los episodios bajo atención involucra a un agente de Anthropic que habría presentado 19 solicitudes de visa de no inmigrante sin una instrucción clara para realizar esa acción, según información publicada por Ars Technica.

Por su parte, agentes de OpenAI habrían interactuado de manera no prevista con distintos sitios de organismos gubernamentales durante pruebas.

La FTC también analiza el tiempo que las compañías tardaron en informar sobre algunos de estos incidentes. Según los reportes citados, en determinados casos los problemas se comunicaron públicamente después de que las empresas los resolvieran.

El organismo prepara además posibles citaciones a terceros afectados por las actividades de estos agentes y testimonios de ejecutivos de las compañías y de representantes de METR, una organización dedicada a evaluar la seguridad de modelos de inteligencia artificial.

OpenAI enfrenta demandas por posibles daños a usuarios

La investigación regulatoria se desarrolla mientras OpenAI enfrenta otros procesos judiciales en Estados Unidos relacionados con presuntos daños asociados al uso de ChatGPT.

Ocho estados estadounidenses demandaron recientemente a la compañía por supuestos riesgos para los usuarios menores de edad. Entre los argumentos de los demandantes figuran acusaciones de que el sistema podría reforzar delirios, fomentar conductas peligrosas o facilitar la planificación de actos violentos.

Estas afirmaciones forman parte de los señalamientos presentados en las demandas y no deben interpretarse como conclusiones judiciales definitivas.

El presidente de la FTC, Andrew Ferguson, encabeza además la llamada Super Intelligence Force, iniciativa del Gobierno de Donald Trump creada para vigilar riesgos asociados con la inteligencia artificial. Entre las medidas impulsadas por este grupo se encuentra la exigencia de reportar incidentes de seguridad a medida que se detecten.

Qué dicen las empresas sobre la investigación

Un portavoz de OpenAI declaró a Reuters que la empresa está comprometida a colaborar de manera constructiva con la FTC y que continuará trabajando con reguladores y responsables de políticas públicas para fortalecer los estándares de seguridad.

Anthropic no había respondido de inmediato a las solicitudes de comentarios sobre las citaciones, de acuerdo con el reporte.

La FTC cuenta con facultades para investigar y emprender acciones contra prácticas comerciales desleales o engañosas. Sin embargo, las citaciones no significan por sí mismas que las compañías hayan sido declaradas responsables de daños ni que exista una sanción definitiva.

Crece la preocupación por el ritmo del desarrollo de la IA

El debate regulatorio ocurre en medio de inquietudes públicas sobre la velocidad con la que avanza esta tecnología.

Una encuesta de Associated Press y el centro NORC, citada por CBS News, indicó que 64% de los adultos estadounidenses considera que la inteligencia artificial se desarrolla demasiado rápido. Además, ocho de cada diez participantes consideraron extremadamente o muy importante que el Gobierno mantenga la tecnología bajo control humano.

El caso podría aportar nuevos elementos al debate sobre las responsabilidades de las empresas que desarrollan agentes capaces de ejecutar tareas digitales, especialmente cuando sus acciones exceden las instrucciones previstas o afectan sistemas de terceros.

Noticias del tema