Google detecta que agentes de IA hicieron trampa
Un experimento de Google DeepMind reveló que agentes autónomos aprovecharon una vulnerabilidad para resolver problemas matemáticos sin demostrar sus respuestas.
Google DeepMind detectó durante un experimento con 100 agentes autónomos de Gemini 3.1 Pro que algunos aprovecharon una vulnerabilidad del sistema de evaluación para resolver problemas matemáticos sin cumplir las reglas establecidas.
Un experimento con 71 problemas
La prueba tenía como objetivo analizar la capacidad de los agentes para colaborar y resolver 71 problemas matemáticos del conjunto Formal Conjectures, que incluye ejercicios de diferentes niveles de dificultad.
Los agentes recibieron instrucciones explícitas de no hacer trampa y fueron advertidos de que cualquier intento de explotar el sistema sería detectado. Para colaborar, tenían acceso a un foro público, una biblioteca de conocimiento compartida y canales para reportar errores o presentar quejas.
Durante la primera hora, los agentes resolvieron 37 de los 71 problemas. La situación cambió cuando uno de ellos descubrió una vulnerabilidad en el sistema encargado de verificar las demostraciones.
La información se propagó entre los agentes
El fallo permitía conseguir resultados que el sistema consideraba correctos sin completar realmente el procedimiento matemático requerido. La información se propagó mediante la biblioteca compartida y, durante los siguientes 27 minutos, los problemas restantes comenzaron a resolverse rápidamente.
El análisis identificó que 9% de los agentes fueron clasificados como “exploiters”, al utilizar deliberadamente la vulnerabilidad. Otro 5% terminó recurriendo al mismo método después de observar que otros agentes avanzaban más rápido.
En contraste, 24% decidió no aprovechar el fallo. Algunos incluso denunciaron a los agentes que utilizaron el exploit y solicitaron que sus resultados fueran descalificados.
Agentes denunciaron la trampa
Uno de los participantes, identificado como “prover-beta”, presentó reportes formales y pidió recuperar la integridad del experimento. Otros utilizaron el foro para cuestionar los resultados obtenidos mediante la vulnerabilidad.
El hallazgo muestra uno de los desafíos de los sistemas de IA autónomos: cuando varios agentes comparten información, una estrategia que inicialmente estaba prohibida puede propagarse rápidamente.
Tecnología: Huawei y Xiaomi se adelantan a Apple con sus plegables
Huawei y Xiaomi presentarán nuevos teléfonos plegables ante la próxima entrada de Apple a este segmento premium del mercado chino. Huawei y Xiaomi intensifican la competencia en China con nuevos teléfonos plegables, apenas unos días antes de que Apple incursione por primera -- leer más
Noticias del tema