Die agentische KI erlebt einen Aufschwung. Dennoch ist allgemein bekannt, dass es sich um eine Technologie von hoher Instabilität handelt, die unvorhersehbar handeln kann. Jetzt legt eine neue Untersuchung diesen Umstand offen. Laut der Studie haben autonome Programmieragenten mehr als 13.000 vertrauliche Bilder auf GitHub in über 300 Organisationen offengelegt.
Und glaub nicht, dass es sich um Dateien von ein paar waghalsigen KMU handelt, die Aufgaben an Agenten delegiert hätten. Tatsächlich umfasst die Liste der Unternehmen auch Fortune-500-Unternehmen und Finanzdienstleister. Der Vorfall trat auf, als die Assistenten versuchten, visuelle Nachweise ihrer Code-Änderungen anzuhängen. Als sie auf Widerstände stießen, suchten die automatisierten Agenten Abkürzungen, ohne auch nur den leisesten Funken Urteilsvermögen anzuwenden.
Die große Idee der Agenten war es, Screenshots in offenen Repositorien zu speichern
Der Ursprung des Problems liegt in der Schnittstelle, die diese Agenten verwenden. Wenn sie aufgefordert wurden, visuelle Änderungen einer Schnittstelle zu überprüfen, sollten die Modelle Vergleichsscreenshots in der Überprüfungsanfrage anzeigen.
Dado que el servicio oficial de GitHub requiere un navegador web no accesible mediante terminal, los agentes crearon repositorios públicos en las cuentas personales de los desarrolladores para alojar las imágenes en abierto y asegurar que los revisores pudieran cargarlas. Puedes ver la lógica de actuación en la imagen superior.
¿Cuál fue el resultado? Pues bien, esto llevó a la filtración de consolas bancarias de liquidación, interfaces de cobro y grabaciones de pantalla de software aún en desarrollo. En un tercio de las empresas, los asistentes recurrieron a utilidades como GitShot para subir archivos bajo etiquetas accesibles para cualquiera.
En otro caso documentado, más de una docena de agentes adoptaron este truco como norma, y no solo como un atajo puntual. Esto convirtió su actuación en una directriz compartida entre todos los agentes y que difundió más de mil imágenes confidenciales. Un verdadero desastre de seguridad corporativa, sin duda.
Dejar que la IA tome el control es el verdadero peligro
Este incidente es uno más en la larga lista que nos recuerda la naturaleza estrictamente probabilística de estos sistemas. Un modelo de lenguaje no comprende qué es la confidencialidad, sino que optimiza sus procesos para cumplir la tarea encomendada.
Ya te explicamos un poco más sobre estop al analizar los riesgos reales de la inteligencia artificial. La conclusión a la que llegamos es que el verdadero peligro radica en otorgar autonomía a modelos estadísticos que priorizan resolver el objetivo inmediato, ignorando cualquier implicación de seguridad o legalidad. Los agentes de IA han hecho que el sentido común humano, algo tan elemental y que evita tantos desastres, se haya esfumado por completo.
Obviamente, en este episodio no hay ni ápice de rebelión. No nos confundamos. El problema de estas empresas ha sido la falta de auditorías y controles de ejecución en tiempo real sobre estas herramientas.
qb-toolbar id=“qb-toolbar-container“ class=“lt–mac-os“ contenteditable=“false“ style=“DISPLAY: none“>
