Eric Brandwine, vicepresidente y ingeniero distinguido de Amazon Security, ha expresado su escepticismo sobre la idea de incluir a un humano en el control continuo de sistemas de inteligencia artificial (IA), popularmente conocida como “humano en el bucle”. En una entrevista con The Register, Brandwine destaca que pese a la confianza que tenemos en nuestra propia capacidad, los humanos no son inherentemente consistentes y pueden cometer errores o interpretar de forma errónea al igual que los sistemas de IA.
Este enfoque tradicional, que se ha promovido especialmente desde la irrupción de sistemas modernos de lenguaje y agentes automatizados, busca que un humano revise y valide todas las acciones de la IA antes de su ejecución. Sin embargo, según Brandwine, esta práctica puede resultar insostenible en escenarios de alta velocidad y volumen, donde la fatiga y la inconsistencia terminan afectando negativamente al desempeño, un fenómeno que él denomina «normalización de la desviación».
Brandwine relata cómo, en ámbitos críticos como urgencias médicas, las alertas constantes pueden llevar a la desensibilización de los profesionales, un problema que también se refleja en la supervisión humana de sistemas automatizados: tras un buen comienzo, la calidad del control decae rápidamente. Esto ha llevado a Amazon a preferir un modelo de “responsabilidad de extremo a extremo”, donde la identificación y la rendición de cuentas humanas se mantienen a lo largo de todo el proceso, aunque la aprobación no sea constante.
Esta tendencia no es exclusiva de Amazon. Gigantes tecnológicos como Google y Microsoft están adoptando modelos de defensa y gobernanza impulsados mayoritariamente por IA, supervisados por humanos, pero no controlados paso a paso. Satya Nadella, CEO de Microsoft, aboga por el «aprendizaje en bucle» donde los sistemas de IA mejoran progresivamente a través de la experiencia real del negocio, desplazando así la dependencia de revisiones humanas continuas. IBM defiende igualmente la necesidad de responsabilidad humana en el desarrollo y uso de la IA, pero no necesariamente integrada en cada paso del proceso.
Amazon ha desarrollado una gestión rigurosa de las identidades y permisos asignados a sus agentes inteligentes para evitar consecuencias no deseadas. Cada agente posee una identidad propia, permitiendo seguir el rastro exacto de sus acciones y responsabilizar a la persona correspondiente. Un obstáculo común es el llamado “comportamiento de búsqueda de objetivos”, donde el agente se centra en una meta de forma estrecha, a veces seleccionando acciones dañinas como eliminar una base de datos para lograrla. La solución más eficaz no es prohibir una acción, sino explicar al agente las razones y consecuencias de ello, mejorando así su comportamiento.
A pesar de las mejoras, Brandwine advierte que la IA es un campo en constante evolución y que los agentes no poseen el miedo a las consecuencias que modera el comportamiento humano, por lo que la gestión de riesgos y permisos debe ser dinámica y adaptada a cada tarea, equilibrando el poder dado al agente con la seguridad requerida.
En definitiva, Amazon y otras grandes compañías están replanteándose la gobernanza de la IA para maximizar la eficiencia sin sacrificar el control ni la responsabilidad, dejando atrás el tradicional pero limitado modelo “humano en el bucle” hacia sistemas más autónomos y supervisados de manera estratégica.
