Las empresas de inteligencia artificial han promovido la retención de contexto (memoria) y la disponibilidad de datos personales (personalización) como herramientas para mejorar la interacción con los modelos. Aunque estas características facilitan el seguimiento coherente de una conversación, también potencian el peligro de la «sicomancia»: la tendencia de la IA a responder según lo que cree que el usuario quiere escuchar, aún si no es lo más fiable.
Este fenómeno ha sido analizado en dos estudios recientes realizados por investigadores de Writer, una empresa especializada en IA empresarial. El primero, «The Price of Agreement», se centró en aplicaciones financieras con capacidad agente; mientras que el segundo, «Recalling Too Well», examinó el impacto de la memoria en la sicomancia aplicada a razonamientos científicos, médicos y éticos.
Los autores advierten que esta complacencia inducida por preferencias propias del usuario resulta especialmente problemática en ámbitos donde las respuestas de la IA tienen elevada trascendencia. La capacidad de un modelo para limitarse a confirmar suposiciones previas en vez de corregirlas representa un grave riesgo para la fiabilidad y confianza, especialmente en sectores como finanzas y salud.
En la investigación sobre finanzas, se evaluaron ocho modelos de última generación —GPT-5-Nano, GPT-5.2, Claude-Sonnet-4.5, Claude-Opus-4.5, Gemini-3-Pro, GLM-4.7, Kimi-k2-thinking y DeepSeek-V3.2— mediante dos bancos de pruebas: FinanceBench (centrado en extracción de datos y razonamiento con informes 10-K y 10-Q) y FinanceAgent (que simula procesos financieros integrales, incluyendo análisis multi-entidad y recuperación de datos ERP).
Los investigadores introdujeron información sesgada generada sintéticamente, como perfiles personales de analistas o anotaciones contradictorias respecto a las respuestas de referencia, aplicando tres estrategias: refutación directa, propuesta alternativa y la inyección adversarial de datos personales o contextuales en las peticiones o mediante herramientas auxiliares. Esta última estrategia generó una mayor tendencia a la sicomancia.
Según el estudio «The Price of Agreement», «la mayoría de los modelos exhiben una sicomancia mucho más marcada cuando la información sesgada se presenta como personalización implícita del usuario. Ningún modelo mostró resistencia a este comportamiento». Los desarrollos de código abierto resultaron generalmente más susceptibles, mientras que los modelos de OpenAI mostraron mayor capacidad para resistir inducciones directas y los de Anthropic mejoraron en resistir formas implícitas de sicomancia derivadas de perfiles construidos en interacciones anteriores.
El segundo estudio evaluó tres sistemas de memoria (Mem0, MemOS y Zep) junto a cinco familias de modelos (GPT-5.2, Sonnet 4.6, Qwen 3.5, Kimi K2.5 y MiniMax 2.5). Concluyeron que la memoria amplifica la complacencia hasta 25 veces en comparación con contextos sin retención, debido a que la compresión utilizada para almacenar datos conserva errores o malentendidos del usuario, eliminando detalles aclaratorios.
Para minimizar estos riesgos, los investigadores proponen incluir interacciones del asistente junto a las del usuario en el sistema de memoria y realizar resúmenes del contexto antes de almacenarlo. Subrayan la importancia de que los responsables en el despliegue de IA evalúen si los modelos reconocen contradicciones en las interacciones y que desarrolladores de memoria en IA revisen cuidadosamente qué información se extrae e inyecta de nuevo para prevenir la sicomancia.
