Por qué tu asistente de IA se equivoca (y cómo se construye uno fiable)

Imagina que llevas meses usando un asistente de IA conectado a tu correo y un día le preguntas quién es tu contacto actual para un tema concreto. Te contesta con total seguridad y con muy buena redacción, pero te da el contacto de hace un mes, el anterior, que ya no es el que toca. El dato correcto estaba en tu correo y el asistente lo tenía, pero aun así respondió mal.

Esto no es un ejemplo inventado: nos pasó con Teo, el asistente que usamos cada día en Ayudeo, y es uno de los fallos más caros que puede tener un agente, porque no parece un fallo. No da ningún error ni te dice que no lo sabe, sino que te da información desactualizada con toda la apariencia de ser buena. Si en ese momento estás delante de un cliente, la credibilidad del asistente (y la tuya) se va en una frase.

Para arreglarlo bien tuvimos que entender por qué pasa, y lo que aprendimos sirve para cualquier negocio que se plantee tener un agente de IA.

Tu historial guarda todas las versiones de tu vida

Tu correo y tus documentos guardan todo lo que ha sido cierto en algún momento: el proveedor de antes y el de ahora, la tarifa de 2023 y la de este año, la persona que llevaba tu cuenta y la que la lleva desde el mes pasado.

Cuando un asistente busca en ese historial, encuentra una respuesta que encaja con tu pregunta, pero que encaje no quiere decir que siga vigente. Y un modelo de lenguaje, por listo que sea, no tiene forma de saber qué es verdad hoy si nadie se lo dice, porque solo ve textos y el texto viejo se parece muchísimo al nuevo.

Además, los asistentes con memoria van aprendiendo cosas de tus conversaciones, y esa memoria también envejece. Lo que aprendió en junio puede ser falso en julio, y lo seguirá defendiendo como cierto porque nadie la ha revisado.

Las 4 reglas que usamos para que un agente sepa qué es verdad hoy

Después de aquel susto rehicimos la fiabilidad de Teo por capas y lo resumimos en cuatro reglas. Hoy son el estándar con el que construimos cada asistente:

1. Todo dato que caduca lleva fecha y una única fuente de la verdad. Un contacto, una tarifa, una dirección o un horario se registran en un único sitio con su valor, desde cuándo vale y de dónde sale. Cuando cambia, se actualiza ahí. El asistente no tira de lo que recuerda sobre tu situación actual, sino que la consulta.

2. La memoria del asistente se revisa, porque lo aprendido envejece. La memoria de un agente solo tiene valor si se mantiene al día. La nuestra se repasa, y lo que ha quedado obsoleto se marca como histórico, indicando que fue así hasta tal fecha, en lugar de dejarlo compitiendo con lo vigente.

3. Las comprobaciones críticas van en código, no en confiar en que la IA lo hará bien. Cuál es el dato más reciente no se le pregunta al modelo. Lo calcula el sistema comparando fechas, siempre de la misma manera, y le entrega el resultado ya marcado como vigente. Las instrucciones del prompt orientan, pero lo que da garantías es el código, así que todo lo que sea crítico para tu negocio tiene que estar en esa parte.

4. Cuando lo nuevo contradice lo viejo, gana lo más reciente, por una regla explícita. No depende de la suerte del buscador ni de que el modelo esté fino ese día. Hay una regla fija: ante dos versiones del mismo hecho, manda la de fecha más reciente y la antigua queda como contexto histórico.

El resultado (y cómo lo comprobamos)

Con las cuatro reglas en marcha, repetimos la pregunta que había fallado, incluso escrita con erratas y sin dar pistas. El asistente respondió con el contacto vigente y su fecha, y explicó que el anterior correspondía a un proceso ya cerrado.

Hay un detalle de método que aplicamos a todo: no damos nada por arreglado solo porque el cambio esté hecho. Se comprueba en el sistema en funcionamiento, con la pregunta real, y solo entonces se da por cerrado. Esa costumbre de verificar en producción, y no solo en teoría, evita más disgustos que cualquier modelo de moda.

Qué significa esto si estás pensando en un agente para tu negocio

Cuando valores un asistente de IA, sea el nuestro o cualquier otro, haz estas preguntas:

• ¿Dónde se guardan los datos que caducan (contactos, tarifas, condiciones) y tienen fecha?
• ¿Qué pasa cuando el historial contradice el presente? ¿Qué versión gana y con qué regla?
• ¿La memoria del asistente se revisa o se va acumulando para siempre?
• ¿Las comprobaciones críticas están en código o son una instrucción más en el prompt?

Si el proveedor no sabe contestar, la demo te está enseñando el mejor día del asistente. Nosotros preferimos enseñarte el día difícil, porque es ahí donde se gana la confianza. Esa misma disciplina de citar la fuente y decir que algo no consta en lugar de inventárselo es la que aplica Memoria Fiel sobre tu propio archivo.

¿Quieres un asistente construido así, sobre tu correo, tus documentos y tu forma de trabajar? Consulta los planes de asistentes y hablemos.