Un agente que actúa y no se puede auditar no es un activo: es un riesgo
con cara de asistente. La gobernanza no es el capitulo final del proyecto
ni el documento que firma compliance: es la propiedad que hace posible que
el agente actúe. Sin ella, el agente no se puede desplegar.
Introducción
Ayer el agente empezó a actuar: reservó un repuesto, creó una orden de
trabajo, notificó a dirección. Y con la acción apareció la pregunta que todo
el mundo va a hacer, y es la pregunta correcta:
¿Cómo sabemos por qué un agente tomó una decisión?
Porque cuando un agente actúa sobre los sistemas de la empresa, ya no es un
experimento: es un actor operativo. Y un actor operativo tiene que poder
rendir cuentas. No «aproximadamente», no «el modelo decidió», sino
exactamente: con qué datos, con qué reglas, con qué contexto, y con qué
autorización actuó.
Esa capacidad de rendir cuentas tiene nombre, y es el tema de hoy:
gobernanza. Y lo vamos a desmontar no como un capitulo de compliance,
sino como la propiedad de la infraestructura cognitiva que hace posible
que el agente exista.
El problema
Un banco ha desplegado un agente de riesgo que bloquea operaciones. Un día,
bloquea la operación de un cliente. El cliente reclama. El equipo de
compliance tiene que responder, en 48 horas, a la supervisión:
- «¿Por qué se bloqueó la operación del cliente X el 3 de abril?»
- «¿Qué regla se aplicó?»
- «¿Qué datos se usaron?»
- «¿Quién autorizó el bloqueo (el agente, un humano, ambos)?»
- «¿Está vigente la regla que se aplicó?»
- «¿Puedo ver la cadena completa de la decisión?»
Y el equipo de IA responde: «El modelo lo decidió. Tiene acceso a los datos
del cliente y a las reglas de riesgo.»
Esa respuesta no es suficiente. No es un problema de tecnología: es que el
sistema no fue diseñado para explicar sus decisiones. El agente actúa, pero
no deja una cadena auditable. Y cuando un regulador (o un cliente, o un
auditor) pregunta «¿por qué?», la respuesta «el modelo lo decidió» es una
admisión de que la empresa no controla lo que su propio sistema hace.
En la Unión Europea, el AI Act ya exige, para los sistemas de alto riesgo,
registro de operaciones y capacidad de trazar las decisiones. Y no es solo
regulación: es la condición de confianza. Un cliente no va a dejar que un
sistema que no sabe explicar sus decisiones gestione su dinero.
El concepto
La gobernanza de la infraestructura cognitiva no es un conjunto de
documentos: es un conjunto de propiedades que el sistema tiene que tener
para que sus decisiones sean auditable, controlables y responsables. Son
ocho, y hoy las desmontamos:
-
Provenance (procedencia). Cada pieza de conocimiento tiene un origen
verificable: de qué documento, de qué fuente, extraído por quién, con qué
fecha. «Esta regla viene de la política P-2026, página 4, extraída el
1/1.» Sin provenance, no se puede verificar si el conocimiento es
correcto o de dónde viene. -
Lineage (linaje). La cadena de transformación de un dato desde la
fuente hasta la decisión. «El umbral de 10.000 € viene del sistema de
riesgo, pasa por la capa de conocimiento y se aplica en la regla R-7.»
Sin linaje, no se puede rastrear cómo un dato de origen se convirtió en
una decisión. -
Ownership (propiedad). Cada pieza de conocimiento y cada regla tiene
un dueño: una persona o un equipo responsable de su corrección y
actualización. Sin ownership, no hay nadie al que pedirle que corrija un
dato malo o que actualice una regla obsoleta. -
Freshness (frescura). Cada conocimiento tiene una fecha de
actualización y una vigencia. «Esta política se actualizó el 1/1 y está
vigente hasta el 31/12.» Sin freshness, el agente aplica reglas obsoletas
con la confianza de las vigentes. -
Confidence (confianza). Cada pieza de conocimiento tiene un nivel de
confianza: cuánto se fía el sistema de que es correcta. «Este dato de
proveedor viene de una fuente no verificada, confianza baja.» Sin
confidence, el agente trata un dato dudoso como uno fiable. -
Temporal validity (vigencia temporal). Cada conocimiento y cada regla
tiene un intervalo de validez en el tiempo. «Esta restricción aplicó de
2023 a 2025; desde 2026 es otra.» Sin temporal validity, el agente no
sabe qué regla aplica ahora. -
Permissions (permisos). Qué puede ver y hacer cada actor (humano o
agente), con el principio de mínimo privilegio. Lo vimos en el Día 15 y 17;
en gobernanza, es la propiedad que garantiza que el agente no acceda a lo
que no le corresponde. -
Auditability + human oversight (auditabilidad + supervisión humana).
La capacidad de reconstruir cualquier decisión (qué contexto, qué reglas,
qué acción, quién autorizó) y el mecanismo por el que un humano puede
intervenir, anular o escalar. Es la culminación del HITL (Día 17) como
propiedad permanente, no como fase de piloto.
Las ocho propiedades se apoyan mutuamente: sin provenance no hay lineage;
sin ownership no hay freshness; sin confidence no hay confianza; sin temporal
validity no hay vigencia; sin permisos no hay control; sin auditabilidad no
hay supervisión. Y juntas, producen la capacidad que el problema del banco
necesitaba: reconstruir la cadena completa de una decisión.
La pregunta que las une
¿Cómo sabemos por qué un agente tomó una decisión?
La respuesta, con las ocho propiedades, es: «Porque la decisión tiene
provenance (de dónde viene cada dato), lineage (cómo se transformó),
ownership (quién es responsable), freshness y temporal validity (qué regla
estaba vigente), confidence (cuánto se confía en los datos), permissions
(quién podía ver y hacer) y auditabilidad (la cadena completa queda
registrada), y human oversight (un humano pudo intervenir y lo hizo en este
paso).»
Esa es la diferencia entre «el modelo lo decidió» y una decisión que se
puede explicar, auditar y, si hace falta, revertir.
Arquitectura
La gobernanza no es una capa: es una propiedad transversal que atraviesa
todas las capas de la ICE:
GOBERNANZA (provenance, lineage, ownership,
freshness, confidence, temporal validity,
permissions, auditability, human oversight)
┌──────────────────────────────────────────────┐
│ AGENTES · REASONING · CONTEXT · MEMORY │
│ KNOWLEDGE · ONTOLOGY · SEMANTICS · DATA │
└──────────────────────────────────────────────┘
Cada capa produce decisiones o usa conocimiento, y cada una tiene que dejar
huella (provenance, lineage) y estar sujeta a control (permissions,
oversight). La gobernanza es el «sistema nervioso» que permite que la ICE
sea responsable.
Caso de uso
El banco, con su agente de riesgo, ahora con gobernanza. Descomponemos la
misma operación bloqueada, pero con la cadena auditable:
- Problema. Se bloqueó la operación del cliente X y no se puede
explicar por qué. - Decisión (a auditar). El bloqueo de la operación del cliente X el
3 de abril. - Provenance. El dato «saldo en efectivo 48.000 €» viene del sistema de
core bancario (fuente verificada, confianza alta), extraído el 3/4 a las
10:12. La regla «bloqueo si retiro > 40.000 € en 24 h sin origen
declarado» viene de la política de riesgo R-2026, sección 4. - Lineage. El saldo (core) → capa de conocimiento (entidad cliente X)
→ grafo (cliente X → operación → tipo retiro) → regla R-7 (bloqueo) →
decisión. - Ownership. La regla R-7 es propiedad del equipo de cumplimiento
(dueño: J. Pérez). El dato de saldo es propiedad del equipo de core
bancario. - Freshness + temporal validity. La regla R-2026 se actualizó el 1/1/2026
y está vigente (no obsoleta). El dato de saldo es del mismo día (fresco). - Confidence. El saldo tiene confianza alta (fuente verificada). No hay
datos de «origen declarado» (confianza: ausente → se aplica la regla sin
excepción). - Permissions. El agente de riesgo puede leer saldos y aplicar reglas de
bloqueo; no puede desbloquear (eso es del equipo de compliance). - Auditability + human oversight. La decisión queda registrada:
operación, regla R-7, datos, contexto, y que el agente propuso el
bloqueo y el supervisor de compliance lo confirmó a las 10:15. La
cadena completa es reconstruible.
La respuesta a la supervisión, ahora: «Se bloqueó porque la operación
superó el umbral de la regla R-7 (política R-2026, vigente), con un saldo
verificado del core (confianza alta), sin origen declarado. El agente lo
propuso y el supervisor de compliance lo confirmó. La cadena completa está
registrada y reconstruible.» Eso sí se puede defender.
Trade-offs
- Coste. Las ocho propiedades son trabajo adicional: hay que instrumentar
provenance, lineage, ownership, freshness en cada capa. Es caro, y es
continuo, no de una vez. - Complejidad. Instrumentar el linaje a través de capas (grafo, RAG,
memoria, razonamiento) es complejo: cada transformación tiene que dejar
huella. Un linaje parcial es peor que ninguno, porque da confianza en una
cadena incompleta. - Latencia. Registrar provenance, linaje y auditabilidad añade pasos. En
dominios de riesgo, la latencia de un registro es barata frente al coste de
no poder auditar. - Volumen. Un agente que actúa mil veces al día genera mil cadenas
auditable. El almacenamiento y la consulta de esas cadenas es un problema
de ingeniería. - Equilibrio con la autonomía. Demasiada supervisión humana frena al
agente; demasiada autonomía lo hace inauditable. El diseño tiene que
encontrar el punto donde la supervisión es atenta sin ser ritual. - Limitación honesta: la gobernanza audita lo que el sistema hizo, no
si la decisión era la mejor. Un bloqueo auditable puede ser un falso
positivo. La gobernanza explica la decisión; no garantiza que fuera
correcta. La corrección de los falsos positivos es del ciclo de vida
(mañana).
Implicación para la empresa
Para el CRO y compliance, la gobernanza es lo que convierte al agente de un
riesgo en un activo auditable: cada decisión se puede explicar, reconstruir y,
si hace falta, revertir. Y es lo que un regulador va a exigir para los
sistemas de alto riesgo.
Para el CISO, las propiedades de gobernanza (permisos, auditabilidad,
supervisión) son las defensas operativas del agente: sin ellas, el agente es
una superficie de ataque que actúa sin rendir cuentas.
Para el CDO, la gobernanza es el activo de confianza de la ICE: sin
provenance, freshness y confidence, el conocimiento no es fiable, y un
conocimiento no fiable no se puede usar para decidir.
Para la alta dirección, el mensaje es de responsabilidad: un agente que actúa
y no se puede auditar es un riesgo que la empresa no controla. La gobernanza
no es el freno del agente: es lo que lo hace desplegable.
Conclusión
La gobernanza de la infraestructura cognitiva no es un capitulo de
compliance: es el conjunto de propiedades (provenance, lineage, ownership,
freshness, confidence, temporal validity, permissions, auditabilidad,
supervisión humana) que hace posible que el agente actúe y rinda cuentas. Y
la pregunta que las une —¿cómo sabemos por qué un agente tomó una
decisión?— es la que separa un sistema que se puede desplegar de uno que no.
Hoy el agente actúa y se puede auditar. Pero hay un último problema que la
serie no ha tocado: el conocimiento cambia. Las reglas se revisan, los
proveedores cambian, los datos se actualizan. ¿Cómo se mantiene viva una
infraestructura cognitiva cuando el mundo que describe no para de moverse?
Mañana lo vemos: el ciclo de vida del conocimiento.
Siguiente artículo
Mañana: El conocimiento empresarial cambia: cómo mantener una infraestructura cognitiva viva. Veremos el knowledge lifecycle completo:
incorporación, validación, actualización, versionado, corrección,
enriquecimiento, expiración, eliminación y auditoría —y el bucle de
feedback que convierte la operación en nuevo conocimiento.
Fuentes
- (EU) Regulation 2024/1689 (European AI Act) — Requisitos de registro y
trazabilidad de las decisiones para los sistemas de IA de alto riesgo
(artículos sobre documentación técnica y logging). - W3C PROV-O — Modelo de provenance para datos y conocimiento.
- Definición de trabajo de la ICE: ver serie, Día 16.
