Por qué no construimos automatización de caja negra

Regularmente participo en primeras reuniones en las que directores generales me muestran un proceso automatizado que otro proveedor construyó hace años, y casi siempre surge la misma frase: ya nadie en la empresa sabe por qué el sistema decide de esa manera en ese punto. El proveedor ya no está, la documentación nunca se escribió, y sencillamente no existe una vía de escalamiento para los casos excepcionales. Eso es exactamente lo que llamo automatización de caja negra, y eso es exactamente lo que no construimos en NordFlux.

¿Qué es concretamente una automatización de caja negra?

Una automatización de caja negra es un proceso automatizado cuya lógica de decisión ya no se puede rastrear a posteriori, que no conoce vías de escalamiento definidas para los casos excepcionales, y cuyas reglas no están documentadas en ningún lugar. Las tres características no tienen que darse al mismo tiempo, pero en la práctica casi siempre van juntas, porque provienen de la misma causa: un sistema se construyó para una puesta en marcha rápida, no para la operación posterior.

Este no es un problema marginal. El 38 por ciento de las empresas en Alemania menciona la falta de trazabilidad de los resultados de la IA como uno de los mayores obstáculos para el uso de la inteligencia artificial, según el estudio de Bitkom «Inteligencia Artificial 2025». Así que, si alguna vez pensó que su flujo de trabajo inexplicable era un caso aislado: no lo es.

¿Por qué surgen las cajas negras en primer lugar?

Las cajas negras rara vez surgen de mala intención, sino de la presión del tiempo y de incentivos equivocados. Una prueba de concepto pasa a producción sin más refactorización, un agente de IA se entrena para un objetivo estrecho sin que nadie registre cómo llega a sus decisiones, y la documentación es lo primero que se deja de lado cuando un proyecto va con retraso. Al final, queda un sistema que funciona mientras nadie pregunte por qué.

A nivel internacional, la cautela frente a este tipo de sistemas es desde hace tiempo la opinión mayoritaria, no la excepción: el 61 por ciento de las personas en todo el mundo se muestran, según el estudio de KPMG «Trust in Artificial Intelligence», reacias a confiar en los sistemas de IA, un valor estrechamente relacionado con la falta de trazabilidad. El proveedor que no responda a esta desconfianza con transparencia solo la refuerza.

¿Cómo trabajamos en NordFlux en su lugar?

Construimos cada automatización de manera que siga funcionando sin nosotros. En concreto, esto significa: cada flujo de trabajo se ejecuta en la infraestructura del cliente, ya sea su propia instancia de n8n, su propio tenant de Microsoft o su propio entorno de UiPath, con accesos que pertenecen al cliente y no a nosotros. Quien termina la colaboración con nosotros conserva el acceso completo a sus propios procesos.

Cada proyecto incluye un Process Design Document que describe la lógica de decisión, las fuentes de datos utilizadas y los límites del sistema en lenguaje sencillo, no solo en el diagrama de flujo de trabajo. En el caso de un cliente de la administración pública, precisamente este documento resistió una auditoría interna de seguridad informática, porque cada bifurcación del proceso, junto con su justificación, constaba por escrito en lugar de tener que explicarse verbalmente.

¿Qué significa concretamente un modelo de escalamiento?

Un modelo de escalamiento define de antemano a partir de qué punto una automatización o un agente de IA deja de tomar una decisión por sí solo y la traslada a una persona. En una revisión de facturas, esto significa, por ejemplo: los importes por debajo de un umbral definido y con una asignación clara pasan automáticamente; todo lo demás, asignación poco clara, importe inusualmente alto, nuevo proveedor, se traslada con justificación a una persona encargada. Sin este modelo, el sistema toma en caso de duda alguna decisión cualquiera, y nadie se da cuenta hasta que es demasiado tarde.

Esta expectativa también está cada vez más anclada a nivel regulatorio: el EU AI Act exige explícitamente, para los sistemas de IA de alto riesgo, en el artículo 13, que su funcionamiento esté diseñado de forma suficientemente transparente para que los operadores puedan interpretar y utilizar adecuadamente los resultados, incluyendo documentación trazable de las capacidades y los límites. Quien ya construye así hoy, no tendrá que ponerse al día mañana.

¿Cuesta más tiempo la transparencia?

Honestamente: sí, un poco, al principio. Escribir un Process Design Document y definir un modelo de escalamiento lleva más tiempo que simplemente ponerse a construir. Este esfuerzo adicional se recupera en cuanto cambia un empleado, un auditor pregunta o un proceso debe ampliarse, porque entonces existe una base sobre la cual construir, en lugar de empezar de cero. El control, por tanto, no es una promesa de marketing, sino simplemente más económico a lo largo de la duración del proyecto.

Más información sobre nuestra forma de trabajar con agentes de IA en nuestro servicio Agentes de IA, y sobre el asesoramiento de gobernanza que lo acompaña en nuestro servicio Consultoría de IA.

Preguntas frecuentes

¿Qué diferencia una automatización de NordFlux de una caja negra?

Una automatización de NordFlux está documentada, se ejecuta en la infraestructura del cliente y traslada los casos límite a una persona según un modelo de escalamiento definido. Una caja negra no cumple ninguno de estos tres criterios.

¿Quién posee los flujos de trabajo y los accesos tras finalizar el proyecto?

El cliente. Construimos en el propio entorno de n8n, Microsoft o UiPath del cliente, no en el nuestro, para que la colaboración pueda terminar en cualquier momento sin dependencia de nosotros.

¿Qué ocurre si un agente de IA no está seguro de una decisión?

No la toma él mismo. El modelo de escalamiento definido de antemano traslada los casos poco claros o límite, con justificación, a una persona responsable, en lugar de emitir una suposición como resultado.

¿Más transparencia cuesta automáticamente más dinero?

Algo más de esfuerzo en la implementación, sí, porque la documentación y el modelo de escalamiento se planifican desde el principio. A lo largo de la duración del proyecto, esto resulta más económico que una caja negra que hay que volver a explicar con cada cambio de personal o cada auditoría.