Pourquoi nous ne construisons pas d'automatisation boîte noire

Je participe régulièrement à des premiers entretiens où des dirigeants me montrent un processus automatisé qu'un autre prestataire a construit il y a des années, et presque toujours la même phrase revient : personne chez nous ne sait plus pourquoi le système décide de telle ou telle façon à cet endroit précis. Le prestataire est parti, la documentation n'a jamais été rédigée, et il n'existe tout simplement aucune voie d'escalade pour les cas exceptionnels. C'est exactement ce que j'appelle l'automatisation boîte noire, et c'est exactement ce que nous ne construisons pas chez NordFlux.

Qu'est-ce qu'une automatisation boîte noire concrètement ?

Une automatisation boîte noire est un processus automatisé dont la logique de décision n'est plus traçable a posteriori, qui ne connaît aucune voie d'escalade définie pour les cas exceptionnels, et dont les règles ne sont documentées nulle part. Les trois caractéristiques ne doivent pas nécessairement apparaître simultanément, mais en pratique elles vont presque toujours de pair, car elles ont la même origine : un système a été construit pour une mise en production rapide, pas pour l'exploitation qui suit.

Ce n'est pas un problème marginal. 38 % des entreprises en Allemagne citent le manque de traçabilité des résultats de l'IA comme l'un des plus grands freins à l'utilisation de l'intelligence artificielle, selon l'étude Bitkom « Intelligence artificielle 2025 ». Alors si vous avez déjà pensé que votre workflow inexplicable était un cas isolé : ce n'est pas le cas.

Pourquoi les boîtes noires apparaissent-elles en premier lieu ?

Les boîtes noires naissent rarement d'une mauvaise intention, mais de la pression du temps et de mauvaises incitations. Une preuve de concept passe en production sans autre refactorisation, un agent IA est entraîné sur un objectif étroit sans que personne ne consigne comment il parvient à ses décisions, et la documentation est la première chose à disparaître quand un projet prend du retard. Au final, on obtient un système qui fonctionne tant que personne ne demande pourquoi.

À l'international, la méfiance envers de tels systèmes est depuis longtemps l'opinion majoritaire, et non l'exception : 61 % des personnes dans le monde se montrent, selon l'étude KPMG « Trust in Artificial Intelligence », réticentes à faire confiance aux systèmes d'IA, une valeur étroitement liée au manque de traçabilité. Tout prestataire qui ne répond pas à cette méfiance par la transparence ne fait que la renforcer.

Comment travaillons-nous chez NordFlux à la place ?

Nous construisons chaque automatisation de façon à ce qu'elle continue de fonctionner sans nous. Concrètement, cela signifie : chaque workflow s'exécute dans l'infrastructure du client, que ce soit sa propre instance n8n, son propre tenant Microsoft ou son propre environnement UiPath, avec des accès qui appartiennent au client et non à nous. Quiconque met fin à la collaboration avec nous conserve un accès complet à ses propres processus.

Chaque projet comprend un Process Design Document qui décrit la logique de décision, les sources de données utilisées et les limites du système en langage clair, pas seulement dans le diagramme de workflow. Chez un client du secteur public, ce document a précisément résisté à un contrôle interne effectué par la sécurité informatique, car chaque embranchement du processus, justification comprise, était consigné par écrit plutôt que devant être expliqué oralement.

Que signifie concrètement un modèle d'escalade ?

Un modèle d'escalade détermine à l'avance à partir de quel point une automatisation ou un agent IA ne prend plus une décision seul, mais la transmet à un humain. Pour un contrôle de factures, cela signifie par exemple : les montants inférieurs à un seuil défini avec une attribution claire passent automatiquement, tout le reste, attribution incertaine, montant inhabituellement élevé, nouveau fournisseur, est transmis avec justification à une gestionnaire. Sans ce modèle, le système prend en cas de doute une décision quelconque, et personne ne s'en aperçoit avant qu'il ne soit trop tard.

Cette exigence est également de plus en plus ancrée sur le plan réglementaire : l'EU AI Act exige explicitement, pour les systèmes d'IA à haut risque, à l'article 13, que leur fonctionnement soit conçu de manière suffisamment transparente pour que les opérateurs puissent interpréter et utiliser correctement les résultats, y compris une documentation traçable des capacités et des limites. Qui construit déjà ainsi aujourd'hui n'aura pas besoin de rattraper son retard demain.

La transparence coûte-t-elle plus de temps ?

Honnêtement : oui, un peu, au début. Rédiger un Process Design Document et définir un modèle d'escalade prend plus de temps que de simplement se lancer. Cet effort supplémentaire est rentabilisé dès qu'un collaborateur change, qu'un commissaire aux comptes pose des questions ou qu'un processus doit être étendu, car il existe alors une base sur laquelle s'appuyer, au lieu de repartir de zéro. Le contrôle n'est donc pas une promesse marketing, mais tout simplement moins coûteux sur la durée du projet.

Pour en savoir plus sur notre façon de travailler avec les agents IA, consultez notre prestation Agents IA, et pour le conseil en gouvernance qui l'accompagne, notre prestation Conseil en IA.

Questions fréquentes

Qu'est-ce qui distingue une automatisation NordFlux d'une boîte noire ?

Une automatisation NordFlux est documentée, s'exécute dans l'infrastructure du client et transmet les cas limites à un humain selon un modèle d'escalade défini. Une boîte noire ne remplit aucun de ces trois critères.

Qui possède les workflows et les accès après la fin du projet ?

Le client. Nous construisons dans l'environnement n8n, Microsoft ou UiPath propre au client, pas dans le nôtre, afin que la collaboration puisse prendre fin à tout moment sans dépendance envers nous.

Que se passe-t-il si un agent IA est incertain quant à une décision ?

Il ne la prend pas lui-même. Le modèle d'escalade défini au préalable transmet les cas incertains ou limites, avec justification, à une personne responsable, plutôt que de fournir une supposition comme résultat.

Plus de transparence coûte-t-elle automatiquement plus d'argent ?

Un peu plus d'effort lors de la mise en place, oui, car la documentation et le modèle d'escalade sont planifiés dès le départ. Sur la durée du projet, cela revient moins cher qu'une boîte noire qu'il faut réexpliquer à chaque changement de personnel ou à chaque contrôle.