Почему мы не создаём автоматизацию по принципу «чёрного ящика»

Я регулярно провожу первые встречи, на которых руководители показывают мне автоматизированный процесс, построенный много лет назад другим подрядчиком, и почти всегда звучит одна и та же фраза: почему система принимает решение именно так в этом месте, у нас уже никто не знает. Подрядчика больше нет, документация так и не была написана, а пути эскалации для исключительных случаев попросту не существует. Именно это я называю автоматизацией «чёрный ящик», и именно этого мы не создаём в NordFlux.

Что конкретно представляет собой автоматизация «чёрный ящик»?

Автоматизация «чёрный ящик» — это автоматизированный процесс, логику принятия решений которого впоследствии уже невозможно проследить, у которого нет определённых путей эскалации для исключительных случаев, и правила которого нигде не задокументированы. Все три признака не обязаны проявляться одновременно, но на практике они почти всегда идут вместе, потому что имеют одну и ту же причину: система была построена ради быстрого запуска, а не ради последующей эксплуатации.

Это не узкая проблема. 38 процентов компаний в Германии называют недостаточную прослеживаемость результатов ИИ одним из главных препятствий для использования искусственного интеллекта, согласно исследованию Bitkom «Искусственный интеллект 2025». Так что если вы когда-либо думали, что ваш необъяснимый рабочий процесс — единичный случай: это не так.

Почему вообще возникают «чёрные ящики»?

«Чёрные ящики» редко возникают из злого умысла — обычно причина в нехватке времени и неправильных стимулах. Proof of concept переходит в промышленную эксплуатацию без дальнейшего рефакторинга, ИИ-агент обучается на узкую цель без того, чтобы кто-то фиксировал, как он приходит к своим решениям, а документация — первое, от чего отказываются, когда проект отстаёт от графика. В итоге получается система, которая работает до тех пор, пока никто не спрашивает почему.

На международном уровне осторожность по отношению к таким системам уже давно является мнением большинства, а не исключением: 61 процент людей во всём мире, согласно исследованию KPMG «Trust in Artificial Intelligence», с опаской доверяют системам ИИ — показатель, тесно связанный с отсутствием прослеживаемости. Поставщик, который не отвечает на это недоверие прозрачностью, лишь усиливает его.

Как вместо этого работаем мы в NordFlux?

Мы строим каждую автоматизацию так, чтобы она продолжала жить без нас. Конкретно это означает: каждый workflow работает в инфраструктуре клиента — будь то собственный экземпляр n8n, собственный клиент Microsoft (tenant) или собственная среда UiPath — с доступами, которые принадлежат клиенту, а не нам. Тот, кто прекращает сотрудничество с нами, сохраняет полный доступ к своим собственным процессам.

К каждому проекту прилагается Process Design Document, описывающий логику принятия решений, используемые источники данных и границы системы простым языком, а не только в виде диаграммы workflow. У одного клиента из сферы государственного управления именно этот документ выдержал внутреннюю проверку со стороны ИТ-безопасности, потому что каждое разветвление процесса вместе с обоснованием было зафиксировано письменно, а не требовало устного объяснения.

Что конкретно означает модель эскалации?

Модель эскалации заранее определяет, с какого момента автоматизация или ИИ-агент больше не принимает решение самостоятельно, а передаёт его человеку. Например, при проверке счетов это означает: суммы ниже определённого порога с однозначной привязкой проходят автоматически, всё остальное — неясная привязка, необычно высокая сумма, новый поставщик — с обоснованием передаётся сотруднику. Без этой модели система в сомнительных случаях принимает какое-то решение, и никто этого не замечает, пока не становится слишком поздно.

Это ожидание всё больше закрепляется и на уровне регулирования: EU AI Act прямо требует для высокорисковых систем ИИ в статье 13, чтобы их работа была организована достаточно прозрачно, чтобы операторы могли интерпретировать и надлежащим образом использовать результаты, включая прослеживаемую документацию возможностей и ограничений. Тот, кто уже сегодня строит именно так, завтра не будет вынужден наверстывать.

Требует ли прозрачность больше времени?

Честно говоря: да, немного, в начале. Написать Process Design Document и определить модель эскалации занимает больше времени, чем просто начать строить. Эти дополнительные усилия окупаются, как только меняется сотрудник, аудитор задаёт вопросы или процесс нужно расширить, потому что тогда есть основа, на которой можно строить дальше, вместо того чтобы начинать с нуля. Таким образом, контроль — не маркетинговое обещание, а просто более дешёвое решение на протяжении всего срока проекта.

Подробнее о том, как мы работаем с ИИ-агентами, вы можете прочитать в разделе нашей услуги ИИ-агенты, а о сопровождающем консультировании по governance — в разделе нашей услуги ИИ-консалтинг.

Часто задаваемые вопросы

Чем автоматизация NordFlux отличается от «чёрного ящика»?

Автоматизация NordFlux задокументирована, работает в инфраструктуре клиента и передаёт пограничные случаи человеку согласно установленной модели эскалации. «Чёрный ящик» не соответствует ни одному из этих трёх критериев.

Кому принадлежат workflow и доступы после завершения проекта?

Клиенту. Мы строим решения в собственной среде клиента — n8n, Microsoft или UiPath, — а не в своей собственной, чтобы сотрудничество могло завершиться в любой момент без зависимости от нас.

Что происходит, если ИИ-агент не уверен в решении?

Он не принимает его самостоятельно. Заранее определённая модель эскалации передаёт неясные или пограничные случаи вместе с обоснованием ответственному сотруднику, вместо того чтобы выдавать предположение в качестве результата.

Автоматически ли большая прозрачность стоит больше денег?

Немного больше усилий при внедрении — да, потому что документация и модель эскалации планируются заранее. На протяжении всего срока проекта это обходится дешевле, чем «чёрный ящик», который приходится заново объяснять при каждой смене персонала или каждой проверке.