Пороги уверенности, human-in-the-loop, логирование: как наша модель эскалации не позволяет ошибке ИИ-агента остаться незамеченной.
Почти на каждом ознакомительном звонке рано или поздно звучит один и тот же вопрос: что происходит, если ИИ-агент ошибается? Большинство поставщиков отвечают фразами о «проверенных моделях» или «высокой точности». Это не отвечает на сам вопрос.
Поэтому мы открыто рассказываем, как устроена наша модель эскалации для ИИ-агентов: жёсткая цепочка из порогов уверенности, обратных запросов к людям, полного протоколирования и чётко закреплённых зон ответственности, ещё до того, как агент вообще выводится в эксплуатацию.
Модель эскалации определяет, при каком уровне неопределённости ИИ-агент перестаёт самостоятельно завершать задачу и передаёт её человеку, прежде чем решение вступит в силу. Она закладывается в архитектуру с самого начала, а не добавляется задним числом как слой безопасности.
Давление, требующее чётко это урегулировать, растёт быстрее, чем готовность к этому у большинства компаний. Gartner прогнозирует, что к концу 2026 года около 40 процентов корпоративных приложений будут включать узкоспециализированных ИИ-агентов, по сравнению с менее чем 5 процентами в 2025 году (источник: //www.gartner.com/en/newsroom/press-releases/2025-08-26-gartner-predicts-40-percent-of-enterprise-apps-will-feature-task-specific-ai-agents-by-2026-up-from-less-than-5-percent-in-2025:Gartner). При этом, согласно опросу Deloitte среди 3235 руководителей из 24 стран, лишь 21 процент компаний обладает зрелой моделью управления для автономных ИИ-агентов (источник: //www.deloitte.com/us/en/insights/topics/emerging-technologies/ai-agents-scaling-faster.html:Deloitte). Именно этот пробел закрывает модель эскалации.
Пороги уверенности - это фиксированные предельные значения, при которых агент оценивает собственную уверенность в решении и затем действует по-разному. При высокой уверенности агент выполняет задачу и протоколирует её. При средней уверенности он выполняет её, но помечает случай для выборочной проверки. При низкой уверенности агент останавливается перед выполнением и передаёт задачу человеку.
На практике при обработке входящих счетов это выглядит так: однозначные данные счёта с известным поставщиком и подходящей проводкой проходят автоматически. Неясные проводки помечаются и проверяются впоследствии. Отсутствующие обязательные поля или расхождения с данными поставщика немедленно останавливают процесс, прежде чем что-либо будет проведено в учёте.
Human-in-the-loop означает, что задача вступает в силу только после одобрения человеком, как только агент достигает установленного порога неопределённости или риска. Это не добровольная опция, а закреплено в ЕС и на регуляторном уровне: статья 14 Регламента ЕС об ИИ требует для систем высокого риска, чтобы люди могли в любой момент понимать, вмешиваться и останавливать работу ИИ-системы (источник: //artificialintelligenceact.eu/article/14/:EU AI Act, статья 14).
У нас заранее определено, кто берёт на себя эту роль: со стороны клиента - поимённо назначенное контактное лицо, которое получает эскалации и принимает решения, со стороны NordFlux - технически ответственное лицо, которое отслеживает и корректирует пороговые значения. Оба пункта закреплены в Process Design Document, который мы согласовываем совместно перед запуском.
Каждое решение агента протоколируется, независимо от того, прошло ли оно автоматически или было эскалировано. Протокол содержит входные данные, определённое значение уверенности, выбранный путь и, если вмешался человек, кто, когда и что решил.
Это не самоцель. Без этого протокола впоследствии невозможно установить ни то, почему произошла ошибка, ни то, правильно ли заданы пороговые значения. Мы регулярно используем протоколы, чтобы корректировать пороги, например, когда становится видно, что определённый тип запросов эскалируется чаще, чем нужно, или, наоборот, слишком редко. Подробнее о технической реализации таких агентов можно узнать в нашем разделе услуг ИИ-агенты, а о governance и распределении ответственности - в разделе ИИ-консалтинг.
Ремесленное предприятие, которое использует у нас ИИ-телефонного ассистента для приёма звонков, хороший пример того, как это выглядит в повседневной работе. Агент самостоятельно принимает стандартные запросы, такие как согласование встреч или общие часы работы. Как только речь заходит о срочной отмене встречи, рекламациях или переговорах о цене, агент сразу же и слышимо для звонящего переключается в режим передачи: он открыто сообщает, что передаёт запрос сотруднику, и передаёт его вместе с контекстом, вместо того чтобы гонять звонящего по кругу.
Каждый разговор протоколируется с пометкой о том, была ли и почему произошла эскалация. Это даёт предприятию надёжную основу, чтобы видеть, какие темы регулярно ставят агента в тупик, и соответствующим образом корректировать пороги, вместо того чтобы полагаться на интуицию.
Даже лучшая модель эскалации не предотвращает каждую ошибку, она лишь сужает окно, в котором ошибка может незаметно нанести ущерб. Поэтому мы заранее закрепляем зоны ответственности договорно, а не в случае спора: кто отвечает за содержательное одобрение эскалации, кто несёт ответственность за техническую работу агента и какие случаи в принципе никогда не автоматизируются, потому что риск этого не позволяет.
Модель эскалации не заменяет это разграничение, она делает его по-настоящему действенным. Без назначенной ответственности каждая эскалация в итоге рискует остаться ничьей.
Агент не выполняет задачу, а передаёт её вместе с полным контекстом назначенному контактному лицу. Передача и её причина протоколируются.
Пороги устанавливаются совместно в Process Design Document перед запуском и впоследствии могут корректироваться на основе данных протоколов.
Да. Каждое решение протоколируется, независимо от того, прошло ли оно автоматически или было передано человеку.
Нет. Она сокращает то, как часто человеку приходится вмешиваться, но не заменяет саму возможность вмешательства. Это требуется для случаев высокого риска и статьёй 14 Регламента ЕС об ИИ.
Этот принцип действует для всех ИИ-агентов, которые мы создаём, будь то n8n-workflow, Copilot-агент или телефонный ассистент. Конкретные пороговые значения различаются в зависимости от сценария применения.
NordFlux создаёт цифровых сотрудников для организаций: автоматизации и КИ-агентов, которые берут на себя повторяющуюся работу. Вы сохраняете контроль.
Кто несёт ответственность, если ИИ-агент допускает ошибку? Договорное право, исключение ответственности и модель эскалации для среднего бизнеса.
