Обучение собственной модели обработки документов в AI Builder

Счета выглядят по-разному у каждого поставщика, но по крайней мере для счетов в AI Builder есть готовая модель ИИ. Для специфичных для компании документов, таких как внутренние накладные, протоколы технического обслуживания, индивидуальные бланки заказов или отчёты о проверках, готовой модели, знающей нужные поля, не существует. Именно для этого в AI Builder можно обучить собственную пользовательскую модель обработки документов, которая извлекает именно те сведения, которые действительно нужны вашей компании, причём без каких-либо навыков в области data science.

В этой статье показано, когда оправдана собственная модель, какие типы моделей доступны, каким требованиям должны соответствовать ваши примеры документов, а также как пошагово обучить, опубликовать и затем использовать модель в потоке Power Automate. Единственным источником служит официальная документация Microsoft по AI Builder.

Когда собственная модель оправдана вместо готовой?

AI Builder уже предоставляет готовые модели для распространённых типов документов, таких как счета, квитанции, визитные карточки или удостоверения личности. Но как только у ваших документов появляется собственный макет, который не распознаёт ни одна стандартная модель, например внутренний бланк, накладная со специфичными для компании столбцами или многостраничный отчёт о проверке, вам нужна собственная модель. Согласно обзору модели обработки документов для этого обычно достаточно всего пяти примеров документов, чтобы обучить модель, выдающую результаты, адаптированные под ваш конкретный контент. Для этого не нужно ни программировать поля, ни создавать нейронную сеть с нуля, AI Builder берёт обучение на себя в фоновом режиме.

Три типа моделей в обзоре

При создании модели вы, согласно инструкции по созданию пользовательской модели, выбираете между тремя типами документов:

• Документы с фиксированным шаблоном (ранее «структурированные»): идеально подходят, когда поля, таблицы, флажки и подписи при заданном макете всегда расположены в похожих местах. Модель можно также обучить одновременно на нескольких фиксированных макетах, и время обучения короткое.
• Универсальные документы (ранее «неструктурированные»): подходят для документов без фиксированной структуры или со сложным форматом. Этот тип модели особенно мощный, но требует значительно более длительного времени обучения.
• Счета: расширяет уже имеющуюся готовую модель счетов дополнительными полями или примерами счетов, которые ранее извлекались некорректно, вместо обучения полностью новой модели.

Требования к вашим примерам документов

Прежде чем начать, стоит заглянуть в требования и ограничения для моделей обработки документов. Вот основные моменты из них:

• Допустимые форматы — JPG, PNG и PDF, причём текстовые PDF предпочтительнее отсканированных документов, поскольку распознавание символов в них точнее.
• Файлы TIFF нельзя использовать для обучения, однако уже обученная модель может без проблем обрабатывать файлы TIFF в потоке Power Automate.
• Один документ не может превышать 20 МБ, а изображения должны быть размером от 50×50 до 10 000×10 000 пикселей.
• Для каждой коллекции, то есть каждого отдельного макета, требуется как минимум пять примеров документов, а модель может содержать до 200 коллекций.
• В облачном потоке предел количества помечаемых полей составляет 300 на одну модель обработки документов.
• Немецкий язык поддерживается как для документов с фиксированным шаблоном, так и для универсальных документов, как и многие другие языки.

Создание, обучение и публикация модели

По данным Microsoft, мастер в AI Builder проведёт вас через весь процесс:

1. Войдите в Power Apps или Power Automate и откройте в левой панели Ещё > Центр ИИ.

2. В разделе Найти возможность ИИ выберите вариант Модели ИИ, затем Извлечение пользовательских сведений из документов, а после этого выберите Создать пользовательскую модель.

3. Задайте тип документа (фиксированный шаблон, универсальные документы или счета) и определите поля, таблицы и флажки, которые нужно извлечь.

4. Создайте коллекцию для каждого макета и загрузите как минимум пять примеров документов. Затем отметьте в примерах, какие фрагменты текста относятся к какому полю.

5. Нажмите Обучить. После завершения обучения вы можете сразу проверить модель через Быстрый тест с другим документом, прежде чем опубликовать её и тем самым разрешить для использования в рабочей среде.

Использование модели в Power Automate

Опубликованную модель вы используете в облачном потоке через действие Обработка документов, которое, согласно инструкции по использованию в Power Automate, носит такое название с мая 2025 года, а ранее называлось Извлечение сведений из документов. Вы выбираете свою модель и подходящий тип документа, связываете в поле Форма содержимое файла из вашего триггера и при необходимости можете указать в параметре Страницы конкретный диапазон страниц, например для объёмных многостраничных документов, в которых есть только одна релевантная форма. На последующих шагах вам доступны все извлечённые поля в виде Значение {имя поля}, а также для каждого из них оценка достоверности от 0 до 1, с помощью которой вы можете автоматически направлять ненадёжные извлечения на ручную проверку.

Для дальнейшей обработки полезны некоторые выражения, которые Microsoft напрямую предлагает в документации: `replace()` удаляет символы валют или пробелы, `int()` и `float()` соответственно преобразуют извлечённые строки в числа, а `formatDateTime()` приводит значения дат к нужному формату. Для входящих писем через коннектор Outlook также стоит добавить условие, которое отфильтровывает встроенные подписи с помощью атрибута Вложение является встроенным, чтобы они случайно не обрабатывались как документ.

Если вы хотите аккуратно встроить собственную модель в существующие процессы согласования или бухгалтерского учёта, консультация NordFlux по Power Automate поможет с самого начала согласовать обучающие данные, структуру полей и последующий процесс. При этом вы сохраняете контроль над тем, какие документы обрабатываются автоматически, а какие направляются на проверку.

Часто задаваемые вопросы

Сколько примеров документов мне нужно как минимум?

Для каждой коллекции, то есть каждого отдельного макета, AI Builder требует как минимум пять примеров документов в формате JPG, PNG или PDF. Большее количество примеров с реалистичным разнообразием заполнения и качества изображения обычно заметно повышает точность распознавания, особенно для документов, заполненных от руки или отсканированных.

В чём разница между документами с фиксированным шаблоном и универсальными документами?

Документы с фиксированным шаблоном подходят для документов, в которых поля всегда находятся в похожем месте в рамках макета, поэтому обучение проходит соответственно быстро. Универсальные документы предназначены для документов без фиксированного макета или со сложной структурой, но требуют за это значительно более длительного времени обучения, поскольку модели приходится более гибко реагировать на меняющиеся структуры.

Могу ли я расширить существующую модель счетов вместо обучения новой?

Да. С помощью опции Счета вы дополняете готовую модель счетов дополнительными полями или примерами счетов, которые ранее извлекались неверно. Обычно это быстрее, чем обучать полностью новую модель типа документы с фиксированным шаблоном или универсальные документы.

Какие форматы файлов принимает обучение?

Допустимы форматы JPG, PNG и PDF, причём PDF со встроенным текстом дают лучшие результаты, чем отсканированные изображения. Файлы TIFF нельзя использовать для обучения, однако уже обученная модель может позже без проблем обрабатывать их в потоке Power Automate.

Насколько надёжны извлечённые значения?

Каждое извлечённое поле, помимо значения, содержит оценку достоверности от 0 до 1. Значения, близкие к 1, свидетельствуют о высокой надёжности прогноза. На практике стоит автоматически запускать ручную проверку начиная с определённого порога, а не слепо доверять каждому извлечённому значению.