Набор Copilot Studio Kit: тестируйте агентов, прежде чем их протестируют сотрудники

Copilot Studio Kit, официально Copilot Agent Kit, — это дополнительный инструмент для Microsoft Copilot Studio, который поддерживает команда Power Customer Advisory Team (Power CAT). С его помощью вы тестируете, отслеживаете и защищаете собственных агентов, прежде чем их увидят сотрудники или клиенты. В основе набора лежат тестовые наборы, которые предъявляют агенту заданные входные данные и автоматически проверяют ответы на соответствие ожидаемым значениям, вместо того чтобы вручную проверять каждое изменение в чате. Актуально на август 2026 года.

Как установить Copilot Studio Kit?

Самый простой способ — через Marketplace: откройте Copilot Agent Kit в Marketplace, выберите Получить сейчас, войдите в систему и выберите целевую среду.

• Установка через Marketplace: подтвердите условия, выберите Установить, затем в Power Apps в разделе Решения откройте решение по умолчанию и назначьте ссылке на подключение Copilot Studio Kit - Dataverse действующее подключение Dataverse.
• Установка через GitHub: скачайте актуальное управляемое решение из официального репозитория Power CAT и импортируйте его в Power Apps через раздел Решения, при необходимости создайте подключения заново.
• Доступ: После установки вы найдёте приложение в разделе Приложения под именем Power CAT Copilot Studio Kit, откройте его через Воспроизвести и затем предоставьте доступ команде через функцию общего доступа.

Мастер настройки в составе набора берёт на себя конфигурацию ссылок на подключения, переменных среды и облачных потоков в значительной степени автоматически.

Как создавать тестовые наборы для ваших агентов?

Тестовый набор объединяет несколько отдельных тестов, которые вы вместе запускаете против агента. Основные составляющие — шесть типов тестов с разной глубиной проверки.

• Response Match: напрямую сравнивает ответ агента с ожидаемым ответом — на выбор точное совпадение, содержит или начинается с.
• Attachments: проверяет структурированные вложения, такие как Adaptive Cards, при необходимости с помощью проверки на основе ИИ по собственным инструкциям проверки.
• Topic Match: сравнивает ожидаемую тему с фактически запущенной и при генеративной оркестрации поддерживает также несколько тем одновременно.
• Generative Answers: позволяет языковой модели оценить, соответствует ли сгенерированный ИИ ответ эталонному ответу или собственным инструкциям проверки.
• Multi-turn: объединяет несколько отдельных тестов в фиксированном порядке в рамках одного и того же разговора и прерывается при критических ошибках.
• Plan Validation: при генеративной оркестрации проверяет, действительно ли агент использует ожидаемые инструменты в своём плане выполнения, оценка производится по пороговому значению прохождения в процентах.

Тестовые наборы можно массово создавать и обслуживать через Excel, отдельные тесты или целые наборы также можно дублировать, чтобы быстро создавать варианты.

Что умеет набор помимо простого тестирования?

Помимо автоматизации тестирования набор содержит несколько модулей, которые решают вопросы governance и эксплуатации флотов агентов. Compliance Hub оценивает Agent Inventory на соответствие настроенным элементам контроля и отмечает нарушения политик, модуль Agent Debugger предоставляет пошаговую диагностику по записанным разговорам, а Conversation KPIs объединяют показатели использования и качества в дополнение к встроенной аналитике Copilot Studio. Для компаний, которые используют Copilot Studio в продуктивной среде, автоматизация тестирования и Compliance Hub в сочетании являются наиболее эффективным рычагом против неконтролируемого разрастания агентов.

Для чего подходит тест подключения при защищённых источниках данных?

Если агент обращается к внешнему источнику данных, такому как SharePoint или Dataverse, при первом разговоре появляется карточка авторизации, которую пользователь должен подтвердить. Этот процесс вы воспроизводите с помощью Multi-turn-теста с двумя дочерними тестами: первый тест запускает карточку авторизации и сравнивает её содержимое, второй отправляет подтверждение и проверяет последующий ответ. После авторизации для тестового пользователя последующие тесты для того же коннектора выполняются без этого обходного пути. Тот, кто хочет встроить это тестовое покрытие в существующую стратегию автоматизации с Microsoft Copilot, выигрывает от чёткого разделения между средой разработки и продуктивной средой.

Часто задаваемые вопросы о Copilot Studio Kit

Требует ли Copilot Studio Kit дополнительной оплаты лицензий?

Сам набор — это бесплатный дополнительный инструмент, который поддерживает команда Power CAT компании Microsoft и который вы устанавливаете из Marketplace или с GitHub. Однако для него требуется среда Power Apps и Dataverse, для которой действуют обычные правила лицензирования Power Platform.

Можно ли запускать тесты автоматически перед каждым развёртыванием?

Да, благодаря интеграции с конвейерами Power Platform тесты можно запускать автоматически, прежде чем агент будет перенесён между средами. Таким образом набор можно использовать и для многоступенчатых процессов утверждения — от разработки через тестирование до продуктивной среды.

Какой тип теста подходит для многоступенчатой истории чата?

Тип теста Multi-turn отображает несколько последовательных сообщений в рамках одного и того же разговора и может комбинироваться с тестами Response Match, Attachments, Topic Match и Generative Answers в качестве дочерних тестов. Критические дочерние тесты прерывают весь тестовый прогон при ошибке, некритические продолжают выполняться и предоставляют дополнительный контекст.

Нужна ли дополнительная настройка для тестов Generative Answers?

Да, этот тип теста требует включённого обогащения AI Builder, чтобы языковая модель могла оценить сгенерированный ответ по эталонному ответу или собственным инструкциям проверки. Без этого обогащения данный тип теста недоступен в интерфейсе.