Das Copilot Studio Kit: Agenten testen, bevor Mitarbeiter sie testen

Das Copilot Studio Kit, offiziell Copilot Agent Kit, ist ein vom Power Customer Advisory Team (Power CAT) gepflegtes Zusatzwerkzeug für Microsoft Copilot Studio, mit dem Sie eigene Agenten testen, überwachen und absichern, bevor Mitarbeiter oder Kunden sie zu Gesicht bekommen. Kern des Kits sind Testsätze, die einen Agenten mit definierten Eingaben konfrontieren und die Antworten automatisiert gegen Erwartungswerte prüfen, statt jede Änderung manuell im Chat durchzuklicken. Stand: August 2026.

Wie installieren Sie das Copilot Studio Kit?

Der einfachste Weg führt über den Marketplace: Rufen Sie das Copilot Agent Kit im Marketplace auf, wählen Sie Jetzt abrufen, melden Sie sich an und wählen Sie die Zielumgebung aus.

• Marketplace-Installation: Bedingungen bestätigen, Installieren auswählen, danach in Power Apps unter Lösungen die Standardlösung öffnen und die Verbindungsreferenz Copilot Studio Kit - Dataverse mit einer gültigen Dataverse-Verbindung versehen.
• GitHub-Installation: Die aktuelle verwaltete Lösung aus dem offiziellen Power-CAT-Repository herunterladen und in Power Apps über Lösungen importieren, Verbindungen bei Bedarf neu anlegen.
• Zugriff: Nach der Installation finden Sie die App unter Apps als Power CAT Copilot Studio Kit, öffnen sie über Wiedergeben und teilen sie anschließend mit dem Team über die Freigabefunktion.

Ein Setup-Assistent im Kit übernimmt die Konfiguration von Verbindungsreferenzen, Umgebungsvariablen und Cloud Flows weitgehend automatisch.

Wie bauen Sie Testsätze für Ihre Agenten auf?

Ein Testsatz bündelt mehrere Einzeltests, die Sie gemeinsam gegen einen Agenten ausführen. Die Kernbausteine sind sechs Testtypen mit unterschiedlicher Prüftiefe.

• Response Match: vergleicht die Agentenantwort direkt mit einer erwarteten Antwort, wahlweise exakt, enthält oder beginnt mit.
• Attachments: prüft strukturierte Anhänge wie Adaptive Cards, optional per KI-gestützter Validierung gegen eigene Prüfanweisungen.
• Topic Match: vergleicht das erwartete mit dem tatsächlich ausgelösten Thema und unterstützt bei generativer Orchestrierung auch mehrere Themen gleichzeitig.
• Generative Answers: lässt ein Sprachmodell beurteilen, ob eine KI-generierte Antwort einer Musterantwort oder eigenen Prüfanweisungen entspricht.
• Multi-turn: verkettet mehrere Einzeltests in fester Reihenfolge innerhalb derselben Konversation und bricht bei kritischen Fehlern ab.
• Plan Validation: prüft bei generativer Orchestrierung, ob der Agent die erwarteten Werkzeuge in seinem Ausführungsplan tatsächlich nutzt, bewertet über einen Bestehens-Schwellenwert in Prozent.

Testsätze lassen sich über Excel im Bulk anlegen und pflegen, einzelne Tests oder ganze Sätze lassen sich zudem duplizieren, um Varianten schnell abzuleiten.

Was leistet das Kit über das reine Testen hinaus?

Neben der Testautomatisierung enthält das Kit mehrere Module, die Governance und Betrieb von Agentenflotten adressieren. Der Compliance Hub wertet das Agent Inventory gegen konfigurierte Kontrollen aus und markiert Richtlinienverstöße, das Agent Debugger-Modul liefert Schritt-für-Schritt-Diagnosen zu aufgezeichneten Konversationen, und Conversation KPIs bündeln Nutzungs- und Qualitätskennzahlen zusätzlich zur eingebauten Copilot-Studio-Analyse. Für Unternehmen, die Copilot Studio produktiv einsetzen, sind Testautomatisierung und Compliance Hub in Kombination der wirksamste Hebel gegen unkontrollierten Agenten-Wildwuchs.

Wofür eignet sich der Verbindungstest bei geschützten Datenquellen?

Greift ein Agent auf eine externe Datenquelle wie SharePoint oder Dataverse zu, erscheint beim ersten Gespräch eine Autorisierungskarte, die ein Nutzer bestätigen muss. Diesen Ablauf bilden Sie über einen Multi-turn-Test mit zwei Kindtests nach: Der erste Test löst die Autorisierungskarte aus und vergleicht deren Inhalt, der zweite sendet die Bestätigung und prüft die anschließende Antwort. Einmal für einen Testnutzer autorisiert, laufen spätere Tests gegen denselben Konnektor ohne diesen Umweg. Wer diese Testabdeckung in eine bestehende Automatisierungsstrategie mit Microsoft Copilot einbetten will, profitiert von einer klaren Trennung zwischen Entwicklungs- und Produktivumgebung.

Häufige Fragen zum Copilot Studio Kit

Kostet das Copilot Studio Kit zusätzliche Lizenzgebühren?

Das Kit selbst ist ein kostenloses, von Microsofts Power CAT-Team gepflegtes Zusatzwerkzeug, das Sie aus dem Marketplace oder von GitHub installieren. Es benötigt jedoch eine Power-Apps- und Dataverse-Umgebung, für die die üblichen Power-Platform-Lizenzregeln gelten.

Kann ich Tests automatisiert vor jeder Bereitstellung laufen lassen?

Ja, über die Anbindung an Power-Platform-Pipelines lassen sich Tests automatisiert ausführen, bevor ein Agent zwischen Umgebungen befördert wird. Das Kit ist damit auch für mehrstufige Freigabeprozesse von Entwicklung über Test bis Produktion nutzbar.

Welcher Testtyp eignet sich für einen mehrstufigen Chatverlauf?

Der Multi-turn-Testtyp bildet mehrere aufeinanderfolgende Nachrichten in derselben Konversation ab und lässt sich mit Response-Match-, Attachment-, Topic-Match- und Generative-Answers-Tests als Kindtests kombinieren. Kritische Kindtests brechen den gesamten Testlauf bei einem Fehler ab, unkritische laufen weiter und liefern zusätzlichen Kontext.

Brauche ich für Generative-Answers-Tests eine zusätzliche Konfiguration?

Ja, dieser Testtyp setzt eine aktivierte AI-Builder-Anreicherung voraus, damit ein Sprachmodell die generierte Antwort gegen eine Musterantwort oder eigene Prüfanweisungen bewertet. Ohne diese Anreicherung steht der Testtyp in der Oberfläche nicht zur Verfügung.