昨秋、Salesforceは自律型AIエージェントを業務に組み込める「Agentforce」を発表しました。
AIエージェントは、人に代わって考え・判断し・行動する存在であり、次世代の業務自動化を大きく前進させます。
しかし、この革新性ゆえに、多くの企業がこのような不安を抱きます。
「本当に安全に動くのか？」「お客様とのやり取りにミスがあったらどうする？」「どう品質検証すれば良いのか？」
こうした疑問に応えるべく誕生したのが、Agentforce専用の検証ツール「テストセンター」です。
Agentforce Builderで構築したAIエージェントを安全な環境でシミュレーションできる検証ツールです。
想定シナリオを即座に再現しテストするため、開発スピードと安心感を同時に確保できます。
・AIが自動作成するテストケース
エージェントの構造やロジックを解析し、AIが実際のユーザー入力に近いテストケースを自動作成します。
通常テストでは見落としがちなパターンや想定外の挙動も発見できます。
・高速かつ大規模な並列実行
10時間あたり最大10件のテストジョブを同時並行で実行可能です。
各ジョブには最大1000件のテストケースを設定でき、大規模なエージェント検証も短時間で完了します。
⚠️注意点
・テストを実行するとリクエストとクレジットが消費されます。
・問題を回避するために、テストセンターはSandbox環境でのみ使用してください。
1. テストセンターを開く
Salesforceの設定で「テストセンター」を検索して選択し、画面右上にある「新規テスト」ボタンを押下します。
または、Agentforce Builderの「一括テスト」から直接アクセスすることもできます。
2. テストを新規作成
テスト名を入力し、テスト対象となるエージェントを選択します。必要に応じて説明を追加します。
3. テスト条件を設定
会話履歴やコンテキスト変数を含めるかどうかを指定し、実際の利用状況に近い条件でテストを行えるようにします。
4. テストデータを作成
以下のいずれかの方法でテストケースを用意します。
＜独自のテストケースを使用＞
「Upload test cases」を選択し、CSVファイルをアップロードします。
＜トピックとアクションからテストケースを作成＞
「Generate test cases based on topics and actions」を選択し、
テストケースの数およびテストケースのトピックを指定します。必要に応じて説明を追加します。
※本記事ではこの方法を使用します
＜ナレッジに基づいてテストケースを作成＞
「Generate test cases based on the knowledge available to the agent」を選択し、
テストケースの数を指定します。必要に応じて説明を追加します。
5. 評価内容を選択
応答の正確性、安全性、業務適合性などの評価基準を設定し、テスト結果の判断軸を明確にします。
6. テストを実行
設定が完了したら、「テストスイートを実行」ボタンを押下します。
7. 結果を確認
テストの実行が完了すると、各テストケースの合否が表示されます。
不合格となった場合はAgentforce Builder上で該当発話を再テストし、原因を特定します。
また、必要に応じてテスト結果をダウンロードし、CSVファイルとして保存することができます。
Agentforceは高い柔軟性と自律性を持つ反面、その動作は複雑になりがちです。
だからこそ、リリース前にあらゆるケースを想定して検証することが体験を損なわない最大のポイントです。
テストセンターを活用すれば、導入時の不安を最小限に抑え、安心して本番稼働できます。
これからAgentforceを導入する企業様はもちろん、運用中でさらなる品質改善を目指す企業様も、
テストセンターはより良い体験を実現するための強力なパートナーとなるでしょう。
弊社では、Salesforceを活用した業務改善・カスタマーサポートのDXを多数ご支援しています。
「どのように導入を進めるべきか分からない」といったご相談も大歓迎です。
導入設計から運用支援まで、経験豊富なコンサルタントが丁寧にサポートいたします。