株式会社Citadel AI（代表取締役：小林裕宜）は、生成AIを用いたアプリケーションの入力・出力を評価し、リスクの検知・制御・モニタリングを行う「Citadel Radar（シタデル・レーダー）」の提供を開始します。 生成AIの活用が企業内で広がる中、従来のITシステム監視のように、エラー率、可用性、障害状況といった技術的な健全性を確認するだけでは、生成AIアプリケーションを安全に運用することはできません。生成AIアプリケーションでは、アプリケーションとユーザーのやり取りそのものが、業務上適切か、リスクを含んでいないか、期待される価値を発揮しているかを継続的に確認する必要があります。 Citadel Radar は、こうした生成AIアプリケーション特有のモニタリング課題に対応し、組織横断のAIガバナンスを実運用に落とし込むためのファイアウォール・モニタリング製品です。プロンプトやレスポンスを評価メトリクスに基づいて判定し、問題のある入出力の検知、ブロック、フラグ付け、アラート通知、分析を一元的に実現します。 生成AIアプリケーションのモニタリングは、非技術者を含む組織全体の課題へ 従来のITシステムモニタリングは、主にソフトウェアエンジニアなどの技術者が、システムが正常に稼働しているかを確認するためのものでした。一方、生成AIアプリケーションのモニタリングでは、技術的な稼働状況に加えて、ユーザーとのやり取りが業務上適切か、リスクを含んでいないか、品質上の問題がないかを確認する必要があります。 そのため、生成AIアプリケーションの運用には、開発部門だけでなく、事業部門、業務部門、リスク管理部門、コンプライアンス部門など、非技術者を含む複数の関係者が関与します。 Citadel Radar は、こうした分散した関係者が、アプリケーションごとのリスク状況や検知傾向を共通の画面で確認し、組織として生成AIアプリケーションの利用状況を継続的に把握できる仕組みを提供します。部門や役割ごとにバラツキがちなリスク判断を、共通の評価メトリクスと運用ログとして蓄積することで、生成AIアプリケーション運用に関する組織内の共通言語づくりと、知見の継続的な活用を支援します。 図1 アナリティクス画面による全体傾向と時系列分析 ガイドラインに沿った評価観点で、リスクを継続的に検知 Citadel Radar には、AIセーフティガイドラインや各種フレームワークを参照して設計されたビルトインメトリクスが搭載されています。これにより、企業は独自に評価基準を一から整備しなくても、一般的なAIリスク観点に基づいたモニタリングを開始できます。 たとえば、機密情報や個人情報の開示、不適切・危険な指示、偏見や差別につながる表現など、生成AIアプリケーションで継続的に確認すべきリスクを、入力・出力の双方から評価できます。 また、自社固有の業務ルール、社内規程、業界ガイドライン、コンプライアンス要件に合わせて、カスタムメトリクスを作成することも可能です。評価基準は自然文で定義できるため、技術者だけでなく、業務やリスク管理に関わる担当者の知見を反映した評価設計を支援します。 図2 主要なガイドライン・フレームワークに紐ついた評価カテゴリ・評価メトリクス 入出力の評価・制御・可視化により、組織的な改善サイクルを支援 Citadel Radar は、生成AIアプリケーションから送信される入力ログ・出力ログをAPI経由で受け取り、評価メトリクスに基づいて判定します。高速かつ日本語の業務文脈にも対応した評価により、実際の業務利用の中で発生するリスクをリアルタイムに検知・制御できます。 判定結果に応じて、問題のある入力や出力をブロックする Block、またはユーザーに影響を与えずに事後確認対象として記録する Flag を選択できます。これにより、厳格に止めるべきリスクと、まずは監視・分析すべきリスクを、アプリケーションの用途や組織の運用ポリシーに応じて柔軟に使い分けることができます。 Citadel Radar のトラフィックページでは、アプリケーションの入力ログ・出力ログ、評価結果、検知された評価カテゴリ、Block / Flag の状態を一覧で確認できます。個別ログの詳細では、評価メトリクスごとの判定結果やメタデータを確認でき、AIによる解説機能により、どの部分が問題と判定されたのかを把握できます。 また、閾値に応じたアラートメール通知により、一定期間内に検知件数が増加した場合や、重要なリスクが発生した場合に、関係者へ迅速に通知できます。 さらに、運用中に蓄積された検知結果やリスク傾向は、既存の生成AIアプリケーション評価・テストツールである Citadel Lens と連携