株式会社Acompany（アカンパニー、愛知県名古屋市、代表取締役CEO 高橋亮祐、以下Acompany）は、NECが開発する生成AI「cotomi(コトミ) ※1」を、Confidential Computing ※2（以下 CC）を有効にした計算環境上で推論実行する技術実証に成功し、あわせて性能（ベンチマーク）測定を実施いたしました。 本実証では、AMD SEV-SNPによるCPUのTEE（Trusted Execution Environment：信頼された実行環境）と、NVIDIA Confidential Computing（NCC）によるGPUのTEEを同時に有効化した状態でcotomiの推論を動作させ、CC機能の有無による性能差を計測しました。その結果、CCの適用による速度への影響は最大でも約10%程度にとどまることを確認しました。これは生成AIの実用において十分に許容できる水準であり、機密性を担保したまま生成AIを運用することが現実的な選択肢となることを示すものです。 ※1「cotomi(コトミ)」は生成AIを含むNEC開発のAIコア技術の名称です。 https://jpn.nec.com/LLM/cotomi.html ※2 Confidential Computing（CC）：CPUやGPUのハードウェアレベルのTEE内でデータと処理を隔離・暗号化し、OS・特権管理者・クラウド事業者からも処理内容を保護する技術。 背景 NECが開発するcotomiは、高い日本語性能を持ち、金融・製造・公共など、高度な専門業務への活用による業務の高度化に貢献しています。 こうした領域の顧客からは「プロンプトや機密ファイルをクラウド事業者にも見せたくない」「自社でファインチューニングしたモデルを安全に運用したい」という要望が強く、CCとの組み合わせによる実用性の検証が急務となっていました。 その有力な解として注目されているのがCCです。AppleはApple IntelligenceにおいてCCを活用してプロンプトを保護し※3、GoogleもGoogle Distributed Cloud（GDC）上でGeminiモデル自体（モデル内のコード・重み）を不正アクセスや改ざんから保護する ※4 など、AI処理とCCを組み合わせてプロンプト・データ・AIモデルを守る取り組みは世界的な潮流となりつつあります。 一方で、CCを有効化した際の性能影響を懸念する声も根強く、実モデルを用いた定量的な検証が求められていました。そこでAcompanyとNECは共同で、実際のモデルであるcotomi を用いたCC環境での動作検証と定量的なパフォーマンス評価を実施することとしました。 ※3 Apple “Private Cloud Compute: A new frontier for AI privacy in the cloud” https://security.apple.com/blog/private-cloud-compute/ ※4 NVDIA “NVIDIA Brings Agentic AI Reasoning to Enterprises With Google Cloud” https://blogs.nvidia.com/blog/google-cloud-next-agentic-ai-reasoning/ 本実証の概要 本実証における両社の役割は以下のとおりです。 Acompany：Confidential Computing技術、およびCC上でのLLM推論環境の提供・検証 NEC：生成AIモデル「cotomi」の提供 具体的には、AMD SEV-SNP（CPU側TEE）とNVIDIA Confidential Computing（GPU側TEE）の双方を有効化したCVM（Confidential Virtual Machine）上でcotomiを動作させ、CC無効時との比較で推論性能（スループット・レイテンシ）を測定しました。 検証結果 CC機能を有効化した状態で、cotomiの推論が問題なく動作することを確認しました。 CCの有無による速度への影響は、最大でも約10%程度の速度低下にとどまりました。 この結果は、NVIDIAが公式に公表しているCC環境でのLLM推論性能データとも整合しており、特異な性能劣化のない順当な結果でした ※5 ※5 NVIDIA “Confidential Compute on NVIDIA Hopper H100” https://images.nvidia.com/aem-dam/en-zz/Solutions/data-center/HCC-Whitepaper-v1.0.pdf 本実