PR科技企業株式會社トドオナダ(總公司:東京都台東區、代表董事松本泰行,以下簡稱「本公司」)運用本公司所提供的PR效果測量服務「Qlipper(クリッパー)」所搭載的LLM友善檢查功能,針對國內主要3,166家媒體,進行生成式AI(LLM)預先訓練資料管道中可通過的媒體比例之定量調查。 調查結果顯示,預計可通過LLM預先訓練資料的國內媒體僅佔10.0%(317件),即使包含「有條件通過」者在內,也僅達33.6%(1,063件)。此外,首次量化揭示出雙層結構現象:傳統媒體(全國報、地方報、通訊社)因robots.txt完全阻擋,主要入口網站與網路新聞系媒體則因內容結構問題,各自基於不同原因被排除於LLM之外。更值得注意的是,公關人員長期依賴的新聞稿發佈服務(通訊社服務),儘管robots.txt完全開放,仍有約三成被判定為「立即丟棄」,顯示發佈網站本身的結構已成為阻礙LLM到達率的現實壁壘。 ■ 調查背景:LLM預先訓練資料管道 ChatGPT、Claude、Gemini等生成式AI(LLM)透過學習網路上大量文件來提升語言能力。然而,並非所有網路內容皆會被用於訓練,各AI廠商通常會經過以下多層過濾管道來篩選訓練資料。 階段 內容 落選原因 1 授權爬取判定(robots.txt層) 查看網站robots.txt,確認是否允許AI爬蟲造訪。robots.txt屬「君子協定」,無強制力 robots.txt中該爬蟲遭封鎖 2 內容取得(使用者代理判定/WAF層) 爬蟲實際向網站發送請求,伺服器、CDN、WAF根據使用者代理字串決定是否回應 使用者代理判定拒絕AI爬蟲(回傳403/429)、Cloudflare等WAF自動阻擋AI機器人、以JavaScript渲染為前提的網站導致正文為空 3 清理(正文擷取) 從取得的HTML中移除導覽列、廣告、腳本,擷取正文部分 正文極少、廣告與裝飾元素過多、樣板產生的文字過多 4 品質評分 判斷擷取的正文是否具備學習價值 短文量產文章、重複定型文、正文比例不足 5 重複排除・最終篩選 移除重複內容 轉載自其他媒體、公司內部重複 尤其重要的是1與2為獨立的雙層結構。近年來,即使robots.txt允許,伺服器端仍會根據使用者代理字串拒絕AI爬蟲的情況急劇增加。CDN大廠Cloudflare於2024年推出「預設阻擋AI機器人」功能。 robots.txt雖「允許」,但實際上多數網站仍於伺服器、CDN、WAF層遭到阻擋 本次調查以1robots.txt層與34清理/品質層為測量對象,而2的使用者代理判定層所造成的進一步淘汰,屬於本次調查數值「之外」的額外損失。實際生成式AI的到達率,很可能低於本次調查的通過預期率(10.0%)。 換言之,「網站存在於網路」與「能被LLM學習資料接收」是完全不同的兩回事,意味著公關產業長期以來所依賴的「刊登=曝光」效果衡量框架,在生成式AI時代已無法直接適用。 ■ 調查概要 項目 內容 調查工具 PR效果測量服務「Qlipper」所搭載的LLM友善檢查功能 調查對象 Qlipper登錄之國內主要新聞媒體、專業媒體共3,166個網站 調查內容 1 取得各網站robots.txt,判定5種主要LLM爬蟲(GPTBot/CCBot/ClaudeBot/Google-Extended/PerplexityBot)是否獲准 2 從各網站取得最多3篇報導網址,依據業界標準清理管道(符合C4/Gopher/RedPajama)計算正文擷取後的存活分數 調查實施日 2026年6月28日 分數區分 預期通過(0.6以上)/有條件通過(0.4~0.6)/通過困難(0.2~0.4)/立即丟棄(未滿0.2) 測量範圍備註 本調查測量LLM預先訓練管道中的1robots.txt層與3清理/4品質層。2伺服器、CDN、WAF的使用者代理判定層不在本次測量範圍內,實際生成式AI的到達率可能低於本調查結果 ※「LLM友善檢查功能」為本公司獨家功能,可診斷自家網站或客戶媒體在LLM中的可見度。本次發布之調查為該功能大規模應用的首度報告。 ■ 主要調查結果 【結果1】可通過LLM訓練資料的國內媒體僅佔10.0% 國內主要3,166家媒體中,僅317家(10.0%)可預期通過LLM預先訓練管道,即使包含「有條件通過」者,也僅達1,063家(33.6%)。其餘66.4%(2,103件)因各種原因實質上被排除於LLM學習資料之外,此為首次以量化方式揭示。 【結果2】無法通過的主因,遠非「robots阻擋」而是「內容品質」 無法通過的媒體原因分布如下: 原因 件數 整體比例 因robots.txt阻擋或無法取得 248件 7.8% 無法取得報導網址或無法計算分數 569件 18.0% 於清理階段因品質未達標而淘