株式会社朝日新聞社は、同社メディア研究開発センターの研究員が執筆した論文が、自然言語処理分野の権威ある国際会議「ACL 2026」の本会議に採択されたと発表しました。

本論文は、メディア研究開発センターに在籍していた川畑輝氏が主著者として、大規模言語モデル(LLM)が生成した回答の精度を正確に評価する新手法「Cooperative yet Critical reward modeling(C2)」を提案しています。

生成AIの活用が普及する中、AIが生成した回答の品質をどう評価するかが重要な課題となっています。本研究は、ルーブリックを用いた評価基準を活用し、AIの評価精度を向上させる画期的な手法を示すものであり、生成AIの信頼性向上に寄与することが期待されています。

【C2手法の概要】 本研究では、ある問いに対する回答の優劣を判断する際に、役割の異なる2つのAI(ルーブリック提案AIと、その基準で判定するAI)を協調的に学習させます。複数のルーブリックを提案・収集し、正解に近い判断を促すペアデータを自動生成することで、AIがより高度な評価を行えるようになります。

【成果】 実験の結果、本手法は従来の手法を評価精度で上回りました。また、自身の4倍の規模を持つAIが作成したルーブリックを用いた設定と同等の性能を達成しました。

本研究成果は、2026年7月に米国サンディエゴで開催されるACL 2026にて発表されます。

FACT BOX ・ 要点整理

  • 出典:PR TIMES
  • 分類:調査
  • 製品・サービス:C2 (Cooperative yet Critical reward modeling)