合同会社DMM.com（本社：東京都港区、会長：亀山敬司、以下「DMM」）は、当社の寺井友哉による論文「Auditing Alignment among Item Relevance, Goal Progress, and LLM-Judged Responses in Music-CRS」が、推薦システム分野の国際会議「RecSys 2026」に併設される「RecSys Challenge 2026 Workshop」に採択されたことをお知らせします。

DMMでは、さまざまなサービスにおいて、実サービスでの事業貢献を目的とした実践的な推薦システムの研究開発に継続的に取り組んでいます。本研究は、こうした実環境での開発・導入・運用を通じて培った知見をもとにしたものです。

本論文は、2026年9月28日から10月2日まで米国ミネソタ州ミネアポリスで開催される「RecSys 2026」の会期中に、同ワークショップにて発表予定です。

RecSys Challenge 2026 について

主要指標 — KEY FIGURES

76.0%
正解データの76.0％では
85.8%
85.8％が同じアーティストの推薦を繰り返していました
6,012万人
会員数6,012万人（※）を誇る
60以上
現在は60以上のサービスを運営

「RecSys Challenge 2026」は、推薦システム分野の国際会議「RecSys 2026」に併設して開催されるコンペティションです。

2026年は「対話型音楽推薦」をテーマに、ユーザーの会話履歴やプロフィールから音楽の好みを理解し、適切な楽曲のランキングと自然言語による応答を生成する推薦システムの構築が課題となりました。

本コンペティションに関連する研究成果は論文として投稿することができ、採択された論文は「RecSys Challenge 2026 Workshop」で発表されます。

研究の背景

対話型推薦システムでは、ユーザーに適切なアイテムを提示するだけでなく、会話の中で示された要望を理解し、推薦内容に沿った説明を返すことが重要です。

一方、「RecSys Challenge 2026」の総合スコアは、推薦ランキングの精度、推薦される楽曲の多様性、応答文の多様性、LLMによる応答品質評価という異なる観点を一つの指標に統合しています。

本研究では、こうした総合スコアが、ユーザーの要望への適合度や、実際の推薦内容と応答文の整合性を適切に表しているかを検証しました。

論文の概要

本研究では、「RecSys Challenge 2026」で公開されたデータと評価結果を分析し、推薦精度、ユーザーの目標への適合度、LLMが評価する応答品質の間に、主に二つの不整合があることを明らかにしました。

第一に、ユーザーが「別のアーティストを推薦してほしい」と明示的に求めた場合でも、正解データの76.0％では、そのセッションですでに登場したアーティストの楽曲が再び選ばれていました。特に、直前の同一アーティストの推薦が目標達成に寄与しなかったと判定されているケースでも、85.8％が同じアーティストの推薦を繰り返していました。

第二に、推薦する上位20曲を固定したまま応答文だけを変更したところ、総合スコアが大きく変化することを確認しました。この結果から、現在の評価方法では、推薦そのものの良し悪しと、説明文の良し悪しが一つのスコアに混在しており、それぞれの改善効果を区別しにくいことを示しました。

以上の結果から本論文では、既存の推薦精度やLLM評価に加えて、ユーザーの要望を満たしているかを示す「目標適合度」と、推薦した楽曲と説明内容が一致しているかを示す「ランキングと応答文の整合性」を個別に評価・報告することを提案しています。

論文リンク: https://dl.acm.org/doi/10.1145/3842413.3842423

DMMでは、今後も多様なサービス展開を通じて得られた知見をもとに、研究開発を通じた技術発展への貢献と、実サービスへの還元を目指してまいります。

合同会社 DMM.com について

会員数6,012万人（※）を誇る総合サービスサイト「DMM.com」を運営。1998年の創業以来、多岐にわたる事業を展開し、現在は60以上のサービスを運営。動画配信や電子書籍、アニメなどの多様なエンタメサービスに加え、3DプリントやEV充電などのハードウェア分野、AIといった最先端のテクノロジーを取り入れた事業など、様々な事業を手掛けています。2022年にはサブスクリプション会員システムの「DMMプレミアム」を立ち上げ、あらゆるエンタメ体験をシームレスにつなぐ「マルチエンタメ・プラットフォーム」の創造を目指しています。今後も、コーポレートメッセージ「誰もが見たくなる未来。」とともに、変化と進化を繰り返しながら、新たな事業に挑戦してまいります。

※2026年2月時点

企業サイト：https://dmm-corp.com/

プレスキット：https://dmm-corp.com/presskit/

公式オウンドメディア：https://inside.dmm.com/

FACT BOX ・ 要点整理

  • 出典：PR TIMES
  • 分類：press_release
  • 関連組織：DMM.com / DMM