複数AIの討論、マーケティング戦略評価で単発生成を上回る

・計112判定のうち、MyMarketer討論モードは97判定（86.6％）で優位、14判定で同等、1判定で不利となりました。

・AIマーケティングSaaS、地域密着型学習塾、Web制作会社、相続専門税理士事務所の4業種を対象に比較しました。

・戦略の生成元を匿名化し、提示順を入れ替えたうえで、GPT・Claude・Geminiの3モデルが14観点から評価しました。

・本検証は特定のAIモデルの総合性能を示すものではなく、一部に入力条件差を含む内部ベンチマークです。比較条件の詳細は本文中に記載しています。

株式会社WHAT（所在地：東京都新宿区西新宿3-3-13 西新宿水間ビル6階、代表取締役：山本 至人）は、マーケティング戦略支援AI「MyMarketer」に搭載する「討論モード」について、4業種の合成シナリオを対象とした内部比較ベンチマークを、2026年7月11日に実施しました。

本検証では、異なる役割を持つ複数のAIマーケターが議論して戦略を整理するMyMarketer討論モードと、Claude Fable 5およびGPT-5.6 Solによる単発の戦略生成を比較しました。特定のAIモデルの総合性能を測るものではなく、複数AIによる討論型の戦略設計と単発生成で、戦略出力の評価にどのような差が生じるかを確認することを目的としています。

検証結果の概要

今回の検証では、以下の4業種を想定したQA用の合成シナリオを使用しました。

AIマーケティングSaaS/地域密着型美容室/Web制作会社/相続専門税理士事務所

各業種について、MyMarketer討論モードと比較対象モデルが生成した戦略を、14観点で評価しました。

全体結果

計112判定のうち、MyMarketer討論モードが97判定で優位となりました。

一方で、すべての観点において討論モードが優位だったわけではありません。単発生成側が優位となった判定や、優劣がつかなかった判定も確認されています。

Claude Fable 5との比較：56判定中48判定で優位

MyMarketer討論モードとClaude Fable 5による単発の戦略生成を、4業種で比較しました。

地域密着型美容室、Web制作会社、相続専門税理士事務所の3業種では、MyMarketer討論モードに劣後判定はありませんでした。

ただし、AIマーケティングSaaSの比較については、Claude Fable 5側に2026年7月6日の生成結果を使用し、MyMarketer討論モード側は7月11日に自前調査情報を含む入力から生成しています。

両者の入力条件が一致していないため、AIマーケティングSaaSの結果は、厳密な同条件比較ではなく探索的な参考値として扱っています。

他の3業種については、入力条件を統一して比較しました。

GPT-5.6 Solとの比較：56判定中49判定で優位

追加検証として、MyMarketer討論モードとGPT-5.6 Solによる単発の戦略生成を比較しました。

GPT-5.6 Solは最大推論設定を使用し、4業種すべてにおいて、MyMarketer討論モードと原則として同じ事業情報を入力しました。また、当日の同一スナップショットを用いています。

GPT-5.6 Solとの比較では、4業種すべてでMyMarketer討論モードに劣後判定はありませんでした。

一方、AIマーケティングSaaSシナリオの判定一致率は83％であり、他の業種と比較して、評価モデル間の判断にばらつきが見られました。

判定一致率の算定方法は、ベンチマーク詳細ページで公開しています。

唯一劣後した判定は「独自性」

本検証において、単発生成側が優位となった唯一の判定は、Claude Fable 5とのAIマーケティングSaaSシナリオにおける「独自性」でした。

ただし、このシナリオには前述した入力条件の差があるため、結果の解釈には注意が必要です。

また、独自性では単発生成が優位となった判定が1件ありましたが、今回の単一runだけでは、その原因が討論によるものか、生成AIの確率的な変動によるものかは判断できません。

「潮流・Why Now」など、一部の観点では同等判定も確認されました。

今回の結果は、複数AIによる討論が、あらゆる業種や評価観点において単発生成を上回ることを示すものではありません。

今後は複数回の生成・評価を行い、討論が有効に機能しやすい領域と、単発生成や発散的な生成が適している領域を検証します。

背景：AIの回答を、そのまま提示できない提案現場

生成AIを活用し、マーケティング戦略や提案書のたたき台を短時間で作成する機会が広がっています。

一方、単発のAI出力では、施策候補が多数提示されても、次のような点まで十分に整理されない場合があります。

・どの課題を重要と捉えるのか

・誰を優先的なターゲットにするのか

・どの市場や領域で競合と差別化するのか

・戦略を具体的な施策へどう接続するのか

・提案内容に、実行可能性や経済的な成立性があるか

特に、クライアントへの新規提案や既存顧客への改善提案を担うWeb制作会社・マーケティング支援会社では、AIが生成した文章をそのまま提示するだけでは不十分です。

提案者自身が内容を理解し、自分の言葉で説明したうえで、最終的な提案を判断する必要があります。

MyMarketerの討論モードは、異なる役割を持つ複数のAIマーケターが議論し、マーケティング戦略の論点や結論を構造化する機能です。

今回の検証では、一つのAIによる単発生成と、複数のAIによる討論型の戦略設計で、出力の評価にどのような差が生じるかを比較しました。

出力元と提示順の影響を抑えた匿名比較評価

本検証では、生成元の名称や提示順が評価へ与える影響をできる限り抑えるため、以下の方法を採用しました。

1．原則として同一の事業情報を入力

MyMarketer討論モードと比較対象モデルには、原則として同一の事業情報を入力しました。

比較対象モデルには、複数AIによる討論や追加のやり取りを行わせず、テキストによる単発の戦略生成を依頼しています。また、単発生成側のClaude Fable 5およびGPT-5.6 Solには、ツールやWeb検索を使用させていません。ただし、Claude Fable 5とのAIマーケティングSaaSシナリオのみ条件が異なります。

Claude Fable 5側は2026年7月6日に生成した出力を再利用し、MyMarketer討論モード側は7月11日に自前調査情報を含む入力から生成しました。他の3業種では入力条件を統一しています。

2．出力元を伏せて匿名化

評価モデルには、各戦略を生成したサービス名やモデル名を明かさず、「戦略A」「戦略B」として提示しました。

ブランド名や生成元に対する先入観が、評価へ与える影響を抑えることを目的としています。

3．AB／BAの両条件で比較

提示順による影響を確認するため、以下の2つの条件で評価しました。

戦略Aを先、