Web一対比較評価法

クリエイティブを科学的に評価する

微妙な差がわかりにくいネーミングやデザイン案などクリエイティブの意思決定を目的に、代替案のうち2つだけを取り出し、1対1で比較を繰り返す調査手法です。その順位だけでなく、代替案間の差まで細かく算出できます。

このようなときに・・・
  • ネーミングやパッケージデザインなど、商品仕様を評価・決定したいとき
  • コピーやタレントなど、広告クリエイティブを評価・決定したいとき
  • クリエイティブ間の微妙な差を明らかにしたいとき
こんなことができます
  • 回答者の直感的な印象を定量化することができます。
  • 順位のみならず、各クリエイティブ間の距離による差も把握できます

1.イメージの定量化

ここでは「イメージの定量化」に役立つ手法を説明します。

「イメージの定量化」とはどういうことをさすのでしょうか。いくつかの評価基準に従っていくつかの候補を総合的に評価し、どれかを選択する。こんな場面に遭遇することはありませんか。例えば、イメージやコンセプト、デザイン等に関して、いくつかの代替案から1つ選ぶようなときです。

比較検討する際に用いる要素は、はかることができるものばかりではありません。はかることができるもの、例えば身長・血圧等を比較、評価すること(量的評価)は簡単ですが、「楽しい感じ」「ふさわしい」「おしゃれ」「子供っぽい」等、はかることができないものを比較、評価(質的評価)をしたいこともあります。

通常のアンケートでイメージやコンセプト等を評価するには、評定尺度法による絶対評価がよく用いられます。評定尺度法はイメージを数量化するための手法としてよく用いられる手法です。下記の設問をご覧ください。

Q1. このロゴについてどう思われますか。
  スコープNetロゴ
  非常にそう思う そう思う ややそう思う あまりそう思わない そう思わない まったくそう思わない
1.楽しい感じがする
2.子供っぽい感じがする
3.知的な感じがする
4.スコープNetのロゴにふさわしい

上記は、ロゴを決める際に、回答者に代替案のそれぞれについて「楽しい感じ」「子供っぽい」等の評価基準で6段階で評価していただき、評価の結果から最適なものを判断しようという設問です。上記のような設問を用いることで、数値的に表現することができないイメージやコンセプトなどを定量的に評価することができます。

しかし、評定尺度法にも欠点があります。個々の代替案を別々に評価するため、例えばA案とB案が「楽しい感じ」という評価基準で同じ評価だった場合、どちらの方が「楽しい感じ」なのかを知ることができません。代替案の比較をしたい場合、評定尺度法による絶対評価だけでは不十分なことがあります。

また、イメージをはかる方法としてもう1つよく使われるものに、順位法などによる相対評価があります。しかし、すべての案を対象に順位付けをする相対評価では、調査対象者が選択しやすいという利点はあるものの、1位と2位、2位と3位などの差がわかりません。また、順位法では似たようなクリエイティブが含まれている場合、票を分け合ってしまうことで、本来は3位になるはずのクリエイティブを選択してしまうリスクがあります。(同じ選挙区に同一の党から2名立候補した場合、3位の候補者が当選し、1位と2位の候補者が共倒れしてしまうというイメージです)

2.Web一対比較評価法

当社では、イメージやコンセプトなどの比較に『一対比較評価法』と呼ばれる調査手法を用いています。評定尺度法では一度に全部の代替案を評価しますが、一対比較評価法は代替案のうち2つだけを取り出して比較を繰り返します。そうすることにより、代替案間の順位付けをすることが可能になります。

Q2.左右2種類のデザインをご覧いただき、各設問にお答えください。
スコープNetロゴ スコープNetロゴ
【楽しい感じがするのはどちらですか?】
非常にこちら ← ← ややこちら ややこちら → → 非常にこちら
【子供っぽい感じがするのはどちらですか?】
非常にこちら ← ← ややこちら ややこちら → → 非常にこちら
【知的な感じがするのはどちらですか?】
非常にこちら ← ← ややこちら ややこちら → → 非常にこちら
【スコープNetのロゴにふさわしいのはどちらですか?】
非常にこちら ← ← ややこちら ややこちら → → 非常にこちら

評定尺度法ではすべての代替案を一度に見せてしまいますが、一対比較評価法では1対1で代替案を比較します。そのため、正確なデータを取ることが可能になります。また、例えば代替案間で1つの評価基準について同じ評価が2つあった場合、区別することができませんでした。しかし、一対比較を用い2者比較を繰り返すことによりその区別が可能となります。

3.サーストン法とシェッフェの手法

3-1.サーストン法

一対比較評価法の中にもいくつかの手法が開発されていますが、当社が利用している手法として、サーストン法(Thurston Method)とシェッフェの手法があります。

サーストン法(Thurston Method)は、回答者に2つの評価対象を比較してもらい、下記のように、どちらがよい(よりあてはまる)かのみを判定してもらいます。

Q3.左右2種類のデザインをご覧いただき、各設問にお答えください。
スコープNetロゴ スコープNetロゴ
【スコープNetのロゴにふさわしいのはどちらですか?】
よりこちら よりこちら

ここでは比較しているペアの勝敗のみを質問し、その「勝率」から正規分布のZ値を求め、一次元で表せる尺度つまり数直線に変換し、それぞれの代替案がどのように評価されているのかを知ることができます。イメージやコンセプト等の序列が、順位だけでなく距離感や広がりを持って表せるのが特徴です。

図1は、スコープNetのロゴにどの代替案がふさわしいかをサーストン法を用いて分析した結果です。

図1. サーストン法による分析結果

図1. サーストン法による分析結果

右へ行くほど勝率が高く、左へ行くほど勝率が低いことを表わしています。順位だけでなく、距離感を持って勝率の差が出ていることが見てとれます。

サーストン法では、回答者は勝ち負けのみを答えればよいため、最も直感的な回答が期待できるとともに、回答負担が小さいというところが特徴となります。一対比較評価法を行う場合、比較すべき対象の数が増えると回答負担が大きくなってしまいますが、このサーストン法では回答負担が多少軽減されます。

3-2.シェッフェの手法

シェッフェの手法では、下のように1対1の評価において、勝ち負けだけでなく、その「差」までを質問します。

Q4.左右2種類のデザインをご覧いただき、設問にお答えください。
スコープNetロゴ スコープNetロゴ
【スコープNetのロゴにふさわしいのはどちらですか?】
非常にこちら ← ← ややこちら ややこちら → → 非常にこちら

アウトプットとして、図1のように比較対象間の順位と差が明らかになるグラフが得られるとともに、シェッフェの手法では下記のようなことが可能となります。

  • 勝敗だけでなく、その得点差も考慮した分析を行うことができる
  • それぞれの対象の好ましさに統計的に有意な差があるかを検定できる
  • 個人間の嗜好の差を分析することもできる

つまり、シェッフェの一対比較評価法では、1対1の勝敗のみでなくその「差」までを回答しなければならない分、回答者の負担は増えてしまいますが、より詳細な分析を行うことができるのです。

4.一対比較評価法の注意

一対比較評価法は優れた評価手法なのですが、評価するべき対象の数が大きくなると、比較するべき1対1の組み合わせ(対戦)の数が膨大となり、回答者の回答能力をこえてしまうという欠点があります。

このように対戦数が多い場合、当社では、インターネットリサーチならではの技術を用いて、必要な対戦を図2のように複数の回答者に分担させることで、負担を軽減させるという対処をしています。プログラムによって、回答者ごとに異なる対戦を均等に配分するため、結果に偏りが出ることなく、1人が全ての対戦を行なった場合に近い精度で分析を行なうことができます。(ただし、シェッフェの手法の場合、個人間の嗜好の差を分析することはできません。)

図2. 代替案が4つの場合

図2. 代替案が4つの場合

お客さまの課題・ニーズを伺ってリサーチの企画・提案を行います。
お気軽にお問い合わせください。