ネットリサーチ業界の体質改善の必要性

コストカットを意識した調査票の弊害

日本国内のインターネット調査業界はマクロミルに限らず、調査料金は「質問数×サンプルサイズ」によって設定する、という形式が定着している。基本的には1問はどのような質問形式であっても、同じ1問として扱われる。性別を尋ねる設問も1問、ブランドイメージのマトリクス設問でも1問、動機や理由・感想などを自由回答で記入する設問も1問である。これは調査の発注者側にとってみれば、事前に調査費用がわかるので、とても明瞭な仕組みである。

そして、調査費用を見積もるときの質問数の区切りは、5問以内、6～10問…というように5問間隔で設定されているのがよくある形式だ。つまり、16問の調査票と20問の調査票は同じ調査費用であるし、この質問数の範囲内であればモニターに支払われる調査回答謝礼額も変わらない。
また発注者側が聞きたい項目を素直に調査票に書き下ろしたときに、32問になってしまう場合がある。見た目の質問数が2問減れば、30問までの料金で調査が実施できる。そこで、商品の購入経験と購入頻度などは、本来は別々に聴取すべき項目を1問のマトリクス設問に圧縮することによって、質問数を減らすことができてしまう（図2）。マトリクス設問での回答負荷を軽減するためには、全員にすべての項目を回答させるのではなく、回答して欲しい項目だけに絞り込んであげる配慮が必要である。

図2　本来あるべき設問と、マトリクス設問に圧縮した設問

実際に、このような調査費用を抑えるためのテクニックを駆使することで、回答しにくい調査票が設計されてしまうことも多々ある。調査票の設計後の調査回答画面の制作段階で、調査内容に矛盾がないかどうかやロジックの確認、モニターにとって回答しやすいかどうかの視点でのチェックは行われるものの、最終的に調査発注者側が聞きたい内容を詰め込む形で着地することが多いのが現状である。その結果、全体として、モニターにとって回答しやすいかどうかという観点においての「調査票の質」の低下も起こっている。

ネットリサーチの商習慣見直しの必要性

JMRAの調査品質ガイドラインに書かれている内容として、唯一数値的な基準として書かれているのは「回答所要時間は10分以内を推奨」だけである。これ以外の調査票設計の詳細にあたっては、それ以外に明確な基準は設けられていない。あくまでJMRAのガイドラインを受けて、各調査会社がどのように判断するのかを委ねられている。

マクロミルでは2017年からスマートフォンで回答するときのユーザビリティを最優先に考えた新しい調査画面への移行を始めている。この新しい調査画面を開発するにあたり、マトリクス設問をスマートフォン用にレスポンシブに対応するのには限界があるため、従来のグリッド形式ではなく、アコーディオン形式を採用することにした（図3）。

図3　マクロミルのマトリクス設問の新旧調査画面の違い

アコーディオン式は、調査項目（マトリクス設問形式の表側）ごとに一問一答となるので、マトリクス設問に回答する時のようにグリッドの縦横で迷うことはなくなる。しかし、1つの質問群としての塊ではなく、SA設問（またはMA設問）が項目の数だけ連続するように見えるため、モニターには調査項目数分質問に回答している印象を与えてしまう。例えば図3の例では、マトリクス形式ではマトリクス表1つに対して回答していたものが、アコーディオン式では5項目（スーパー、コンビニエンスストア、ドラッグストア、ファーストフード、カフェ）に対してそれぞれ回答している＝5回分の質問に回答した、と感じられるだろう。調査回答者からしてみれば、これで1問というのはおかしいと思ってしまうのも理解できる。

一方で、アコーディオン式にするメリットもある。マクロミルでは、新しい調査画面への移行を推し進めるにあたって、複数の検証調査を実施してきた。グリッド形式のマトリクス設問は、必ずしもスマートフォンで表示される範囲外にある選択肢まで見られている保証はない。このため画面右側の反応個数が低下しやすい。一方、アコーディオン形式であれば、一画面にすべての選択肢が表示されるわけではないが、回答者は選択肢を一定の方向に動かしていくので、必ずすべての選択肢が閲覧されることになる。このため、グリッド形式では反応個数が低下しがちだった選択肢についても正しく測定することができる。

図4-1　グリッド形式とアコーディオン形式の反応個数の違い

図4-2　グリッド形式とアコーディオン形式の反応個数の違い

また、回答完了者と途中離脱者の離脱前の設問の回答を比較したところ、途中離脱者の方が、「ながら回答」や「ストレートライナー」の割合が小さいことが分かった（図5）。つまり、まじめに回答してくれるモニターほど、離脱しやすいということだ。もちろん、回答完了者はある意味忍耐強いとも言えるが、まじめとは違う。正しい調査を行うためには、忍耐強い人だけでなく、すべての人に回答してもらえるような調査内容でなければならない。

図5　マトリクス設問での回答脱落者の傾向

さらに、マクロミルで導入した新しい調査画面について、マクロミルモニタに対し「アンケート回答のしやすさ」を聴取したところ、新調査画面の方が回答しやすいという結果も出ている。

JMRAの「インターネット調査品質ガイドライン」に続き、マクロミルでも2018年5月に「調査票設計ポリシー」を掲げたところである。マクロミルでは様々な検証調査を重ねてきた。例えば、スマートフォンから回答する場合、項目数30×選択肢数30のマトリクス設問の場合、回答脱落者が非常に高い結果となった（図6）。

図6　マトリクス設問での回答脱落率

そして様々な検討を行った結果、マクロミルの新しい調査画面のもとで回答者が途中離脱しない、そして回答品質が担保される範囲であることも考慮して、マトリクスサイズの上限を（項目数10×選択肢数10）と設定させていただいた。そして、ただ項目数や選択肢数を減らすというのでなく、スマートフォンでより回答しやすい調査票になっているかどうかを自分自身の目で確かめていただきたい。

せっかくJMRAや各調査会社が定めたガイドラインやポリシーが存在したとしても、その実行力を持たせる仕組みを導入しない限り、絵に描いた餅になる可能性が高い。調査票設計の適性化を唱えるだけでなく、回答負荷に見合う謝礼の支払い、ネットリサーチの料金体系の改定を含めた三位一体の改革へと舵を切らなければ手遅れになるかもしれない。すぐに大きな変革を求めることは難しいだろうが、まずは調査関係者の皆様にはモニターへの感謝の気持ちを持っていただきたい。気持ちが変わることから少しずつ行動が変わっていく、そして、習慣が変わっていくことを期待したい。