アンケートの限界を超えろ ―― サーベイ実験のすすめ（その②） 理論編

はじめに

読者のみなさんこんにちは。Beyond Analytics Divisionの齋藤です。最近は、小売業界の商品開発に代わって、デジタルマーケティングにかかわるお仕事をしています。お仕事の合間に2週間お休みを取り、人生初インド渡航もしてきました。

12月の記事では、サーベイ実験について、その動機を紹介しました。詳しくは記事をぜひ読んでいただくとして、要約すると以下の内容について説明しました（前回の記事のまとめより）。

アンケートが有用なのは、観察データでは捉えきれない、仮想的な状況下における個人の態度を測ることができるからでした。しかしながら、アンケートを活用する上では、内生性ゆえに因果関係の分析が難しい（課題①）、誤回答で結果にバイアスがかかる（課題②）といった課題があることも示しました。その中でアンケートに実験を組み合わせることが、課題への有効な対策の一つであると紹介しました。このようにアンケートに実験を組み合わせる手法は、社会科学の分野でサーベイ実験と呼ばれています。

そこで、今回の記事では、

• 課題①：内生性ゆえに因果関係の分析が難しい

• 課題②：誤回答で結果にバイアスがかかる

の対策となるサーベイ実験の手法のひとつとして、コンジョイント実験について紹介します。

なお、この記事は当社ARISEの学習制度であるAuT（ARISE university Training）で登壇した際の講演内容を、より一般の読者を想定して再編したものです。

前回の記事 

アンケートの限界を超えろ ―― サーベイ実験のすすめ（その①）　動機編｜株式会社ARISE analytics（アライズ アナリティクス）

より実務的な実験とは？ 

 課題①「内生性ゆえに因果関係の分析が難しい」に対して、前回の記事では、最も有効な対策としてアンケートと実験の組み合わせを紹介しました。その中で、「新作パンの健康機能性の情報」が「新作パンの購買意欲」を例として、以下のように説明しました。 

• 処置変数

  • 処置群：新作パンの健康機能性に触れた告知文をみせる

  • 統制群：新作パンの健康機能性に触れない告知文をみせる

• 結果変数：新作パンの購買意欲

のようなアンケート設計ができれば、「新作パンの健康機能性の情報」が「新作パンの購買意欲」に与える平均処置効果を簡単に得ることができます。

これはアンケートと実験を組み合わせて消費者理解をする例として誤ってはいないと思いますが、より実務に近い読者の中には、次のように考える方がいらっしゃるかもしれません。 

 商品の属性は、パン一つとっても、健康機能性だけに限らず、味・形・食感みたいに沢山あるぞ。属性一つ一つに対していちいち実験が必要ということなら、実務には使いづらいなあ。 

このように、「消費者は各商品属性を総合して意思決定する」と仮定したうえで分析することが好ましい場合があります。実際の意思決定プロセス（データ生成過程）を、簡単な物語で考えてみましょう。

ある消費者が菓子パンを食べたくなり、コンビニに訪問したとします。そのお店ではメロンパンとあんぱんの2種類の菓子パンが販売されており、それぞれ次のような要素を持っていました。

このとき、どちらの菓子パンを購入するか、消費者はどのように判断するでしょうか。多くの消費者（普段のあなたも！）は、「価格はあんぱんが安いけど、生地とフレーバーはメロンパンの方が好きだからメロンパンにする」のように、商品の各属性を眺めて総合的に判断するはずです。 

もちろん、

• メロンパンないしあんぱんに強い愛着がある消費者

• お財布が厳しくてあんぱんを買いたい消費者

などもいますが、これらの消費者についても、ある属性に大きな重みをつけているだけと考えてしまえば、「消費者は各商品属性を総合して意思決定する」という仮定は妥当に思えます。では、この仮定を置いたとき、商品属性について一つ一つ訊ねるのでなくて、便利にまとめてアンケートをとれる実験方法はないのでしょうか。

嬉しいことに、コンジョイント実験という方法では、商品属性をまとめて提示することができます。

コンジョイント実験

概要

Hainmueller et al. (2014)で提案されたコンジョイント実験は、マーケティングの分野で伝統的に用いられてきたコンジョイント分析を、因果推論の形式に翻案したものです。
コンジョイント実験において、各回答者は、各設問で2つ以上のプロファイル（属性と水準の組み合わせ）が無作為に割り当てられ、好ましいプロファイルの順番を表明します。分析者は、回答を繰り返し得ることで、各属性でどの水準が好まれる傾向にあるかを知ることができます（画像参照）。

コンジョイント実験における推定対象はAMCE（Average Marginal Component Effect）と呼ばれ、無作為化や回答のデザインにも依りますが、 

ある属性において、他の属性の水準を平均に固定したときに、基準に設定した水準にくらべて、他の水準がどれくらい選ばれやすいか

をおおまかに表します。

 画像の菓子パンを例にとって説明します。いま、フレーバーが選択確率に与える影響を知りたいとすると、フレーバーの取り得る値はチョコ・いちごチョコ・抹茶チョコの3つですから、次のようなデータセットに対して線形回帰分析を行えばよいことがわかります。

もし、択一式ではなくてレーティング方式の設定の場合は、選択有無の代わりに、各選択肢のレーティングを目的変数とした線形回帰を行えばよいです。

実装例

statmodels.formula.apiを用いた実装例を紹介します。スライドの例に倣って、データセットdataには、以下の目的変数・属性が入っているものとします。

• respondent：回答者番号
• chosen：各回答者、各設問、各選択肢の選択有無
• price：価格。水準の基準値は200
• dough：生地。水準の基準値はサクサク
• flavour：フレーバー。水準の基準値はチョコ
• shape：形状。水準の基準値はクロワッサン型

このとき、各属性におけるAMCEは、次のように推定できます。ただし、ひとりの回答者が複数の回答をする実験デザインであるため、回答者をクラスターとするクラスター頑健標準誤差を用いた推定が推奨されることに注意してください。

import statsmodels.formula.api as smf

# chosenを各属性に回帰する線形回帰モデルの構築
model = smf.ols(
  formula = """
    chosen ~ C(price, Treatment(reference=200))
           + C(dough, Treatment(reference='サクサク'))
           + C(flavour, Treatment(reference='チョコ'))
           + C(shape, Treatment(reference='クロワッサン型'))    
  """,
  data = data
)

# モデルの推定（クラスター頑健標準誤差を用いる）
result = model.fit(
  cov_type = "cluster", 
  cov_kwds = {"groups": data["respondent"]}
)

result.summary()
    

アンケートの課題への対策 

以下の課題に対処できることが、サーベイ実験を実施する大きな動機でした。

• 課題①：内生性ゆえに因果関係の分析が難しい

• 課題②：誤回答で結果にバイアスがかかる

では、コンジョイント実験は、これらの課題に対処できているのでしょうか。

課題①については、属性の水準を無作為化する実験デザインであるため、「処置」である属性の値が、未観測の交絡変数に依存していることはないと考えられます。ゆえに、因果関係を分析できているとみなすことができそうです。

課題②については評価が分かれる部分だと考えられます。まず、好みの順序を表明する実験デザインであるため、回答者が回答を操作することで利得が変化したり、機微情報となる質問について直接回答を求められることにはならず、戦略的誤回答は生じづらいものと考えられます。一方で、非戦略的誤回答については、必ずしも防げているとは言えません。限られたプロファイルから好きな方を選ぶ、というタスクは非常に単純であるため、「設問の内容を理解しないまま回答してしまった」のような、非戦略的誤回答は起こりにくいと考えられます。一方で、十分なサンプルサイズを得るためにある程度の数の設問に回答してもらう必要があるため、最小限の努力で回答をする回答者（satisficer）は発生する可能性があります。

残課題 

コンジョイント実験は比較的最近の手法であるため、未だ決定的な解のない課題がいくつか存在します。そのなかでも、実務上の示唆に影響しうるものとして、属性の水準が無作為化されることで、非現実的なプロフィールが出てきてしまう問題が指摘されています。例えば、フレーバー属性の水準が高級マスクメロンであるような菓子パンが、価格属性の水準が100円であるようなことはまずあり得ませんが、属性・水準の無作為化の設定によっては出てきてしまう、といった具合です。

非現実的なプロフィールが存在すること自体は、即座に因果効果の識別に悪影響を及ぼすわけではありませんが、AMCEは「関心のある属性以外を平準化したときの効果」であるため、各属性の水準の分布があまりにも現実と乖離していると、分析の結果から得た示唆を現実に投影できなくなる恐れがあります（外的妥当性の欠如）。

この課題については、現実の分布に合わせて条件付きの無作為化を行ったり、事後的に層別に分析するといった工夫で、コンジョイント実験の結果を実務上の示唆として解釈できるようにする工夫が求められます。

まとめ 

本記事では、サーベイ実験の手法の実例としてコンジョイント実験を紹介しました。この実験手法では、各回答者に各設問でプロファイルが無作為に割り当てられ、好ましいプロファイルの順番を表明してもらうことで、各属性でどの水準が好まれる傾向にあるかを知ることができるのでした。

今回紹介したコンジョイント実験は、もとにしているコンジョイント分析がビジネス分野で使われてきた方法であることもあり、実験の発想や推定方法がシンプルで、実務で出てくる課題や興味関心をうまくとらえてくれる手法です。

知識・時間の制約もあり、書くべきことすべてを網羅できているわけではありませんが、この記事を参考に、コンジョイント実験を調査・利用いただけたら大変喜ばしく思います。

参考文献 

Bansak, K., Hainmueller, J., Hopkins, D. J., & Yamamoto, T. (2021). Conjoint Survey Experiments. In J. N. Druckman & D. P. Green (Eds.), Advances in Experimental Political Science (pp. 19–41). chapter, Cambridge: Cambridge University Press.

Hainmueller, J., Hopkins, D. J., & Yamamoto, T. (2014). Causal Inference in Conjoint Analysis: Understanding Multidimensional Choices via Stated Preference Experiments. Political Analysis, 22(1), 1–30.

宋 財泫, 秦 正樹. (2020). オンライン・サーベイ実験の方法：理論編. 理論と方法, 35(1), 92–108. オンライン・サーベイ実験の方法

善教, 将大（編）. (2025). 政治意識研究の最前線. 法律文化社. https://ci.nii.ac.jp/ncid/BD10755403/