はじめに

読者のみなさんこんにちは。Beyond Analytics Devisionの齋藤です。普段のお仕事では、小売業界の商品開発に関わるデータ分析・システム開発をしています。

データサイエンティストをしていると、システムから上がってくるログデータばかり目にしますが（少なくとも私はそうでした）、支援先をはじめとした企業実務では、アンケートや聞き取り調査なども駆使して、定量・定性の両側面から方針検討がされているようです。つまり、アンケート調査が使われている実務現場は意外にも多いと思われます。

さて、私が大学時代に学んでいた政治学を含む社会科学領域においては、いわゆる伝統的なアンケートの課題から、サーベイ実験とよばれる、インターネット上で実験的設定のもとで行われるアンケート調査がさかんに研究・活用されています。とくに、簡単に実験を行えるインフラが整備されてきたこと、クラウドソーシングによって安価に実験が可能になったことなどに代表される技術の発展が、近年の理論の発展を後押ししてきました（Song & 秦, 2020）。

しかし、実務現場で活用されているアンケート調査の方法論は、残念ながら未だに伝統的なそれの範疇であるようです。上に述べたような導入コストの低さに鑑みると、このような事態になっているのは、業務上の取捨選択や導入・実施の費用が検討される以前に、そもそも知られていないからではないか ―― そう思った私は、力の及ぶ限りの紹介を試みることにしました。その結実が、社内での講演、そしてこのTech Blog記事になります。

最後に、本稿の位置づけについて説明します。本稿は、サーベイ実験を紹介する連載（全2回）の最初の記事です。ここでは、サーベイ実験の方法論に入る前に、

• アンケートをとる理由

• アンケートの課題

について説明し、サーベイ実験を導入する動機とできればと思います。

なお、この記事は当社ARISEの学習制度であるAuT（ARISE university Training）で登壇した際の講演内容を、より一般の読者を想定して再編したものです。

どうしてアンケートを取るのか

普段から大量のデータを収集・分析できる環境にいるデータサイエンティストの中には、アンケートなど取らなくても事足りるのではないか、と考える向きもあるかもしれません。そこで、アンケートが有効なケースについて、簡単な物語を使って説明します。

分析者の介入なく自動的に収集されるデータ（例：購買ログデータ）は観察データといい、個人の実際の行動に紐づいています。観察データでは、実在する状況下で、ある人が実際に起こした行動は測れます。しかし、ある人の心のうち（態度）はわかりませんし、仮想的な状況におけるある人の行動・態度についてもわかりません。

もう少し具体的に課題を把握するために、次の物語に基づいて考えてみましょう。

ある町には、メロンパンと焼きそばパンしか売っていないコンビニがあります。このコンビニのPOSデータを眺めると、当然ながらすべての消費者は2種類のパンのいずれかまたは両方を買っていることになります。いま、データ分析の結果、メロンパンの方が人気であるという示唆を得ました。消費者はメロンパンが好きそうなので、このコンビニではメロンパンの在庫をさらに増やすことにしました。

これは良い分析・意思決定でしょうか？

上の物語では、世の中には数えきれないほどのパンがあるのに、メロンパンと焼きそばパンしか販売していないために、観察データの分析はその2種類に関する示唆しか与えてくれていません。このコンビニを訪問した消費者は、例えば次のようなことを考えているはずです。

本当はあんぱんが食べたいけど、メロンパンと焼きそばパンしか選択肢がないなあ。あんぱんに近い菓子パンだから、メロンパンを買おう。

どうしてアンケートは難しいのか

これまでアンケートの有用性ばかり語ってきました。しかし、アンケートデータの分析が広く認知されているようには思われません。というのも、読者の皆様にはご存じの方も多いかもしれませんが、アンケートデータには次のような課題が伴うことが知られているからです。

1. 因果関係の分析ができない

2. 回答が信用できない

これらの課題について、以下で詳しく説明しましょう。

課題①：因果関係の分析ができない

であり、これらの変数はいずれもアンケートで測ることができます。では、これらを回帰分析した結果を因果効果としてみなせるかというと、そうではありません。なぜなら、このコンビニのパンが好きな消費者だから告知文に納得しやすいのかもしれませんし（逆因果）、そもそも健康志向が高い消費者だから納得感も購買意欲も高いのかもしれない（未観測の交絡変数の存在）からです。このような因果推論上の課題は、より本質的には回帰モデルの処置変数と誤差項に相関がある（内生性の存在）という形で整理できます。

読者の皆さんの中には、「交絡変数もアンケートで測ればよいのでは」「モデルの工夫で何とかならないか」とお考えの方もいると思います。ただ、交絡変数は無数に想定される以上、すべてアンケートで測ることはできません。また、モデルの工夫についても、伝統的に用いられてきた重みづけ・マッチングや事後層化は有効ではありません（Song & 秦, 2020）。具体的には、交絡変数の未観測によって重みづけ・マッチング手法は条件つき独立の仮定を満たさない可能性が高く、事後層化は厳密には因果推論とは異なります（Gelman & Hill, 2007）。よって、普通のアンケートの範疇で内生性の問題に対処するのは現実的ではありません。

対策

この課題に対する現状最も有効な対策としては、アンケートに実験を組み合わせることがあります。つまり、アンケート対象者を処置群・統制群に分割したうえで、処置群には処置となる情報を付与し、統制群には付与しないことで、因果推論上効果とみなせる推定値を得るようにするのです。「商品告知文の納得感」→「商品購買意欲」の例をとれば、

• 処置変数

  • 処置群：新作パンの健康機能性に触れた告知文をみせる

  • 統制群：新作パンの健康機能性に触れない告知文をみせる

• 結果変数：新作パンの購買意欲

のようなアンケート設計ができれば、「新作パンの健康機能性の情報」が「新作パンの購買意欲」に与える平均処置効果を簡単に得ることができます。

課題②：回答が信用できない

既に述べたように、アンケートの回答は自己申告した態度です。したがって、アンケートに実験を取り入れて因果推論ができるようにしても、場合によっては回答者は誤った回答をする問題が別に発生します。誤回答には大別して2種類あり、回答者が質問設計を理解したうえで自分の利得が最大になるように戦略的に操作して回答するもの（戦略的誤回答）と、利得に関係なく間違った回答をするもの（非戦略的誤回答）があります。それぞれ、例えば次のようなケースで発生します。

• 戦略的誤回答

  • 回答者にとって機微情報となる質問が含まれる

  • 回答を操作することで得られる報酬が上がる

• 非戦略的誤回答

  • 最小限の努力で回答をする回答者（satisficer）がいる

  • 質問文を理解できない回答者がいる