「これらの発見は、MTurkで収集されたデータは単純に信用できない明確な証拠を示しています。」 研究者たちは長い間、Amazon Mechanical Turk(MTurk)の調査データが信頼できるかどうか議論してきました。 本論文はMTurkが現在作成しているデータの質を評価するためのシンプルなアプローチを取っています。 著者は回答者に明らかに矛盾する質問のペアを提示しています。 例えば： 「私はよく話す」と「めったに話さない」とか。 または: 「秩序が好き」と「混沌を切望する」 人々が注目しているなら、一方に賛成することはもう一方に反対することを意味します。最低限、2つの答えは一緒に動いてはいけません。 まったく同じ調査がProlific、CloudResearch Connect、MTurkの3つのプラットフォームで実施されています。 ProlificとConnectでは、物事は通常通りに動作します。ほとんどの矛盾する項目は、常識的に予測するように負の相関関係にあります。 しかしMTurkでは、結果は逆です。 これら明らかに正反対の項目ペアのうち96%以上が正の相関関係を持っています。言い換えれば、多くの回答者は文字通り矛盾する発言に対して似た答えをしています。 著者らは次に多くの研究者が行うことを試みています。 - サンプルを「高評価」MTurk労働者に限定する - 標準的な注意チェックを適用 -速い対応者とストレートライナーを落とす...