"هذه النتائج توفر دليلا واضحا على أن البيانات التي تم جمعها عن MTurk لا يمكن الوثوق بها ببساطة." لطالما جادل الباحثون حول ما إذا كان يمكن الوثوق ببيانات مسح أمازون ميكانيكي تركي (MTurk). تتبع هذه الورقة نهجا بسيطا لتقييم جودة البيانات التي تنتجها MTurk حاليا. يقدم المؤلف للمشاركين أزواجا من الأسئلة التي من الواضح أنها متناقضة. على سبيل المثال: "أتحدث كثيرا" و"نادرا ما أتكلم." أو: "أنا أحب النظام" و"أشتاق للفوضى." إذا كان الناس منتبهين، فالاتفاق مع أحدهما يجب أن يعني عدم الموافقة على الآخر. على الأقل، لا ينبغي أن تتحرك الإجابتان معا. يتم إجراء نفس الاستبيان بالضبط على ثلاث منصات: Prolific، CloudResearch Connect، وMTurk. في Prolific وConnect، تتصرف الأمور بشكل طبيعي: معظم العناصر المتناقضة مرتبطة سلبيا، تماما كما يتنبأ المنطق السليم. أما في MTurk، فالنتيجة عكس ذلك. أكثر من 96٪ من هذه الأزواج المتعارضة بوضوح مرتبطة إيجابيا. بعبارة أخرى، يقدم العديد من المشاركين إجابات متشابهة على عبارات تتناقض حرفيا. ثم يحاول المؤلفون ما يفعله معظم الباحثين بعد ذلك: - تقييد العينة على عمال MTurk ذوي "سمعة عالية" -تطبيق فحوصات الانتباه القياسية -أسقطوا الرماة السريعة والمستقيمات...