"Bu bulgular, MTurk'ta toplanan verilere güvenilemeyeceğine dair açık kanıtlar sunuyor." Araştırmacılar uzun süredir Amazon Mechanical Turk (MTurk) anket verilerine güvenilip güvenilemeyeceği konusunda tartışıyorlar. Bu makale, MTurk tarafından şu anda üretilen verilerin kalitesini değerlendirmek için basit bir yaklaşım benimsemektedir. Yazar, katılımcılara açıkça çelişkili sorular veriyor. Örneğin: "Çok konuşuyorum" ve "Nadiren konuşuyorum." Ya da: "Düzeni severim" ve "Kaos istiyorum." İnsanlar dikkat ediyorsa, birine katılmak diğerine katılmamak anlamına gelir. En azından, iki cevap birlikte hareket etmemeli. Aynı anket üç platformda da uygulanıyor: Prolific, CloudResearch Connect ve MTurk. Prolific ve Connect'te ise her şey normal davranır: çoğu çelişkili öğe negatif korelasyonludur, tıpkı sağduyunun öngördüğü gibi. Ancak MTurk'ta sonuçlar tam tersi. Bu açıkça zıt eşya çiftlerinin %96'sından fazlası pozitif olarak korelasyonludur. Başka bir deyişle, birçok katılımcı kelimenin tam anlamıyla birbirine çelişen ifadelere benzer cevaplar veriyor. Yazarlar daha sonra çoğu araştırmacının bir sonraki yapacağı şeyi deniyor: - örneklemi "yüksek ünlü" MTurk çalışanlarıyla sınırlayın -standart dikkat kontrolleri uygula -hızlı müdahale verenleri ve düz hattlıları bırak...