"Dessa fynd ger tydliga bevis för att data insamlade på MTurk helt enkelt inte kan litas på." Forskare har länge diskuterat om Amazon Mechanical Turk (MTurk) undersökningsdata kan litas på. Denna artikel tar ett enkelt tillvägagångssätt för att utvärdera kvaliteten på data som för närvarande produceras av MTurk. Författaren ger svarande par av frågor som uppenbart är motsägelsefulla. Till exempel: "Jag pratar mycket" och "Jag pratar sällan." Eller: "Jag gillar ordning" och "Jag längtar efter kaos." Om folk är uppmärksamma borde det att hålla med den ena innebära att man är oense med den andra. Minst av allt borde de två svaren inte röra sig tillsammans. Exakt samma undersökning genomförs på tre plattformar: Prolific, CloudResearch Connect och MTurk. På Prolific och Connect beter sig saker normalt: de flesta motsägelsefulla punkter är negativt korrelerade, precis som sunt förnuft förutspår. På MTurk är dock resultaten motsatsen. Över 96 % av dessa tydligt motsatta frågepar är positivt korrelerade. Med andra ord ger många respondenter liknande svar på påståenden som bokstavligen motsäger varandra. Författarna försöker sedan vad de flesta forskare skulle göra härnäst: -begränsa urvalet till "högt anseende" MTurk-arbetare -tillämpa standarduppmärksamhetskontroller -släpp snabba responders och raka linjer...